Post-Residual

Мне всегда любопытно наблюдать как движется развитие нейронных сеток и искать какие-то соответствия тому, как обработка инфы устроена в мозгах. Особенно прикольно в этом отношении смотреть на пост-ResNet сети. Вроде как и хороший результат, но привязки к мозгам – никакой. Просто экстраполяция идей.  Residual connection заработали? Ладненько, ладненько. Как мы можем запихать ещё кучу в нашу сетку?

Вставить Residual connection внутрь Residual connection?  (Resnet in Resnet)

Или собрать ResNet сетку из нескольких ResNet сеток? (Multilevel Residual Networks)

А может вообще не париться и соединить через Residual connection каждый слой с каждым? (DenseNet)

(ну, вообще, конечно, тут не каждый с каждыми, а небольшими группами по 5 слоёв).

А если есть штук 8 титанов, то можно сделать такую сетку, чтобы всю память забивала. И всю из ResNet-ов! (PolyNet)

Хоть каким-то глотком свежего воздуха на всём этом фоне видится FractalNet.

Тут хотя бы попробовали переосмыслить старую идею “DropOut”, которую после появления ResNet уже вроде как выбросили из рассмотрения, а теперь она возвращается при обучении разных цепочек внутри фрактальной сетки.

Мысли.

Вот смотришь на всё это многообразие и думаешь:

1. Какая польза от всего этого на реальных задачах? Или требуются безумные ресурсы на обучение и использование? Видишь что CIFAR 100 обучают на 3-4 титанах. И пичаль.
2. Есть хоть какое-то сравнение по эффективности, по ресурсам, по времени обучения, и.т.д.? Ведь каждый публикует сравнение по тем фреймворкам, которые ему удобнее. И никому неинтересно показать эффективность на каких-то практических задачах:
   
   
   И ни одного внешнего годного исследования. Максимум “вау, вот такая сетка есть” (ну, это то же самое, что и я тут пишу).
3. Почему практически никто из этих сеток не представлен в “ImageNet” текущего года? Почему в десятке лучших решений просто оттюнингованный ResNet? Может всё это сверх-residual хозяйство становится неприменимо для задач отличных от CIFAR?