Как устроены архитектуры CNN

Последовательность, ветвление, короткая связь

Начнём с вопроса: каким путём одна клетка исходного изображения попадёт в ответ? При последовательном соединении каждый слой получает только выход предыдущего. Два фильтра 3×3 могут зависеть от области 5×5 исходника; три — от 7×7. В примере ветвь F действительно несколько раз усредняет изображение: это прозрачная проверка путей и области зависимости, а не обученная сеть.

Короткая связь добавляет исходное x к F(x): появляется отдельный неизменённый вклад. Включи и выключи её при тех же слоях и выбранной клетке. Сумма требует одинаковой формы: из двух карт 16×16×1 получится одна такая карта. Объединение каналов, concat, оставит оба числа отдельно и даст 16×16×2. Это разные операции; увеличение яркости от суммы само по себе не доказывает улучшение качества или обучения.

Меньше операций и больше пространственных деталей

Обычная свёртка k×k между C входными и O выходными каналами имеет k²CO весов. Depthwise сначала применяет отдельное пространственное ядро к каждому каналу, pointwise 1×1 смешивает каналы: k²C+CO. Например, k=3, C=16, O=32 даёт 4608 против 656 весов без смещений. Это изменение выразительности блока, а не бесплатная замена один к одному.

При карте 16×16 каждый такой вес применяется в 256 положениях: здесь это 1 179 648 против 167 936 умножений за один проход, без смещений и других операций. Число операций — полезная оценка, но не измерение скорости браузера или GPU: важны память, реализация и размеры. Уменьшение карты вдвое по обеим сторонам уменьшает число положений вчетверо, но теряет мелкие детали. Следующий пример показывает, зачем сохранять для них отдельный путь.

Два разрешения и два канала

После усреднения блока 2×2 карта 16×16 становится 8×8: разные мелкие рисунки могут дать одинаковые средние. Это та же потеря информации, которую показывают масштабы и пирамиды в C14. Свёртка на маленькой сетке охватывает больший участок исходного изображения. Простое повторение клеток вернёт размер 16×16, но не утраченный рисунок.

Сохраним исходную карту рядом с увеличенной. Concat означает объединение вдоль оси каналов: в каждой точке лежит пара [u,x], то есть 16×16×2, а не сумма. Затем свёртка 1×1 умножает эту пару на строку весов [1−α, α]. Это знакомое смешивание каналов матрицей из M02; сдвига по пространству здесь нет. На схеме узел concat не выбирается: два его канала уже доступны отдельно в исходном и увеличенном полях.

В U-Net признаки высокого разрешения объединяются с увеличенным выходом декодера. Наш одноуровневый блок показывает только этот принцип: усреднение, фиксированную свёртку, повторение клеток и управляемую смесь. Это не полная U-Net: нет обучения, набора уровней и предсказания классов. При α=1 получаем исходное благодаря прямой копии, а не потому что декодер научился восстанавливать детали.

Увеличение карты не обращает потерю информации

Транспонированная свёртка — транспонированная матрица заданного линейного преобразования. Она складывает отпечатки входных элементов в большой сетке. Это не обратная матрица: после уменьшения разные исходные изображения могли дать один результат.

Resize-then-convolution сначала интерполирует карту, затем фильтрует. Сравнение покрытия изолирует один источник шахматных артефактов. Реальный вид зависит также от весов, границ и обучения. Большой размер выхода сам по себе не доказывает появление достоверной новой детали.

Где встречаются разобранные соединения