Я недавно прочитал комментарий Яна ЛеКуна о свертках 1x1 :

В Сверточных Сетях не существует такого понятия, как «полностью связанные слои». Существуют только слои свертки с ядрами свертки 1x1 и полной таблицей соединений.

Это слишком редко понимаемый факт, что ConvNets не должен иметь вход фиксированного размера. Вы можете обучить их на входах, которые производят один выходной вектор (без пространственного экстента), а затем применить их к большим изображениям. Вместо одного выходного вектора вы получите пространственную карту выходных векторов. Каждый вектор видит входные окна в разных местах на входе. В этом сценарии «полностью связанные слои» действительно действуют как свертки 1x1.

Я хотел бы увидеть простой пример для этого.

пример

Предположим, у вас есть полностью подключенная сеть. Он имеет только входной слой и выходной слой. Входной слой имеет 3 узла, выходной слой имеет 2 узла. Эта сеть имеет параметров. Чтобы сделать его еще более конкретным, допустим, у вас есть функция активации ReLU в выходном слое и матрице весов.$3 \cdot 2 = 6$

Таким образом, сеть с .$f(x) = ReLU(W \cdot x + b)$$x \in \mathbb{R}^3$

Как сверточный слой должен выглядеть одинаково? Что означает LeCun с «полной таблицей соединений»?

Я думаю, чтобы получить эквивалентный CNN, он должен иметь точно такое же количество параметров. MLP сверху имеет параметров.$2 \cdot 3 + 2 = 8$

Ваш пример

В вашем примере у нас есть 3 входных и 2 выходных блока. Чтобы применить свертки, подумайте о тех единицах, имеющих форму: [1,1,3]и [1,1,2], соответственно. В терминах CNN у нас есть 3входные и 2выходные карты объектов, каждая из которых имеет пространственные измерения 1 x 1.

Применение n x nсвертки к слою с kкартами объектов требует наличия ядра формы [n,n,k]. Следовательно, ядро ​​ваших 1x1извилин имеет форму [1, 1, 3]. Вам нужны 2эти ядра (или фильтры) для создания 2выходных карт характеристик. Обратите внимание: свертки на самом деле 1 × 1 × количество каналов входных сверток. Последний упоминается редко.$1 \times 1$$1 \times 1 \times \text{number of channels of the input}$

Действительно, если вы выберете в качестве ядра и смещения:

Затем сверточный слой вычислит с . х ∈ R$f(x) = ReLU\left(\begin{pmatrix}w_1 \cdot x\\ w_2 \cdot x\end{pmatrix} + \begin{pmatrix}b_1\\ b_2\end{pmatrix}\right)$$x \in \mathbb{R}^3$

Преобразование в реальный код

Для примера из реальной жизни взгляните также на мою реализацию vgg-fcn . Код, представленный в этом файле, принимает веса VGG, но преобразует каждый полностью связанный слой в сверточные слои. Результирующая сеть дает тот же результат, что и vggпри применении к входному изображению формы [244,244,3]. (При применении обеих сетей без заполнения).

Преобразованные сверточные слои вводятся в функцию _fc_layer(строка 145). У них есть размер ядра 7x7для FC6 (который является максимальным, так как pool5VGG выводит карту объектов формы [7,7, 512]. Слои FC7и FC8реализованы в виде 1x1свертки.

«Таблица полного подключения»

Я не уверен на 100%, но он может ссылаться на фильтр / ядро, которое имеет то же измерение, что и карта входных объектов. В обоих случаях (код и ваш пример) пространственные измерения максимальны в том смысле, что пространственное измерение фильтра совпадает с пространственным измерением в качестве входных данных.

$n*n$$i$$m$$n$$n$$m$

$n*n*i*m$

$n*n*i$$*$$* m$

$n*n$$* i$$* m$

( Источник )

Эквивалентное ядро ​​просто имеет любую форму на входе и вычисляет произведение тензорной точки. (Я использую слово «форма», так как кажется, что существует некоторая путаница с «размером», которая часто игнорирует измерение канала / глубины). В этом нет никакого «скольжения ядра по входным данным», поскольку ядро ​​настолько велико, насколько это возможно. Цитировать Stanford CS 231n примечания к курсу :

любой слой FC может быть преобразован в слой CONV. Например, слой FC с K = 4096, который смотрит на некоторый входной объем размером 7 × 7 × 512, может быть эквивалентно выражен как слой CONV с F = 7, P = 0, S = 1, K = 4096, F = 7, p = 0, S = 1, К = 4096. Другими словами, мы устанавливаем размер фильтра равным размеру входного объема, и, следовательно, выходной сигнал будет просто 1 × 1 × 4096, поскольку только один столбец глубины «умещается» на входном объеме, давая такой же результат, как начальный слой ФК.

Я считаю, что «F = 7, P = 0, S = 1, K = 4096, F = 7, P = 0, S = 1, K = 4096» здесь означает, что каждое ядро ​​конвоя имеет форму 7x7x512, и таких фильтров 4096.

В предыдущем ответе упоминалось, что последний фк AlexNet (который получает входные данные в форме 1x1x4096 и вычисляет 1000 баллов за класс) реализован как "свертка 1x1". Чтобы быть завершенным, каждое такое ядро ​​имеет форму 1x1x4096, и их 1000.

Ле Канн также объясняет это в статье CNN , стр. 8, описание LeNet5:

Слой C5 - это сверточный слой с 120 картами объектов. Каждый блок подключен к району 5х5 на всех 16 картах характеристик S4. Здесь, поскольку размер S4 также составляет 5x5, размер карт функций C5 составляет 1x1; это составляет полную связь между S4 и C5.

Любому новичку в PyTorch, как я , не путайте «полностью связанный слой» с «линейным слоем».

Линейный слой и свертки 1x1 - это одно и то же. Мне потребовалось некоторое время, чтобы понять, что не существует такого понятия, как «полностью связанный слой» - это просто сглаживание пространственных измерений в одномерный гигантский тензор. Выравнивание приводит к тому, что каждый элемент во всех пространственных местоположениях будет представлен как отдельная карта объектов / канал / измерение (как бы вы это ни называли). Следовательно, когда мы накладываем линейный слой на сплющенный тензор , мы получаем полностью связную операцию, которая, очевидно, не совпадает со сверткой 1x1.

1x1$\sum_{j=0}^{1} X[j]W_0[j] + b[0]$$\sum_{j=0}^{1} X[j]W_1[j] + b[1]$$\sum_{j=0}^{1} X[j]W_2[j] + b[2]$

$O = W_{2 \times 3}X_{3 \times 1} + b_{2 \times 1}$

Другие ответы, которые утверждают, что полностью связанный слой является просто допустимым nxn сверточным слоем для ввода размера nxn, сбивают с толку (хотя и правильно).