Что означает «инвариант перестановки» в контексте нейронных сетей, выполняющих распознавание изображений?

Я видел термин "инвариантная перестановка" версия задачи распознавания цифр MNIST. Что это означает?

machine-learning neural-networks terminology conv-neural-network definition RockTheStar
источник

Ответы:

В этом контексте это относится к тому факту, что модель не предполагает пространственных отношений между объектами. Например, для многослойного персептрона вы можете переставлять пиксели, и производительность будет одинаковой. Это не относится к сверточным сетям, которые предполагают отношения соседства.

bayerj
источник

да, это запутанная часть Разве это не должно быть пространственные отношения в классификации цифр?

RockTheStar

MNIST широко используется в качестве эталона (или проверки работоспособности) в нейронных сетях. Если ваша модель может получить ошибку <1% в MNIST, инвариантном по перестановке, вы к чему-то подходите.

Bayerj

Да, я имею в виду, не существует ли пространственная связь цифрами? Если вы переставите цифры пикселей, это изменит порядок пикселей, что существенно повлияет на производительность !?

RockTheStar

Только если модель предполагает это. mlps не делает, коннет делает. Вот почему сравнивать коннет с mlp на mnist несколько несправедливо.

Bayerj

Я вижу! Итак, в наборе данных mnist, mlps работает лучше или convnet?

RockTheStar

$f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((x_{1}, x_{2}, x_{3})) = f ((x_{2}, x_{1}, x_{3})) = f ((x_{3}, x_{1}, x_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$ and so on.

kjetil b halvorsen
источник

This answer is a little misleading, because the in machine learning the learning algorithm is often permutation invariant, while the function it returns is not.

bayerj

@bayerj: Это интересная информация, но я не могу понять, что это определение, которое я дал, вводит в заблуждение , это правильное определение, но, возможно, не полный ответ в этом контексте.

kjetil b halvorsen

Вы правы, определение верное. Но это не относится к тому, как вы это записываете. В контексте инварианта MNIST о перестановке, о котором спрашивал OP, функции записанной вами формы не выполняются.

Bayerj