Sparse_categorical_crossentropy vs категорическая_кросентропия (керас, точность)

Что лучше для точности или они одинаковые? Конечно, если вы используете categoryorical_crossentropy, вы используете одну горячую кодировку, а если вы используете sparse_categorical_crossentropy, вы кодируете как обычные целые числа. Кроме того, когда один лучше другого?

Используйте разреженную категориальную кроссцентропию, когда ваши классы являются взаимоисключающими (например, когда каждая выборка принадлежит точно одному классу), и категориальную кроссцентропию, когда одна выборка может иметь несколько классов, или метки имеют мягкие вероятности (например, [0,5, 0,3, 0,2]).

Формула для категориальной кроссентропии (S - выборки, C - классификация, - выборка относится к классу c):$s \in c$

В случае, когда классы являются исключительными, вам не нужно суммировать их - для каждого образца только ненулевое значение просто для истинного класса c.$-log p(s \in c)$

Это позволяет экономить время и память. Рассмотрим случай 10000 классов, когда они являются взаимоисключающими - только 1 log вместо суммирования 10000 для каждого образца, только одно целое число вместо 10000 float.

Формула одинакова в обоих случаях, поэтому никакого влияния на точность не должно быть.

Ответ, в двух словах

Если ваши цели имеют горячее кодирование, используйте categoryorical_crossentropy. Примеры однократного кодирования:

[1,0,0]
[0,1,0] 
[0,0,1]

Но если ваши цели - целые числа, используйте sparse_categorical_crossentropy. Примеры целочисленных кодировок (для завершения):

1
2
3