Всегда ли хорошо отбеливать?

Обычным этапом предварительной обработки алгоритмов машинного обучения является отбеливание данных.

Кажется, что всегда полезно делать отбеливание, так как оно не коррелирует данные, что упрощает их моделирование.

Когда отбеливание не рекомендуется?

Примечание: я имею в виду декорреляцию данных.

Предварительное отбеливание - это обобщение нормализации признаков, которая делает вход независимым путем преобразования его в преобразованную матрицу ковариации входных данных. Я не понимаю, почему это может быть плохо.

Тем не менее, быстрый поиск выявил «Возможность отбеливания данных для улучшения производительности метеорологического радара» ( pdf ), которая гласит:

В частности, отбеливание работало хорошо в случае экспоненциальной АКФ (что согласуется с результатами Монакова), но менее эффективно в случае гауссовой. После численных экспериментов мы обнаружили, что случай Гаусса численно плохо обусловлен в том смысле, что число условий (отношение максимального к минимальному собственному значению) чрезвычайно велико для гауссовой ковариационной матрицы.

Я недостаточно образован, чтобы комментировать это. Возможно, ответ на ваш вопрос заключается в том, что отбеливание всегда хорошо, но есть определенные ошибки (например, со случайными данными это не будет хорошо работать, если выполняется с помощью функции автокорреляции Гаусса).

Во-первых, я считаю, что устранение корреляции и отбеливание - это две отдельные процедуры.

Для того чтобы декоррелировать данные, нам необходимо преобразовать их так, чтобы преобразованные данные имели диагональную ковариационную матрицу. Это преобразование может быть найдено путем решения проблемы собственных значений. Найдем собственные векторы и связанные с ними собственные значения ковариационной матрицы , решив${\bf \Sigma} = {\bf X}{\bf X}'$

$${\bf \Sigma}{\bf \Phi} = {\bf \Phi} {\bf \Lambda}$$

где - диагональная матрица, имеющая собственные значения в качестве своих диагональных элементов.${\bf \Lambda}$

Матрица Таким образом , диагонализует ковариационная матрица X . Столбцы Φ являются собственными векторами ковариационной матрицы.${\bf \Phi}$${\bf X}$${\bf \Phi}$

Мы также можем написать диагонализованную ковариацию как:

$${\bf \Phi}' {\bf \Sigma} {\bf \Phi} = {\bf \Lambda} \tag{1}$$

${\bf x}_i$

$${\bf x}_i^* = {\bf \Phi}' {\bf x}_i \tag{2}$$

${\bf \Lambda}$

$${\bf \Lambda}^{-1/2} {\bf \Lambda} {\bf \Lambda}^{-1/2} = {\bf I}$$

$(1)$

$${\bf \Lambda}^{-1/2} {\bf \Phi}' {\bf \Sigma} {\bf \Phi} {\bf \Lambda}^{-1/2} = {\bf I}$$

${\bf x}_i^*$${\bf x}_i^\dagger$

$${\bf x}_i^{\dagger} = {\bf \Lambda}^{-1/2} {\bf x}_i^* = {\bf \Lambda}^{-1/2}{\bf \Phi}'{\bf x}_i \tag 3$$

${\bf x}_i^\dagger$${\bf x}_i^\dagger$${\bf E}({\bf x}_i^\dagger {{\bf x}_i^\dagger}') = {\bf I}$

${\bf \Sigma}$

И, наконец, есть общая «ошибка», о которой люди должны быть осторожны. Нужно быть осторожным, чтобы вы вычислили коэффициенты масштабирования для данных обучения , а затем использовали уравнения (2) и (3), чтобы применить те же коэффициенты масштабирования к тестовым данным, в противном случае вы рискуете переобучиться (вы будете использовать информация из теста, установленного в тренировочном процессе).

Источник: http://courses.media.mit.edu/2010fall/mas622j/whiten.pdf

С http://cs231n.github.io/neural-networks-2/

Одним из недостатков этого преобразования является то, что оно может сильно преувеличивать шум в данных, поскольку оно растягивает все измерения (включая нерелевантные измерения крошечной дисперсии, которые в основном являются шумом), чтобы они были равны по размеру на входе. На практике это может быть смягчено более сильным сглаживанием ...

К сожалению, я недостаточно образован, чтобы прокомментировать это.