Показатели эффективности для оценки обучения без учителя

Что касается неконтролируемого обучения (например, кластеризации), есть ли какие-либо показатели для оценки эффективности?

В некотором смысле я думаю, что этот вопрос не подлежит обсуждению. Я говорю это потому, что то, насколько хорошо работает конкретный неконтролируемый метод, будет в значительной степени зависеть от того, почему в первую очередь проводится обучение без учителя, т. Е. Хорошо ли работает метод в контексте вашей конечной цели? Очевидно, что это не совсем так, люди работают над этими проблемами и публикуют результаты, которые включают в себя какую-то оценку. Ниже я опишу несколько подходов, с которыми я знаком.

Хорошим ресурсом (со ссылками) для кластеризации является страница документации sklearn, Оценка эффективности кластеризации . Это охватывает несколько методов, но все, кроме одного, Силуэт Силуэт, предполагает наличие наземных меток правды. Этот метод также упоминается в вопросе « Оценка степени кластеризации» , приведенном в комментариях к этому вопросу.

Если ваш метод обучения без присмотра является вероятностным, другой вариант - оценить некоторую меру вероятности (логарифмическая вероятность, недоумение и т. Д.) На удерживаемых данных. Мотивация здесь заключается в том, что если ваш метод обучения без присмотра назначает высокую вероятность аналогичным данным, которые не использовались для подгонки параметров, то он, вероятно, хорошо поработал над распределением интересов. Домен, где этот тип оценки обычно используется, является языковым моделированием.

Последний вариант, который я упомяну, - это использование контролируемого ученика для выполнения вспомогательного задания. Если вы не контролируете метод, создающий скрытые переменные, вы можете думать об этих скрытых переменных как о представлении входных данных. Таким образом, целесообразно использовать эти скрытые переменные в качестве входных данных для контролируемого классификатора, выполняющего некоторую задачу, связанную с областью, из которой получены данные. Выполнение контролируемого метода может затем служить суррогатом для работы неконтролируемого ученика. По сути, это настройка, которую вы видите в большинстве работ по обучению представлению.

Это описание, вероятно, немного туманно, поэтому я приведу конкретный пример. Почти во всех работах по обучению представлению слов используется следующий подход для оценки:

1. Изучите представления слов, используя ученика без присмотра.
2. Используйте изученные представления в качестве входных данных для контролируемого учащегося, выполняющего некоторые задачи НЛП, такие как теги речи или распознавание именованных объектов.
3. Оцените эффективность неконтролируемого учащегося по его способности улучшить производительность контролируемого учащегося по сравнению с базовым уровнем, используя в качестве входных данных стандартное представление, такое как функции присутствия двоичных слов.

Пример такого подхода в действии см. В статье « Обучение машин Больцмана с ограничениями на наблюдениях за словами», выполненная Dahl et al.