Недавно в классе машинного обучения профессора Ориола Пухоля в UPC / Барселона он описал наиболее распространенные алгоритмы, принципы и концепции, которые можно использовать для решения широкого круга задач, связанных с машинным обучением. Здесь я делюсь ими с вами и спрашиваю вас:
- Существует ли какая-либо всеобъемлющая структура, сопоставляющая задачи с подходами или методами, относящимися к различным типам проблем, связанных с машинным обучением?
Как я могу выучить простой гауссовский язык? Вероятность, случайные величины, распределения; оценка, сходимость и асимптотика, доверительный интервал.
Как я могу выучить смесь гауссиан (MoG)? Вероятность, ожидание-максимизация (EM); обобщение, выбор модели, перекрестная проверка; k-means, скрытые марковские модели (HMM)
Как я могу узнать любую плотность? Параметрическая и непараметрическая оценка, Соболева и другие функциональные пространства; l 2 2 ошибка; Оценка плотности ядра (KDE), оптимальное ядро, теория KDE
Как мне предсказать непрерывную переменную (регрессия)? Линейная регрессия, регуляризация, гребневая регрессия и LASSO; локальная линейная регрессия; оценка условной плотности.
Как мне предсказать дискретную переменную (классификацию)? Байесовский классификатор, наивный байесовский, порождающий и дискриминационный; персептрон, затухание веса, машина линейных опорных векторов; классификатор и теория ближайшего соседа
Какую функцию потерь я должен использовать? Теория оценки максимального правдоподобия; оценка л -2; Байесовская оценка; минимакс и теория решений, байесианство против частоты
Какую модель мне использовать? AIC и BIC; Теория Вапника-Червоненского; теория перекрестной проверки; самонастройки; Вероятно, приблизительно верная (PAC) теория; Границы, полученные из Хоффдинга
Как я могу выучить более модные (комбинированные) модели? Теория обучения ансамблю; повышение; расфасовки; штабелирования
Как я могу изучить причудливые (нелинейные) модели? Обобщенные линейные модели, логистическая регрессия; Теорема Колмогорова, обобщенные аддитивные модели; ядрообразование, воспроизводящие ядра гильбертовых пространств, нелинейный SVM, регрессия гауссовского процесса
Как я могу выучить более модные (композиционные) модели? Рекурсивные модели, деревья решений, иерархическая кластеризация; нейронные сети, обратное распространение, сети глубоких убеждений; графические модели, смеси HMM, условные случайные поля, марковские сети с максимальным запасом; логарифмические модели; грамматик
Как мне уменьшить или связать функции? Выбор элемента против уменьшения размерности, методы обертки для выбора элемента; причинно-следственная связь, частичная корреляция, изучение структуры Байеса
Как мне создать новые функции? анализ главных компонентов (PCA), анализ независимых компонентов (ICA), многомерное масштабирование, многогранное обучение, контролируемое уменьшение размерности, метрическое обучение
Как мне уменьшить или связать данные? Кластеризация, би-кластеризация, кластеризация с ограничениями; правила ассоциации и анализ рыночной корзины; ранжирование / порядковая регрессия; анализ ссылок; реляционные данные
Как мне относиться к временным рядам? ARMA; Модели фильтра Калмана и стат-пространства, фильтр частиц; функциональный анализ данных; обнаружение точки изменения; перекрестная проверка для временных рядов
Как мне относиться к неидеальным данным? ковариатный сдвиг; классовый дисбаланс; недостающие данные, данные с нерегулярной выборкой, ошибки измерений; обнаружение аномалий, робастность
Как мне оптимизировать параметры? Неограниченная или ограниченная / выпуклая оптимизация, методы без производных, методы первого и второго порядка, обратная подгонка; естественный градиент; связанная оптимизация и EM
Как оптимизировать линейные функции? вычислительная линейная алгебра, матричная инверсия для регрессии, разложение по сингулярным числам (SVD) для уменьшения размерности
Как мне оптимизировать ограничения? Выпуклость, множители Лагранжа, условия Каруша-Куна-Таккера, методы внутренних точек, алгоритм SMO для SVM
Как оценить суммы с глубокими вложениями? Точный вывод графической модели, вариационные оценки сумм, приближенный вывод графической модели, распространение ожидания
Как я могу оценить большие суммы и поиски? Обобщенные задачи N-тела (ВНП), иерархические структуры данных, поиск ближайших соседей, быстрый множественный метод; Интеграция Монте-Карло, Марковская цепь Монте-Карло, Монте-Карло SVD
Как мне лечить еще большие проблемы? Параллельный / распределенный ЭМ, параллельный / распределенный ВНП; стохастические субградиентные методы, онлайн-обучение
Как мне применить все это в реальном мире? Обзор частей ОД, выбор между методами, используемыми для каждой задачи, предварительными знаниями и предположениями; исследовательский анализ данных и визуализация информации; оценка и интерпретация с использованием доверительных интервалов и проверки гипотез, кривые ROC; где проблемы исследования в ОД
источник
Ответы:
Я согласен с @geogaffer. Это действительно очень хороший список. Тем не менее, я вижу некоторые проблемы с этим списком, поскольку он в настоящее время сформулирован. Например, одна проблема заключается в том, что предлагаемые решения имеют разные уровни детализации - некоторые из них представляют подходы , некоторые - методы , некоторые - алгоритмы , а некоторые другие - просто концепции (другими словами, термины в терминологии предметной области). Кроме того, - и я считаю, что это гораздо важнее, чем выше - я думаю, что было бы очень полезно, если бы все эти решения в списке были организованы в единой тематической статистической структуре, Эта идея была вдохновлена чтением прекрасной книги Лизы Харлоу "Сущность многомерного мышления". Поэтому недавно я инициировал соответствующее, хотя и в настоящее время несколько ограниченное, обсуждение на перекрестном сайте StackExchange . Не позволяйте названию сбить вас с толку - мое подразумеваемое намерение и надежда состоят в том, чтобы создать единую структуру , как упоминалось выше.
источник
Это хороший список, охватывающий многое. Я использовал некоторые из этих методов еще до того, как что-то называлось машинным обучением, и я думаю, что вы увидите, что некоторые из перечисленных вами методов со временем приходят и выходят из употребления. Если метод слишком долго не пользовался популярностью, возможно, пришло время вернуться к нему. Некоторые методы могут скрывать разные имена, полученные в разных областях обучения.
Одна из основных областей, в которых я использовал эти методы, - это моделирование минерального потенциала, которое является геопространственным и для поддержки которого вы можете добавить некоторые дополнительные категории, относящиеся к методам пространственных и ориентированных данных.
Если вы ответите на свой широкий вопрос в конкретных областях, вы, вероятно, найдете больше примеров методов, которых нет в вашем полном списке. Например, два метода, которые я видел в минеральном потенциале, это обратная ступенчатая регрессия и моделирование весов доказательств. Я не статистика; возможно, они будут считаться включенными в список в рамках линейной регрессии и байесовских методов.
источник
Я думаю, что ваш подход немного отсталый.
«Каково среднее распределение Гаусса, соответствующее этим данным?» никогда не является постановкой задачи, поэтому "как мне соответствовать гауссову?" это никогда не проблема, которую вы на самом деле хотите решить.
Разница более чем семантическая. Рассмотрим вопрос «как создать новые функции?» Если ваша цель - разработать индекс, вы можете использовать какой-то тип факторного анализа. Если ваша цель состоит в том, чтобы просто уменьшить пространство признаков до подбора линейной модели, вы можете полностью пропустить шаг и использовать вместо этого упругую регрессию.
Лучшим подходом было бы составить список актуальных задач анализа данных, которые вы хотели бы решить . Такие вопросы, как:
Также ваш список прямо сейчас включает в себя огромное количество материала; слишком много, чтобы «пересмотреть» и получить больше, чем поверхностное понимание. Имея в виду реальную цель может помочь вам разобраться в ваших приоритетах.
источник