Какова связь между корреляцией и причинностью в машинном обучении?

13

Общеизвестно, что «корреляция не равна причинности», но машинное обучение, кажется, почти полностью основано на корреляции. Я работаю над системой оценки успеваемости учащихся по вопросам, основанным на их прошлых выступлениях. В отличие от других задач, таких как поиск в Google, это не похоже на систему, в которую легко играть, поэтому причинно-следственная связь не имеет к этому никакого отношения.

Ясно, что если мы хотим провести эксперименты по оптимизации системы, нам придется заботиться о различии корреляции / причинности. Но с точки зрения простого построения системы для выбора вопросов, которые могут иметь соответствующий уровень сложности, имеет ли это различие какое-либо значение?

Casebash
источник
Пожалуйста, определите или, по крайней мере, укажите, что вы подразумеваете под причинно-следственной
связью

Ответы:

11

Не все ИИ работают на корреляцию, байесовские сети убеждений построены вокруг вероятности того, что А вызывает B.

Я работаю над системой оценки успеваемости учащихся по вопросам, основанным на их прошлых выступлениях.

Я не думаю, что вам нужна причина для этого. Прошлые показатели не влияют на текущие показатели. Ответ на ранний вопрос не вызывает ответа на более поздний вопрос.

Но с точки зрения простого построения системы для выбора вопросов, которые могут иметь соответствующий уровень сложности - имеет ли это различие какое-либо значение?

Нет, не для вашего примера. Я думаю, что корреляция (или даже простая экстраполяция) решит вашу проблему очень хорошо. Присвойте оценку сложности каждому из вопросов, а затем задайте вопросы учащимся на все более сложных уровнях (именно так работает большинство экзаменов), а затем, когда ученик начинает понимать их неправильно, вы можете свернуть трудности. Это алгоритм обратной связи, который похож на минимизацию ошибок, выполняемых на нейроне в многослойном персептроне. Нетривиальная часть входных пространств, подобная этой, решает, какой сложный вопрос!

Лучший пример причинно-следственной связи в ИИ:

Моя машина тормозит. Мой ускоритель на полу. Там не так много шума. На приборной панели есть огни. Какова вероятность того, что у меня кончилось топливо?

В этом случае из-за нехватки топлива автомобиль замедлился. Это именно та проблема, которую решают Bayesian Belief Networks.

Доктор Роб Ланг
источник
«Я не думаю, что вам нужно причинно-следственная связь для этого. Прошлые выступления не вызывают текущее исполнение. Ответ на ранний вопрос не вызывает ответа на более поздний вопрос». - хорошо тот факт, что учащийся выполнил упражнение, может заставить его лучше выполнять другое упражнение (мы предоставляем им подсказки и т. д.).
Casebash
Но я полагаю, что вы правы, речь идет не столько о корреляции и причинности, сколько о том, связана ли она с причинностью (т. Е. Учащиеся в конкретном классе преуспевают в вопросах геометрии, потому что учитель рассказал об этом более подробно, по сравнению со студентами, которые выполнил самые сложные темы, имеющие тенденцию к высоким показателям, потому что они единственные, кто к этому
относится
Ах! Это интересно: выполнение упражнения и знание его результатов - это причина того, как лучше справляться с вопросами. Но это не наблюдается здесь. Единственное, что вы наблюдаете - это экзаменационные вопросы, которые взаимосвязаны. Корреляция не грязная, хорошо сказать, что два статистических процесса имеют отношения.
Доктор Роб Ланг
А причины В - это одна из интерпретаций сети убеждений.
Вторник
6

машинное обучение, кажется, почти полностью основано на корреляции

Я так не думаю, по крайней мере, вообще. Например, основное предположение для алгоритмов ML с точки зрения анализа PAC и анализа измерений VC является то , что обучение / тестирование данные из того же распределения , что данные будущем.

Таким образом, в вашей системе вы должны предполагать, что каждый студент навязывает какое-то условное распределение вероятностей, которое генерирует ответы на конкретные типы вопросов по конкретным темам. Другое и более проблемное предположение, которое вы должны сделать, заключается в том, что это распределение не меняется (или не меняется быстро).

BartoszKP
источник
2

Я согласен с предыдущими ответами.

Однако, если вы заинтересованы в рассмотрении корреляции / причинности в целом, вы можете рассмотреть два вопроса:

  • Жемчужина (да, та Жемчужина ) выпустила одну из очень немногих приличных книг о ней.
  • Обучение усилению и проблема многорукого бандита основаны на актере, пытающемся определить оптимальные направления действий в неизвестной среде - то есть они должны узнать, какие «действия» дадут им наилучшую «награду», и таким образом косвенно выявить причинно-следственную связь. отношения.

источник
2

В дополнение к другим ответам, есть интересная тема - если вы выбираете функции вручную, вы можете подумать о «случайной корреляции», чтобы уменьшить переоснащение, то есть избегать функций, которые каким-то образом оказываются коррелированными в ваших тренировочных данных, но не Не следует коррелировать в общем случае - что нет причинно-следственной связи вообще.

В качестве грубого примера, давайте предположим, что вы берете таблицу данных исторических результатов экзамена и пытаетесь предсказать критерии отказа / прохождения; Вы просто включаете все доступные поля данных в качестве функций, и что в таблице также есть день рождения студентов. Теперь, возможно, существует достоверная корреляция в данных обучения, которые почти всегда пропускают ученики, родившиеся 12 февраля, и ученики, родившиеся 13 февраля, почти всегда терпят неудачу ... но, поскольку нет причинно-следственной связи, это следует исключить.

В реальной жизни это немного более тонко, но помогает различать корреляции, которые соответствуют вашим данным действительным сигналам, которые должны быть изучены; и корреляции, которые являются просто моделями, вызванными случайным шумом в вашем тренировочном наборе.

Петерис
источник