Общеизвестно, что «корреляция не равна причинности», но машинное обучение, кажется, почти полностью основано на корреляции. Я работаю над системой оценки успеваемости учащихся по вопросам, основанным на их прошлых выступлениях. В отличие от других задач, таких как поиск в Google, это не похоже на систему, в которую легко играть, поэтому причинно-следственная связь не имеет к этому никакого отношения.
Ясно, что если мы хотим провести эксперименты по оптимизации системы, нам придется заботиться о различии корреляции / причинности. Но с точки зрения простого построения системы для выбора вопросов, которые могут иметь соответствующий уровень сложности, имеет ли это различие какое-либо значение?
machine-learning
statistics
Casebash
источник
источник
Ответы:
Не все ИИ работают на корреляцию, байесовские сети убеждений построены вокруг вероятности того, что А вызывает B.
Я не думаю, что вам нужна причина для этого. Прошлые показатели не влияют на текущие показатели. Ответ на ранний вопрос не вызывает ответа на более поздний вопрос.
Нет, не для вашего примера. Я думаю, что корреляция (или даже простая экстраполяция) решит вашу проблему очень хорошо. Присвойте оценку сложности каждому из вопросов, а затем задайте вопросы учащимся на все более сложных уровнях (именно так работает большинство экзаменов), а затем, когда ученик начинает понимать их неправильно, вы можете свернуть трудности. Это алгоритм обратной связи, который похож на минимизацию ошибок, выполняемых на нейроне в многослойном персептроне. Нетривиальная часть входных пространств, подобная этой, решает, какой сложный вопрос!
Лучший пример причинно-следственной связи в ИИ:
В этом случае из-за нехватки топлива автомобиль замедлился. Это именно та проблема, которую решают Bayesian Belief Networks.
источник
Я так не думаю, по крайней мере, вообще. Например, основное предположение для алгоритмов ML с точки зрения анализа PAC и анализа измерений VC является то , что обучение / тестирование данные из того же распределения , что данные будущем.
Таким образом, в вашей системе вы должны предполагать, что каждый студент навязывает какое-то условное распределение вероятностей, которое генерирует ответы на конкретные типы вопросов по конкретным темам. Другое и более проблемное предположение, которое вы должны сделать, заключается в том, что это распределение не меняется (или не меняется быстро).
источник
Я согласен с предыдущими ответами.
Однако, если вы заинтересованы в рассмотрении корреляции / причинности в целом, вы можете рассмотреть два вопроса:
источник
В дополнение к другим ответам, есть интересная тема - если вы выбираете функции вручную, вы можете подумать о «случайной корреляции», чтобы уменьшить переоснащение, то есть избегать функций, которые каким-то образом оказываются коррелированными в ваших тренировочных данных, но не Не следует коррелировать в общем случае - что нет причинно-следственной связи вообще.
В качестве грубого примера, давайте предположим, что вы берете таблицу данных исторических результатов экзамена и пытаетесь предсказать критерии отказа / прохождения; Вы просто включаете все доступные поля данных в качестве функций, и что в таблице также есть день рождения студентов. Теперь, возможно, существует достоверная корреляция в данных обучения, которые почти всегда пропускают ученики, родившиеся 12 февраля, и ученики, родившиеся 13 февраля, почти всегда терпят неудачу ... но, поскольку нет причинно-следственной связи, это следует исключить.
В реальной жизни это немного более тонко, но помогает различать корреляции, которые соответствуют вашим данным действительным сигналам, которые должны быть изучены; и корреляции, которые являются просто моделями, вызванными случайным шумом в вашем тренировочном наборе.
источник