Являются ли взаимодействия полезными только в контексте регрессии?

Я всегда читал термин взаимодействие в контексте регрессии. Должны ли мы также рассмотреть взаимодействие с различными моделями, например, knn или svm?

Если имеется , или даже больше функций и, скажем, наблюдений, как обычно найти полезные взаимодействия? Попробуйте все комбинации? Или использовать только комбинации, которые имеют смысл?$50$$100$$1000$

Взаимодействия необходимы явно в регрессионных моделях, потому что формула сама по себе не включает никаких взаимодействий. Точнее, регрессионная модель всегда будет линейной на входе, тогда как взаимодействие представляет собой нелинейную комбинацию признаков.$X_i * X_j$

Самый простой способ увидеть это через XOR-проблему, регрессионная модель без каких-либо взаимодействий не может решить эту проблему, так как требует нелинейной комбинации.

С другой стороны, KNN и SVM (и многие другие модели) являются приближениями универсальной функции. Это означает, что они могут не только комбинировать свои входные данные линейным образом, но и любым возможным нелинейным способом. При наличии достаточного количества слоев или подходящего ядра они могут «создавать» свои собственные взаимодействия именно так, как они им нужны. Если вы знаете или ожидаете, что конкретные взаимодействия будут важны, вы все равно можете использовать их в качестве входных данных для направления моделей в правильном направлении.

Точно так же основанные на деревьях модели могут интерпретироваться как состоящие только из взаимодействий. По сути, разделение в древовидной модели создает определенное взаимодействие со всеми предыдущими переменными.

Таким образом, чтобы решить, какие взаимодействия использовать для достаточно «мощных» моделей (то есть тех, которые являются универсальными приближениями функций), они вам не нужны, и вы можете позволить модели творить свое волшебство. Для других моделей это зависит. Есть несколько методов, доступных для принятия решения, таких как CHAID или пошаговая регрессия. CHAID также работает с большим количеством функций, для пошаговой регрессии он может потеряться в количестве возможных взаимодействий. Учитывая, что если у вас возможностей, есть возможных взаимодействий (считая не только двусторонние, но и взаимодействия более высокого порядка).$N$$2^N$

Нет.

Фактически, вы можете думать, что SVM с полиномиальным ядром добавляет все взаимодействия (высокого порядка) между всеми функциями. Например, если у нас есть две функции , выполняется SVM с полиномом 2-го порядка .$(x_1,x_2)$$(x_1^2,x_2^2,x_1x_2)$

SVM называется Kernel Trick, потому что он неявно выполняет полиномиальное расширение базы с гораздо меньшей вычислительной сложностью. Подумайте о полиномиальном расширении 10-го порядка на 10 объектов, вручную разверните его, чтобы получить столбцов. Но используя трюк с ядром, мы можем легко это сделать.$10^{10}$

Таким образом, не только взаимодействие широко используется в других моделях. В добавление к взаимодействию, другие модели пытаются больше с особенностями проектирования. Вместо умножения двух столбцов получаются более сложные функции.

Взаимодействия, которые улучшают скорректированный R-квадрат, BIC для регрессии правдоподобия (альтернативно AICc и др.), VIF и F-статистику ANOVA, последние без индивидуальных параметров, которые оцениваются как ненадлежащие с использованием их частичных вероятностей.

Также очень важно, но не спрашивается, что повторная параметризация может заметно улучшить как воздействие отдельных переменных, так и их взаимодействие. Тем не менее, BIC, AIC и другие измерения качества правдоподобия недопустимы для сравнения различных повторных повторных измерений, оставляя скорректированный R-квадрат, VIF и F-статистику ANOVA для таких целей.