Машинное обучение против системной идентификации?

Может ли кто-нибудь объяснить мне различия и сходства между машинным обучением и идентификацией системы? Это только два названия одного и того же? На этой странице они говорят:

Сообщества машинного обучения и системной идентификации сталкиваются с похожими проблемами, когда нужно строить модель из ограниченных или шумных наблюдений.

Я также прочитал первые главы знаменитой книги «Распознавание образов и машинное обучение» Кристофера М. Бишопа. Пока что я пришел к выводу, что проблема, которую пытается решить системная идентификация, является подмножеством того, что пытается решить машинное обучение.

Идентификация системы - это наука о построении динамических моделей по наблюдаемым данным. Существует два основных подхода: идентификация ошибок прогноза (PEI) и идентификация подпространства (SID). Оба они представляют так называемую параметрическую модель, то есть модель фиксированной структуры. Обычно это тот случай, когда пользователь выбирает структуру базовой системы (особенно в методах PEI) или, по крайней мере, порядок системы (в обоих методах). Несмотря на то, что в этом нет необходимости, требуется система низкого порядка (то есть число базисных коэффициентов относительно невелико), поскольку она часто используется для целей управления, поэтому мы должны сохранять ее как можно более простой, чтобы избежать вычислительные проблемы и т. д. Эта модель может использоваться для прогнозирования будущего поведения системы с учетом некоторых входных данных.

С другой стороны, машинное обучение (ML) имеет две основные ветви: алгоритмы классификации и регрессии. Последние также используются в целях прогнозирования. Двумя наиболее известными подходами в машинном обучении являются опорные векторные машины (SVM) и гауссовские процессы (GP). Основное отличие от методов идентификации системы заключается в том, что методы ML предоставляют непараметрическую модель. Последнее означает, что прогноз для нового ввода дан как функция точек данных, используемых для «обучения» (обучения, идентификации) модели. Поэтому, если бы мы использовали N = 1000 точек данных для обучения, то прогноз был бы выражен как функция этих точек данных. Методы ML более гибкие, поскольку они не требуют какого-либо выбора структуры от пользователя, но сталкиваются с другими ограничениями (например,

До недавнего времени ОД и методы идентификации системы развивались независимо. Но в последние годы предпринимаются огромные усилия для установления общих позиций (например, см. Статью «Четыре встречи с идентификацией системы» от Юнга)

Контекст: SysID и контролирует парня, который попал в ML.

Я думаю, что ответ пользователя user110686 справедливо объясняет некоторые различия. SysID обязательно относится к динамическим моделям из данных ввода / вывода, тогда как ML охватывает более широкий класс проблем. Но самое большое различие, которое я вижу, связано с (а) памятью (количеством параметров); (б) конечное использование «выученной» модели. Идентификация системы - это в значительной степени подход к обработке сигналов, учитывающий представления в частотной области, частотно-временной анализ и т. Д. Некоторые сотрудники ML называют это «разработкой функций».

(память:SysID стал известен задолго до появления ML как области исследований. Следовательно, статистика и обработка сигналов были первичной основой для теоретических основ, а вычисления были пугающими. Следовательно, люди работали с очень простым классом моделей (компромисс Bias-Variance) с очень небольшим количеством параметров. Мы говорим не более чем о 30-40 параметрах и в основном линейных моделях даже в тех случаях, когда люди четко знают, что проблема нелинейная. Однако сейчас вычисления очень дешевы, но SysID еще не вышел из своей оболочки. Люди должны начать понимать, что сейчас у нас гораздо лучшие датчики, они могут легко оценить тысячи параметров с очень богатыми наборами моделей. Некоторые исследователи пытались использовать нейронные сети для SysID, но многие, похоже, неохотно принимают их как «основные», поскольку теоретических гарантий не так много.

(б) Конечное использование изученной модели: теперь это одна вещь, которую SysID получил очень правильно, но многие алгоритмы ML не в состоянии уловить. Важно понимать, что для целевых приложений вы обязательно создаете модели, которые можно эффективно использовать для онлайн-оптимизации.Эти модели будут использоваться для распространения любых принятых решений по управлению, и при определении их как задачи оптимального управления модели становятся ограничениями. Поэтому при использовании чрезвычайно сложной структуры модели это значительно усложняет онлайн-оптимизацию. Также обратите внимание, что эти онлайн решения принимаются в масштабе секунд или меньше. Предлагаемая альтернатива заключается в непосредственном изучении функции стоимости вне политики для оптимального управления. Это в основном обучение с подкреплением, и я думаю, что есть хороший синергизм между SysID и RL.

Я хотел бы добавить, что существуют также непараметрические подходы к идентификации системы. Подробности смотрите в наборе инструментов MATLAB SysId или в книге Люнга. Непараметрические подходы часто используются, чтобы сначала идентифицировать класс моделей для более поздних параметрических исследований. Кроме того, важно отделить проблему оценки от проблемы управления (подумайте о цикле OODA). При идентификации системы часто целью является просто охарактеризовать систему без каких-либо конкретных управляющих входов того типа, который будет разработан позже (но это не всегда возможно). Наконец, я думаю, что полезно понять, что система с математической точки зрения является оператором, который отображает функциональное пространство в функциональное пространство. Следовательно, дифференциальные уравнения часто являются определенными видами вещей, и эти функции отображают на функции. Функции в SysID часто являются непрерывными функциями времени, или непрерывными сигналами времени. (Но они также могут иметь дискретное время.) Таким образом, SysID не просто пытается отобразить действительные числа (или векторы) на действительные числа (или векторы); он стремится определить лучшего оператора (LTI, LTV, нелинейный и т. д.), который отображает входные сигналы в выходные сигналы.

Машинное обучение: моделирование для статической модели и динамической модели, идентификация системы: фокус на динамической модели или динамическом процессе