Прав ли Нассим Талеб в том, что ИИ не может точно предсказать определенные типы распределений?

8

Таким образом, у Талеба есть две эвристики для общего описания распределения данных. Одним из них является Mediocristan, что в основном означает вещи, которые находятся в распределении Гаусса, такие как рост и / или вес людей.

Другой называется Extremistan, который описывает распределение, более похожее на Парето или с толстым хвостом. Примером может служить распределение богатства, 1% людей владеют 50% богатства или чего-то подобного, поэтому предсказуемость из ограниченных наборов данных намного сложнее или даже невозможна. Это связано с тем, что вы можете добавить одну выборку в свой набор данных, и последствия будут настолько велики, что это нарушит модель или окажет настолько сильное воздействие, что аннулирует любые преимущества предыдущих точных прогнозов. Фактически, именно так он утверждает, что заработал деньги на фондовом рынке, потому что все остальные использовали плохие гауссовские модели распределения для прогнозирования рынка, которые фактически работали бы в течение короткого периода времени, но когда что-то пошло не так, они действительно пошли неправильно, что приведет к чистым потерям на рынке.

Я нашел это видео, где Талеба спрашивали об искусственном интеллекте. Он утверждает, что ИИ не работает (также) для вещей, которые попадают в экстремист.

Он прав? Будут ли некоторые вещи непредсказуемыми даже с ИИ?

Вот видео, на которое я ссылаюсь https://youtu.be/B2-QCv-hChY?t=43m08s

Иосия Сваим
источник

Ответы:

6

Да и нет!

Нет никакой внутренней причины, по которой системы машинного обучения не могут справляться с экстремальными событиями. В качестве простой версии вы можете узнать параметры распределения Вейбулла или другой модели экстремальных значений из данных.

Большая проблема с известными неизвестными против неизвестных неизвестных. Если вы знаете, что редкие события возможны (например, при прогнозировании землетрясений), вы можете включить эти знания в разрабатываемые вами модели, и вы получите что-то, что работает лучше или лучше, чем люди в этой области. Если вы не знаете, что возможны редкие события (как, например, обвал фондового рынка, вызванный коррелированными дефолтами по жилью), то ваша модель также отразит это.

Я склонен думать, что Талеб здесь немного несправедлив: ИИ не может справиться с такого рода событиями именно потому, что его создатели (мы) не могут справиться с ними! Если бы мы знали, что они возможны, то мы могли бы справиться с ними довольно хорошо, и ИИ тоже мог.

Джон Дусетт
источник
1
Разве неспособность этих моделей (в том числе человеческих в мозге) справиться с неизвестным-неизвестным своего рода? Поскольку всегда существует ограничение на количество точных данных, которые мы можем собрать в наших выборках, и в случаях распределений с "толстым хвостом" эффект выброса может быть огромным, тогда как при нормальном распределении эффект или повреждение экстремального выброса обычно быть довольно маленьким Как будто он говорит, что это фундаментальная характеристика для систем знаний и прогнозирования, биологических или машинных, поэтому ИИ будет ограничен в определенных областях.
Иосия Сваим
2
Хм. Я думаю, что есть две проблемы. Одним из них является утверждение о том, что мы не можем обрабатывать дистрибутивы с полным хвостом с помощью AI. Это неверно Другая причина в том, что, если вы не знаете, какие дистрибутивы подходят для изучаемой проблемы (то есть, если вы действительно не понимаете свою проблему), вы будете удивлены неожиданными событиями. Это правда. Я думаю, что Талеб совмещает две проблемы, когда они действительно разделены.
Джон Дусетт