Случайно читая некоторые работы массового рынка по теории хаоса за последние несколько лет, я начал задаваться вопросом, как различные аспекты этого могут быть применены к интеллектуальному анализу данных и смежным областям, таким как нейронные сети, распознавание образов, управление неопределенностью и т. Д. На сегодняшний день я В опубликованном исследовании мы сталкивались с таким небольшим количеством примеров таких приложений, что мне интересно, а) действительно ли они были применены в известных, опубликованных экспериментах и ​​проектах и ​​б) если нет, то почему они так мало используются в этих взаимосвязанных поля?

Большинство дискуссий по теории хаоса, которые я видел до сих пор, вращаются вокруг научных приложений, которые полностью полезны, но имеют мало общего с интеллектуальным анализом данных и смежными областями, такими как распознавание образов; Одним из архетипических примеров является проблема трех тел из физики. Я хочу отказаться от обсуждения обычных научных приложений такого рода и ограничить этот вопрос только теми приложениями, которые, очевидно, имеют отношение к интеллектуальному анализу данных и смежным областям, которые, по-видимому, встречаются в литературе очень редко. Приведенный ниже список потенциальных приложений можно использовать в качестве отправной точки для поиска опубликованных исследований, но меня интересуют только те приложения, которые фактически были реализованы на практике, если таковые имеются. То, что я ищу, это известные реализации теории хаоса для интеллектуального анализа данных, в отличие от списка потенциальных приложений, который гораздо шире. Вот небольшая выборка неординарных идей для приложений интеллектуального анализа данных, пришедших мне в голову во время чтения; возможно, ни один из них не прагматичен, возможно, некоторые из них используются на практике, пока мы говорим, но придерживайтесь терминов, с которыми я еще не знаком:

1. Идентификация самоподобных структур в распознавании образов, как это сделал Мандельброт на практике в случае всплесков ошибок в аналоговых телефонных линиях несколько десятилетий назад.
2. Встреча с константой Фейгенбаума в результатах майнинга (возможно, аналогично тому, как теоретики струн были поражены, увидев, что уравнения Максвелла всплывают в неожиданных местах в ходе их исследований).
3. Определение оптимальной глубины в битах для веса нейронной сети и различных горных испытаний. Я задавался вопросом об этом из-за исчезающе малых числовых масштабов, в которых чувствительность к начальным условиям вступает в игру, которые частично ответственны за непредсказуемость функций, связанных с хаосом.
4. Использование понятия дробных измерений другими способами, не обязательно связанными с захватывающими фрактальными курьезами, такими как губки Менгера, Кривые Коха или Ковры Серпинского. Возможно, эта концепция может быть применена к измерениям моделей добычи каким-то полезным способом, рассматривая их как дробные?
5. Деривация степенных законов, подобных тем, которые вступают в игру во фракталах.
6. Поскольку функции, встречающиеся во фракталах, являются нелинейными, мне интересно, есть ли какое-то практическое применение для нелинейной регрессии.
7. Теория хаоса имеет некоторые тангенциальные (и иногда завышенные) отношения к энтропии, поэтому мне интересно, есть ли какой-нибудь способ вычислить энтропию Шеннона (или ограничения на нее и ее родственников) из функций, используемых в теории хаоса, или наоборот.
8. Выявление поведения удвоения периода в данных.
9. Определение оптимальной структуры нейронной сети путем разумного выбора тех, которые, скорее всего, «самоорганизуются» полезным способом.
10. Хаос, фракталы и т. Д. Также косвенно связаны с вычислительной сложностью, поэтому мне интересно, можно ли использовать сложность для идентификации хаотических структур или наоборот.
11. Впервые я услышал об экспоненте Ляпунова с точки зрения теории хаоса и с тех пор несколько раз замечал это в рецептах конкретных нейронных сетей и обсуждениях энтропии.

Есть, вероятно, десятки других отношений, которые я не перечислил здесь; все это сорвалось с моей головы. Я не очень заинтересован в конкретных ответах на эти конкретные предположения, но просто выкидываю их в качестве примеров типов приложений, которые могут существовать в дикой природе. Я хотел бы видеть ответы, в которых есть примеры текущих исследований и существующих реализаций таких идей, если приложения специально применимы для интеллектуального анализа данных.

Вероятно, есть и другие существующие реализации, о которых я не знаю, даже в тех областях, с которыми я более знаком (например, теория информации, нечеткие множества и нейронные сети) и другие, в которых у меня есть еще меньшая компетенция, например, регрессия, поэтому больший вклад можно только приветствовать Моя практическая цель здесь - определить, стоит ли вкладывать больше средств в изучение конкретных аспектов теории хаоса, что я отложу на второй план, если не смогу найти какую-то очевидную полезность.

Я провел поиск по CrossValidated, но не увидел ни одной темы, которая бы непосредственно касалась утилитарных приложений теории хаоса к интеллектуальному анализу данных и т. Д. Наиболее близким, на что я мог обратить внимание, была теория потока Хаоса, моделирование без уравнений и непараметрическая статистика , которая имеет дело с с определенным подмножеством.

Добыча данных (DM) как практический подход, кажется, почти дополняет подходы математического моделирования (MM) и даже противоречит теории хаоса (CT). Сначала я расскажу о DM и общем MM, а затем сосредоточусь на CT.

Математическое моделирование

В экономическом моделировании DM до недавнего времени считалось почти табу, а ловить корреляции вместо того, чтобы узнавать о причинно-следственных связях и отношениях, см. Этот пост в блоге SAS. Отношение меняется, но есть много ловушек, связанных с ложными отношениями , перехватом данных , взломом и т. Д.

В некоторых случаях DM представляется законным подходом даже в областях с устоявшейся практикой MM. Например, DM можно использовать для поиска взаимодействий частиц в физических экспериментах, которые генерируют много данных, например, разбивателей частиц. В этом случае физики могут иметь представление о том, как выглядят частицы, и искать закономерности в наборах данных.

Теория хаоса

Хаотические системы, вероятно, особенно устойчивы к анализу методами DM. Рассмотрим знакомый линейный конгруэнтный метод ( LCG ), используемый в распространенных генераторах псевдослучайных чисел . По сути, это хаотическая система . Вот почему он используется для «подделки» случайных чисел. Хороший генератор будет неотличим от последовательности случайных чисел. Это означает, что вы не сможете определить, является ли это случайным или нет, используя статистические методы. Я также включу анализ данных здесь. Попробуйте найти шаблон в сгенерированной RAND () последовательности с интеллектуальным анализом данных! Тем не менее, опять же, как вы знаете, это полностью детерминированная последовательность, и ее уравнения также чрезвычайно просты.

Теория хаоса - это не случайный поиск паттернов сходства. Теория хаоса включает в себя изучение процессов и динамических отношений, так что небольшие возмущения усиливаются в системе, создавая нестабильное поведение, в то время как в этом хаосе появляются устойчивые паттерны. Все это круто происходит из-за свойств самих уравнений. Затем исследователи изучают эти уравнения и их системы. Это очень отличается от мышления прикладного интеллектуального анализа данных.

Например, вы можете говорить о шаблонах самоподобия при изучении хаотических систем и заметить, что майнеры данных также говорят о поиске шаблонов. Тем не менее, эти ручки «шаблон» концепции совсем по-другому. Хаотическая система будет генерировать эти модели из уравнений. Они могут попытаться придумать свой набор уравнений, наблюдая за реальными системами и т. Д., Но в какой-то момент они всегда имеют дело с уравнениями. Майнеры данных будут приходить с другой стороны, и, не зная или не догадываясь о внутренней структуре системы, будут пытаться искать закономерности. Я не думаю, что эти две группы когда-либо смотрят на одни и те же системы или наборы данных.

Другим примером является простейшая логистическая карта, с которой работал Фейгенбаум для создания своей знаменитой бифуркации удвоения периода.

Самой странной вещью, которую я обнаружил, читая теорию хаоса, чтобы ответить на этот вопрос, была удивительная нехватка опубликованных исследований, в которых интеллектуальный анализ данных и его родственники используют теорию хаоса. И это несмотря на согласованные усилия по их поиску, обратившись к таким источникам, как «Теория прикладного хаоса А.Б. Жамбеля: Парадигма сложности и Alligood» и др. «Хаос: введение в динамические системы» (последнее невероятно полезно в качестве справочника для эта тема) и рейдерство их библиографий. После всего этого мне нужно было подготовить только одно исследование, которое можно было бы квалифицировать, и мне пришлось расширить границы «интеллектуального анализа данных», чтобы включить этот крайний случай: Команда из Университета Техаса, выполняющая исследование реакций Белоусова-Жаботинского (БЗ) (которые, как уже было известно, склонны к апериодичности), случайно обнаружила расхождения в малоновой кислоте, используемой в своих экспериментах, из-за хаотических закономерностей, побуждая их искать новые поставщик. [1] Вероятно, есть и другие - я не специалист по теории хаоса и вряд ли смогу дать исчерпывающую оценку литературе - но резкая диспропорция в обычных научных применениях, таких как проблема трех тел в физике, не сильно изменится, если мы перечислим их все. На самом деле, в то время, когда этот вопрос был закрыт, Я подумал переписать его под заголовком «Почему так мало реализаций теории хаоса в области интеллектуального анализа данных и смежных областях?» Это несовместимо с плохо определенным, но широко распространенным мнением о том, что должно быть множество приложений в интеллектуальном анализе данных и смежных областях, таких как нейронные сети, распознавание образов, управление неопределенностью, нечеткие множества и т. Д .; в конце концов, теория хаоса также является передовой темой со многими полезными приложениями. Мне пришлось долго и усердно задумываться о том, где именно лежат границы между этими полями, чтобы понять, почему мой поиск оказался бесплодным, а мое представление неверным.

Ответ; tldr

Краткое объяснение этого резкого дисбаланса в количестве исследований и отклонении от ожиданий можно объяснить тем фактом, что теория хаоса, анализ данных и т. Д. Отвечают на два четко разделенных класса вопросов; резкая дихотомия между ними очевидна, как только указывалось, но при этом настолько фундаментальная, что остается незамеченной, почти как взгляд на свой нос. Может быть какое-то оправдание для убеждения, что относительная новизна теории хаоса и таких областей, как интеллектуальный анализ данных, объясняет некоторую нехватку реализаций, но мы можем ожидать, что относительный дисбаланс сохранится, даже когда эти поля станут зрелыми, потому что они просто затрагивают отчетливо разные стороны та же монета Почти все реализации до настоящего времени были в исследованиях известных функций с четко определенными результатами, которые, как оказалось, демонстрировали несколько удивительных хаотических аберраций, в то время как добыча данных и отдельные методы, такие как нейронные сети и деревья решений, включают определение неизвестной или плохо определенной функции. Связанные поля, такие как распознавание образов и нечеткие множества, также могут рассматриваться как организация результатов функций, которые также часто неизвестны или плохо определены, когда средства этой организации также не совсем очевидны. Это создает практически непреодолимую пропасть, которую можно преодолеть только в определенных редких случаях - но даже они могут быть сгруппированы под рубрикой единственного варианта использования: предотвращение апериодического вмешательства в алгоритмы интеллектуального анализа данных. Связанные поля, такие как распознавание образов и нечеткие множества, также могут рассматриваться как организация результатов функций, которые также часто неизвестны или плохо определены, когда средства этой организации также не совсем очевидны. Это создает практически непреодолимую пропасть, которую можно преодолеть только в определенных редких случаях - но даже они могут быть сгруппированы под рубрикой единственного варианта использования: предотвращение апериодического вмешательства в алгоритмы интеллектуального анализа данных. Связанные поля, такие как распознавание образов и нечеткие множества, также могут рассматриваться как организация результатов функций, которые также часто неизвестны или плохо определены, когда средства этой организации также не совсем очевидны. Это создает практически непреодолимую пропасть, которую можно преодолеть только в определенных редких случаях - но даже они могут быть сгруппированы под рубрикой единственного варианта использования: предотвращение апериодического вмешательства в алгоритмы интеллектуального анализа данных.

Несовместимость с технологическим процессом Chaos Science

Типичный рабочий процесс в «науке о хаосе» заключается в выполнении вычислительного анализа выходных данных известной функции, часто наряду с наглядными пособиями фазового пространства, такими как бифуркационные диаграммы, карты Хенона, сечения Пуанкаре, фазовые диаграммы и фазовые траектории. Тот факт, что исследователи полагаются на вычислительные эксперименты, показывает, насколько трудно найти хаотические эффекты; это не то, что вы обычно можете определить с помощью ручки и бумаги. Они также встречаются исключительно в нелинейных функциях. Этот рабочий процесс невозможен, если у нас нет известной функции для работы. Анализ данных может привести к уравнениям регрессии, нечетким функциям и т. П., Но все они имеют одно и то же ограничение: это всего лишь общие приближения, с гораздо более широким окном для ошибок. Напротив, известные функции, подверженные хаосу, относительно редки, Как и диапазоны входных данных, которые дают хаотические паттерны, поэтому требуется высокая степень специфичности даже для проверки на хаотические эффекты. Любые странные аттракторы, присутствующие в фазовом пространстве неизвестных функций, безусловно, будут сдвигаться или исчезать в целом по мере изменения их определений и входных данных, что значительно усложняет процедуры обнаружения, описанные авторами, такими как Alligood, et al.

Хаос как загрязнитель в результатах интеллектуального анализа данных

На самом деле, связь интеллектуального анализа данных и его родственников с теорией хаоса практически противоречива. Это буквально верно, если мы рассматриваем криптоанализ в широком смысле как особую форму интеллектуального анализа данных, учитывая, что я наткнулся по крайней мере на одну исследовательскую работу по использованию хаоса в схемах шифрования (в данный момент я не могу найти цитату, но могу охотиться это вниз по запросу). Для майнера данных наличие хаоса обычно плохо, так как кажущиеся бессмысленными диапазоны значений, которые он выводит, могут значительно усложнить и без того сложный процесс приближения неизвестной функции. Наиболее распространенное использование хаоса в интеллектуальном анализе данных и смежных областях - исключить его, что не означает подвиг. Если хаотические эффекты присутствуют, но не обнаружены, их влияние на предприятие по сбору данных может быть трудно преодолеть. Подумайте только о том, как легко обычная нейронная сеть или дерево решений может превосходить кажущиеся бессмысленными результаты хаотического аттрактора, или как внезапные скачки входных значений могут, конечно, спутать регрессионный анализ и могут быть приписаны неверным выборкам или другим источникам ошибок. Редкость хаотических эффектов среди всех функций и входных диапазонов означает, что исследование их будет подвергнуто серьезной деприоризации экспериментаторами.

Методы обнаружения хаоса в результатах интеллектуального анализа данных

Некоторые меры, связанные с теорией хаоса, полезны при идентификации апериодических эффектов, такие как энтропия Колмогорова и требование, чтобы фазовое пространство демонстрировало положительный показатель Ляпунова. Оба они находятся в контрольном списке для обнаружения хаоса [2], представленном в Прикладной теории хаоса А. Б. Чамбеля, но большинство из них бесполезны для приближенных функций, таких как показатель Ляпунова, который требует определенных функций с известными пределами. Общая процедура, которую он описывает, тем не менее, может быть полезна в ситуациях интеллектуального анализа данных; Целью Жамбеля в конечном счете является программа «контроля хаоса», то есть устранение мешающих апериодических эффектов. [3] Другие методы, такие как вычисление подсчета блоков и корреляционных измерений для обнаружения дробных измерений, которые приводят к хаосу, могут быть более практичными в приложениях интеллектуального анализа данных, чем Ляпунов и другие в его списке. Другим характерным признаком хаотических эффектов является наличие паттернов удвоения периода (или утроения и далее) в выходных данных функции, что часто предшествует апериодическому (то есть «хаотическому») поведению на фазовых диаграммах.

Дифференцирование тангенциальных приложений

Этот основной вариант использования следует отличать от отдельного класса приложений, которые только косвенно связаны с теорией хаоса. При ближайшем рассмотрении список «потенциальных приложений», который я представил в своем вопросе, фактически состоял почти целиком из идей для использования концепций, от которых зависит теория хаоса, но которые могут применяться независимо при отсутствии апериодического поведения (за исключением удвоения периода). Недавно я подумал о новом использовании потенциальной ниши, порождающем апериодическое поведение для распространения нейронных сетей за пределы локальных минимумов, но это также должно быть в списке тангенциальных приложений. Многие из них были обнаружены или конкретизированы в результате исследований в науке о хаосе, но могут быть применены к другим областям. Эти «тангенциальные приложения» имеют только нечеткие связи друг с другом, но образуют отдельный класс, отделена жесткой границей от основного варианта использования теории хаоса в интеллектуальном анализе данных; первая использует некоторые аспекты теории хаоса без апериодических паттернов, а вторая посвящена исключительно исключению хаоса как усложняющего фактора в результатах анализа данных, возможно, с использованием таких предпосылок, как положительность показателя Ляпунова и обнаружение удвоения периода , Если мы проведем различие между теорией хаоса и другими понятиями, которые она использует правильно, легко увидеть, что приложения первого по своей природе ограничены известными функциями в обычном научном исследовании. Существует действительно веская причина для того, чтобы взволноваться по поводу потенциальных применений этих вторичных концепций в отсутствие хаоса, но также повод для беспокойства по поводу негативного влияния непредсказуемого апериодического поведения на попытки извлечения данных, когда оно присутствует. Такие случаи будут редкими, но эта редкость также может означать, что они останутся незамеченными. Метод Жамбеля может быть полезен для предотвращения подобных проблем.

[1] с. 143-147, Alligood, Kathleen T .; Sauer, Тим Д. и Йорк, Джеймс А., 2010, Хаос: Введение в динамические системы, Springer: Нью-Йорк. [2] С. 208-213, Жамбель, А.Б., 1993, Теория прикладного хаоса: парадигма сложности, Academic Press, Inc .: Бостон. [3] с. 215, Жамбель.