Талеб и Черный лебедь

63

Книга Талеба «Черный лебедь» была бестселлером New York Times, когда вышла несколько лет назад. Книга вышла во втором издании. После встречи со статистиками в JSM (ежегодная статистическая конференция) Талеб несколько смягчил свою критику статистики. Но смысл книги в том, что статистика не очень полезна, потому что она опирается на нормальное распределение и очень редкие события: «Черные лебеди» не имеют нормального распределения.

Как вы думаете, это обоснованная критика? Талеб упускает некоторые важные аспекты статистического моделирования? Можно ли прогнозировать редкие события, по крайней мере, в том смысле, что можно оценить вероятности возникновения?

Майкл Черник
источник
2
Также IMO, я не думаю, что тег "черные лебеди" будет очень полезен. Вроде внутреннего жаргона этому конкретному автору, которого следует избегать ИМО. Редкие события кажутся мне достаточными, но вы наверняка знаете язык лучше меня.
Энди W
1
@AndyW Хотя черный лебедь может быть термином, придуманным Талебом, он становится широко используемым термином для редких событий и поэтому может иметь более широкое значение, чем просто книга Талеба.
Майкл Черник
2
У меня не обязательно возникла проблема с созданием тега «черные лебеди» или тега «редкие события», однако я настоятельно рекомендую людям создать отрывок из вики-тега как минимум при создании нового тега. Будущим пользователям понадобятся некоторые рекомендации относительно значения и правильного использования тега. Также может быть полезно создать оба и сразу сделать bs синонимом re, чтобы избежать случайного столкновения с этой проблемой в будущем.
gung - Восстановить Монику
2
По поводу @kjetilbhalvorsen Я прочитал книгу Бенуа Мандельброта о финансах и не мог смириться с тем фактом, что практически все идеи в «Черном лебеде» присутствуют, гораздо лучше объяснены и без толку. Это действительно пролило новый свет на «вклад» Талеба.
Антони Пареллада

Ответы:

69

Я читаю Черного лебедя пару лет назад. Идея Черного лебедя хороша, и атака на нелепую ошибку (видя вещи, как будто они являются играми в кости, с известными вероятностями) хороша, но статистика возмутительно искажена, с центральной проблемой является неправильное утверждение, что вся статистика разваливается, если переменные обычно не распространяются. Я был достаточно раздражен этим аспектом, чтобы написать Талебу письмо ниже:

Уважаемый доктор Талеб

Я недавно прочитал «Черный лебедь». Как и вы, я фанат Карла Поппера, и я согласился со многим, что есть в нем. Я думаю, что ваше изложение ложной ошибки в основном обоснованно и привлекает внимание к реальной и распространенной проблеме. Тем не менее, я думаю, что значительная часть третьей части плохо подводит ваш общий аргумент, вплоть до возможной дискредитации остальной части книги. Это позор, так как я думаю, что аргументы в отношении Черных лебедей и «неизвестных неизвестных» основаны на их достоинствах, не полагаясь на некоторые ошибки в части III.

Основной вопрос, на который я хотел бы обратить внимание - и требовать вашего ответа, особенно если у меня возникли проблемы, - это искажение вами области прикладной статистики. По моему мнению, главы 14, 15 и 16 в значительной степени зависят от аргумента соломенного человека, искажающего представления статистики и эконометрики. Область эконометрики, которую вы описываете, - не та, которой меня учили, когда я изучал прикладную статистику, эконометрику и теорию актуарного риска (в Австралийском национальном университете, но с использованием текстов, которые казались довольно стандартными). Вопросы, которые вы поднимаете (такие как ограничения гауссовых распределений), хорошо и верно поняты и изучены даже на уровне бакалавриата.

Например, вы пойдете на несколько шагов, чтобы показать, как распределение доходов не соответствует нормальному распределению, и представить это как аргумент против статистической практики в целом. Ни один компетентный статистик никогда не станет утверждать, что это так, и способы решения этой проблемы хорошо известны. Например, простое использование методов самого базового уровня «эконометрики первого года», преобразование переменной с помощью ее логарифма сделает ваши численные примеры гораздо менее убедительными. Такое преобразование фактически лишит законной силы многое из того, что вы говорите, потому что тогда дисперсия исходной переменной действительно увеличивается с увеличением ее среднего значения.

Я уверен, что есть некоторые некомпетентные эконометрики, которые проводят регрессию OLS и т. Д. С нетрансформированной переменной отклика, как вы говорите, но это просто делает их некомпетентными и использует методы, которые, как известно, неуместны. Они, безусловно, были бы неудачными даже на курсах бакалавриата, которые проводят много времени в поисках более подходящих способов моделирования переменных, таких как доход, отражающих фактическое наблюдаемое (негауссовское) распределение.

Семейство обобщенных линейных моделей - это один набор методов, разработанный частично для решения проблем, которые вы поднимаете. Многие экспоненциальные семейства распределений (например, гамма-распределения, экспоненциальные распределения и распределения Пуассона) являются асимметричными и имеют дисперсию, которая увеличивается с увеличением центра распределения, что позволяет обойти проблему, на которую вы указали, используя распределение Гаусса. Если это все еще слишком ограничивает, можно вообще отбросить ранее существовавшую «форму» и просто указать связь между средним значением распределения и его дисперсией (например, позволяя дисперсии увеличиваться пропорционально квадрату среднего значения), с использованием метода оценки «квази-правдоподобия».

Конечно, вы можете утверждать, что эта форма моделирования все еще слишком упрощена и интеллектуальная ловушка, которая заставляет нас думать, что будущее будет таким же, как прошлое. Вы можете быть правы, и я думаю, что сила вашей книги в том, чтобы заставить таких людей, как я, задуматься над этим. Но вам нужны аргументы, отличные от тех, которые вы используете в главах 14-16. Большой вес, который вы придаете тому факту, что дисперсия гауссовского распределения постоянна независимо от ее среднего значения (что вызывает проблемы с масштабируемостью), например, недопустима. Так что вы акцентируете внимание на том факте, что реальные распределения имеют тенденцию быть ассиметричными, а не изогнутыми.

По сути, вы взяли одно упрощение самого основного подхода к статистике (наивное моделирование необработанных переменных как гауссовых распределений) и в большой степени продемонстрировали (правильно) недостатки такого упрощенного подхода. Затем вы используете это, чтобы сделать разрыв, чтобы дискредитировать всю область. Это либо серьезная ошибка в логике, либо метод пропаганды. Это прискорбно, потому что это умаляет ваш общий аргумент, большая часть которого (как я уже сказал) я нашел обоснованным и убедительным.

Мне было бы интересно услышать, что вы говорите в ответ. Я сомневаюсь, что я первый поднял этот вопрос.

Искренне Ваш

PE

Питер Эллис
источник
24
Вы получили ответ?
кардинал
4
Да. Многие статистики уже критиковали нормальное распределение! Только один пример: известный датский статистик Георг Раш (известный по моделям Раша в психометрии!), Когда он много пил, сказал, что «все книги, в которых упоминается нормальное распределение, должны быть сожжены»!
kjetil b halvorsen
5
++ Питер. Очень хорошее письмо!
Майкл Черник
14
@cardinal - я получил автоматический ответ на эффект «со времени мирового финансового кризиса я получаю слишком много писем, чтобы отвечать на них».
Питер Эллис
4
Похоже, что количество электронных писем в ответ на книгу было самим BlackSwan. :)
GWR
22

Я не читал книгу, но, как было сказано, критика кажется мне совершенно необоснованной. Если экстремальные события важны, тогда у статистики есть соответствующие инструменты в наборе инструментов, такие как теория экстремальных значений, и хороший статистик будет знать, как их использовать (или, по крайней мере, узнает, как их использовать, и будет достаточно вовлечен с целью анализ посмотреть). Критика кажется «статистика плохая, потому что есть плохие статистики, которые знают только о нормальных распределениях».

Дикран Сумчатый
источник
4
Может быть, читать книгу, прежде чем критиковать ее?
kjetil b halvorsen
7
@kjetilbhalvorsen Я не критикую книгу, я критикую критику, изложенную в вопросе (которая может или не может быть адекватным представлением содержания книги). Я очень ясно дал это понять формулировкой своего ответа (обратите внимание, что я использовал слово «книга» только один раз, чтобы дать предупреждение, что я его не читал, и вообще не упомянул Талеба по имени). Может быть, внимательно прочитайте ответ, прежде чем его критиковать? ; о)
Дикран Сумчатый
19

Сказать, что «суть книги в том, что статистика не очень полезна», я думаю, неточно. Прочитав книгу, он, похоже, говорит о том, что такие вещи, как количественные финансы или любой вид торговли ценными бумагами, предполагающий нормальное распределение, в корне ошибочны (фактически, в книге он призывает людей, которые утверждают, что используют эти модели для предсказаний "шарлатаны"). Согласно Талебу, в то время как нормальное распределение делает большую работу по моделированию ценностей материальных / физических вещей (например, рост, вес, продолжительность жизни и т. Д.), Системы, подобные рынкам, часто движимы человеческими эмоциями и, следовательно, склонны к большие колебания, которые нормальные распределения не могут точно предсказать.

Я плохо разбираюсь в статистике, и пока не прочел ответы здесь, я никогда не слышал о таких вещах, как теория экстремальных ценностей. Несмотря на это, у «Черного лебедя» и « Заблуждения по случайности», похоже, есть сходные предпосылки, что является «нормальным распределением, не всегда подходящим». Я не помню, чтобы он порочил всю область статистики.

сойка
источник
16
(+1) Для первого предложения. Тем не менее, Талеб - скорее (поглощенный собой) полемист, чем серьезный интеллектуал. У меня только первое издание BS; его комментарий к статистике во многих местах преувеличен и неинформирован, но попытка сделать тезис текста - это больше, чем цитируется в первом предложении.
кардинал
3
+1 Я думаю, что ключ к разговору о финансах. Я полагаю, что ссылка на NY Times, которая цитирует первую главу: nytimes.com/2007/04/22/books/chapters/0422-1st-tale.html
Уэйн,
6
Например, цены на опционы начинались с нормальных допущений о возврате логов, но в наши дни многие люди объясняют куртоз с помощью более сложных моделей скачкообразной диффузии / стохастической волатильности.
Муратоа
4
+1 Добро пожаловать на наш сайт! Большое спасибо за то, что поделились своими мыслями.
whuber
4
Прочитав книгу и написав мою собственную критику (у меня может быть рецензия амазонки Кастонера на нее вместе с тысячами других), я думаю, что Талеб имеет в качестве главных примеров финансы и фондовый рынок, но он действительно придерживается более общего взгляда на это. называется Черные лебеди и принимает очень неосведомленный взгляд на статистику и статистическую профессию (по крайней мере, в первом издании). Неправильное использование нормального распределения может быть серьезной критикой того, как некоторые люди могут моделировать редкие события. Но многие из нас делают это правильно, и результаты правильного подхода имеют определенную ценность.
Майкл Черник
18

Я читал «Черный лебедь», мне это нравилось, и я статистик. Я не нашел ее «критику статистики» вообще невыносимой. Точка за точкой:

  1. Талеб не придумал концепцию черного лебедя. Это было любимым примером в философской мысли довольно долгое время!
  2. Талеб критикует не столько статистику, сколько ее (плохие) приложения.
  3. Книга была бестселлером. Он был направлен не на статистиков, а на широкую публику. Он очень хорошо учил публику вещам, которые статистики знали очень хорошо, но многие другие читатели (большинство!) Этого не знали. Таким образом, мы могли бы многому научиться из этой книги о том, как «продавать» статистику.
  4. Самое главное (для меня), Талеб включил много ссылок на древнегреческую скептическую философию. Никто другой здесь не упомянул об этом, но я думаю, что включение было реальным преимуществом книги!
  5. Книга является литературным произведением, а не техническим произведением. Если вы хотите критиковать Талеба за его техническую работу, зайдите на его домашнюю страницу и загрузите некоторые из его технических статей.

Те, кому не нравится этот ответ или не нравится книга, могут взглянуть на технические аргументы Талеба в новом https://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-risk. PDF «Silent риска», который является техническим.

Къетил б Халворсен
источник
6
Большой +1 для того, чтобы быть первым (упс - вторым) респондентом, действительно квалифицированным, чтобы говорить о книге! (И для того, чтобы сказать кое-что интересное об этом тоже.)
whuber
4
как насчет его представления эконометрики и статистики в зависимости от гауссовых распределений?
Питер Эллис
2
@kjetilbhalvorsen Вы говорите, что читали книгу. Если вы внимательно его прочитаете, то не сможете пропустить приложение по профессии статистики. Наличие степени по математике ничего не значит для людей знания статистики. Многие математики получили степень бакалавра, не пройдя ни одного курса статистики. У других, возможно, был только один очень элементарный курс. Я знаю математиков, которые учили статистике и / или вероятности и не были достаточно квалифицированы для этого.
Майкл Черник
3
Михаил Черник: Может быть и так, но я все еще стою на том, чтобы критиковать работу за ее сильные стороны, по крайней мере, не только за ее слабые стороны! и литературное произведение должно быть прочитано как таковое. Талеба следует поблагодарить за превращение Черных лебедей в концепцию, которую понимают многие. Это важная концепция. Все журналисты, высмеивающие Рамсфельда за разговоры о «неизвестных неизвестных», это подтверждают. Рамсфельдт использовал только концепцию, которую он узнал от военных офицеров! По крайней мере, они знали о Черных лебедях.
kjetil b halvorsen
9
«Литературное произведение» является лишь оправданием для искажения реальности, если то, что написал Талеб, было романом. Не вдаваться в технические соображения можно извинить, а искажать что-то оптом - значит меньше.
Fomite
10

Я не читал Черного лебедя, но если его критика статистики действительно так проста, как вы говорите, то это смешно. Очевидно, что некоторые статистические данные опираются на нормальное распределение, но многое не делает.

Можно ли моделировать редкие события? Конечно могут. Реальный вопрос в том, насколько хорошо они могут быть смоделированы. И этот вопрос будет иметь разные ответы в разных областях, в зависимости от того, сколько мы знаем о редких событиях и их предшественниках.

В сегодняшнем журнале NY Times есть интересная статья Нейта Сильвера о том, как улучшилось прогнозирование погоды за последнее десятилетие или около того. Это включает в себя лучшее моделирование редких событий, таких как ураганы.

Стоит ли читать книгу?

Питер Флом - Восстановить Монику
источник
3
Я прочитал книгу и сделал аналогичные контраргументы, такие как ваш и Дикран. Талеб казался очень наивным. Несколько лет назад в JSM была встреча с ним. Я думаю, что это было в Вашингтоне. Второе издание вышло после этого и является более разумным. У Талеба есть кое-что интересное о конкретных «черных лебедях», и он много знает об экономике. Я думаю, что это стоит прочитать, и второе издание лучше.
Майкл Черник
Вы администратор сайта статистики, поэтому, вероятно, часть 3 не будет вам интересна. Это может даже раздражать вас. Части I и II могут дать вам некоторое представление о статистике. Вы можете попробовать прочитать первую главу или около того, а затем судить остальную часть книги оттуда. Что касается погоды, Талеб, похоже, подразумевает, что синоптики - это эксперты, которые, как правило, являются экспертами: эксперты, которые склонны быть экспертами: судьи по животноводству, астрономы, летчики-испытатели, почвенные судьи, мастера шахмат, физики, математики (когда они имеют дело с математическими проблемами) не эмпирические), бухгалтеры, зерновые инспекторы, тел.
BCLC
зерновые инспекторы, фотопереводчики, страховые аналитики (занимающиеся статистикой стиля кривой колокола). Эксперты, которые, как правило,… не эксперты: биржевые маклеры, клинические психологи, психиатры, сотрудники приемных комиссий колледжей, судьи, советники, сотрудники по подбору персонала, аналитики разведки (отчет ЦРУ, несмотря на его расходы, жалок), если только не принимать во внимание некоторая большая доза невидимой профилактики. Я хотел бы добавить эти результаты из моего собственного исследования литературы: экономисты, финансовые прогнозисты, профессора финансов, политологи, «эксперт по рискам
BCLC
s », сотрудники Банка международных расчетов, августовские члены Международной ассоциации финансовых инженеров и личные финансовые советники. Просто вещи, которые движутся и, следовательно, требуют знаний, обычно не имеют экспертов, в то время как вещи, которые не двигаются, похоже, имеют некоторых экспертов. Другими словами, профессии, которые имеют дело с будущим и основывают свои исследования на неповторяющемся прошлом, имеют экспертную проблему (за исключением погодных условий и предприятий, связанных с краткосрочными физическими процессами, а не социально-экономическими).
BCLC
1
ДА, книгу стоит прочитать!
kjetil b halvorsen
8

Я также не читал эту книгу, но ни в коем случае его мысль не может быть настолько упрощенной, как утверждение о том, что существуют распределения с более толстыми хвостами, чем нормальное распределение. Это был бы комментарий к другим ответам, но я не накопил достаточно почестей на этом сайте.

Из Википедии:

«Он заявляет, что статистика в целом является неполной, поскольку она не может предсказать риск редких событий ...»

Этот вопрос также очень похож на вопрос: каково мнение сообщества о Четвертом квадранте?

черновой вариант
источник
2
Я не знал о посте в "Четвертом квадранте". Там Джон Кук указывает на JSM, где выступал Талеб, и дает ссылку на комментарии в своем блоге. Этот пост, скорее всего, дубликат моего, но обсуждение там короткое. Поэтому я думаю, что стоит продолжить этот.
Майкл Черник
2
Я не думаю, что это правда, что статистика не может предсказать риск редкого события. Это сложно, потому что в данных не так много полезной информации для этой задачи, как для оценки центральной тенденции. Так что это не столько проблема со статистикой, сколько с данными.
Дикран Marsupial
2
@dikran: Я согласен с тобой, и я думаю, что его книги - книги о троллях. Но я все равно ужасно проиграл бы в споре с ним, так же, как проиграл бы с опытным спорщиком интеллектуального дизайна.
проект
1
@ черновик да, есть веская причина, почему научные идеи больше не решаются публичными дебатами!
Дикран Marsupial
4
В книге есть нечто большее, чем просто проблема statisitcs - его аргументы о «неизвестных неизвестных» (так называемых черных лебедях) и о «нелепой ошибочности» (рассматривая мир так, как будто это игра в кости с известными вероятностями) в значительной степени независимо от его ошибочной критики статистики как в зависимости от нормального распределения. Вы можете отказаться от всех глав статистики и значительно улучшить книгу.
Питер Эллис
8

Я настоятельно рекомендую рецензию Денниса Линдли на эту книгу. Он содержит ряд разрушительных аргументов против плохого и высокомерного изложения идей в книге:

http://onlinelibrary.wiley.com/doi/10.1111/j.1740-9713.2008.00281.x/abstract

Черный лебедь - еще один пример, когда «бестселлер» не гарантирует высокое качество контента.

белый лебедь
источник
5

Я не думаю, что Талеб фактически сказал бы, что статистические методы, основанные на распределении Гаусса, бесполезны. Его пункт в книге состоял в том, что они очень полезны для многих (но не всех) физических или биологических процессов и моделирования. Он делает некоторые хорошие и плохие замечания («Черный лебедь» и «Связанный» были началом чумы «все - закон силы!», Которая все еще преследует нас сегодня), но важно помнить, что книга представляет собой собрание литературных и философских идей. очерки для мирян.

Тем не менее, я думаю, что Талеб любит раздражать людей. Вы можете увидеть это в его битве с Мироном Скоулзом. В этом случае это могло бы быть полезным в качестве статистического образования на уровне старшекурсников, а иногда и на уровне выпускников, что-то вроде того, что не соответствует предположению о гауссовских распределениях. Я полагаю, что за годы работы в сфере финансов он столкнулся с большим количеством квантов с большим знанием Блэка-Шоулза и других техник, но не принимавших во внимание базовые предположения, такие как распределение. Я подозреваю, что Талеб ткнул в учебное заведение из-за неспособности должным образом обучать.

Fraijo
источник
1
+1 за ваши интересные комментарии. Но я не согласен с его мнением о нормальном распределении. Кажется, он думает, что статистики используют это там, где это не применимо, и он очень неправ, чтобы так характеризовать статистиков. Он может знать лучше сейчас. Да, у него явно есть стиль письма, который призван провоцировать и раздражать людей.
Майкл Черник
1
У меня нет книги, которую я знаю, так что это по памяти. Конечно, часть его гнева происходит из-за плохого опыта с людьми. Он говорит, что в какой-то момент «кто-то» (будет редактировать, когда я получу книгу и смогу найти имена) кричал на него: «Я являюсь членом Национальной академии наук»! Это не совсем аргумент, и над «кем-то» нужно было посмеяться, чтобы использовать его как таковой.
kjetil b halvorsen
2
Возможно, я положил бессознательное положительное вращение на то, что я читал, но я отчетливо помню NTT, приводя несколько примеров, где распределение Гаусса имело смысл, например его кофейная чашка. Я отдал книгу, поэтому я не могу вернуться и переоценить это. Популярное письмо Талеба гораздо более полемично, чем его профессиональное письмо, по крайней мере то, что я читал о последнем.
Fraijo
2
Я не думаю, что мы утверждаем, что Талеб считает, что нормальное распределение никогда не имеет смысла. Просто для примеров, которые он считает важными, он считает, что использовать его неправильно. Он прав в этом, но ошибается, полагая, что большинство статистиков используют его в таких ситуациях.
Майкл Черник
1
Интересно не только то, что многие комментаторы не читали книгу (я, например, просмотрел ее, и это было достаточно), но и то, что многие прочитали ее, просто не посчитали нужным держать ее под рукой. «Я отдал это»; «Я оставил его на чердаке»; и т.д.
rolando2
2

Те из вас, кто еще не читал книгу, находятся далеко от основания. Он делает БОЛЬШОЕ различие между масштабируемым и масштабируемым. Для не масштабируемых дел традиционные статистические данные будут достаточно хороши. Он не критикует это вообще. Черные лебеди берут начало в масштабируемых и трудно предсказать, исходя из прошлых эмпирических данных. Книга о том, как эти события могут иметь огромное влияние и, как правило, объясняются только после факта. Эпистемология отличная.

Тина-Дезире Берг
источник
-2

Не читая книгу, я чувствую, что колокола Гаусса терпят неудачу, потому что они никогда не давали четкого определения «плотности вероятности»; кроме того, они никогда не дают полный набор точек кривых Лоренца, которые включают в себя одновременно общую распределенную переменную и общую совокупность, которая воспринимает первую. Если используется «плотность», необходимо объяснить, относительно какой переменной; например, если вы говорите о килограммах на литр, это относится к плотности веса, связанной с объемом. Этот шаг не описан теорией Гаусса в учебниках. Неудивительно, что молодые люди не понимают должным образом статистику.

Эмилио Хосе Чаве
источник