Вредны ли эксперты?

15

Я читаю «Роль шахмат в исследованиях искусственного интеллекта» ( pdf ) и, что интересно, там написано:

Опыт [...] свидетельствует о том, что вклады шахматных экспертов, хотя и в целом полезные, нельзя полностью доверять.

Хорошим примером этого является функция оценки Deep Thought. Некоторые изменения, сделанные опытными специалистами по шахматам, не принесли существенных улучшений и иногда даже отрицательно сказывались на производительности машины.

Здесь специалисты-люди вместе со своими знаниями внесли в программу свои предубеждения. Одним из способов решения этой проблемы является ограничение типа и количества экспертных входов, разрешенных в программе; в другом, имеющем почти "без знаний" машину.

  • Насколько это верно в современных исследованиях и на практике?
  • Это большая проблема или просто что-то особенное для игры в шахматы?
andreister
источник
3
В НЛП есть известная цитата на этот счет. Что-то
вроде
3
Ответ Атиллы в значительной степени правильный (с оговоркой, которую я предоставляю в качестве комментария), но я подумал, что вкратце отмечу, что в конкретном случае с шахматами было продемонстрировано, что Deep Thought играет в шахматы совсем не так, как шахматные эксперты. Deep Thought явно вычисляет много ходов заранее. Эксперты только вычисляют несколько ходов, но они также используют вычислительный ярлык для запоминания ранее опытных игр и результатов. Это запоминание проявляется через неявное распознавание образов, которое накладывает аффективный опыт на игру (некоторые движения «просто чувствуют себя хорошо»).
Майк Лоуренс

Ответы:

11

Я думаю, что это больше о решении технических проблем. Большинство успешных инженерных проектов не дублируют мнение эксперта или его специфику. Они решили проблему по-другому.

Например, стиральные машины используют другую технику, чем люди, самолеты используют другую динамику, чем птицы.

Если вы дублируете «Рассуждение эксперта», их вклад - это все . Но если вы решаете одну и ту же проблему, используя разные методы (быстрый поиск, огромный объем памяти ...), их ввод только полезен .

Атилла Озгур
источник
Хотя я и согласен с вами, эти рассуждения кажутся слишком очевидными, извините :) В статье говорится, что эксперты «представили свои предубеждения», что кажется немного большим, чем недопонимание при реализации.
andreister
Конечно, они дают хорошие и плохие отзывы, поскольку видят мир по-своему, что сильно отличается от взгляда компьютера.
Атилла Озгур
7
Я бы добавил, что нужно учитывать, что экспертиза часто настолько автоматизирована, что становится непрозрачной для сознательного экзамена. Таким образом, эксперты часто могут не иметь вербальной осведомленности о шагах обработки информации, которые они предпринимают для достижения экспертной эффективности.
Майк Лоуренс
3

Такие проблемы распространены в различных областях, требующих суждения.

В главе « Прогнозирование и корректировка на основе суждений» в «Makridakis», «Wheelwright» и «Hyndman Forecasting: методы и приложения» есть похожие истории экспертного суждения, которые не всегда работают даже в очень простых системах.

Есть статья (Dawes et al. (1989) "Clinical vs Actuarial Judgment" Science , Vol. 243, № 4899, p1668-74) о неудачах экспертного суждения в медицинской сфере против того, что он называет "актуарными" методами - в основном довольно просто статистические модели.

С другой стороны, в актуарной литературе есть статья о «шумности» и непоследовательности экспертного суждения в конкретной проблеме в той области, где экспертное суждение часто рассматривается его практиками как первостепенное значение.

Макридакис и др. Обсуждают неудачи экспертного суждения во многих областях, так как они связаны с прогнозированием и содержат немало ценных советов.

И так далее. Когнитивные искажения имеются в большом количестве, и человеческие эксперты страдают от них наряду со всеми остальными.

Glen_b - Восстановить Монику
источник
3

Вопрос о том, вредны ли эксперты, не является проблемой, ограниченной игрой в шахматы.

В литературе интересный вопрос, касающийся оптимальной структуры комитетов по денежно-кредитной политике (MPC), заключается в том, должны ли комитеты включать внешних экспертов, которые не являются штатными сотрудниками центрального банка.

Чтобы представить это в перспективе, сначала рассмотрим MPC Банка Англии. Он состоит из пяти внутренних исполнительных членов банка и четырех внешних экспертов. С другой стороны, в Федеральном резервном банке работает комитет, состоящий исключительно из сотрудников банка.

Внешние эксперты включены в MPC Банка Англии, поскольку они, как полагают, привносят опыт и дополнительную информацию в информацию, полученную в Банке Англии.

Итак, какой дизайн MPC лучше? Эксперты или эксперты?

Что ж, эта область исследований все еще активна и недавно была исследована Hansen & McMahon (2010) . Я предлагаю ознакомиться со ссылками, упомянутыми в этой статье, для дальнейшего чтения по этому вопросу "комитетов экспертов".

Это большая (важная) проблема? Учитывая влияние, которое решение MPC может оказать на экономику, я бы сказал, что это довольно важная проблема!

Наконец, я должен упомянуть, что решения по денежно-кредитной политике теоретически могут быть делегированы компьютеру. Например, компьютер может быть запрограммирован для реализации, скажем, простого правила денежно-кредитной политики ; например, один из обязательств. Это удалит экспертные данные после того, как правило денежной политики будет запрограммировано в компьютер. Использование компьютера в денежно-кредитной политике упоминается в Svensson (1999) .

Ссылка : Стивен Элиот Хансен и Майкл МакМэхон, 2010. «Что внешние эксперты приносят в комитет? Данные Банка Англии», «Working Working Papers 1238», Департамент экономики и бизнеса, Университет Помпеу Фабра.

Ларс Э.О. Свенссон, 1999. «Как проводить денежно-кредитную политику в эпоху стабильности цен?», Слушания, Федеральный резервный банк Канзас-Сити, стр. 195-259.

Грэм Уолш
источник
3

Я думаю, что ключ в последовательности. Эксперт обладает не только определенными знаниями, но и системой, в которой действуют эти знания. У них есть личность, общая стратегия, в рамках которой их тактика находится и развивается.

В некотором смысле компьютерная программа, играющая в шахматы, - это монстр Франкенштейна, созданный из коллажей из разных тел (программистов, экспертов и т. Д.). Поэтому неудивительно, что какой-либо совет эксперта не вписывается в существующую систему.

Я согласен с другими комментариями, что эксперты могут не знать, как они делают то, что они делают. В этом случае, будучи человеком, их сознательный разум составляет правдоподобную историю о том, почему они приняли конкретное решение. Но я все еще думаю, что советы экспертов для команды программистов всегда вне контекста (то есть несовместимы с контекстом дизайна и истории программы).

РЕДАКТИРОВАТЬ: Здесь также может быть уклон подкрепления. Я не могу найти хороших ссылок для объяснения смещения подкрепления, но, насколько я понимаю, термин - это эффект, который вы получаете, когда обновляете (перестраиваете) контролируемую модель, используя предыдущие результаты модели - обычно косвенно - в качестве целей. Это похоже на предвзятость подтверждения, но включает в себя уровень косвенности. У человеческих экспертов будут свои Усиления Усиления, которые могут повлиять на вещи.

Wayne
источник
Я не уверен, что понимаю ваше последнее предложение, которое выглядит интересным. Не могли бы вы уточнить?
Мишель
@Michelle: Программа, которую мы надеемся улучшить с помощью отраслевого совета, уже имеет собственный контекст (оригинальный дизайн, программисты, предыдущие эксперты и т. Д.). Совет, который мы пытаемся включить, исходит из другого контекста и может не сработать - может даже не соответствовать - контексту, который уже есть в программе. Моим последним утверждением была попытка сказать, что на самом деле маловероятно, что новый вклад будет работать в контексте (программы), который уже установлен.
Уэйн