Выявление приоры у экспертов

Как мне получить предварительные распределения от экспертов при подборе байесовской модели?

Джон Кук дает несколько интересных рекомендаций. В основном, получите от экспертов процентили / квантили (а не средние или непонятные параметры шкалы!) И подберите им соответствующее распределение.

http://www.johndcook.com/blog/2010/01/31/parameters-from-percentiles/

В настоящее время я изучаю метод пробной рулетки для моей магистерской диссертации как метод выявления. Это графический метод, который позволяет эксперту представить ее субъективное распределение вероятностей для неопределенной величины.

Эксперты получают счетчики (или то, что можно представить как фишки казино), представляющие равные плотности, общая сумма которых составит до 1 - например, 20 фишек вероятности = 0,05 каждая. Затем они получают указание расположить их на предварительно напечатанной сетке, где ячейки представляют интервалы результатов. Каждый столбец будет представлять их веру в вероятность получения соответствующего результата бина.

Пример: ученика просят предсказать оценку на будущем экзамене. На рисунке ниже показана завершенная сетка для выявления субъективного распределения вероятностей. Горизонтальная ось сетки показывает возможные ячейки (или интервалы отметок), которые студент должен был учесть. Числа в верхней строке записывают количество фишек на бин. Заполненная сетка (с использованием в общей сложности 20 фишек) показывает, что учащийся полагает, что с вероятностью 30% оценка будет между 60 и 64,9.

Некоторые причины в пользу использования этой техники:

1. На многие вопросы о форме субъективного распределения вероятностей эксперта можно ответить без необходимости задавать длинный ряд вопросов эксперту - статистик может просто считывать плотность выше или ниже любой заданной точки или между любыми двумя точками.

2. Во время процесса извлечения эксперты могут перемещаться по чипам, если они не удовлетворены тем, как они их изначально разместили - таким образом, они могут быть уверены в конечном результате, который будет представлен.

3. Это заставляет эксперта быть последовательным в наборе вероятностей, которые предоставляются. Если используются все чипы, вероятности должны быть равны единице.

4. Графические методы дают более точные результаты, особенно для участников со скромным уровнем статистической сложности.

Выявление приоры - сложное дело.

Статистические методы для определения вероятностных распределений и вероятностных распределений являются довольно хорошими практическими руководствами для предварительного выявления. Процесс в обеих статьях изложен следующим образом:

1. справочная информация и подготовка;
2. выявление и подбор эксперта (ов);
3. мотивация и обучение специалиста (ов);
4. структурирование и декомпозиция (как правило, решение точно, какие переменные следует выявить, и как вывести совместные распределения в многомерном случае);
5. само выявление.

Конечно, они также рассматривают, как выявление приводит к информации, которая может соответствовать или иным образом определять распределения (например, в байесовском контексте, бета-распределения ), но, что очень важно, они также устраняют распространенные ошибки при моделировании экспертных знаний (закрепление, узкие и мелкохвостые распределения и т. д.).

Я бы рекомендовал позволить эксперту по предмету указать среднее или способ предыдущего, но я не стесняюсь корректировать то, что они дают в качестве шкалы . Большинство людей не очень хорошо умеют определять дисперсию.

И я бы точно не позволил эксперту определить семейство распределения, в частности толщину хвоста. Например, предположим, что вам нужно симметричное распределение для априора. Никто не может так точно определить свое субъективное убеждение, чтобы отличить нормальное распределение, скажем, от распределения Стьюдента с 5 степенями свободы. Но в некоторых контекстах t (5) prior намного более устойчив, чем обычный априор. Короче говоря, я думаю, что выбор толщины хвоста - это технический статистический вопрос, а не количественная оценка экспертного мнения.

Этот интересный вопрос является предметом некоторых исследований в ACERA . Ведущий исследователь - Эндрю Спирс-Бридж, и его работа в высшей степени способна к Google :)