Лучший способ оценить методы оценки PDF

Я хочу проверить некоторые из моих идей, которые, на мой взгляд, лучше, чем все, что я видел. Я могу ошибаться, но я хотел бы проверить свои идеи и побороть мои сомнения с помощью более определенных наблюдений.

Я думал сделать следующее:

1. Аналитически определить набор распределений. Некоторые из них простые, такие как Gaussian, Uniform или Tophat. Но некоторые из них должны быть трудными и сложными, такими как распределение Симпсонов.
2. Реализуйте программное обеспечение на основе этих аналитических дистрибутивов и используйте их для генерации некоторых образцов.
3. Поскольку распределения определены аналитически, я уже по определению знаю их настоящие PDF-файлы. Это замечательно.
4. Затем я протестирую следующие методы оценки PDF на примере выше:
   • Существующие методы оценки PDF (например, KDE с различными ядрами и пропускной способностью).
   • Моя собственная идея, которую, я думаю, стоит попробовать.
5. Затем я буду измерять погрешность оценок по сравнению с истинными PDF-файлами.
6. Тогда я буду лучше знать, какой из методов оценки PDF хорош.

Мои вопросы:

• Q1: есть ли улучшения по сравнению с моим планом выше?
• В2: Мне сложно аналитически определить много истинных PDF-файлов. Есть ли уже исчерпывающий список многих аналитически определенных настоящих PDF-файлов с различными сложностями (включая очень сложные), которые я могу повторно использовать здесь?

A2: Вы можете проверить свои методы в 1D на следующем наборе тестов .

• $L^p$

• A2. Вас интересуют только 1-D PDF-файлы или вы планируете протестировать многомерный случай? Что касается набора тестовых файлов pdf, в прошлом я задавал несколько связанный с этим вопрос с целью тестирования алгоритмов MCMC , но я не нашел ничего похожего на устоявшийся набор pdf.

Если у вас достаточно времени и вычислительных ресурсов, вы можете рассмотреть возможность проведения своего рода состязательного тестирования вашей идеи:

• Определите очень гибкое параметрическое семейство PDF-файлов (например, большую смесь нескольких известных PDF-файлов) и перемещайтесь по пространству параметров смеси с помощью некоторого невыпуклого метода глобальной оптимизации (*), чтобы минимизировать производительность вашего метода и максимизировать производительность какого-либо другого современного метода оценки плотности (и, возможно, наоборот). Это будет сильным испытанием силы / слабости вашего метода.

Наконец, требование быть лучше, чем все другие методы, является чрезмерно высокой планкой; не должно быть никакого принципа бесплатного обеда на работе (любой алгоритм имеет некоторые предварительные предположения, такие как гладкость, масштаб длины и т. д.). Чтобы ваш метод мог внести ценный вклад, вам нужно только показать, что существуют режимы / области, представляющие общий интерес, в которых ваш алгоритм работает лучше (приведенный выше тест на состязание может помочь вам найти / определить такой домен).

(*) Поскольку ваша метрика производительности является стохастической (вы будете оценивать ее с помощью выборки по методу Монте-Карло), вы также можете проверить этот ответ на предмет оптимизации шумных, дорогостоящих объективных функций.

Q1: есть ли улучшения по сравнению с моим планом выше?

Это зависит от. Остатки распределения смеси часто возникают в результате глупых действий, таких как указание ненужного распределения смеси в качестве модели данных для начала. Итак, мой собственный опыт подсказывает, по крайней мере, указать столько же терминов распределения смеси в выходных данных, сколько в модели. Кроме того, выходные PDF-файлы в отличие от PDF-файлов в модели. Поиск по умолчанию в Mathematica включает смешанные распределения с двумя терминами и может быть задан как большее число.

Вопрос 2: Существует ли уже полный список многих аналитически определенных настоящих PDF-файлов с различными сложностями (включая очень сложные), которые я могу повторно использовать здесь?

Это список из процедуры FindDistribution Mathematica :

Возможные непрерывные распределения для TargetFunctions являются: BetaDistribution, Распределение Коши, ChiDistribution, ChiSquareDistribution, ExponentialDistribution, ExtremeValueDistribution, FrechetDistribution, гамма-распределение, GumbelDistribution, HalfNormalDistribution, InverseGaussianDistribution, Распределение Лапласа, LevyDistribution, LogisticDistribution, LogNormalDistribution, MaxwellDistribution, NormalDistribution, Распределение Парето, Распределение Рэлея, StudentTDistribution, UniformDistribution, Распределение Вейбулла Распределение гистограммы.

Возможные дискретные распределения для функций TargetFunctions: BenfordDistribution, BinomialDistribution, BorelTannerDistribution, DiscreteUniformDistribution, GeometricDistribution, LogSeriesDistribution, NegativeBinomialDistribution, PascalDistribution, PoissonDistribution, WaringYuleDistribution, Distististististipip. Zip

Внутренний информационный критерий использует байесовский информационный критерий вместе с априорными значениями для TargetFunctions.