Я читаю здесь статью о статистических моделях в Википедии , и я несколько озадачен значением «непараметрических статистических моделей», а именно:
Статистическая модель является непараметрической, если множество параметров бесконечномерно. Статистическая модель является полупараметрической, если она имеет как конечномерные, так и бесконечномерные параметры. Формально, если d - размерность Θ, а n - число выборок, то и полупараметрические, и непараметрические модели имеют d → ∞ при n → ∞ . Если d / n → 0 при n → ∞ , то модель является полупараметрической; в противном случае модель является непараметрической.
Я понимаю, что если размерность (я понимаю это буквально как число параметров) модели конечна, то это параметрическая модель.
Что не имеет смысла для меня, так это то, как мы можем иметь статистическую модель, которая имеет бесконечное число параметров, так что мы можем назвать ее «непараметрической». Кроме того, даже если это имело место, почему «не», если на самом деле существует бесконечное количество измерений? И наконец, поскольку я пришел к этому с точки зрения машинного обучения, есть ли разница между этой «непараметрической статистической моделью» и, скажем, «непараметрическими моделями машинного обучения»? Наконец, какими могут быть конкретные примеры таких «непараметрических бесконечномерных моделей»?
источник
Ответы:
Джоннибойкуртис ответил, что непараметрические методы - это те, которые не предполагают распределения населения или размера выборки для генерации модели.
Модель k-NN является примером непараметрической модели, поскольку она не учитывает никаких предположений для разработки модели. Наивный байесовский или К-средний является примером параметрического, поскольку он предполагает распределение для создания модели.
Например, K-means предполагает следующее для разработки модели. Все кластеры сферические (например, гауссовские). Все оси имеют одинаковое распределение и, следовательно, дисперсию. Все кластеры имеют одинаковый размер.
Что касается K-NN, он использует полный набор обучения для прогнозирования. Он рассчитывает ближайших соседей из контрольной точки для прогнозирования. Он не предполагает распространения для создания модели.
Для получения дополнительной информации:
источник
Итак, я думаю, что вы упускаете несколько очков. Во-первых, и самое главное,
Вот простой (прикладной) учебник по некоторым непарметрическим моделям: http://www.r-tutor.com/elementary-statistics/non-parametric-methods
Исследователь может решить использовать непараметрическую модель по сравнению с параметрической моделью, скажем, непараметрическая регрессия по сравнению с линейной регрессией, потому что данные нарушают допущения, содержащиеся в параметрической модели. Поскольку вы работаете в сфере ML, я просто предполагаю, что вы никогда не изучали типичные предположения модели линейной регрессии. Вот ссылка: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php
Нарушение допущений может исказить ваши оценки параметров и в конечном итоге увеличить риск неверных выводов. Непараметрическая модель является более устойчивой к выбросам, нелинейным отношениям и не зависит от многих предположений о распределении населения, следовательно, может обеспечить более достоверные результаты при попытке сделать выводы или предсказания.
Для краткого руководства по непараметрической регрессии я рекомендую следующие слайды: http://socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf
источник
В настоящее время я прохожу курс по машинному обучению, где мы используем следующее определение непараметрических моделей: «Непараметрические модели усложняются в зависимости от размера данных».
Параметрическая модель
Чтобы увидеть, что это значит, давайте посмотрим на линейную регрессию, параметрическую модель: там мы пытаемся предсказать функцию, параметризованную в : . Размерность w не зависит от числа. наблюдений, или размер ваших данных.w∈Rd
Непараметрические модели
Вместо этого регрессия ядра пытается предсказать следующую функцию: где у нас есть точек данных, - веса, а является функцией ядра. При этом число параметров это зависит от количества точек .
То же самое относится и к ядру перцептрона:
Давайте вернемся к вашему определению и скажем, что d было числом . Если мы позволим то . Это именно то, что просит определение в Википедии. n → ∞ d → ∞αi n→∞ d→∞
Я взял функцию регрессии ядра из своих слайдов лекций и функцию перцептрона с ядрами из википедии: https://en.wikipedia.org/wiki/Kernel_method
источник