Статистика и большие данные

62
Байесовцы: рабы с вероятностной функцией?

В своей книге «Вся статистика» профессор Ларри Вассерман приводит следующий пример (11.10, стр. 188). Предположим , что мы имеем плотность такой , что , где является известным (неотрицательное интегрируемой) функции и нормализация постоянной является неизвестной .еffе( х ) = сграмм( х...

62
Как на самом деле построить образец дерева из randomForest :: getTree ()? [закрыто]

Кто-нибудь получил библиотеку или предложения кода о том, как на самом деле построить пару образцов деревьев из: getTree(rfobj, k, labelVar=TRUE) (Да, я знаю, что вы не должны делать это оперативно, RF - это черный ящик и т. Д. И т. Д. Я хочу визуально проверить работоспособность дерева, чтобы...

62
В чем разница между нейронной сетью и сетью глубоких убеждений?

У меня складывается впечатление, что когда люди обращаются к сети «глубокого убеждения», это, по сути, нейронная сеть, но очень большая. Правильно ли это или сеть глубокого убеждения также подразумевает, что сам алгоритм отличается (т. Е. Нет нейронной сети с прямой связью, но, возможно, что-то с...

62
Почему алгоритм кластеризации k-средних использует только евклидову метрику расстояния?

Есть ли конкретная цель с точки зрения эффективности или функциональности, почему алгоритм k-средних не использует, например, косинусное (дис) сходство в качестве метрики расстояния, а может использовать только евклидову норму? В целом, будет ли метод K-средних соответствовать и быть правильным,...

61
Где вырезать дендрограмму?

Иерархическая кластеризация может быть представлена ​​дендрограммой. Вырезание дендрограммы на определенном уровне дает набор кластеров. Резка на другом уровне дает другой набор кластеров. Как бы вы выбрали, где вырезать дендрограмму? Есть ли что-то, что мы могли бы считать оптимальной точкой? Если...

61
В чем разница между «вложенной» и «не вложенной» моделью?

В литературе по иерархическим / многоуровневым моделям я часто читал о «вложенных моделях» и «не вложенных моделях», но что это значит? Может ли кто-нибудь дать мне несколько примеров или рассказать о математических последствиях этой...

61
Почему только три раздела? (обучение, проверка, тестирование)

Когда вы пытаетесь подогнать модели к большому набору данных, общий совет - разбить данные на три части: набор данных обучения, проверки и тестирования. Это связано с тем, что модели обычно имеют три «уровня» параметров: первый «параметр» - это класс модели (например, SVM, нейронная сеть, случайный...

61
Какую проблему решают методы усадки?

Курортный сезон дал мне возможность свернуться калачиком рядом с огнем вместе с «Элементами статистического обучения» . Исходя из (часто) точки зрения эконометрики, у меня возникают проблемы с пониманием использования методов усадки, таких как регрессия гребня, лассо и регрессия с наименьшим углом...

61
Отношение правдоподобия к фактору Байеса

Я довольно евангелист в отношении использования отношений правдоподобия для представления объективных доказательств за / против данного явления. Однако недавно я узнал, что байесовский фактор выполняет аналогичную функцию в контексте байесовских методов (т.е. субъективный априор объединяется с...

61
Почему Джефрис полезен ранее?

Я понимаю, что априор Джеффриса инвариантен при повторной параметризации. Однако я не понимаю, почему это свойство желательно. Почему вы не хотите, чтобы предыдущий изменялся при смене...

61
Как и почему работают нормализация и масштабирование функций?

Я вижу, что многие алгоритмы машинного обучения работают лучше при средней отмене и выравнивании ковариации. Например, нейронные сети имеют тенденцию сходиться быстрее, а K-Means обычно дает лучшую кластеризацию с предварительно обработанными функциями. Я не вижу, что интуиция за этими этапами...

61
Какова связь между кластеризацией k-средних и PCA?

Обычной практикой является применение PCA (анализ главных компонентов) перед алгоритмом кластеризации (таким как k-средних). Считается, что это улучшает результаты кластеризации на практике (снижение шума). Однако я заинтересован в сравнительном и углубленном изучении взаимосвязи между PCA и...

61
Кто создал первую стандартную нормальную таблицу?

Я собираюсь представить стандартную нормальную таблицу в своем классе вводной статистики, и это заставило меня задуматься: кто создал первую стандартную нормальную таблицу? Как они это делали до появления компьютеров? Мне страшно подумать, что кто-то перебор вычисляет тысячу римановых сумм...

61
Что означает «Ученые восстают против статистической значимости»? (Комментарий в природе)

Название комментария в природе Ученые восстают против статистической значимости начинается с: Валентин Амрейн, Сандер Гренландия, Блейк МакШейн и более 800 подписантов призывают прекратить раздутые заявления и исключить, возможно, важные последствия. и позже содержит такие утверждения, как: Опять...

60
Каковы недостатки использования лассо для выбора переменных для регрессии?

Из того, что я знаю, использование лассо для выбора переменных решает проблему коррелированных входных данных. Кроме того, поскольку он эквивалентен регрессии наименьшего угла, он не медленный в вычислительном отношении. Тем не менее, многие люди (например, те, кого я знаю, занимаюсь...

60
Как я могу гарантировать, что данные тестирования не попадут в данные обучения?

Предположим, у нас есть кто-то, строящий прогностическую модель, но он не обязательно хорошо разбирается в надлежащих статистических или машинных принципах обучения. Может быть, мы помогаем этому человеку, когда он учится, или, возможно, этот человек использует какой-то пакет программного...

60
Почему включение широты и долготы в GAM учитывает пространственную автокорреляцию?

Я произвел обобщенные аддитивные модели для обезлесения. Чтобы учесть пространственную автокорреляцию, я включил широту и долготу в качестве сглаженного члена взаимодействия (т.е. s (x, y)). Я основал это на чтении многих работ, где авторы говорят, что «для учета пространственной автокорреляции...

60
Объясните комикс из желейных бобов xkcd: Что делает его смешным?

Я вижу, что один из двадцати общих тестов, которые они выполняют, , поэтому они ошибочно полагают, что во время одного из двадцати тестов результат значительный ( ).0,05 = 1 / 20p<0.05p<0.05p < 0.050.05=1/200.05=1/200.05 = 1/20 комикс желейных бобов xkcd - "Значительный" Название:...