Статистика и большие данные

47
Оптимальное количество сгибов в перекрестной проверке с

Помимо соображений вычислительной мощности, есть ли основания полагать, что увеличение количества сгибов при перекрестной проверке приводит к лучшему выбору / проверке модели (т. Е. Чем больше сгибов, тем лучше)? Если доводить аргумент до крайности, обязательно ли перекрестная проверка по принципу...

47
AIC, BIC, CIC, DIC, EIC, FIC, GIC, HIC, IIC - Могу ли я использовать их взаимозаменяемо?

На стр. 34 из его PRNN Брайан Рипли комментирует, что «АИК был назван Акаике (1974) как« Информационный критерий », хотя, как представляется, принято считать, что А означает Акаике». Действительно, при введении статистики AIC Akaike (1974, с.719) объясняет, что "IC stands for information criterion...

47
Какие есть варианты градиентного спуска?

Градиентный спуск имеет проблему застревания в локальных минимумах. Нам нужно запустить экспоненциальное время градиентного спуска, чтобы найти глобальные минимумы. Кто-нибудь может рассказать мне о каких-либо альтернативах градиентного спуска, применяемых в обучении нейронных сетей, наряду с их...

47
Интерпретация остаточного и нулевого отклонения в GLM R

Как интерпретировать нулевое и остаточное отклонение в GLM в R? Мол, мы говорим, что чем меньше AIC, тем лучше. Существует ли аналогичная и быстрая интерпретация отклонений? Нулевое отклонение: 1146,1 на 1077 степеней свободы Остаточное отклонение: 4589,4 на 1099 степеней свободы AIC:...

47
Интерпретация QQplot - есть ли эмпирическое правило, чтобы принять решение о ненормальности?

Я прочитал достаточно потоков на QQplots здесь, чтобы понять, что QQplot может быть более информативным, чем другие тесты нормальности. Тем не менее, я неопытен в интерпретации QQplots. Я много гуглил; Я нашел много графиков ненормальных QQplots, но нет четких правил, как их интерпретировать, кроме...

47
Классовый дисбаланс в контролируемом машинном обучении

Это вопрос в целом, не относящийся к какому-либо методу или набору данных. Как мы решаем проблему дисбаланса классов в обучении с использованием контролируемой машины, где число 0 составляет около 90%, а число 1 составляет около 10% в вашем наборе данных. Как оптимально обучить классификатор. Одним...

47
Как правильно использовать корреляцию Пирсона с временными рядами

У меня есть 2 временных ряда (оба гладких), которые я хотел бы взаимно коррелировать, чтобы увидеть, насколько они коррелированы. Я намерен использовать коэффициент корреляции Пирсона. Это уместно? Мой второй вопрос - я могу выбрать 2 временных ряда так, как мне нравится. т.е. я могу выбрать,...

47
Почему мы минимизируем отрицательную вероятность, если она эквивалентна максимизации вероятности?

Этот вопрос меня давно озадачил. Я понимаю использование 'log' в максимизации вероятности, поэтому я не спрашиваю о 'log'. Мой вопрос таков: поскольку максимизация логарифмической вероятности эквивалентна минимизации «отрицательной логарифмической вероятности» (NLL), почему мы изобрели эту NLL?...

47
Как применить стандартизацию / нормализацию к обучению и тестам, если целью является прогнозирование?

Преобразовываю ли я все свои данные или сгибы (если применяется CV) одновременно? например (allData - mean(allData)) / sd(allData) Преобразовать ли наборы поездов и наборы тестов отдельно? например (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Или я...

47
С чего начать со статистики для опытного разработчика

В первой половине 2015 года я прошел курс обучения машинному обучению (автор Andrew Ng, курс GREAT). И изучил основы машинного обучения (линейная регрессия, логистическая регрессия, SVM, нейронные сети ...) Кроме того, я был разработчиком в течение 10 лет, поэтому изучение нового языка...

47
Можно ли сделать простую линейную регрессию без использования графиков и линейной алгебры?

Я полностью слепой и пришел из программирования. Я пытаюсь научиться машинному обучению, и для этого мне сначала нужно узнать о линейной регрессии. Все объяснения в Интернете, которые я нахожу об этом предмете, наносят данные в первую очередь. Я ищу практическое объяснение линейной регрессии,...

46
Понимание регрессий - роль модели

Как может быть полезна модель регрессии, если вы не знаете функцию, для которой вы пытаетесь получить параметры? Я видел исследование, в котором говорилось, что матери, которые кормили своих детей грудью, реже страдают диабетом. Исследование было проведено на основе опроса около 1000 матерей и...

46
Как рассчитать псевдо- из логистической регрессии R?

Отчет Кристофера Мэннинга по логистической регрессии в R показывает логистическую регрессию в R следующим образом: ced.logr <- glm(ced.del ~ cat + follows + factor(class), family=binomial) Некоторый вывод: > summary(ced.logr) Call: glm(formula = ced.del ~ cat + follows + factor(class), family...

46
Процент перекрывающихся областей двух нормальных распределений

Мне было интересно, учитывая два нормальных распределения с и \ sigma_2, \ \ mu_2σ1, μ1σ1, μ1\sigma_1,\ \mu_1σ2, μ2σ2, μ2\sigma_2, \ \mu_2 Как я могу рассчитать процент перекрывающихся регионов двух распределений? Я полагаю, что у этой проблемы есть определенное имя, знаете ли вы какое-либо...

46
Интуиция позади, почему парадокс Штейна применим только в измерениях

Пример Стейна показывает, что оценка максимального правдоподобия nnn нормально распределенных переменных со средними значениями μ1,…,μnμ1,…,μn\mu_1,\ldots,\mu_n и дисперсиями 111 недопустима (при функции квадрата потерь) тогда и только тогда, когда n≥3n≥3n\ge 3 . Для ясного доказательства см....

46
В чем разница между оценкой и прогнозом?

Например, у меня есть данные о прошлых потерях, и я рассчитываю экстремальные квантили (величина риска или вероятная максимальная потеря). Полученные результаты предназначены для оценки потерь или их прогнозирования? Где можно провести черту? Я...

46
Интерпретация логарифмически преобразованного предиктора и / или ответа

Мне интересно, имеет ли это значение при интерпретации того, являются ли логически преобразованными только зависимые, как зависимые, так и независимые, или только независимые переменные. Рассмотрим случай log(DV) = Intercept + B1*IV + Error Я могу интерпретировать IV как процентное увеличение, но...

46
Подводные камни в анализе временных рядов

Я только начинаю самообучаться в анализе временных рядов. Я заметил, что есть ряд потенциальных ловушек, которые не применимы к общей статистике. Итак, опираясь на то, что общие статистические грехи? , Я бы хотел спросить: Каковы общие подводные камни или статистические грехи в анализе временных...