ПРЕДИСЛОВИЕ: Меня не волнуют преимущества использования отсечки или нет, или как выбрать отсечение. Мой вопрос чисто математический и из любопытства. Логистическая регрессия моделирует апостериорную условную вероятность класса A по сравнению с классом B, и она соответствует гиперплоскости, где...
Кто-нибудь знает, было ли описано следующее (и так или иначе), если это звучит как правдоподобный метод изучения прогностической модели с очень несбалансированной целевой переменной? Часто в CRM-приложениях интеллектуального анализа данных мы будем искать модель, в которой положительное событие...
Я читал линейные модели Faraway из учебника с R (1-е издание) в прошлые выходные. У Faraway была глава под названием «Статистическая стратегия и модель неопределенности». Он описал (стр 158) , что он искусственно созданный некоторые данные , используя очень сложную модель, то он попросил своих...
Я заинтересован в использовании квантильной регрессии для некоторых из моих моделей, но хотел бы получить некоторые разъяснения о том, что я могу достичь с помощью этой методологии. Я понимаю , что я могу получить более надежный анализ IV / DV отношений , особенно когда сталкивается с выбросами и...
Предположим, у меня есть 80/20 раскол между наблюдениями моделирования / валидации. Я приспособил модель к набору данных моделирования, и меня устраивает ошибка, которую я вижу в наборе данных проверки. Прежде чем развернуть мою модель для оценки будущих наблюдений, уместно ли объединить валидацию...
Я делаю регрессию, используя случайные леса для прогнозирования цен на основе нескольких атрибутов. Код написан на Python с использованием Scikit-learn. Как вы решаете, должны ли вы преобразовывать свои переменные, используя exp/ logперед тем, как использовать их для соответствия регрессионной...
В некоторых кругах слово «усадка» часто встречается. Но что такое усадка, то здесь нет четкого определения. Если у меня есть временной ряд (или какая-либо коллекция наблюдений какого-либо процесса), как я могу измерить эмпирическую усадку ряда? О каких типах теоретической усадки я могу говорить?...
Я имею в виду вопрос и его ответы: как сравнить (вероятностную) прогностическую способность моделей, разработанных на основе логистической регрессии? @ Clark Chong и ответы / комментарии @Frank Harrell. и к вопросу о Степени свободы в тесте Хосмера-Лемешоуχ2χ2\chi^2 и комментариях. Я прочитал...
При использовании естественных (то есть ограниченных) кубических сплайнов созданные базовые функции являются в высокой степени коллинеарными, и при использовании в регрессии, по-видимому, они дают очень высокую статистику VIF (дисперсионный коэффициент инфляции), сигнализируя о...
Я моделирую событие с двумя исходами, а и б. Я создал модель, которая оценивает вероятность того, что a или b произойдут (то есть модель рассчитает, что a произойдет с вероятностью 40%, а b произойдет с вероятностью 60%). У меня есть большая запись результатов испытаний с оценками из модели. Я...
Я пытаюсь приспособить простую модель степенного закона к набору данных, который выглядит следующим образом: mydf: rev weeks 17906.4 1 5303.72 2 2700.58 3 1696.77 4 947.53 5 362.03 6 Цель состоит в том, чтобы пропустить линию электропередачи и использовать ее для прогнозирования revзначений на...
Предпосылки: Здесь есть несколько замечательных вопросов / ответов о том, как калибровать модели, которые предсказывают вероятности того или иного исхода. Например Оценка Бриера и ее разложение на разрешение, неопределенность и надежность . Калибровочные графики и изотоническая регрессия . Эти...
У меня есть 2 общих / более теоретических вопроса. 1) Мне интересно, как SVM обрабатывают переменные взаимодействия при построении прогностических моделей. Например, если у меня есть две функции f1 и f2, а цель зависит от f1, f2 и, скажем, f1 * f2 (или некоторой функции h (f1, f2)), подходит ли SVM...
В сопряженном байесовском анализе гауссовского распределения Кевина Мерфи он пишет, что апостериорное предиктивное распределение p(x∣D)=∫p(x∣θ)p(θ∣D)dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta где DDD - данные, к которым подходит модель, а xxx - невидимые...
Предположим, я строю прогностическую модель, в которой я пытаюсь предсказать несколько событий (например, бросок кубика и бросок монеты). Большинство известных мне алгоритмов работают только с одной целью, поэтому мне интересно, существует ли стандартный подход к такого рода вещам. Я вижу два...
Функциональное проектирование часто является важным компонентом машинного обучения (оно активно использовалось для победы в KDD Cup в 2010 году ). Тем не менее, я считаю, что большинство технических характеристик техники либо уничтожить любое интуитивное значение основных функций или очень...
Примечание: этот вопрос является репостом, так как мой предыдущий вопрос пришлось удалить по юридическим причинам. Сравнивая PROC MIXED из SAS с функцией lmeиз nlmeпакета в R, я наткнулся на некоторые довольно запутанные различия. Более конкретно, степени свободы в разных тестах различаются между...
В настоящее время я работаю над созданием прогнозирующей модели для двоичного результата на наборе данных с ~ 300 переменными и 800 наблюдениями. Я много читал на этом сайте о проблемах, связанных со ступенчатой регрессией, и почему бы не использовать ее. Я изучал регрессию LASSO и ее способность...
Я ищу модель между запасами энергии и погодой. У меня есть цена на MWatt, купленная между странами Европы, и много ценностей на погоду (файлы Grib). Каждые часы на срок 5 лет (2011-2015). Цена / день Это в день на один год. У меня это по часам на 5 лет. Пример погоды 3Dscatterplot, в кельвинах, на...
Попытка рассчитать количество посещений из демографии и обслуживания. Данные очень искажены. Гистограммы: qq графики (слева - лог): m <- lm(d$Visits~d$Age+d$Gender+city+service) m <- lm(log(d$Visits)~d$Age+d$Gender+city+service) cityи serviceявляются факторными переменными. Я получаю низкое...