Вопросы с тегом «smoothing»

Методы сглаживания в анализе данных, такие как сплайны или сглаживания ядра, также сглаживают регрессию, например lowess.

78
Пример: регрессия LASSO с использованием glmnet для двоичного результата

Я начинаю баловаться с использованием glmnetс LASSO регрессией , где мой результат представляет интерес дихотомический. Я создал небольшой фрейм данных ниже: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91,...

r self-study lasso regression interpretation anova statistical-significance survey conditional-probability independence naive-bayes graphical-model r time-series forecasting arima r forecasting exponential-smoothing bootstrap outliers r regression poisson-distribution zero-inflation genetic-algorithms machine-learning feature-selection cart categorical-data interpretation descriptive-statistics variance multivariate-analysis covariance-matrix r data-visualization generalized-linear-model binomial proportion pca matlab svd time-series correlation spss arima chi-squared curve-fitting text-mining zipf probability categorical-data distance group-differences bhattacharyya regression variance mean data-visualization variance clustering r standard-error association-measure somers-d normal-distribution integral numerical-integration bayesian clustering python pymc nonparametric-bayes machine-learning svm kernel-trick hyperparameter poisson-distribution mean continuous-data univariate missing-data dag python likelihood dirichlet-distribution r anova hypothesis-testing statistical-significance p-value rating data-imputation censoring threshold
47
Как правильно использовать корреляцию Пирсона с временными рядами

У меня есть 2 временных ряда (оба гладких), которые я хотел бы взаимно коррелировать, чтобы увидеть, насколько они коррелированы. Я намерен использовать коэффициент корреляции Пирсона. Это уместно? Мой второй вопрос - я могу выбрать 2 временных ряда так, как мне нравится. т.е. я могу выбрать,...

time-series correlation pearson-r smoothing
36
Хорошие методы для графиков плотности неотрицательных переменных в R?

plot(density(rexp(100)) Очевидно, что вся плотность слева от нуля представляет собой смещение. Я хочу обобщить некоторые данные для статистиков, и я хочу избежать вопросов о том, почему неотрицательные данные имеют плотность слева от нуля. Графики для проверки рандомизации; Я хочу показать...

r pdf gamma-distribution kernel-smoothing
29
Выбор пропускной способности для оценки плотности ядра

Для однофакторных оценок плотности ядра (KDE) я использую правило Сильвермана для вычисления :часчасh 0,9 мин ( с д, яQ R / 1,34 ) × n- 0,20.9мин(sd,яQр/1,34)×N-0.2\begin{equation} 0.9 \min(sd, IQR/1.34)\times n^{-0.2} \end{equation} Каковы стандартные правила для многомерного KDE (при условии...

smoothing kernel-smoothing
28
В «Наивном байесовском», зачем беспокоиться о сглаживании Лапласа, когда в тестовом наборе есть неизвестные слова?

Я читал сегодня наивную байесовскую классификацию. Я прочитал под заголовком Оценка параметров с добавлением сглаживания 1 : Пусть ccc ссылается на класс (например, Positive или Negative), а указывает на токен или слово.www Оценка максимального правдоподобия для...

machine-learning classification text-mining naive-bayes laplace-smoothing
25
«Оценка плотности ядра» - это свертка чего?

Я пытаюсь получить лучшее понимание оценки плотности ядра. Использование определения из Википедии: https://en.wikipedia.org/wiki/Kernel_density_esvaluation#Definition ечас^( х ) = 1NΣNя = 1Кчас( х - хя)= 1н чΣNя = 1К( х - хячас)ечас^(Икс)знак равно1NΣязнак равно1NКчас(Икс-Икся)знак равно1NчасΣязнак...

r kernel-smoothing convolution
24
Можете ли вы объяснить оценку плотности окна (ядра) Parzen с точки зрения непрофессионала?

Оценка плотности окна Парцена описывается как p(x)=1n∑i=1n1h2ϕ(xi−xh)p(x)=1n∑i=1n1h2ϕ(xi−xh) p(x)=\frac{1}{n}\sum_{i=1}^{n} \frac{1}{h^2} \phi \left(\frac{x_i - x}{h} \right) где - количество элементов в векторе, - вектор, - плотность вероятности , - размерность окна Парзена, а - оконная функция.x...

pdf kernel-smoothing intuition density-estimation
21
Как спроецировать новый вектор на пространство PCA?

После выполнения анализа главных компонентов (PCA) я хочу спроецировать новый вектор на пространство PCA (т.е. найти его координаты в системе координат PCA). Я рассчитал PCA на языке R, используя prcomp. Теперь я должен быть в состоянии умножить свой вектор на матрицу вращения PCA. Должны ли...

r pca r variance heteroscedasticity misspecification distributions time-series data-visualization modeling histogram kolmogorov-smirnov negative-binomial likelihood-ratio econometrics panel-data categorical-data scales survey distributions pdf histogram correlation algorithms r gpu parallel-computing approximation mean median references sample-size normality-assumption central-limit-theorem rule-of-thumb confidence-interval estimation mixed-model psychometrics random-effects-model hypothesis-testing sample-size dataset large-data regression standard-deviation variance approximation hypothesis-testing variance central-limit-theorem kernel-trick kernel-smoothing error sampling hypothesis-testing normality-assumption philosophical confidence-interval modeling model-selection experiment-design hypothesis-testing statistical-significance power asymptotics information-retrieval anova multiple-comparisons ancova classification clustering factor-analysis psychometrics r sampling expectation-maximization markov-process r data-visualization correlation regression statistical-significance degrees-of-freedom experiment-design r regression curve-fitting change-point loess machine-learning classification self-study monte-carlo markov-process references mathematical-statistics data-visualization python cart boosting regression classification robust cart survey binomial psychometrics likert psychology asymptotics multinomial
20
Каковы правильные значения для точности и отзыва в крайних случаях?

Точность определяется как: p = true positives / (true positives + false positives) Является ли это исправить , что, как true positivesи false positivesподход 0, точность приближается к 1? Тот же вопрос для отзыва: r = true positives / (true positives + false negatives) В настоящее время я выполняю...

precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon
18
Если ядро ​​Епанечникова теоретически оптимально при оценке плотности ядра, почему оно не используется чаще?

Я читал (например, здесь ), что ядро ​​Епанечникова является оптимальным, по крайней мере в теоретическом смысле, при оценке плотности ядра. Если это правда, то почему гауссиан появляется так часто, как ядро ​​по умолчанию, или во многих случаях единственное ядро, в библиотеках оценки...

nonparametric kernel-smoothing
18
Сглаживание - когда его использовать, а когда нет?

В блоге Уильяма Бриггса есть довольно старая запись, в которой рассматриваются подводные камни сглаживания данных и передачи сглаженных данных в анализ. Ключевой аргумент, а именно: Если в момент безумия вы сглаживаете данные временных рядов и используете их в качестве входных данных для других...

time-series smoothing
17
Если переменные ширины ядра часто хороши для регрессии ядра, почему они вообще не хороши для оценки плотности ядра?

Этот вопрос вызван обсуждением в другом месте . Переменные ядра часто используются в локальной регрессии. Например, loess широко используется и работает как сглаживающая регрессия, и основан на ядре переменной ширины, который адаптируется к разреженности данных. С другой стороны, считается, что...

nonparametric smoothing kernel-smoothing loess
16
ETS () функция, как избежать прогноза не в соответствии с историческими данными?

Я работаю над алгоритмом в R для автоматизации расчета ежемесячного прогноза. Я использую, среди прочего, функцию ets () из пакета прогноза для расчета прогноза. Это работает очень хорошо. К сожалению, для какого-то определенного временного ряда результат, который я получаю, странный. Пожалуйста,...

r time-series forecasting exponential-smoothing
15
Какова интуиция за сменными образцами при нулевой гипотезе?

Тесты перестановки (также называемые тестом рандомизации, тестом повторной рандомизации или точным тестом) очень полезны и оказываются полезными, когда предположение о нормальном распределении, требуемое, например, t-testне выполняется, и когда преобразование значений путем ранжирования...

hypothesis-testing permutation-test exchangeability r statistical-significance loess data-visualization normal-distribution pdf ggplot2 kernel-smoothing probability self-study expected-value normal-distribution prior correlation time-series regression heteroscedasticity estimation estimators fisher-information data-visualization repeated-measures binary-data panel-data mathematical-statistics coefficient-of-variation normal-distribution order-statistics regression machine-learning one-class probability estimators forecasting prediction validation finance measurement-error variance mean spatial monte-carlo data-visualization boxplot sampling uniform chi-squared goodness-of-fit probability mixture theory gaussian-mixture regression statistical-significance p-value bootstrap regression multicollinearity correlation r poisson-distribution survival regression categorical-data ordinal-data ordered-logit regression interaction time-series machine-learning forecasting cross-validation binomial multiple-comparisons simulation false-discovery-rate r clustering frequency wilcoxon-mann-whitney wilcoxon-signed-rank r svm t-test missing-data excel r numerical-integration r random-variable lme4-nlme mixed-model weighted-regression power-law errors-in-variables machine-learning classification entropy information-theory mutual-information
15
Площадь под «pdf» в оценке плотности ядра в R

Я пытаюсь использовать функцию плотности в R для оценки плотности ядра. У меня возникли некоторые трудности при интерпретации результатов и сравнении различных наборов данных, так как кажется, что площадь под кривой не обязательно равна 1. Для любой функции плотности вероятности (pdf) нам нужно...

r estimation pdf kernel-smoothing auc
15
В сглаживании Кнезера-Нея, как обрабатываются невидимые слова?

Из того, что я видел, формула сглаживания Кнезера-Ней (второго порядка) так или иначе задается как P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{...

machine-learning natural-language naive-bayes smoothing language-models
14
Существует ли оптимальная пропускная способность для оценки плотности ядра производных?

Мне нужно оценить функцию плотности на основе набора наблюдений, используя оценщик плотности ядра. Основываясь на том же наборе наблюдений, мне также нужно оценить первую и вторую производные плотности, используя производные оценки плотности ядра. Пропускная способность, безусловно, будет иметь...

r nonparametric pdf kernel-smoothing
14
Когда фильтр Калмана даст лучшие результаты, чем простая скользящая средняя?

Недавно я применил фильтр Калмана на простом примере измерения положения частиц со случайной скоростью и ускорением. Я обнаружил, что фильтр Калмана работает хорошо, но потом спросил себя, в чем разница между этим и просто скользящим средним? Я обнаружил, что если я использовал окно из примерно 10...

smoothing kalman-filter
14
Сглаживание данных временных рядов

Я создаю приложение для Android, которое записывает данные акселерометра во время сна, чтобы анализировать тенденции сна и, по желанию, будить пользователя в нужное время во время легкого сна. Я уже построил компонент, который собирает и хранит данные, а также сигнализацию. Мне все еще нужно...

time-series smoothing signal-processing java