Вопросы с тегом «normalization»

18
Что означает «нормализация» и как проверить, что выборка или распределение нормализованы?

У меня есть вопрос, в котором он просит проверить, нормализовано ли равномерное распределение ( Uniform(a,b)Uniform(a,b){\rm Uniform}(a,b) ). С одной стороны, что означает для любого распределения быть нормализованным? И второе: как нам проверить, нормализовано ли распределение? Я понимаю, вычисляя...

17
«Нормализующие» переменные для SVD / PCA

Предположим, у нас есть NNN измеримых переменных (a1,a2,…,aN)(a1,a2,...,aN)(a_1, a_2, \ldots, a_N) , мы выполняем ряд измерений M>NM>NM > N , а затем хотим выполнить разложение по сингулярным значениям результатов, чтобы найти оси наибольшей дисперсии для MMM точек в NNN мерном пространстве....

16
Нормализация до перекрестной проверки

Имеют ли нормализующие данные (чтобы иметь нулевое среднее значение и единичное стандартное отклонение) до выполнения повторной перекрестной проверки в k-кратном порядке какие-либо негативные последствия, такие как переоснащение? Примечание: это для ситуации, когда #cases> total #features Я...

15
Как работает квантильная нормализация?

В исследованиях экспрессии генов с использованием микрочипов данные интенсивности должны быть нормализованы, чтобы можно было сравнивать интенсивности между индивидуумами, между генами. Концептуально и алгоритмически, как работает «квантильная нормализация», и как бы вы объяснили это не...

15
Регуляризация и масштабирование функций в онлайн-обучении?

Допустим, у меня есть классификатор логистической регрессии. В обычном пакетном обучении я бы использовал термин регуляризатор, чтобы предотвратить переоснащение и сохранить вес небольшим. Я также нормализую и масштабирую свои функции. В режиме онлайн обучения я получаю непрерывный поток данных. Я...

14
Масштабирование функций и нормализация среднего

Я прохожу курс машинного обучения Эндрю Нг и не смог получить правильный ответ на этот вопрос после нескольких попыток. Пожалуйста, помогите решить это, хотя я прошел через уровень. Предположим, что ученики взяли какой-то класс, и у класса был промежуточный экзамен и итоговый экзамен. Вы собрали...

13
Могу ли я использовать CLR (центрированное преобразование логарифмического отношения) для подготовки данных для PCA?

Я использую скрипт. Это для основных записей. У меня есть датафрейм, который показывает различные элементные композиции в столбцах на заданной глубине (в первом столбце). Я хочу провести с ним PCA, и меня не устраивает метод стандартизации, который я должен выбрать. Кто-нибудь из вас использовал...

13
Какова цель нормализации строк

Я понимаю причину нормализации столбцов, поскольку она приводит к одинаковому взвешиванию объектов, даже если они не измеряются в одном и том же масштабе - однако часто в литературе ближайшего соседа столбцы и строки нормализуются. Что такое нормализация строк для / почему нормализация строк? В...

13
Почему норма партии имеет обучаемый масштаб и сдвиг?

Насколько я понимаю, пакетная норма нормализует все входные объекты слоя до единичного нормального распределения, N( μ = 0 , σ= 1 )N(μзнак равно0,σзнак равно1)\mathcal{N}(\mu=0,\sigma=1) . Среднее значение и дисперсия оцениваются путем измерения их значений для текущей мини-партии.μ , σ2μ,σ2\mu,...

12
Надежная (непараметрическая) мера, такая как коэффициент вариации - IQR / медиана или альтернатива?

Для данного набора данных разброс часто рассчитывается либо как стандартное отклонение, либо как IQR (межквартильный диапазон). Принимая во внимание, что a standard deviationнормализовано (z-показатели и т. Д.), И поэтому его можно использовать для сравнения разброса по двум различным популяциям,...

12
Как нормализовать данные неизвестного распределения

Я пытаюсь найти наиболее подходящее характеристическое распределение данных повторных измерений определенного типа. По сути, в моей области геологии мы часто используем радиометрическое датирование минералов из образцов (кусков породы), чтобы выяснить, как давно произошло событие (камень охлажден...

12
Как выполнить вменение значений в очень большом количестве точек данных?

У меня очень большой набор данных и около 5% случайных значений отсутствуют. Эти переменные связаны друг с другом. В следующем примере набор данных R - просто игрушечный пример с фиктивными коррелированными данными. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000,...

12
Алгоритм нормализации данных временных рядов в реальном времени?

Я работаю над алгоритмом, который берет вектор самой последней точки данных из ряда потоков датчиков и сравнивает евклидово расстояние с предыдущими векторами. Проблема заключается в том, что разные потоки данных поступают от совершенно разных датчиков, поэтому простое евклидово расстояние резко...

12
Матричная форма обратного распространения с нормализацией партии

Нормализация партии была приписана существенным улучшениям производительности в глубоких нейронных сетях. Много материала в интернете показывает, как реализовать его на основе активации за активацию. Я уже реализовал backprop, используя матричную алгебру, и учитывая, что я работаю на языках...

11
R / mgcv: Почему тензорные продукты te () и ti () производят разные поверхности?

mgcvПакет Rимеет две функции для установки взаимодействия Тензор продукта: te()и ti(). Я понимаю основное разделение труда между ними (подгонка нелинейного взаимодействия против разложения этого взаимодействия на основные эффекты и взаимодействие). Чего я не понимаю, так это почему te(x1, x2)и...

10
R линейная регрессия категориальной переменной «скрытое» значение

Это всего лишь пример, с которым я сталкивался несколько раз, поэтому у меня нет примеров данных. Запуск модели линейной регрессии в R: a.lm = lm(Y ~ x1 + x2) x1является непрерывной переменной x2является категориальным и имеет три значения, например, «Низкий», «Средний» и «Высокий». Однако вывод,...

10
Редуцирующая регуляризация для стохастических матриц

Хорошо известно (например, в области измерения сжатия), что норма является «вызывающей разреженность» в том смысле, что если минимизировать функционал (для фиксированной матрицы и вектора ), для достаточно большого размера \ lambda> 0 , у многих вариантов A , \ vec {b} и \ lambda, вероятно,...

9
Какой тип нормализации данных следует использовать с KNN?

Я знаю, что существует более двух типов нормализации. Например, 1- Преобразование данных с использованием z-показателя или t-показателя. Это обычно называется стандартизацией. 2- Изменение масштаба данных для получения значений от 0 до 1. Теперь вопрос, нужно ли мне нормализовать Какой тип...

9
Динамическое искажение времени и нормализация

Я использую Dynamic Time Warping, чтобы соответствовать кривой «запрос» и «шаблон» и до сих пор добился достаточного успеха, но у меня есть несколько основных вопросов: Я оцениваю «соответствие», оценивая, является ли результат DTW меньше некоторого порогового значения, которое я получаю...

9
Как построить квадраты для точечных процессов, которые сильно различаются по частоте?

Я хочу выполнить анализ числа квадратов для нескольких точечных процессов (или одного отмеченного точечного процесса), чтобы затем применить некоторые методы уменьшения размерности. Метки не распределяются одинаково, то есть некоторые метки появляются довольно часто, а некоторые довольно редко....