Я изучаю деревья классификации и регрессии, и одним из показателей местоположения разделения является оценка GINI. Теперь я привык определять лучшее место разделения, когда логарифм отношения правдоподобия одних и тех же данных между двумя распределениями равен нулю, что означает, что вероятность...
После выполнения анализа главных компонентов (PCA) я хочу спроецировать новый вектор на пространство PCA (т.е. найти его координаты в системе координат PCA). Я рассчитал PCA на языке R, используя prcomp. Теперь я должен быть в состоянии умножить свой вектор на матрицу вращения PCA. Должны ли...
У меня есть набор данных, состоящий из 5 функций: A, B, C, D, E. Все они являются числовыми значениями. Вместо кластеризации на основе плотности я хочу кластеризовать данные в виде дерева решений. Подход, который я имею в виду, выглядит примерно так: Алгоритм может делить данные на X исходных...
Я не эксперт по случайным лесам, но я четко понимаю, что ключевая проблема со случайным лесом - это (случайное) генерирование деревьев. Можете ли вы объяснить мне, как создаются деревья? (т.е. что такое используемый дистрибутив для генерации дерева?) Заранее спасибо !...
Пень решений - это дерево решений с одним разделением. Его также можно записать как кусочную функцию. Например, предположим, что xxx является вектором, а x1x1x_1 является первым компонентом xxx , в настройке регрессии может быть принят некоторый пень решения...
Какое определение для "пространственного объекта"? Например, читая о SVM, я читал о «сопоставлении с пространством объектов». Когда я читал о CART, я читал о «разбиении на функциональное пространство». Я понимаю, что происходит, особенно для CART, но я думаю, что есть какое-то определение, которое...
Я ищу статьи или тексты, которые сравнивают и обсуждают (эмпирически или теоретически): Алгоритмы деревьев повышения и принятия решений , такие как Random Forests или AdaBoost , и GentleBoost, применяются к деревьям решений. с Методы глубокого обучения, такие как ограниченные машины Больцмана ,...
Случайные леса используются для регрессии. Однако, насколько я понимаю, они назначают среднее целевое значение на каждом листе. Так как в каждом дереве есть только ограниченные листья, есть только определенные значения, которые цель может получить из нашей регрессионной модели. Таким образом, разве...
Есть много постов в блогах, видео на YouTube и т. Д. Об идеях создания мешков или повышения деревьев. Мое общее понимание таково, что псевдокод для каждого из них: Bagging: Возьмите N случайных выборок x% выборок и y% функций Установите вашу модель (например, дерево решений) на каждый из N...
Случайные леса (RF) - это конкурентный метод моделирования / добычи данных. Модель RF имеет один выход - переменную выход / прогноз. Наивный подход к моделированию нескольких выходов с RFs должен был бы построить RF для каждой выходной переменной. Таким образом, у нас есть N независимых моделей, и...
Каково измерение VC дерева решений с k разбиениями в двух измерениях? Допустим, модель CART и единственные допустимые разбиения параллельны осям. Таким образом, для одного разбиения мы можем заказать 3 точки в треугольнике, а затем для любой маркировки точек мы можем получить идеальный прогноз (то...
В подпрограмме rpart () для создания моделей CART вы указываете параметр сложности, к которому вы хотите удалить свое дерево. Я видел две разные рекомендации по выбору параметра сложности: Выберите параметр сложности, связанный с минимально возможной перекрестной проверкой ошибки. Этот метод...
Прошло много времени с тех пор, как я посмотрел на разделение деревьев. В прошлый раз, когда я делал подобные вещи, мне нравилась вечеринка в R (созданная Hothorn). Идея условного вывода через выборку имеет для меня смысл. Но у rpart тоже была апелляция. В текущем приложении (я не могу дать...
Предположим, у нас есть два дерева регрессии (дерево A и дерево B), которые отображают входные данные на выходные данные . Пусть \ hat {y} = f_A (x) для дерева A и f_B (x) для дерева B. Каждое дерево использует двоичные разбиения с гиперплоскостями в качестве разделяющих функций.x∈Rdx∈Rdx \in...
На самом деле я пишу реализацию Случайных Лесов, но я считаю, что вопрос специфичен для деревьев решений (независимо от RF). Таким образом, контекст заключается в том, что я создаю узел в дереве решений, и предсказание и целевые переменные являются непрерывными. Узел имеет пороговое значение для...
Я работаю над критерием важности функции Джини для случайного леса. Следовательно, мне нужно рассчитать уменьшение Джини примеси в узле. Вот как я это делаю, что приводит к конфликту с определением, предполагающим, что я где-то ошибаюсь ... :) Для бинарного дерева и с учетом вероятностей левого и...
Вопросов Зависит ли это от того, мелкое дерево или глубокое? Или мы можем сказать это независимо от глубины / уровня дерева? Почему уклон низкий и дисперсия высокая? Пожалуйста, объясните интуитивно и математически...
Может ли кто-нибудь помочь объяснить некоторые математические основы классификации в CART? Я смотрю, чтобы понять, как происходит два основных этапа. Например, я обучил классификатор CART на наборе данных и использовал тестовый набор данных, чтобы отметить его прогнозную производительность, но: Как...
Коллега в моем офисе сказал мне сегодня: «Модели деревьев не хороши, потому что их ловят экстремальные наблюдения». Поиск здесь привел к этой теме, которая в основном поддерживает претензию. Что приводит меня к вопросу - в какой ситуации модель CART может быть надежной и как это...
Короткая версия: я ищу R-пакет, который может строить деревья решений, тогда как каждый лист в дереве решений является полной моделью линейной регрессии. AFAIK, библиотека rpartсоздает деревья решений, в которых зависимая переменная является постоянной в каждом листе. Есть ли другая библиотека (или...