Глубокое обучение против деревьев решений и методов повышения

18

Я ищу статьи или тексты, которые сравнивают и обсуждают (эмпирически или теоретически):

с

В частности, кто-нибудь знает текст, который обсуждает или сравнивает эти два блока методов ML с точки зрения скорости, точности или сходимости? Кроме того, я ищу тексты, которые объясняют или суммируют различия (например, плюсы и минусы) между моделями или методами во втором блоке.

Будем весьма благодарны за любые указатели или ответы, касающиеся таких сравнений напрямую.

machine-learning deep-learning cart rbm adaboost Амелио Васкес-Рейна
источник

Ответы:

1

Можете ли вы быть более точным в отношении типов данных, которые вы просматриваете? Это будет частично определять, какой тип алгоритма будет сходиться быстрее всего.

Я также не уверен, как сравнивать методы, такие как повышение и DL, так как повышение - это просто набор методов. Какие еще алгоритмы вы используете с бустингом?

В общем, методы DL могут быть описаны как уровни кодера / декодера. Необслуживаемая предварительная подготовка работает, сначала проводя предварительную подготовку каждого уровня путем кодирования сигнала, декодирования сигнала, а затем измерения ошибки восстановления. Затем можно использовать настройку, чтобы получить лучшую производительность (например, если вы используете шумоподавляющие автокодеры с шумоподавлением, вы можете использовать обратное распространение).

Хорошей отправной точкой для теории DL является:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.73.795&rep=rep1&type=pdf

а также эти:

http://portal.acm.org/citation.cfm?id=1756025

(извините, пришлось удалить последнюю ссылку из-за системы фильтрации спама)

Я не включил никакой информации об УОКР, но они тесно связаны (хотя на первый взгляд лично немного сложнее).

user5268
источник
Спасибо @f (x), меня интересует классификация (2D или 3D) пиксельных сегментов или патчей, но я хотел сохранить исходный вопрос как можно более общим. Если разные методы работают лучше всего для разных типов наборов данных, мне было бы интересно обсудить эти различия.
Амелио Васкес-Рейна
1
Обычно с точки зрения обработки изображений методы DL будут действовать как экстракторы признаков, которые затем могут быть соединены с SVM для выполнения классификации. Эти методы, как правило, сопоставимы с ручными методами, такими как SIFT, SURF и HOG. Методы DL были распространены на видео с закрытыми CRBM и ISA. Спроектированные вручную методы включают HOG / HOF, HOG3d и eSURF (хорошее сравнение см. В Wang et al. 2009).
user5268
1

Отличный вопрос! Как адаптивное повышение, так и глубокое обучение могут быть классифицированы как вероятностные обучающие сети. Разница заключается в том, что «глубокое обучение» включает в себя одну или несколько «нейронных сетей», в то время как «усиление» - это «алгоритм метаобучения», который требует одну или несколько сетей обучения, называемых слабыми учениками, которые могут быть «чем угодно» (т.е. нейронная сеть, дерево решений и т. д.). Алгоритм повышения использует одну или несколько своих слабых ученических сетей для формирования так называемого «сильного ученика», который может значительно «повысить» общие результаты обучающих сетей (например, Microsoft Viola and Jones Face Detector, OpenCV).

SensorVista
источник