Ресурсы для изучения многоцелевых методов?

Я ищу ресурсы (книги, конспекты лекций и т. Д.) О методах обработки данных с несколькими целями (например, три зависимые переменные: 2 дискретные и 1 непрерывная).

У кого-нибудь есть ресурсы / знания по этому вопросу? Я знаю, что для этого можно использовать нейронные сети.

Случайный лес справляется с этим довольно хорошо, см. Возможен ли / практичен ли случайный лес с несколькими выходами? или scikit узнать документацию . Я думаю, что GBM или любой древовидный метод может быть адаптирован подобным образом.

В целом, когда вы запускаете любой алгоритм обучения, минимизирующий счет, вы обычно работаете над минимизацией которая является одномерной. Но вы можете указать любую целевую функцию. Если бы вы работали над (двумерным) прогнозированием положения, было бы хорошим показателем.Σ я ( у я - у я ) 2 + ( х я - х я ) $\sum_i(p_i-y_i)^2$$\sum_i(\hat{y}_i-y_i)^2+(\hat{x}_i-x_i)^2$

Если у вас смешанный тип вывода (классификация и регрессия), то для определения целевой функции, вероятно, потребуется указать целевую функцию, которая придает больший вес некоторым целям, чем другим: какое масштабирование вы применяете к непрерывным ответам? Какие потери вы применяете к ошибочным классификациям?

Что касается дальнейшего академического чтения,

Википедия структурированного обучения SVM

Одновременное использование структур вывода и задач для регрессии с несколькими выходами

Метод выбора ориентира для прогнозирования нескольких выходов (имеет дело с многомерными зависимыми переменными)

Эта статья хорошо описывает текущие методы, доступные наборы инструментов, а также наборы данных для тестирования.

Мне довелось работать над коммерческой проблемой, требующей многоцелевой регрессии, и я обнаружил, что инструментарий Clus имеет хорошее сочетание высокой производительности и надежности

• Документация отличная
• Инструментарий имеет несколько методов как многоцелевой классификации, так и регрессии.
• Он также поддерживает индукцию и кластеризацию на основе правил.
• Модели ансамбля (Bagging, RandomForest), которые я использовал, легко читаются и интерпретируются.

Некоторые из более новых методов (после 2012 года) были реализованы как расширение инструментария Mulan, вот ссылка на Github . Хотя такие методы, как случайные линейные комбинации целей, показывают лучшую производительность, чем ансамблевые модели, я обнаружил, что инструментарий не так совершенен, как инструментарий Clus, и поэтому не использовал их.

Байесовский подход к решению проблемы такого рода: байесовские непараметрические модели пространственно индексированных данных смешанного типа . Элемент множественного ответа обрабатывается различными нормально распределенными случайными векторами и их функциями связи. Таким образом, полный ответ представляет собой стек вектора нормалей, вектора отсчетов и вектора бернулли.