SVM с использованием scikit learn работает бесконечно и никогда не завершает выполнение

Я пытаюсь запустить SVR, используя scikit learn (python) для обучающего набора данных, имеющего 595605 строк и 5 столбцов (функций), и тестового набора данных, имеющего 397070 строк. Данные были предварительно обработаны и упорядочены.

Я могу успешно запустить тестовые примеры, но, выполнив мой набор данных и оставив его работать более часа, я все равно не смог увидеть какой-либо вывод или завершение программы. Я пытался выполнить с использованием другой IDE и даже из терминала, но это не проблема. Я также попытался изменить значение параметра «C» с 1 до 1e3.

Я сталкиваюсь с похожими проблемами со всеми реализациями SVM с использованием Scikit.

Разве я не жду достаточно, чтобы завершить? Сколько времени должно занять это выполнение?

Из моего опыта это не должно занять более нескольких минут.

Вот моя конфигурация системы: Ubuntu 14.04, 8 ГБ ОЗУ, много свободной памяти, процессор 4-го поколения i7

$\mathcal{O}(n_\text{features} \times n_\text{observations}^2)$$\mathcal{O}(n_\text{features} \times n_\text{observations}^3)$

Вы можете увеличить этот кеш, вызывая SVR как

model = SVR(cache_size=7000)

В общем, это не сработает. Но еще не все потеряно. Вы можете выполнить выборку данных и использовать оставшуюся часть в качестве набора для проверки или выбрать другую модель. Выше 200 000 диапазонов наблюдения целесообразно выбирать линейных учеников.

Ядро SVM может быть аппроксимировано путем аппроксимации матрицы ядра и подачи ее в линейный SVM. Это позволяет вам выбирать между точностью и производительностью за линейное время.

Популярное средство для достижения этой цели - использовать около 100 кластерных центров, найденных kmeans / kmeans ++, в качестве основы вашей функции ядра. Новые производные функции затем вводятся в линейную модель. Это очень хорошо работает на практике. Google, Yahoo и Microsoft делают это с помощью таких инструментов, как sophia-ml и vowpal wabbit . Ввод / вывод становится доминирующей стоимостью для простых линейных учеников.

В изобилии данных непараметрические модели работают примерно одинаково для большинства задач. Исключениями являются структурированные входы, такие как текст, изображения, временные ряды, аудио.

дальнейшее чтение

• Как это реализовать.
• Как обучить нейронную сеть Ngram с выпадением, которое масштабируется линейно
• Ядро Аппроксимации
• Формальная статья об использовании kmeans для аппроксимации машин ядра

SVM решает задачу оптимизации квадратичного порядка.

Мне нечего добавить, что здесь не было сказано. Я просто хочу опубликовать ссылку на страницу sklearn о SVC, которая разъясняет, что происходит:

Реализация основана на libsvm. Сложность времени подбора более чем квадратичная с количеством выборок, что затрудняет масштабирование для набора данных с более чем 10000 выборками.

Если вы не хотите использовать ядра, и достаточно линейного SVM, есть LinearSVR, который намного быстрее, потому что он использует подход оптимизации, основанный на линейных регрессиях. Однако вам придется нормализовать данные, если вы этого еще не сделали, потому что они применяют регуляризацию к коэффициенту перехвата, что, вероятно, не то, что вам нужно. Это означает, что если ваше среднее значение данных далеко от нуля, оно не сможет решить его удовлетворительно.

Вы также можете использовать стохастический градиентный спуск для решения задачи оптимизации. Склеарн Особенности SGDRegressor . Вы должны использовать, loss='epsilon_insensitive'чтобы получить результаты, аналогичные линейному SVM. Смотрите документацию. Я бы использовал градиентный спуск только в крайнем случае, потому что он подразумевает много настроек гиперпараметров, чтобы избежать застревания в локальных минимумах. Используйте, LinearSVRесли можете.

Вы включили масштабирование на этапе предварительной обработки? У меня была эта проблема при запуске моего SVM. Мой набор данных ~ 780 000 образцов (строка) с 20 функциями (столбец). Мой тренировочный набор составляет ~ 235 тыс. Образцов. Оказывается, я просто забыл масштабировать свои данные! Если это так, попробуйте добавить этот бит в ваш код:

масштабировать данные до [-1,1]; увеличить скорость SVM:

из sklearn.preprocessing import MinMaxScaler
scaling = MinMaxScaler (feature_range = (- 1,1)). fit (X_train)
X_train = scaling.transform (X_train)
X_test = scaling.transform (X_test)

С таким огромным набором данных, я думаю, вам лучше использовать нейронную сеть, глубокое обучение, случайный лес (они на удивление хороши) и т. Д.

Как упоминалось в предыдущих ответах, время, затрачиваемое на обучение, пропорционально третьей степени числа обучающих выборок. Даже время прогнозирования является полиномиальным по количеству тестовых векторов.

Если вам действительно нужно использовать SVM, то я бы порекомендовал использовать ускорение графического процессора или уменьшение размера набора обучающих данных. Попробуйте сначала с примером (возможно, 10000 строк) данных, чтобы увидеть, не является ли это проблемой с форматом данных или распределением.

Как упоминалось в других ответах, линейные ядра работают быстрее.

Недавно я столкнулся с подобной проблемой, потому что забыл масштабировать объекты в моем наборе данных, который ранее использовался для обучения ансамблевой модели. Неспособность масштабировать данные может быть вероятным виновником, как указал Шелби Мэтлок. Вы можете попробовать различные скейлеры, доступные в sklearn, такие как RobustScaler :

from sklearn.preprocessing import RobustScaler scaler = RobustScaler() X = scaler.fit_transfrom(X)

X теперь преобразован / масштабирован и готов к передаче в нужную вам модель.

Это имеет смысл. IIUC, скорость выполнения опорных векторных операций зависит от количества выборок, а не от размерности. Другими словами, он ограничен временем процессора, а не оперативной памятью. Я не уверен, сколько именно времени это займет, но я провожу некоторые тесты, чтобы узнать.

Оставьте его на ночь или лучше на 24 часа. Какова загрузка вашего процессора? Если ни одно из ядер не работает на 100%, значит, у вас проблема. Вероятно, с памятью. Вы проверили, подходит ли ваш набор данных к 8 ГБ вообще? Вы пробовали SGDClassifier? Это один из самых быстрых там. Стоит сначала попробовать, надеясь, что это завершится через час или около того.

Попробуйте нормализовать данные до [-1,1]. Я столкнулся с подобной проблемой, и после нормализации все работало нормально. Вы можете легко нормализовать данные, используя:

from sklearn import preprocessing X_train = preprocessing.scale(X_train) X_test = preprocessing.scale(X_test)

Я столкнулся с этой проблемой, и, cache_sizeкак полагают другие, не помогает вообще. Вы можете увидеть этот пост и этот как основной вкладчик предложил изменить код вручную.

Как известно, есть SVCи SVRпроблемы оптимизации, и они прекращаются, когда погрешность настолько мала, когда дальнейшая оптимизация бесполезна. Так что в них есть еще один параметр, max_iterгде вы можете указать, сколько итераций он должен выполнить.

Я использовал sklearnв Python и e1071в R и R гораздо быстрее получить результат без установки max_iterи sklearnзанимает в 2-4 раза больше. Единственный способ сократить время вычислений для python - это использовать max_iter. Это относительно сложности модели, количества признаков, ядер и гиперпараметров, но для небольшого набора данных я использовал около 4000 и точек данных max_iterбыл 10000результаты не отличалось на всех , и это было приемлемо.

У меня просто была похожая проблема с набором данных, который содержит только 115 элементов и только одну особенность (данные международных авиакомпаний). Решение состояло в том, чтобы масштабировать данные. Что я пропустил в ответах до сих пор, так это использование конвейера:

from sklearn.svm import SVR
from sklearn.preprocessing import StandardScaler, MinMaxScaler

model = Pipeline([('scaler', StandardScaler()),
                  ('svr', SVR(kernel='linear'))])

Вы можете тренироваться modelкак обычная модель классификации / регрессии и оценивать ее таким же образом. Ничего не меняется, только определение модели.

Вам нужно масштабировать ваши данные. Масштабирование нормализует ваши точки данных в диапазоне от -1 до 1, что поможет в более быстрой конвергенции.

Попробуйте использовать следующий код:

# X is your numpy data array.

from sklearn import preprocessing

X = preprocessing.scale(X)