Платформы облачных вычислений для машинного обучения [закрыто]

У меня есть небольшой список компаний, которые предоставляют платформу для запуска R, Python или октавных сценариев на кластерах, построенных на основе Amazon EC2. Есть ли другие имена, которые я должен добавить?

1. Cloudnumbers
2. Opani
3. crdata

Я не использовал эти фирмы, но это только некоторые из вариантов. Однако настроить на EC2 очень просто. По крайней мере, после того, как вы оцепенели, достаточно сильно и часто ударяя головой о стену. Это также увеличивает ваш болевой порог. Детям в наши дни намного проще. Когда я только начинал, мы занимались туманными вычислениями: у нас не было самого туманного того, что мы вычисляли.

Помимо воспоминаний ... Инструменты и ресурсы существуют, чтобы обойти этих поставщиков и начать самостоятельно. С помощью JD Long сталоsegue проще начать использовать R на EMR.

Что касается Python, boto - это пакет, который позволяет легко запускать и запускать Python на EC2. Также довольно легко настроить Python и запустить его на Google AppEngine , если вы готовы рассмотреть альтернативу EC2. Если вы знакомы с Python, то на самом деле нет необходимости нанимать компанию, которая сделает за вас подъем, если вы не знакомы с масштабированием, разделением, балансировкой нагрузки и т. Д. Даже на концептуальном уровне. С другой стороны, если вы планируете тратить много денег на такие сервисы, неплохо бы узнать, как сделать ваш код эффективным.

Что касается Octave в облаке, я понятия не имею, что существует, кроме этих трех компаний. Аналитики Monkey предлагали это, но, кажется, они ушли. Я бы порекомендовал избегать Octave и сосредоточиться на Python или R.

Одним из ресурсов, облегчающих настройку, является StarCluster . Опять же, нет опыта с ними, но это может быть полезным маршрутом.

Честно говоря, Ubuntu (или Windows) и EC2 не так сложны в освоении. Я бы не стал рекомендовать Windows для R, так как среди разработчиков R и Windows не так много любви. (NB. Насколько я могу судить , серьезных облачных сервисов Mac OS X не существует.) Если у вас есть удаленный рабочий стол, вы в бизнесе. Обучение масштабированию - это следующий шаг.

Обновление 1. Другие, более общие, облачные сервисы управления включают RighstScale и Scalr.

Обновление 2: я хочу подчеркнуть, что важно научиться настраивать свои экземпляры и кластеры в облаке для себя. Среди преимуществ практической работы:

• Узнайте, как управлять смесью ресурсов (несколько экземпляров, несколько типов экземпляров, множество жестких дисков, различные зоны или регионы доступности, различные инструменты мониторинга и т. Д.)
• Возьмите с собой GPU, если хотите (зацените gputools)
• Вы можете легко обновить или откатить свой выбор пакетов
• Вы можете получить гораздо меньшие затраты, используя либо точечные экземпляры, либо зарезервированные экземпляры.
• Вы можете попробовать различные графические интерфейсы R или IDE, которые могут быть недоступны для поставщиков облачных услуг.

Существуют преимущества использования управляемого поставщика, такие как более короткая кривая обучения, возможно, лучшая поддержка для совместного использования ресурсов между группами, и, возможно, некоторые приятные вещицы, но я не могу говорить о преимуществах, так как я начал использовать EC2 до того, как любой из этих пришел на рынок.

Также есть PiCloud для параллельного запуска кода Python на EC2.

С их страницы продукта :

PiCloud - это платформа облачных вычислений, которая интегрируется в язык программирования Python. Это позволяет вам использовать вычислительную мощь Amazon Web Services без необходимости управлять, обслуживать или настраивать виртуальные серверы.

PiCloud легко интегрируется в существующую кодовую базу через пользовательскую библиотеку Python, облачную. Чтобы переложить выполнение функции на наши серверы, все, что вам нужно сделать, это передать желаемую функцию в облачную библиотеку. PiCloud запустит функцию на своем высокопроизводительном кластере. Когда вы запускаете больше функций, наш кластер автоматически масштабируется для удовлетворения ваших вычислительных потребностей. Попасть в облако еще никогда не было так просто!

Вы пробовали CloudStat раньше? В отличие от других облаков, CloudStat предназначен только для пользователей языка R. Там нет больше настроек. Вы можете просто войти и использовать до 7,5 ГБ оперативной памяти бесплатно.

Однако, при бесплатной учетной записи, ваш анализ будет просмотрен и использован публикой. Опция - платить 5 долларов в месяц, чтобы сделать свой анализ приватным.

Одна из платформ облачных вычислений, которую я могу порекомендовать, - это Backbone, которая предоставляет безопасную платформу для облачных вычислений, повышающую производительность .