Вопросы с тегом «apache-hadoop»

30
Каковы варианты использования Apache Spark против Hadoop

С Hadoop 2.0 и YARN Hadoop, по-видимому, больше не привязан только к решениям для сокращения карт. С этим продвижением, каковы варианты использования для Apache Spark против Hadoop, учитывая оба варианта HDFS? Я прочитал вводную документацию по Spark, но мне любопытно, сталкивался ли кто-нибудь с...

16
сделать морскую карту тепла больше

Я создаю corr()DF из оригинального DF. corr()ДФ вышел 70 X 70 и невозможно представить себе Heatmap ... sns.heatmap(df). Если я попытаюсь отобразить corr = df.corr(), таблица не умещается на экране, и я вижу все корреляции. Это способ печати всего, dfнезависимо от его размера, или контроля размера...

15
В чем разница между Hadoop и noSQL

Я слышал о многих инструментах / платформах, помогающих людям обрабатывать свои данные (среда больших данных). Один называется Hadoop, а другой - концепцией noSQL. Какая разница в точке обработки? Они дополняют друг...

12
Компромиссы между Storm и Hadoop (MapReduce)

Может ли кто-нибудь любезно рассказать мне о компромиссах, возникающих при выборе между Storm и MapReduce в Hadoop Cluster для обработки данных? Конечно, помимо очевидного, что Hadoop (обработка с помощью MapReduce в кластере Hadoop) является системой пакетной обработки, а Storm - системой...

12
Amazon RedShift заменяет Hadoop для данных ~ 1XTB?

Вокруг Hadoop и его экосистемы много ажиотажа. Однако на практике, когда многие наборы данных находятся в терабайтовом диапазоне, не более ли разумно использовать Amazon RedShift для запросов больших наборов данных, вместо того, чтобы тратить время и усилия на создание кластера Hadoop? Кроме того,...

11
Могут ли алгоритмы сокращения карт, написанные для MongoDB, быть перенесены в Hadoop позже?

В нашей компании у нас есть база данных MongoDB, содержащая много неструктурированных данных, по которым нам нужно запускать алгоритмы преобразования карт для генерации отчетов и других анализов. У нас есть два подхода для выбора необходимого анализа: Один из подходов заключается в извлечении...

11
Существуют ли хорошие готовые языковые модели для Python?

Я создаю прототип приложения и мне нужна языковая модель для вычисления недоумения в некоторых сгенерированных предложениях. Есть ли в Python обученная языковая модель, которую я могу легко использовать? Что-то простое, как model = LanguageModel('en') p1 = model.perplexity('This is a well...

10
Каковы ограничения памяти R?

В обзоре « Прикладное прогнозирующее моделирование » рецензент заявляет : Одна критика, которую я имею в отношении педагогики статистического обучения (SL), - это отсутствие соображений производительности вычислений при оценке различных методов моделирования. С его акцентом на начальной загрузке и...

10
Лучшие языки для научных вычислений [закрыто]

Закрыто . Этот вопрос должен быть более сфокусированным . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он был сосредоточен только на одной проблеме, отредактировав этот пост . Закрыто 5 лет назад . Похоже, что большинство языков имеют некоторое...