Я пытаюсь запустить простой NaiveBayesClassiferс помощью hadoop, получаю эту ошибку Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at...
Я планирую использовать один из файловых форматов hadoop для своего проекта, связанного с hadoop. Я понимаю, что паркет эффективен для запросов на основе столбцов и avro для полного сканирования или когда нам нужны все данные столбцов! Прежде чем я продолжу и выберу один из форматов файла, я хочу...
Есть ли зависимости между Spark и Hadoop ? Если нет, то есть ли какие-то функции, которые я пропущу при запуске Spark без Hadoop ?
Как узнать, какую версию Hive я использую, из командной строки. Ниже приведены подробности- Я использую Putty для подключения к таблице кустов и доступа к записям в таблицах. Итак, что я сделал - я открыл Putty и ввел имя хоста, leo-ingesting.vip.name.comа затем щелкнул Open. Затем я ввел свое имя...
Я провожу несколько тестов форматов хранения, доступных в Hive, и использую Parquet и ORC в качестве основных опций. Я включил ORC один раз со сжатием по умолчанию и один раз с Snappy. Я читал много документов, в которых утверждается, что Parquet лучше по сложности во времени и пространстве по...
При установке hadoop на моем локальном компьютере возникла следующая ошибка ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost...
В Hadoop v1 я назначил каждому 7 слоту сопоставителя и редуктора размером 1 ГБ, мои сопоставители и редукторы работают нормально. У моей машины 8G памяти, 8 процессоров. Теперь с YARN, когда я запускал одно и то же приложение на той же машине, я получал ошибку контейнера. По умолчанию у меня такие...
В настоящее время этот вопрос не подходит для нашего формата вопросов и ответов. Мы ожидаем, что ответы будут подтверждены фактами, ссылками или опытом, но этот вопрос, скорее всего, потребует дебатов, аргументов, опросов или расширенного обсуждения. Если вы считаете, что этот вопрос можно...
Когда в Hadoop запускаются задачи сокращения? Начинаются ли они после завершения определенного процента (порога) картографов? Если да, установлен ли этот порог? Какой порог обычно используется?...
мы хотели бы поместить результаты запроса Hive в файл CSV. Я думал, что команда должна выглядеть так: insert overwrite directory '/home/output.csv' select books from table; Когда я запускаю его, он говорит, что он успешно завершен, но я никогда не могу найти файл. Как мне найти этот файл или нужно...
На данный момент у меня есть задание Hadoop, которое создает счетчики с довольно громким именем. Так , например, следующий: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Этот счетчик усекается в...