Как вывести результаты запроса HiveQL в CSV?

мы хотели бы поместить результаты запроса Hive в файл CSV. Я думал, что команда должна выглядеть так:

insert overwrite directory '/home/output.csv' select books from table;

Когда я запускаю его, он говорит, что он успешно завершен, но я никогда не могу найти файл. Как мне найти этот файл или нужно извлекать данные другим способом?

Хотя его можно использовать INSERT OVERWRITEдля получения данных из Hive, это может быть не лучший метод для вашего конкретного случая. Сначала позвольте мне объяснить, что INSERT OVERWRITEэто такое, а затем я опишу метод, который я использую для получения файлов tsv из таблиц Hive.

Согласно руководству , ваш запрос сохранит данные в каталоге в HDFS. Формат не будет csv.

Данные, записанные в файловую систему, сериализуются в виде текста со столбцами, разделенными символом ^ A, и строками, разделенными символами новой строки. Если какой-либо из столбцов не является примитивным типом, эти столбцы сериализуются в формат JSON.

Небольшая модификация (добавление LOCALключевого слова) сохранит данные в локальном каталоге.

INSERT OVERWRITE LOCAL DIRECTORY '/home/lvermeer/temp' select books from table;

Когда я запускаю аналогичный запрос, вот как выглядит результат.

[lvermeer@hadoop temp]$ ll
total 4
-rwxr-xr-x 1 lvermeer users 811 Aug  9 09:21 000000_0
[lvermeer@hadoop temp]$ head 000000_0 
"row1""col1"1234"col3"1234FALSE
"row2""col1"5678"col3"5678TRUE

Лично я обычно запускаю свой запрос напрямую через Hive в командной строке для такого рода вещей и перенаправляю его в локальный файл следующим образом:

hive -e 'select books from table' > /home/lvermeer/temp.tsv

Это дает мне файл с разделителями табуляции, который я могу использовать. Надеюсь, это будет полезно и для вас.

Основываясь на этом патче 3682 , я подозреваю, что при использовании Hive 0.11 доступно лучшее решение, но я не могу проверить это сам. Новый синтаксис должен позволять следующее.

INSERT OVERWRITE LOCAL DIRECTORY '/home/lvermeer/temp' 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
select books from table;

Надеюсь, это поможет.

Если вам нужен файл CSV, вы можете изменить решения Lukas следующим образом (при условии, что вы используете Linux):

hive -e 'select books from table' | sed 's/[[:space:]]\+/,/g' > /home/lvermeer/temp.csv

Вы должны использовать оператор CREATE TABLE AS SELECT (CTAS) для создания каталога в HDFS с файлами, содержащими результаты запроса. После этого вам нужно будет экспортировать эти файлы из HDFS на ваш обычный диск и объединить их в один файл.

Вам также, возможно, придется проделать некоторые хитрости, чтобы преобразовать файлы из '\ 001' с разделителями в CSV. Вы можете использовать собственный CSV-файл SerDe или выполнить постобработку извлеченного файла.

Вы можете использовать INSERT…… DIRECTORYкак в этом примере:

INSERT OVERWRITE LOCAL DIRECTORY '/tmp/ca_employees'
SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';

OVERWRITEи LOCALимеют те же интерпретации, что и раньше, а пути интерпретируются в соответствии с обычными правилами. Будет произведена запись в один или несколько файлов, в /tmp/ca_employeesзависимости от количества задействованных редукторов.

Если вы используете HUE, это тоже довольно просто. Просто перейдите в редактор Hive в HUE, выполните запрос улья, затем сохраните файл результатов локально как XLS или CSV, или вы можете сохранить файл результатов в HDFS.

Я искал подобное решение, но упомянутые здесь не работали. В моих данных были все варианты пробелов (пробел, новая строка, табуляция), символов и запятых.

Чтобы сделать tsv данных столбца безопасным, я заменил все символы \ t в данных столбца пробелом и выполнил код python в командной строке для создания файла csv, как показано ниже:

hive -e 'tab_replaced_hql_query' |  python -c 'exec("import sys;import csv;reader = csv.reader(sys.stdin, dialect=csv.excel_tab);writer = csv.writer(sys.stdout, dialect=csv.excel)\nfor row in reader: writer.writerow(row)")'

Это создало совершенно корректный csv. Надеюсь, это поможет тем, кто ищет это решение.

Вы можете использовать строковую функцию улья CONCAT_WS( string delimiter, string str1, string str2...strn )

например:

hive -e 'select CONCAT_WS(',',cola,colb,colc...,coln) from Mytable' > /home/user/Mycsv.csv

Это наиболее удобный для csv способ вывода результатов HiveQL.
Вам не нужны никакие команды grep или sed для форматирования данных, вместо этого hive поддерживает их, просто нужно добавить дополнительный тег outputformat.

hive --outputformat=csv2 -e 'select * from <table_name> limit 20' > /path/toStore/data/results.csv

У меня была аналогичная проблема, и вот как я смог ее решить.

Шаг 1. Загрузили данные из таблицы Hive в другую таблицу следующим образом.

DROP TABLE IF EXISTS TestHiveTableCSV;
CREATE TABLE TestHiveTableCSV 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n' AS
SELECT Column List FROM TestHiveTable;

Шаг 2. Скопируйте большой двоичный объект со склада Hive в новое место с соответствующим расширением.

Start-AzureStorageBlobCopy
-DestContext $destContext 
-SrcContainer "Source Container"
-SrcBlob "hive/warehouse/TestHiveTableCSV/000000_0"
-DestContainer "Destination Container"
-DestBlob "CSV/TestHiveTable.csv"

hive  --outputformat=csv2 -e "select * from yourtable" > my_file.csv

или же

hive  --outputformat=csv2 -e "select * from yourtable" > [your_path]/file_name.csv

Для tsv просто измените csv на tsv в приведенных выше запросах и запустите свои запросы.

Разделитель по умолчанию - " ^A". На языке Python это "\x01 ".

Когда я хочу изменить разделитель, я использую SQL, например:

SELECT col1, delimiter, col2, delimiter, col3, ..., FROM table

Затем рассмотрите разделитель + " ^A" как новый разделитель.

Я пробовал разные варианты, но это было бы одно из самых простых решений Python Pandas:

hive -e 'select books from table' | grep "|" ' > temp.csv

df=pd.read_csv("temp.csv",sep='|')

Вы также можете использовать tr "|" ","для преобразования "|" к ","

Подобно ответу Рэя выше, Hive View 2.0 на платформе данных Hortonworks также позволяет запускать запрос Hive, а затем сохранять результат как csv.

Если вы делаете это из Windows, вы можете использовать скрипт Python hivehoney для извлечения данных таблицы в локальный файл CSV.

Так и будет:

1. Авторизуйтесь на хосте бастиона
2. pbrun.
3. кинит.
4. билайн (по вашему запросу).
5. Сохраните эхо из билайн в файл в Windows.

Выполните это так:

set PROXY_HOST=your_bastion_host

set SERVICE_USER=you_func_user

set LINUX_USER=your_SOID

set LINUX_PWD=your_pwd

python hh.py --query_file=query.sql

Просто чтобы охватить больше следующих шагов после запуска запроса: INSERT OVERWRITE LOCAL DIRECTORY '/home/lvermeer/temp' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select books from table;

В моем случае сгенерированные данные в папке temp имеют deflateформат и выглядят так:

$ ls
000000_0.deflate  
000001_0.deflate  
000002_0.deflate  
000003_0.deflate  
000004_0.deflate  
000005_0.deflate  
000006_0.deflate  
000007_0.deflate

Вот команда, чтобы распаковать файлы deflate и поместить все в один файл csv:

hadoop fs -text "file:///home/lvermeer/temp/*" > /home/lvermeer/result.csv

Я могу опоздать к этому, но помогу с ответом:

echo "COL_NAME1 | COL_NAME2 | COL_NAME3 | COL_NAME4"> SAMPLE_Data.csv куст -e 'выбрать отдельный concat (COL_1, "|", COL_2, "|", COL_3, "|", COL_4) из table_Name, где условие, если требуется;' >> SAMPLE_Data.csv

Эта команда оболочки выводит выходной формат в формате CSV output.txtбез заголовков столбцов.

$ hive --outputformat=csv2 -f 'hivedatascript.hql' --hiveconf hive.cli.print.header=false > output.txt

Используйте команду:

hive -e "использовать [имя_базы_данных]; выбрать * из [имя_таблицы] LIMIT 10;" > /path/to/file/my_file_name.csv

У меня был огромный набор данных , детали которого я пытался систематизировать и определить типы атак и количество каждого типа. Пример, который я использовал в своей практике, который работал (и имел немного больше деталей), выглядит примерно так:

hive -e "use DataAnalysis;
select attack_cat, 
case when attack_cat == 'Backdoor' then 'Backdoors' 
when length(attack_cat) == 0 then 'Normal' 
when attack_cat == 'Backdoors' then 'Backdoors' 
when attack_cat == 'Fuzzers' then 'Fuzzers' 
when attack_cat == 'Generic' then 'Generic' 
when attack_cat == 'Reconnaissance' then 'Reconnaissance' 
when attack_cat == 'Shellcode' then 'Shellcode' 
when attack_cat == 'Worms' then 'Worms' 
when attack_cat == 'Analysis' then 'Analysis' 
when attack_cat == 'DoS' then 'DoS' 
when attack_cat == 'Exploits' then 'Exploits' 
when trim(attack_cat) == 'Fuzzers' then 'Fuzzers' 
when trim(attack_cat) == 'Shellcode' then 'Shellcode' 
when trim(attack_cat) == 'Reconnaissance' then 'Reconnaissance' end,
count(*) from actualattacks group by attack_cat;">/root/data/output/results2.csv