Я ищу SQL-эквивалент SET varname = value
в Hive QL
Я знаю, что могу сделать что-то вроде этого:
SET CURRENT_DATE = '2012-09-16';
SELECT * FROM foo WHERE day >= @CURRENT_DATE
Но потом я получаю такую ошибку:
символ '@' здесь не поддерживается
Ответы:
Вам нужно использовать специальный hiveconf для подстановки переменных. например
аналогично вы можете передать командную строку:
Обратите внимание, что есть также переменные env и системные , поэтому вы можете ссылаться,
${env:USER}
например.Чтобы увидеть все доступные переменные, из командной строки запустите
или из подсказки улья запустите
Обновление: я также начал использовать переменные hivevar , помещая их в фрагменты hql, которые я могу включить из интерфейса
source
командной строки hive с помощью команды (или передать как параметр -i из командной строки). Преимущество здесь в том, что переменная может затем использоваться с префиксом hivevar или без него, и разрешать что-то вроде глобального и локального использования.Итак, предположим, что у вас есть файл setup.hql, который устанавливает переменную tablename:
тогда я могу внести в улей:
и использовать в запросе:
или
Я также мог бы установить "локальное" имя таблицы, что повлияет на использование $ {tablename}, но не $ {hivevar: tablename}
против
Вероятно, это не слишком много значит для CLI, но может иметь hql в файле, который использует исходный код , но установить некоторые переменные «локально» для использования в остальной части скрипта.
источник
set CURRENT_DATE='2012-09-16';
вы можете обратиться к нему позже с помощью${hiveconf:CURRENT_DATE}
FAILED: ParseException line x:y cannot recognize input near '$' '{' 'hiveconf' in expression specification
В большинстве ответов здесь предлагается использовать
hiveconf
илиhivevar
пространство имен для хранения переменной. И все эти ответы верны. Однако есть еще одно пространство имен.Всего
namespaces
доступно три переменных для хранения.Итак, если вы сохраняете переменную как часть запроса (например, дату или product_number), вы должны использовать
hivevar
пространство имен, а неhiveconf
пространство имен.Вот как это работает.
hiveconf по-прежнему является пространством имен по умолчанию , поэтому, если вы не предоставите какое-либо пространство имен, он сохранит вашу переменную в пространстве имен hiveconf.
Однако когда дело доходит до ссылки на переменную, это не так. По умолчанию это hivevar пространству имен . Непонятно, правда? Это можно прояснить на следующем примере.
Если вы не предоставите пространство имен, как указано ниже, переменная
var
будет храниться вhiveconf
пространстве имен.Итак, чтобы получить доступ к этому, вам нужно указать
hiveconf
пространство именИ если вы не предоставите пространство имен, это выдаст вам ошибку, как указано ниже, причина в том, что по умолчанию, если вы попытаетесь получить доступ к переменной, которая проверяется
hivevar
только в пространстве имен. И вhivevar
нем нет переменной с именемvar
Мы явно предоставили
hivevar
пространство именпоскольку мы предоставляем пространство имен, это будет работать.
По умолчанию при обращении к переменной используется рабочее пространство
hivevar
, следующее также будет работать.источник
Вы пробовали использовать знак доллара и скобки следующим образом:
источник
Два простых способа:
Использование hive conf
Использование варов улья
В вашем CLI установите vars, а затем используйте их в улье
Документация: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+VariableSubstitution
источник
Одна вещь, о которой следует помнить, - это устанавливать строки, а затем возвращаться к ним. Вы должны убедиться, что цитаты не противоречат друг другу.
При установке дат обращайтесь к ним в коде, поскольку строки могут конфликтовать. Это не сработает с установленной выше start_date.
Мы должны помнить о том, чтобы не устанавливать двойные одинарные или двойные кавычки для строк при обратном обращении к ним в запросе.
источник
На всякий случай кому-то нужно параметризовать запрос улья через cli.
Например:
hive_query.sql
Теперь выполните указанный выше sql файл из cli:
источник
Попробуйте этот метод:
он хорошо работает на моей платформе.
источник
Вы можете экспортировать переменную в сценарии оболочки export CURRENT_DATE = "2012-09-16"
Тогда в hiveql вам нравится SELECT * FROM foo WHERE day> = '$ {env: CURRENT_DATE}'
источник
Вы можете сохранить вывод другого запроса в переменной, а затем вы можете использовать то же самое в своем коде:
источник