Принуждение bash к расширению переменных в строке, загруженной из файла

Я пытаюсь понять, как заставить bash (принудительно?) Расширять переменные в строке (которая была загружена из файла).

У меня есть файл с названием something.txt с содержанием:

hello $FOO world

Я тогда бегу

export FOO=42
echo $(cat something.txt)

это возвращает:

   hello $FOO world

Он не расширил $ ​​FOO, даже если переменная была установлена. Я не могу выполнить оценку или источник файла - поскольку он попытается выполнить его (он не исполняемый как есть - мне просто нужна строка с интерполированными переменными).

Любые идеи?

Я наткнулся на то, что, как мне кажется, является ответом на этот вопрос: envsubstкоманду.

envsubst < something.txt

Если он еще не доступен в вашем дистрибутиве, он находится в

Пакет GNU gettext.

@Rockallite - Я написал небольшой сценарий-оболочку, чтобы решить проблему '\ $'.

(Кстати, есть «особенность» envsubst, описанная на https://unix.stackexchange.com/a/294400/7088 для расширения только некоторых переменных во входных данных, но я согласен, что экранирование исключений намного сложнее удобный.)

Вот мой сценарий:

#! /bin/bash
      ## -*-Shell-Script-*-
CmdName=${0##*/}
Usage="usage: $CmdName runs envsubst, but allows '\$' to  keep variables from
    being expanded.
  With option   -sl   '\$' keeps the back-slash.
  Default is to replace  '\$' with '$'
"

if [[ $1 = -h ]]  ;then echo -e >&2  "$Usage" ; exit 1 ;fi
if [[ $1 = -sl ]] ;then  sl='\'  ; shift ;fi

sed 's/\\\$/\${EnVsUbDolR}/g' |  EnVsUbDolR=$sl\$  envsubst  "$@"

Многие ответы с использованием evalиecho виды работы, но разбиваются о различных вещах, таких как несколько строк, попытки экранирования метасимволов оболочки, экранирование внутри шаблона, не предназначенного для расширения с помощью bash и т. Д.

У меня была такая же проблема, и я написал эту функцию оболочки, которая, насколько я могу судить, обрабатывает все правильно. Это по-прежнему удаляет из шаблона только завершающие символы новой строки из-за правил подстановки команд bash, но я никогда не обнаруживал, что это проблема, пока все остальное остается нетронутым.

apply_shell_expansion() {
    declare file="$1"
    declare data=$(< "$file")
    declare delimiter="__apply_shell_expansion_delimiter__"
    declare command="cat <<$delimiter"$'\n'"$data"$'\n'"$delimiter"
    eval "$command"
}

Например, вы можете использовать его таким образом с a, parameters.cfgкоторый на самом деле является сценарием оболочки, который просто устанавливает переменные, и template.txtс шаблоном, который использует эти переменные:

. parameters.cfg
printf "%s\n" "$(apply_shell_expansion template.txt)" > result.txt

На практике я использую это как своего рода облегченную систему шаблонов.

можешь попробовать

echo $(eval echo $(cat something.txt))

Вы не хотите печатать каждую строку, вы хотите оценить ее, чтобы Bash мог выполнять замену переменных.

FOO=42
while read; do
    eval echo "$REPLY"
done < something.txt

См. help evalИли руководство по Bash для получения дополнительной информации.

Другой подход (который кажется неприятным, но я все равно помещаю его здесь):

Запишите содержимое something.txt во временный файл, обернув его оператором echo:

something=$(cat something.txt)

echo "echo \"" > temp.out
echo "$something" >> temp.out
echo "\"" >> temp.out

затем верните его обратно в переменную:

RESULT=$(source temp.out)

и в $ RESULT все это будет развернуто. Но это кажется таким неправильным!

Если вы хотите, чтобы были расширены только ссылки на переменные (цель, которую я поставил перед собой), вы можете сделать следующее.

contents="$(cat something.txt)"
echo $(eval echo \"$contents\")

(Ключевыми здесь являются экранированные кавычки вокруг $ contents)

Следующее решение:

• позволяет заменять переменные, которые определены

• оставляет неизменными заполнители переменных, которые не определены. Это особенно полезно при автоматическом развертывании.

• поддерживает замену переменных в следующих форматах:

  ${var_NAME}

  $var_NAME

• сообщает, какие переменные не определены в среде, и возвращает код ошибки для таких случаев

    TARGET_FILE=someFile.txt;
    ERR_CNT=0;

    for VARNAME in $(grep -P -o -e '\$[\{]?(\w+)*[\}]?' ${TARGET_FILE} | sort -u); do     
      VAR_VALUE=${!VARNAME};
      VARNAME2=$(echo $VARNAME| sed -e 's|^\${||g' -e 's|}$||g' -e 's|^\$||g' );
      VAR_VALUE2=${!VARNAME2};

      if [ "xxx" = "xxx$VAR_VALUE2" ]; then
         echo "$VARNAME is undefined ";
         ERR_CNT=$((ERR_CNT+1));
      else
         echo "replacing $VARNAME with $VAR_VALUE2" ;
         sed -i "s|$VARNAME|$VAR_VALUE2|g" ${TARGET_FILE}; 
      fi      
    done

    if [ ${ERR_CNT} -gt 0 ]; then
        echo "Found $ERR_CNT undefined environment variables";
        exit 1 
    fi

1. Если something.txt имеет только одну строку, bashметод (более короткая версия «неприглядного» ответа Майкла Нила ), использующий подстановку процесса и команды :

   FOO=42 . <(echo -e echo $(<something.txt))
   

   Выход:

   hello 42 world
   

   Обратите внимание, что в exportэтом нет необходимости.

2. Если something.txt содержит одну или несколько строк, метод оценки GNU :sed e

   FOO=42 sed 's/"/\\\"/g;s/.*/echo "&"/e' something.txt
   

$ eval echo $(cat something.txt)
hello 42 world
$ bash --version
GNU bash, version 3.2.57(1)-release (x86_64-apple-darwin17)
Copyright (C) 2007 Free Software Foundation, Inc.

foo=45
file=something.txt       # in a file is written: Hello $foo world!
eval echo $(cat $file)

envsubst - отличное решение (см. ответ LenW), если контент, который вы заменяете, имеет «разумную» длину.

В моем случае мне нужно было заменить содержимое файла, чтобы заменить имя переменной. envsubstтребует, чтобы содержимое экспортировалось как переменные среды, и у bash возникает проблема при экспорте переменных среды, размер которых превышает мегабайт или около того.

решение awk

Используя решение cuonglm из другого вопроса:

needle="doc1_base64" # The "variable name" in the file. (A $ is not needed.)
needle_file="doc1_base64.txt" # Will be substituted for the needle 
haystack=$requestfile1 # File containing the needle
out=$requestfile2
awk "BEGIN{getline l < \"${needle_file}\"}/${needle}/{gsub(\"${needle}\",l)}1" $haystack > $out

Это решение работает даже с большими файлами.

Следующие работы: bash -c "echo \"$(cat something.txt)"\"