Разбор JSON с инструментами Unix

Я пытаюсь проанализировать JSON, возвращенный из запроса curl, вот так:

curl 'http://twitter.com/users/username.json' |
    sed -e 's/[{}]/''/g' | 
    awk -v k="text" '{n=split($0,a,","); for (i=1; i<=n; i++) print a[i]}'

Выше разбивает JSON на поля, например:

% ...
"geo_enabled":false
"friends_count":245
"profile_text_color":"000000"
"status":"in_reply_to_screen_name":null
"source":"web"
"truncated":false
"text":"My status"
"favorited":false
% ...

Как мне напечатать определенное поле (обозначено как -v k=text)?

Существует ряд инструментов, специально разработанных для манипулирования JSON из командной строки, и будет намного проще и надежнее, чем с Awk, например jq:

curl -s 'https://api.github.com/users/lambda' | jq -r '.name'

Вы также можете сделать это с помощью инструментов, которые, вероятно, уже установлены в вашей системе, например, Python, использующий jsonмодуль , и, таким образом, избежать каких-либо дополнительных зависимостей, сохраняя при этом преимущество правильного анализатора JSON. Далее предполагается, что вы хотите использовать UTF-8, в который должен быть закодирован исходный JSON и который также используется большинством современных терминалов:

Python 3:

curl -s 'https://api.github.com/users/lambda' | \
    python3 -c "import sys, json; print(json.load(sys.stdin)['name'])"

Python 2:

export PYTHONIOENCODING=utf8
curl -s 'https://api.github.com/users/lambda' | \
    python2 -c "import sys, json; print json.load(sys.stdin)['name']"

Исторические заметки

Первоначально этот ответ рекомендовал jsawk , который все еще должен работать, но его использование несколько сложнее jqи зависит от устанавливаемого автономного интерпретатора JavaScript, который менее распространен, чем интерпретатор Python, поэтому приведенные выше ответы, вероятно, предпочтительнее:

curl -s 'https://api.github.com/users/lambda' | jsawk -a 'return this.name'

В этом ответе также изначально использовался API-интерфейс Twitter из этого вопроса, но этот API-интерфейс больше не работает, что затрудняет копирование примеров для тестирования, а новому API-интерфейсу Twitter требуются ключи API, поэтому я перешел к использованию GitHub API, который можно легко использовать без ключей API. Первый ответ на оригинальный вопрос будет:

curl 'http://twitter.com/users/username.json' | jq -r '.text'

Чтобы быстро извлечь значения для определенного ключа, мне лично нравится использовать «grep -o», который возвращает только совпадение с регулярным выражением. Например, чтобы получить поле «текст» из твитов, что-то вроде:

grep -Po '"text":.*?[^\\]",' tweets.json

Это регулярное выражение более надежно, чем вы думаете; например, он прекрасно работает со строками, в которых есть запятые и экранированные кавычки. Я думаю, немного проделав работу, вы могли бы сделать такую, которая действительно гарантированно извлечет значение, если оно атомарное. (Если у него есть вложенность, то регулярное выражение не может сделать это, конечно.)

И дальнейшие чистый (хотя и сохраняя первоначальное вытекание струны) , вы можете использовать что - то вроде: | perl -pe 's/"text"://; s/^"//; s/",$//'. (Я сделал это для этого анализа .)

Всем ненавистникам, которые настаивают на том, что вы должны использовать настоящий анализатор JSON - да, это важно для правильности, но

1. Чтобы провести действительно быстрый анализ, например, подсчет значений для проверки ошибок очистки данных или общее представление о данных, вывести что-либо в командную строку быстрее. Открытие редактора для написания сценария отвлекает.
2. grep -oна несколько порядков быстрее, чем стандартная jsonбиблиотека Python , по крайней мере при выполнении этого для твитов (каждый из которых составляет ~ 2 КБ). Я не уверен, что это только потому, что jsonэто медленно (я должен сравнить с yajl когда-нибудь); но в принципе регулярное выражение должно быть быстрее, поскольку оно имеет конечное состояние и гораздо более оптимизируемое, а не синтаксический анализатор, который должен поддерживать рекурсию, и в этом случае тратит много деревьев построения ЦП для структур, которые вас не интересуют. (Если бы кто-то написал преобразователь конечного состояния, который выполнял правильный (ограниченный по глубине) анализ JSON, это было бы здорово! Тем временем у нас есть «grep -o».)

Для написания поддерживаемого кода я всегда использую настоящую библиотеку синтаксического анализа. Я не пробовал jsawk , но если он будет работать хорошо, это будет точка № 1.

Последнее, более странное решение: я написал скрипт, который использует Python jsonи извлекает нужные ключи в столбцы, разделенные табуляцией; затем я передаю через обертку, awkкоторая позволяет именованный доступ к столбцам. Здесь: сценарии json2tsv и tsvawk . Так что для этого примера это будет:

json2tsv id text < tweets.json | tsvawk '{print "tweet " $id " is: " $text}'

Этот подход не относится к # 2, он более неэффективен, чем отдельный скрипт Python, и он немного хрупок: он заставляет нормализовать переводы строк и табуляции в строковых значениях, чтобы хорошо сочетаться с представлением awk в поле / записи с разделением по полю мира. Но это позволяет вам оставаться в командной строке с большей точностью, чем grep -o.

На основании того, что некоторые из рекомендаций здесь (особенно в комментариях) предполагают использование Python, я был разочарован тем, что не нашел пример.

Итак, вот один вкладыш для получения одного значения из некоторых данных JSON. Предполагается, что вы отправляете данные (откуда-то) и поэтому должны быть полезны в контексте сценариев.

echo '{"hostname":"test","domainname":"example.com"}' | python -c 'import json,sys;obj=json.load(sys.stdin);print obj["hostname"]'

Следуя примеру MartinR и Boecko:

$ curl -s 'http://twitter.com/users/username.json' | python -mjson.tool

Это даст вам чрезвычайно дружественный вывод grep. Очень удобно:

$ curl -s 'http://twitter.com/users/username.json' | python -mjson.tool | grep my_key

Вы можете просто загрузить jqбинарный файл для вашей платформы и запустить ( chmod +x jq):

$ curl 'https://twitter.com/users/username.json' | ./jq -r '.name'

Он извлекает "name"атрибут из объекта json.

jqдомашняя страница говорит, что это как sedдля данных JSON.

Использование Node.js

Если система имеет узелпосле установки можно использовать флаги сценария -pprint и -eevaulate, JSON.parseчтобы извлечь любое необходимое значение.

Простой пример использования строки JSON { "foo": "bar" }и извлечения значения «foo»:

$ node -pe 'JSON.parse(process.argv[1]).foo' '{ "foo": "bar" }'
bar

Поскольку у нас есть доступ catи другие утилиты, мы можем использовать это для файлов:

$ node -pe 'JSON.parse(process.argv[1]).foo' "$(cat foobar.json)"
bar

Или любой другой формат, такой как URL, который содержит JSON:

$ node -pe 'JSON.parse(process.argv[1]).name' "$(curl -s https://api.github.com/users/trevorsenior)"
Trevor Senior

Используйте поддержку Python JSON вместо awk!

Что-то вроде этого:

curl -s http://twitter.com/users/username.json | \
    python -c "import json,sys;obj=json.load(sys.stdin);print obj['name'];"

Вы спросили, как выстрелить себе в ногу, и я здесь, чтобы предоставить боеприпасы:

curl -s 'http://twitter.com/users/username.json' | sed -e 's/[{}]/''/g' | awk -v RS=',"' -F: '/^text/ {print $2}'

Вы могли бы использовать tr -d '{}'вместо sed. Но полное их исключение, похоже, также дает желаемый эффект.

Если вы хотите удалить внешние кавычки, передайте результат вышеупомянутого через sed 's/\(^"\|"$\)//g'

Я думаю, что другие забили достаточно тревоги. Я буду стоять с сотовым телефоном, чтобы вызвать скорую помощь. Огонь, когда будете готовы.

Использование Bash с Python

Создайте функцию bash в вашем файле .bash_rc

function getJsonVal () { 
    python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1))"; 
}

затем

$ curl 'http://twitter.com/users/username.json' | getJsonVal "['text']"
My status
$ 

Здесь та же функция, но с проверкой ошибок.

function getJsonVal() {
   if [ \( $# -ne 1 \) -o \( -t 0 \) ]; then
       cat <<EOF
Usage: getJsonVal 'key' < /tmp/
 -- or -- 
 cat /tmp/input | getJsonVal 'key'
EOF
       return;
   fi;
   python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1))";
}

Где $ # -ne 1 гарантирует, что хотя бы 1 ввод, а -t 0 - перенаправление из канала.

Приятной особенностью этой реализации является то, что вы можете получить доступ к вложенным значениям json и получить взамен json! знак равно

Пример:

$ echo '{"foo": {"bar": "baz", "a": [1,2,3]}}' |  getJsonVal "['foo']['a'][1]"
2

Если вы хотите быть по-настоящему модным, можете распечатать данные:

function getJsonVal () { 
    python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1, sort_keys=True, indent=4))"; 
}

$ echo '{"foo": {"bar": "baz", "a": [1,2,3]}}' |  getJsonVal "['foo']"
{
    "a": [
        1, 
        2, 
        3
    ], 
    "bar": "baz"
}

TickTick - это анализатор JSON, написанный на bash (<250 строк кода)

Вот отрывок из его статьи « Представьте мир, в котором Bash поддерживает JSON» :

#!/bin/bash
. ticktick.sh

``  
  people = { 
    "Writers": [
      "Rod Serling",
      "Charles Beaumont",
      "Richard Matheson"
    ],  
    "Cast": {
      "Rod Serling": { "Episodes": 156 },
      "Martin Landau": { "Episodes": 2 },
      "William Shatner": { "Episodes": 2 } 
    }   
  }   
``  

function printDirectors() {
  echo "  The ``people.Directors.length()`` Directors are:"

  for director in ``people.Directors.items()``; do
    printf "    - %s\n" ${!director}
  done
}   

`` people.Directors = [ "John Brahm", "Douglas Heyes" ] ``
printDirectors

newDirector="Lamont Johnson"
`` people.Directors.push($newDirector) ``
printDirectors

echo "Shifted: "``people.Directors.shift()``
printDirectors

echo "Popped: "``people.Directors.pop()``
printDirectors

Разбор JSON с PHP CLI

Возможно, не по теме, но, поскольку царит приоритет, этот вопрос остается неполным без упоминания нашего верного и верного PHP, я прав?

Используя тот же пример JSON, но давайте присвоим его переменной, чтобы уменьшить затенение.

$ export JSON='{"hostname":"test","domainname":"example.com"}'

Теперь для бога PHP, используя file_get_contents и обертку потока php: // stdin .

$ echo $JSON|php -r 'echo json_decode(file_get_contents("php://stdin"))->hostname;'

или, как указано, используя fgets и уже открытый поток с константой CLI STDIN .

$ echo $JSON|php -r 'echo json_decode(fgets(STDIN))->hostname;'

NJoy!

Родная версия Bash: также хорошо работает с обратной косой чертой (\) и кавычками (")

function parse_json()
{
    echo $1 | \
    sed -e 's/[{}]/''/g' | \
    sed -e 's/", "/'\",\"'/g' | \
    sed -e 's/" ,"/'\",\"'/g' | \
    sed -e 's/" , "/'\",\"'/g' | \
    sed -e 's/","/'\"---SEPERATOR---\"'/g' | \
    awk -F=':' -v RS='---SEPERATOR---' "\$1~/\"$2\"/ {print}" | \
    sed -e "s/\"$2\"://" | \
    tr -d "\n\t" | \
    sed -e 's/\\"/"/g' | \
    sed -e 's/\\\\/\\/g' | \
    sed -e 's/^[ \t]*//g' | \
    sed -e 's/^"//'  -e 's/"$//'
}


parse_json '{"username":"john, doe","email":"john@doe.com"}' username
parse_json '{"username":"john doe","email":"john@doe.com"}' email

--- outputs ---

john, doe
johh@doe.com

Версия, которая использует Ruby и http://flori.github.com/json/

$ < file.json ruby -e "require 'rubygems'; require 'json'; puts JSON.pretty_generate(JSON[STDIN.read]);"

или более кратко:

$ < file.json ruby -r rubygems -r json -e "puts JSON.pretty_generate(JSON[STDIN.read]);"

К сожалению, топ проголосовали ответ , который использует grepвозвращает полный матч , который не работал в моем сценарии, но если вы знаете формат JSON будет оставаться постоянной вы можете использовать назад ' и предпросмотр для извлечения только требуемых значений.

# echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="FooBar":")(.*?)(?=",)'
he\"llo
# echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="TotalPages":)(.*?)(?=,)'
33
#  echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="anotherValue":)(.*?)(?=})'
100

Если кто-то просто хочет извлечь значения из простых объектов JSON без вложенных структур, можно использовать регулярные выражения, даже не выходя из bash.

Вот функция, которую я определил, используя регулярные выражения bash на основе стандарта JSON :

function json_extract() {
  local key=$1
  local json=$2

  local string_regex='"([^"\]|\\.)*"'
  local number_regex='-?(0|[1-9][0-9]*)(\.[0-9]+)?([eE][+-]?[0-9]+)?'
  local value_regex="${string_regex}|${number_regex}|true|false|null"
  local pair_regex="\"${key}\"[[:space:]]*:[[:space:]]*(${value_regex})"

  if [[ ${json} =~ ${pair_regex} ]]; then
    echo $(sed 's/^"\|"$//g' <<< "${BASH_REMATCH[1]}")
  else
    return 1
  fi
}

Предостережения: объекты и массивы не поддерживаются как значения, но поддерживаются все другие типы значений, определенные в стандарте. Кроме того, пара будет сопоставляться независимо от того, насколько глубоко она находится в документе JSON, если она имеет абсолютно одинаковое имя ключа.

Используя пример OP:

$ json_extract text "$(curl 'http://twitter.com/users/username.json')"
My status

$ json_extract friends_count "$(curl 'http://twitter.com/users/username.json')"
245

Есть более простой способ получить свойство из строки json. Используя package.jsonфайл в качестве примера, попробуйте это:

#!/usr/bin/env bash
my_val="$(json=$(<package.json) node -pe "JSON.parse(process.env.json)['version']")"

Мы используем его, process.envпотому что он передает содержимое файла в node.js в виде строки без риска того, что вредоносное содержимое выйдет из их цитирования и будет проанализировано как код.

Теперь, когда Powershell является кроссплатформенным, я подумал, что смогу найти выход из положения, поскольку считаю его довольно интуитивным и чрезвычайно простым.

curl -s 'https://api.github.com/users/lambda' | ConvertFrom-Json 

ConvertFrom-Json преобразует JSON в пользовательский объект Powershell, поэтому вы можете легко работать со свойствами с этого момента. Например, если вам нужно только свойство id, вы просто сделаете это:

curl -s 'https://api.github.com/users/lambda' | ConvertFrom-Json | select -ExpandProperty id

Если вы хотите вызвать все это изнутри Bash, то вам придется называть это так:

powershell 'curl -s "https://api.github.com/users/lambda" | ConvertFrom-Json'

Конечно, есть чистый способ Powershell сделать это без curl, который будет:

Invoke-WebRequest 'https://api.github.com/users/lambda' | select -ExpandProperty Content | ConvertFrom-Json

Наконец, есть также ConvertTo-Json, который так же легко преобразует пользовательский объект в JSON. Вот пример:

(New-Object PsObject -Property @{ Name = "Tester"; SomeList = @('one','two','three')}) | ConvertTo-Json

Что дало бы хороший JSON вот так:

{
"Name":  "Tester",
"SomeList":  [
                 "one",
                 "two",
                 "three"
             ]

}

По общему признанию, использование оболочки Windows в Unix несколько кощунственно, но Powershell действительно хорош в некоторых вещах, и разбор JSON и XML - пара из них. Эта страница GitHub для кросс-платформенной версии https://github.com/PowerShell/PowerShell

Кто-то, у кого также есть XML-файлы, может захотеть взглянуть на мой Xidel . Это cli, не зависящий от JSONiq процессор. (т.е. он также поддерживает XQuery для обработки XML или JSON)

Пример в вопросе будет:

 xidel -e 'json("http://twitter.com/users/username.json")("name")'

Или с моим собственным нестандартным синтаксисом расширения:

 xidel -e 'json("http://twitter.com/users/username.json").name'

Я не могу использовать ни один из ответов здесь. Нет доступных jq, нет массивов оболочек, нет объявлений, нет grep -P, нет look -hind и lookahead, нет Python, нет Perl, нет Ruby, нет - даже нет Bash ... Остальные ответы просто не работают хорошо. JavaScript звучит знакомо, но в банке написано Nescaffe - так что это тоже не пойдет :) Даже если таковые имеются, для моей простой необходимости - они будут излишними и медленными.

Тем не менее, для меня чрезвычайно важно получить много переменных из ответа моего модема в формате json. Я делаю это в sh с очень урезанным BusyBox на моих маршрутизаторах! Нет проблем с использованием только awk: просто установите разделители и прочитайте данные. Для одной переменной это все!

awk 'BEGIN { FS="\""; RS="," }; { if ($2 == "login") {print $4} }' test.json

Помните, у меня нет массивов? Я должен был присвоить анализируемые в awk данные 11 переменным, которые мне нужны в сценарии оболочки. Куда бы я ни посмотрел, это считалось невыполнимой миссией. С этим тоже проблем нет.

Мое решение простое. Этот код будет: 1) анализировать файл .json из вопроса (на самом деле, я позаимствовал образец рабочих данных из наиболее часто задаваемого ответа) и выбрать данные в кавычках, плюс 2) создать переменные оболочки из awk, присваивая свободную именованную оболочку имена переменных.

eval $( curl -s 'https://api.github.com/users/lambda' | 
awk ' BEGIN { FS="\""; RS="," };
{
    if ($2 == "login") { print "Login=\""$4"\"" }
    if ($2 == "name") { print "Name=\""$4"\"" }
    if ($2 == "updated_at") { print "Updated=\""$4"\"" }
}' )
echo "$Login, $Name, $Updated"

Никаких проблем с пробелами внутри. В моем случае эта же команда анализирует длинный однострочный вывод. Поскольку используется eval, это решение подходит только для доверенных данных. Его легко адаптировать к данным без кавычек. Для огромного числа переменных, предельное увеличение скорости может быть достигнуто с помощью else if. Отсутствие массива, очевидно, означает: нет нескольких записей без лишних действий. Но там, где имеются массивы, адаптация этого решения - простая задача.

Ответ @maikel sed почти работает (но я не могу это комментировать). Для моих красиво отформатированных данных - это работает. Не так много с примером, использованным здесь (пропущенные кавычки отбрасывают его). Это сложно и сложно изменить. Кроме того, мне не нравится делать 11 вызовов для извлечения 11 переменных. Почему? Я рассчитал 100 циклов, извлекая 9 переменных: функция sed заняла 48,99 с, а мое решение заняло 0,91 с! Не честно? Выполнение только одного извлечения из 9 переменных: 0,51 против 0,02 сек.

Вы можете попробовать что-то вроде этого -

curl -s 'http://twitter.com/users/jaypalsingh.json' | 
awk -F=":" -v RS="," '$1~/"text"/ {print}'

Вы можете использовать jshon:

curl 'http://twitter.com/users/username.json' | jshon -e text

вот один из способов сделать это с помощью awk

curl -sL 'http://twitter.com/users/username.json' | awk -F"," -v k="text" '{
    gsub(/{|}/,"")
    for(i=1;i<=NF;i++){
        if ( $i ~ k ){
            print $i
        }
    }
}'

Для более сложного анализа JSON я предлагаю использовать модуль jsonpath python (автор Stefan Goessner) -

1. Установите это -

sudo easy_install -U jsonpath

1. Используй это -

Пример file.json (из http://goessner.net/articles/JsonPath ) -

{ "store": {
    "book": [ 
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}

Разобрать его (извлечь все названия книг с ценой <10) -

$ cat file.json | python -c "import sys, json, jsonpath; print '\n'.join(jsonpath.jsonpath(json.load(sys.stdin), 'store.book[?(@.price < 10)].title'))"

Будет выходной -

Sayings of the Century
Moby Dick

ПРИМЕЧАНИЕ. Приведенная выше командная строка не включает проверку ошибок. для полного решения с проверкой ошибок вы должны создать небольшой скрипт на python и обернуть код в try-exc.

Если у вас есть php :

php -r 'var_export(json_decode(`curl http://twitter.com/users/username.json`, 1));'

Например:
у нас есть ресурс, который предоставляет json коды iso стран: http://country.io/iso3.json, и мы легко можем увидеть его в оболочке с curl:

curl http://country.io/iso3.json

но выглядит не очень удобно и не читабельно, лучше разбирать json и видеть читаемую структуру:

php -r 'var_export(json_decode(`curl http://country.io/iso3.json`, 1));'

Этот код напечатает что-то вроде:

array (
  'BD' => 'BGD',
  'BE' => 'BEL',
  'BF' => 'BFA',
  'BG' => 'BGR',
  'BA' => 'BIH',
  'BB' => 'BRB',
  'WF' => 'WLF',
  'BL' => 'BLM',
  ...

если у вас есть вложенные массивы, этот вывод будет выглядеть намного лучше ...

Надеюсь, это будет полезно ...

Существует также очень простой , но мощный JSON CLI обработки инструмент FX - https://github.com/antonmedv/fx

Примеры

Используйте анонимную функцию:

$ echo '{"key": "value"}' | fx "x => x.key"
value

Если вы не передадите анонимную функцию param => ..., код будет автоматически преобразован в анонимную функцию. И вы можете получить доступ к JSON по этому ключевому слову:

$ echo '[1,2,3]' | fx "this.map(x => x * 2)"
[2, 4, 6]

Или просто используйте точечный синтаксис:

$ echo '{"items": {"one": 1}}' | fx .items.one
1

Вы можете передать любое количество анонимных функций для сокращения JSON:

$ echo '{"items": ["one", "two"]}' | fx "this.items" "this[1]"
two

Вы можете обновить существующий JSON с помощью оператора распространения:

$ echo '{"count": 0}' | fx "{...this, count: 1}"
{"count": 1}

Просто простой JavaScript . Не нужно изучать новый синтаксис.

ОБНОВЛЕНИЕ 2018-11-06

fxтеперь есть интерактивный режим ( ! )

https://github.com/antonmedv/fx

Это еще один bashи pythonгибридный ответ. Я опубликовал этот ответ, потому что хотел обработать более сложный вывод JSON, но, уменьшив сложность моего приложения bash. Я хочу взломать следующий объект JSON с http://www.arcgis.com/sharing/rest/info?f=json в bash:

{
  "owningSystemUrl": "http://www.arcgis.com",
  "authInfo": {
    "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
    "isTokenBasedSecurity": true
  }
}

В следующем примере я создал свою собственную реализацию jqи unquoteиспользование python. Вы заметите, что как только мы импортируем объект python из jsonсловаря python, мы можем использовать синтаксис python для навигации по словарю. Для навигации выше, синтаксис:

• data
• data[ "authInfo" ]
• data[ "authInfo" ][ "tokenServicesUrl" ]

Используя магию в bash, мы опускаем dataи поставляем только текст на Python справа от данных, т.е.

• jq
• jq '[ "authInfo" ]'
• jq '[ "authInfo" ][ "tokenServicesUrl" ]'

Обратите внимание, без параметров, jq действует как префиксатор JSON. С помощью параметров мы можем использовать синтаксис Python для извлечения из словаря всего, что нам нужно, включая навигацию по поддиректориям и элементам массива.

Вот рабочий пример, демонстрирующий вышесказанное:

jq_py() {
cat <<EOF
import json, sys
data = json.load( sys.stdin )
print( json.dumps( data$1, indent = 4 ) )
EOF
}

jq() {
  python -c "$( jq_py "$1" )"
}

unquote_py() {
cat <<EOF
import json,sys
print( json.load( sys.stdin ) )
EOF
}

unquote() {
  python -c "$( unquote_py )"
}

curl http://www.arcgis.com/sharing/rest/info?f=json | tee arcgis.json
# {"owningSystemUrl":"https://www.arcgis.com","authInfo":{"tokenServicesUrl":"https://www.arcgis.com/sharing/rest/generateToken","isTokenBasedSecurity":true}}

cat arcgis.json | jq
# {
#     "owningSystemUrl": "https://www.arcgis.com",
#     "authInfo": {
#         "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
#         "isTokenBasedSecurity": true
#     }
# }

cat arcgis.json | jq '[ "authInfo" ]'
# {
#     "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
#     "isTokenBasedSecurity": true
# }

cat arcgis.json | jq '[ "authInfo" ][ "tokenServicesUrl" ]'
# "https://www.arcgis.com/sharing/rest/generateToken"

cat arcgis.json | jq '[ "authInfo" ][ "tokenServicesUrl" ]' | unquote
# https://www.arcgis.com/sharing/rest/generateToken

Я сделал это, "проанализировав" ответ json для определенного значения, следующим образом:

curl $url | grep $var | awk '{print $2}' | sed s/\"//g 

Ясно, что $ url здесь будет URL-адресом твиттера, а $ var будет «текстом», чтобы получить ответ для этой переменной.

На самом деле, я думаю, что единственное, что я делаю в OP, это grep для строки с конкретной переменной, которую он ищет. Awk берет второй элемент в строке, и с помощью sed я убираю цитаты.

Кто-то умнее меня, вероятно, мог бы все мыслить с помощью awk или grep.

Теперь вы можете сделать все это с помощью sed:

curl $url | sed '/text/!d' | sed s/\"text\"://g | sed s/\"//g | sed s/\ //g

таким образом, нет awk, нет grep ... Я не знаю, почему я не думал об этом раньше. Хммм ...

Разбор JSON является болезненным в сценарии оболочки. Используя более подходящий язык, создайте инструмент, который извлекает атрибуты JSON способом, соответствующим соглашениям сценариев оболочки. Вы можете использовать свой новый инструмент, чтобы решить непосредственную проблему сценариев оболочки, а затем добавить его в свой комплект для будущих ситуаций.

Например, рассмотрим инструмент jsonlookup , который, если я скажу jsonlookup access token id, вернет идентификатор атрибута, определенный в маркере атрибута, определенном в атрибуте access из stdin, который предположительно представляет собой данные JSON. Если атрибут не существует, инструмент ничего не возвращает (состояние выхода 1). Если синтаксический анализ завершился неудачно, выйдите из состояния 2 и отправьте сообщение в stderr. Если поиск успешен, инструмент печатает значение атрибута.

Создав инструмент Unix для точной цели извлечения значений JSON, вы можете легко использовать его в сценариях оболочки:

access_token=$(curl <some horrible crap> | jsonlookup access token id)

Любой язык подойдет для реализации jsonlookup . Вот довольно лаконичная версия Python:

#!/usr/bin/python                                                               

import sys
import json

try: rep = json.loads(sys.stdin.read())
except:
    sys.stderr.write(sys.argv[0] + ": unable to parse JSON from stdin\n")
    sys.exit(2)
for key in sys.argv[1:]:
    if key not in rep:
        sys.exit(1)
    rep = rep[key]
print rep

Двухслойный, который использует Python. Это особенно хорошо работает, если вы пишете один файл .sh и не хотите зависеть от другого файла .py. Это также использует использование трубы |. echo "{\"field\": \"value\"}"может быть заменено на что-либо, печатающее JSON на стандартный вывод.

echo "{\"field\": \"value\"}" | python -c 'import sys, json
print(json.load(sys.stdin)["field"])'

Это хороший пример использования Pythonpy :

curl 'http://twitter.com/users/username.json' | py 'json.load(sys.stdin)["name"]'