Как получить ответ JSON от http.Get

137

Я пытаюсь прочитать данные JSON из Интернета, но этот код возвращает пустой результат. Я не уверен, что я здесь делаю не так.

package main

import "os"
import "fmt"
import "net/http"
import "io/ioutil"
import "encoding/json"

type Tracks struct {
    Toptracks []Toptracks_info
}

type Toptracks_info struct {
    Track []Track_info
    Attr  []Attr_info
}

type Track_info struct {
    Name       string
    Duration   string
    Listeners  string
    Mbid       string
    Url        string
    Streamable []Streamable_info
    Artist     []Artist_info
    Attr       []Track_attr_info
}

type Attr_info struct {
    Country    string
    Page       string
    PerPage    string
    TotalPages string
    Total      string
}

type Streamable_info struct {
    Text      string
    Fulltrack string
}

type Artist_info struct {
    Name string
    Mbid string
    Url  string
}

type Track_attr_info struct {
    Rank string
}

func get_content() {
    // json data
    url := "http://ws.audioscrobbler.com/2.0/?method=geo.gettoptracks&api_key=c1572082105bd40d247836b5c1819623&format=json&country=Netherlands"

    res, err := http.Get(url)

    if err != nil {
        panic(err.Error())
    }

    body, err := ioutil.ReadAll(res.Body)

    if err != nil {
        panic(err.Error())
    }

    var data Tracks
    json.Unmarshal(body, &data)
    fmt.Printf("Results: %v\n", data)
    os.Exit(0)
}

func main() {
    get_content()
}
Акшайдип Гири
источник

Ответы:

267

Идеальный способ - не использовать ioutil.ReadAll, а использовать декодер непосредственно на считывателе. Вот хорошая функция, которая получает URL-адрес и декодирует его ответ в targetструктуру.

var myClient = &http.Client{Timeout: 10 * time.Second}

func getJson(url string, target interface{}) error {
    r, err := myClient.Get(url)
    if err != nil {
        return err
    }
    defer r.Body.Close()

    return json.NewDecoder(r.Body).Decode(target)
}

Пример использования:

type Foo struct {
    Bar string
}

func main() {
    foo1 := new(Foo) // or &Foo{}
    getJson("http://example.com", foo1)
    println(foo1.Bar)

    // alternately:

    foo2 := Foo{}
    getJson("http://example.com", &foo2)
    println(foo2.Bar)
}

Вы не должны использовать *http.Clientструктуру по умолчанию в производстве, как изначально продемонстрировал этот ответ! (К чему http.Getи обращается / etc). Причина в том, что у клиента по умолчанию не установлен тайм-аут; если удаленный сервер не отвечает, у вас будет плохой день.

Коннор Пит
источник
5
Похоже, вам нужно использовать верхний регистр для имен элементов в структуре, например, type WebKeys struct { Keys []struct { X5t string X5c []string } } даже когда фактические параметры в JSON, который вы разбираете, находятся в нижнем регистре. Пример JSON:{ "keys": [{ "x5t": "foo", "x5c": "baaaar" }] }
Wilson
1
@ Роман, нет. Если возвращается ошибка, значение ответа равно нулю. (Ошибка означает, что мы не смогли прочитать ни один действительный HTTP-ответ, тело не закрывается!) Вы можете проверить это, указав .Get () на несуществующий URL. Этот метод демонстрируется во втором блоке кода в документации net / http .
Коннор Пит
1
@NamGVU сохраняет потенциальное распределение и позволяет использовать http keep-alive для повторного использования соединений.
Коннор Пит
2
@ConnorPeet Спасибо, ты сделал мне день! Интересно, что вы имели в виду, говоря «Вы не должны использовать структуру * http.Client по умолчанию в производстве». Вы имели в виду, что нужно использовать &http.Client{Timeout: 10 * time.Second}или использовать совершенно другую библиотеку / стратегию?
Jona Rodrigues
6
Просто предупреждение для других - json.NewDecoder(r.Body).Decode(target)будет не возвращать ошибку для некоторых типов искаженной JSON! Я просто потратил несколько часов, пытаясь понять, почему я продолжал получать пустой ответ - оказалось, что в исходном JSON была лишняя запятая, где ее не должно было быть. Я предлагаю вам использовать json.Unmarshalвместо этого. Здесь также есть хорошая запись о других потенциальных опасностях использования json.Decoder здесь
adamc
26

Ваша проблема заключалась в объявлениях срезов в ваших данных structs(за исключением того Track, что они не должны быть срезами ...). Это усугублялось некоторыми довольно глупыми именами полей в извлеченном json-файле, которые можно исправить с помощью structtags, см. Godoc .

Приведенный ниже код успешно проанализировал json. Если у вас есть дополнительные вопросы, дайте мне знать.

package main

import "fmt"
import "net/http"
import "io/ioutil"
import "encoding/json"

type Tracks struct {
    Toptracks Toptracks_info
}

type Toptracks_info struct {
    Track []Track_info
    Attr  Attr_info `json: "@attr"`
}

type Track_info struct {
    Name       string
    Duration   string
    Listeners  string
    Mbid       string
    Url        string
    Streamable Streamable_info
    Artist     Artist_info   
    Attr       Track_attr_info `json: "@attr"`
}

type Attr_info struct {
    Country    string
    Page       string
    PerPage    string
    TotalPages string
    Total      string
}

type Streamable_info struct {
    Text      string `json: "#text"`
    Fulltrack string
}

type Artist_info struct {
    Name string
    Mbid string
    Url  string
}

type Track_attr_info struct {
    Rank string
}

func perror(err error) {
    if err != nil {
        panic(err)
    }
}

func get_content() {
    url := "http://ws.audioscrobbler.com/2.0/?method=geo.gettoptracks&api_key=c1572082105bd40d247836b5c1819623&format=json&country=Netherlands"

    res, err := http.Get(url)
    perror(err)
    defer res.Body.Close()

    decoder := json.NewDecoder(res.Body)
    var data Tracks
    err = decoder.Decode(&data)
    if err != nil {
        fmt.Printf("%T\n%s\n%#v\n",err, err, err)
        switch v := err.(type){
            case *json.SyntaxError:
                fmt.Println(string(body[v.Offset-40:v.Offset]))
        }
    }
    for i, track := range data.Toptracks.Track{
        fmt.Printf("%d: %s %s\n", i, track.Artist.Name, track.Name)
    }
}

func main() {
    get_content()
}
хам
источник
1
В теле ответа что-то есть.
peterSO
6
В моем случае мне не хватало первого символа ЗАПИСИ в полях «структура».
abourget
Ответ ниже правильный, используя декодер непосредственно в ответе. Body избегает ненужных выделений и, как правило, более идеален. Исправил мой ответ, спасибо, что указали на него.
tike
@abourget omg, спасибо за этот комментарий. Просто потратьте 1 час на поиск проблем в парсере, подтвердив с помощью wirehark, что ответ правильный ... спасибо
Agilob
14

Вам нужны имена свойств в верхнем регистре в ваших структурах, чтобы их могли использовать пакеты json.

Верхние имена случае имущественные exported properties. Имена свойств в нижнем регистре не экспортируются.

Вам также необходимо передать свой объект данных по ссылке ( &data).

package main

import "os"
import "fmt"
import "net/http"
import "io/ioutil"
import "encoding/json"

type tracks struct {
    Toptracks []toptracks_info
}

type toptracks_info struct {
    Track []track_info
    Attr  []attr_info
}

type track_info struct {
    Name       string
    Duration   string
    Listeners  string
    Mbid       string
    Url        string
    Streamable []streamable_info
    Artist     []artist_info
    Attr       []track_attr_info
}

type attr_info struct {
    Country    string
    Page       string
    PerPage    string
    TotalPages string
    Total      string
}

type streamable_info struct {
    Text      string
    Fulltrack string
}

type artist_info struct {
    Name string
    Mbid string
    Url  string
}

type track_attr_info struct {
    Rank string
}

func get_content() {
    // json data
    url := "http://ws.audioscrobbler.com/2.0/?method=geo.gettoptracks&api_key=c1572082105bd40d247836b5c1819623&format=json&country=Netherlands"

    res, err := http.Get(url)

    if err != nil {
        panic(err.Error())
    }

    body, err := ioutil.ReadAll(res.Body)

    if err != nil {
        panic(err.Error())
    }

    var data tracks
    json.Unmarshal(body, &data)
    fmt.Printf("Results: %v\n", data)
    os.Exit(0)
}

func main() {
    get_content()
}
Даниил
источник
все еще не работает, это работает для вас? такой же пустой ответ
Акшайдип Гири
3
спасибо за «Вам нужны имена свойств в верхнем регистре в ваших структурах, чтобы их могли использовать json-пакеты».
HVNSweeting
8

Результаты from json.Unmarshal(into var data interface{}) не соответствуют напрямую вашему типу Go и объявлениям переменных. Например,

package main

import (
    "encoding/json"
    "fmt"
    "io/ioutil"
    "net/http"
    "os"
)

type Tracks struct {
    Toptracks []Toptracks_info
}

type Toptracks_info struct {
    Track []Track_info
    Attr  []Attr_info
}

type Track_info struct {
    Name       string
    Duration   string
    Listeners  string
    Mbid       string
    Url        string
    Streamable []Streamable_info
    Artist     []Artist_info
    Attr       []Track_attr_info
}

type Attr_info struct {
    Country    string
    Page       string
    PerPage    string
    TotalPages string
    Total      string
}

type Streamable_info struct {
    Text      string
    Fulltrack string
}

type Artist_info struct {
    Name string
    Mbid string
    Url  string
}

type Track_attr_info struct {
    Rank string
}

func get_content() {
    // json data
    url := "http://ws.audioscrobbler.com/2.0/?method=geo.gettoptracks&api_key=c1572082105bd40d247836b5c1819623&format=json&country=Netherlands"
    url += "&limit=1" // limit data for testing
    res, err := http.Get(url)
    if err != nil {
        panic(err.Error())
    }
    body, err := ioutil.ReadAll(res.Body)
    if err != nil {
        panic(err.Error())
    }
    var data interface{} // TopTracks
    err = json.Unmarshal(body, &data)
    if err != nil {
        panic(err.Error())
    }
    fmt.Printf("Results: %v\n", data)
    os.Exit(0)
}

func main() {
    get_content()
}

Вывод:

Results: map[toptracks:map[track:map[name:Get Lucky (feat. Pharrell Williams) listeners:1863 url:http://www.last.fm/music/Daft+Punk/_/Get+Lucky+(feat.+Pharrell+Williams) artist:map[name:Daft Punk mbid:056e4f3e-d505-4dad-8ec1-d04f521cbb56 url:http://www.last.fm/music/Daft+Punk] image:[map[#text:http://userserve-ak.last.fm/serve/34s/88137413.png size:small] map[#text:http://userserve-ak.last.fm/serve/64s/88137413.png size:medium] map[#text:http://userserve-ak.last.fm/serve/126/88137413.png size:large] map[#text:http://userserve-ak.last.fm/serve/300x300/88137413.png size:extralarge]] @attr:map[rank:1] duration:369 mbid: streamable:map[#text:1 fulltrack:0]] @attr:map[country:Netherlands page:1 perPage:1 totalPages:500 total:500]]]
peterSO
источник