JSON для панд DataFrame

144

Я пытаюсь извлечь данные о высоте из API карт Google по пути, указанному координатами широты и долготы, следующим образом:

from urllib2 import Request, urlopen
import json

path1 = '42.974049,-81.205203|42.974298,-81.195755'
request=Request('http://maps.googleapis.com/maps/api/elevation/json?locations='+path1+'&sensor=false')
response = urlopen(request)
elevations = response.read()

Это дает мне данные, которые выглядят так:

elevations.splitlines()

['{',
 '   "results" : [',
 '      {',
 '         "elevation" : 243.3462677001953,',
 '         "location" : {',
 '            "lat" : 42.974049,',
 '            "lng" : -81.205203',
 '         },',
 '         "resolution" : 19.08790397644043',
 '      },',
 '      {',
 '         "elevation" : 244.1318664550781,',
 '         "location" : {',
 '            "lat" : 42.974298,',
 '            "lng" : -81.19575500000001',
 '         },',
 '         "resolution" : 19.08790397644043',
 '      }',
 '   ],',
 '   "status" : "OK"',
 '}']

при вводе в качестве DataFrame вот что я получаю:

введите описание изображения здесь

pd.read_json(elevations)

и вот что я хочу:

введите описание изображения здесь

Я не уверен, возможно ли это, но главным образом то, что я ищу, - это способ объединить данные высот, широты и долготы в кадр данных pandas (необязательно иметь причудливые мутилиновые заголовки).

Если кто-то может помочь или дать совет по работе с этими данными, это было бы здорово! Если вы не можете сказать, что я мало работал с данными JSON раньше ...

РЕДАКТИРОВАТЬ:

Этот метод не так уж привлекателен, но, похоже, работает:

data = json.loads(elevations)
lat,lng,el = [],[],[]
for result in data['results']:
    lat.append(result[u'location'][u'lat'])
    lng.append(result[u'location'][u'lng'])
    el.append(result[u'elevation'])
df = pd.DataFrame([lat,lng,el]).T

в конечном итоге датафрейм имеет столбцы широта, долгота, высота

введите описание изображения здесь

pbreach
источник
Привет друг, ты знаешь, как получить кусок JSON? какой-то подраздел?
М. Марискал

Ответы:

185

Я нашел быстрое и простое решение , что я хотел с использованием json_normalize()включенных в pandas 1.01.

from urllib2 import Request, urlopen
import json

import pandas as pd    

path1 = '42.974049,-81.205203|42.974298,-81.195755'
request=Request('http://maps.googleapis.com/maps/api/elevation/json?locations='+path1+'&sensor=false')
response = urlopen(request)
elevations = response.read()
data = json.loads(elevations)
df = pd.json_normalize(data['results'])

Это дает хороший сплющенный фрейм данных с данными json, которые я получил от API Карт Google.

pbreach
источник
13
Это уже не кажется на работу - я должен был использовать , pd.DataFrame.from_records()как описано здесь stackoverflow.com/a/33020669/1137803
AVV
4
from_records также иногда не работает, если json достаточно сложен, вы должны применить json.io.json.json_normalize для получения плоской карты. Ознакомьтесь со stackoverflow.com/questions/39899005/…
devssh
27

Проверьте этот отрывок.

# reading the JSON data using json.load()
file = 'data.json'
with open(file) as train_file:
    dict_train = json.load(train_file)

# converting json dataset from dictionary to dataframe
train = pd.DataFrame.from_dict(dict_train, orient='index')
train.reset_index(level=0, inplace=True)

Надеюсь, поможет :)

Rishu
источник
1
Ошибка. Вы должны передать содержимое файла (то есть строку) в json.loads (), а не сам объект файла - json.load (train_file.read ())
Васин Юрий
13

Сначала вы можете импортировать данные JSON в словарь Python:

data = json.loads(elevations)

Затем измените данные на лету:

for result in data['results']:
    result[u'lat']=result[u'location'][u'lat']
    result[u'lng']=result[u'location'][u'lng']
    del result[u'location']

Перестройте строку json:

elevations = json.dumps(data)

В заключение :

pd.read_json(elevations)

Вы также можете избежать вывода данных обратно в строку. Я полагаю, что Panda может напрямую создать DataFrame из словаря (я давно его не использовал: p)

Рафаэль Брауд
источник
Я все еще получаю тот же результат, используя данные json и созданный словарь. Кажется, что каждый элемент в кадре данных имеет свой собственный диктат. Я попытался использовать ваш подход менее привлекательным способом, создавая отдельный список для широты, долготы и высоты, перебирая «данные».
pbreach
@ user2593236: Здравствуйте, я сделал ошибку при копировании / вставке моего кода в SO: отсутствует del (ответ отредактирован)
Raphaël Braud
Хм ... Все то же самое, где в качестве заголовков указаны «результаты» и «статус», а остальные данные json отображаются в виде диктов в каждой ячейке. Я думаю, что решением этой проблемы было бы изменить формат данных так, чтобы они не подразделялись на «результаты» и «статус», тогда фрейм данных будет использовать «lat», «lng», «height», « разрешение »как отдельные заголовки. Либо так, либо мне нужно будет найти способ загрузки данных json в фрейм данных, который будет иметь многоуровневый индекс заголовка, как я уже упоминал в этом вопросе.
pbreach
Какой финальный стол вы ожидаете? Тот, который вы получили после редактирования?
Рафаэль Брауд
Тот, который я получил после моего последнего редактирования, выполняет свою работу, в основном все, что мне было нужно, это получить данные в табличном формате, который я могу экспортировать и работать с ним
pbreach
9

Просто новая версия принятого ответа, так как python3.xне поддерживаетurllib2

from requests import request
import json
from pandas.io.json import json_normalize

path1 = '42.974049,-81.205203|42.974298,-81.195755'
response=request(url='http://maps.googleapis.com/maps/api/elevation/json?locations='+path1+'&sensor=false', method='get')
elevations = response.json()
elevations
data = json.loads(elevations)
json_normalize(data['results'])
AB Abhi
источник
4

Проблема состоит в том, что у вас есть несколько столбцов во фрейме данных, которые содержат в себе слова с меньшими значениями. Полезный Json часто сильно вложен. Я пишу небольшие функции, которые выводят нужную информацию в новый столбец. Таким образом, у меня есть это в формате, который я хочу использовать.

for row in range(len(data)):
    #First I load the dict (one at a time)
    n = data.loc[row,'dict_column']
    #Now I make a new column that pulls out the data that I want.
    data.loc[row,'new_column'] = n.get('key')
billmanH
источник
4

Оптимизация принятого ответа:

В принятом ответе есть некоторые функциональные проблемы, поэтому я хочу поделиться своим кодом, который не использует urllib2:

import requests
from pandas.io.json import json_normalize
url = 'https://www.energidataservice.dk/proxy/api/datastore_search?resource_id=nordpoolmarket&limit=5'

r = requests.get(url)
dictr = r.json()
recs = dictr['result']['records']
df = json_normalize(recs)
print(df)

Вывод:

        _id                    HourUTC               HourDK  ... ElbasAveragePriceEUR  ElbasMaxPriceEUR  ElbasMinPriceEUR
0    264028  2019-01-01T00:00:00+00:00  2019-01-01T01:00:00  ...                  NaN               NaN               NaN
1    138428  2017-09-03T15:00:00+00:00  2017-09-03T17:00:00  ...                33.28              33.4              32.0
2    138429  2017-09-03T16:00:00+00:00  2017-09-03T18:00:00  ...                35.20              35.7              34.9
3    138430  2017-09-03T17:00:00+00:00  2017-09-03T19:00:00  ...                37.50              37.8              37.3
4    138431  2017-09-03T18:00:00+00:00  2017-09-03T20:00:00  ...                39.65              42.9              35.3
..      ...                        ...                  ...  ...                  ...               ...               ...
995  139290  2017-10-09T13:00:00+00:00  2017-10-09T15:00:00  ...                38.40              38.4              38.4
996  139291  2017-10-09T14:00:00+00:00  2017-10-09T16:00:00  ...                41.90              44.3              33.9
997  139292  2017-10-09T15:00:00+00:00  2017-10-09T17:00:00  ...                46.26              49.5              41.4
998  139293  2017-10-09T16:00:00+00:00  2017-10-09T18:00:00  ...                56.22              58.5              49.1
999  139294  2017-10-09T17:00:00+00:00  2017-10-09T19:00:00  ...                56.71              65.4              42.2 

PS: API для датских цен на электроэнергию

DisabledWhale
источник
3

Вот небольшой вспомогательный класс, который преобразует JSON в DataFrame и обратно: Надеюсь, вы найдете это полезным.

# -*- coding: utf-8 -*-
from pandas.io.json import json_normalize

class DFConverter:

    #Converts the input JSON to a DataFrame
    def convertToDF(self,dfJSON):
        return(json_normalize(dfJSON))

    #Converts the input DataFrame to JSON 
    def convertToJSON(self, df):
        resultJSON = df.to_json(orient='records')
        return(resultJSON)
Сива
источник
1

Решение billmanH помогло мне, но не работало, пока я не переключился с:

n = data.loc[row,'json_column']

чтобы:

n = data.iloc[[row]]['json_column']

вот и все остальное, преобразование в словарь полезно для работы с данными JSON.

import json

for row in range(len(data)):
    n = data.iloc[[row]]['json_column'].item()
    jsonDict = json.loads(n)
    if ('mykey' in jsonDict):
        display(jsonDict['mykey'])
niltoid
источник
1
#Use the small trick to make the data json interpret-able
#Since your data is not directly interpreted by json.loads()

>>> import json
>>> f=open("sampledata.txt","r+")
>>> data = f.read()
>>> for x in data.split("\n"):
...     strlist = "["+x+"]"
...     datalist=json.loads(strlist)
...     for y in datalist:
...             print(type(y))
...             print(y)
...
...
<type 'dict'>
{u'0': [[10.8, 36.0], {u'10': 0, u'1': 0, u'0': 0, u'3': 0, u'2': 0, u'5': 0, u'4': 0, u'7': 0, u'6': 0, u'9': 0, u'8': 0}]}
<type 'dict'>
{u'1': [[10.8, 36.1], {u'10': 0, u'1': 0, u'0': 0, u'3': 0, u'2': 0, u'5': 0, u'4': 0, u'7': 0, u'6': 0, u'9': 0, u'8': 0}]}
<type 'dict'>
{u'2': [[10.8, 36.2], {u'10': 0, u'1': 0, u'0': 0, u'3': 0, u'2': 0, u'5': 0, u'4': 0, u'7': 0, u'6': 0, u'9': 0, u'8': 0}]}
<type 'dict'>
{u'3': [[10.8, 36.300000000000004], {u'10': 0, u'1': 0, u'0': 0, u'3': 0, u'2': 0, u'5': 0, u'4': 0, u'7': 0, u'6': 0, u'9': 0, u'8': 0}]}
<type 'dict'>
{u'4': [[10.8, 36.4], {u'10': 0, u'1': 0, u'0': 0, u'3': 0, u'2': 0, u'5': 0, u'4': 0, u'7': 0, u'6': 0, u'9': 0, u'8': 0}]}
<type 'dict'>
{u'5': [[10.8, 36.5], {u'10': 0, u'1': 0, u'0': 0, u'3': 0, u'2': 0, u'5': 0, u'4': 0, u'7': 0, u'6': 0, u'9': 0, u'8': 0}]}
<type 'dict'>
{u'6': [[10.8, 36.6], {u'10': 0, u'1': 0, u'0': 0, u'3': 0, u'2': 0, u'5': 0, u'4': 0, u'7': 0, u'6': 0, u'9': 0, u'8': 0}]}
<type 'dict'>
{u'7': [[10.8, 36.7], {u'10': 0, u'1': 0, u'0': 0, u'3': 0, u'2': 0, u'5': 0, u'4': 0, u'7': 0, u'6': 0, u'9': 0, u'8': 0}]}
<type 'dict'>
{u'8': [[10.8, 36.800000000000004], {u'1': 0, u'0': 0, u'3': 0, u'2': 0, u'5': 0, u'4': 0, u'7': 0, u'6': 0, u'9': 0, u'8': 0}]}
<type 'dict'>
{u'9': [[10.8, 36.9], {u'1': 0, u'0': 0, u'3': 0, u'2': 0, u'5': 0, u'4': 0, u'7': 0, u'6': 0, u'9': 0, u'8': 0}]}

МИХИЛ НАГАРАЛЕ
источник
1

Как только вы получите сплющенное, DataFrameполученное в результате принятого ответа, вы можете сделать столбцы MultiIndex(«причудливый многострочный заголовок») следующим образом:

df.columns = pd.MultiIndex.from_tuples([tuple(c.split('.')) for c in df.columns])
loganbvh
источник