Загрузка и анализ файла JSON с несколькими объектами JSON

Я пытаюсь загрузить и проанализировать файл JSON в Python . Но я застрял, пытаясь загрузить файл:

import json
json_data = open('file')
data = json.load(json_data)

Урожайность:

ValueError: Extra data: line 2 column 1 - line 225116 column 1 (char 232 - 160128774)

Посмотрел на 18.2. json- Кодировщик и декодер JSON в документации Python, но читать эту ужасно выглядящую документацию довольно обескураживает.

Первые несколько строк (анонимные со случайными записями):

{"votes": {"funny": 2, "useful": 5, "cool": 1}, "user_id": "harveydennis", "name": "Jasmine Graham", "url": "http://example.org/user_details?userid=harveydennis", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 2, "cool": 4}, "user_id": "njohnson", "name": "Zachary Ballard", "url": "https://www.example.com/user_details?userid=njohnson", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 0, "cool": 4}, "user_id": "david06", "name": "Jonathan George", "url": "https://example.com/user_details?userid=david06", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 6, "useful": 5, "cool": 0}, "user_id": "santiagoerika", "name": "Amanda Taylor", "url": "https://www.example.com/user_details?userid=santiagoerika", "average_stars": 3.5, "review_count": 12, "type": "user"}
{"votes": {"funny": 1, "useful": 8, "cool": 2}, "user_id": "rodriguezdennis", "name": "Jennifer Roach", "url": "http://www.example.com/user_details?userid=rodriguezdennis", "average_stars": 3.5, "review_count": 12, "type": "user"}

У вас есть текстовый файл в формате JSON Lines . Вам нужно проанализировать ваш файл построчно:

import json

data = []
with open('file') as f:
    for line in f:
        data.append(json.loads(line))

Каждая строка содержит допустимый JSON, но в целом это недопустимое значение JSON, так как отсутствует список верхнего уровня или определение объекта.

Обратите внимание, что, поскольку файл содержит JSON на строку, вам не нужно будет пытаться разобрать его все за один раз или найти потоковый парсер JSON. Теперь вы можете выбрать обработку каждой строки отдельно перед переходом к следующей, экономя память в процессе. Вероятно, вы не захотите добавлять каждый результат в один список, а затем обрабатывать все, если ваш файл действительно большой.

Если у вас есть файл, содержащий отдельные объекты JSON с разделителями между ними, используйте Как использовать модуль json для чтения одного объекта JSON за раз? для анализа отдельных объектов с использованием буферизованного метода.

для тех, кто наткнулся на этот вопрос: jsonlinesбиблиотека python (намного моложе этого вопроса) элегантно обрабатывает файлы с одним документом json на строку. см. https://jsonlines.readthedocs.io/

То есть плохо отформатирован. У вас есть один объект JSON на строку, но они не содержатся в более крупной структуре данных (т.е. массиве). Вам нужно будет либо переформатировать его так, чтобы он начинался [и заканчивался ]запятой в конце каждой строки, либо анализировать его построчно как отдельные словари.