Импорт данных из файла JSON в R

166

Есть ли способ импортировать данные из файла JSON в R? В частности, файл представляет собой массив объектов JSON со строковыми полями, объектами и массивами. В пакете RJSON не очень ясно, как с этим обращаться http://cran.r-project.org/web/packages/rjson/rjson.pdf .

json r user313967
источник
3
Дубликат: stackoverflow.com/questions/2061897/parse-json-with-r . Если у вас есть конкретный пример данных, это поможет. В противном случае rjson может делать то, что вам нужно, вместе с обработкой данных (например, с помощью функции apply или plyr).
Шейн
Также похож на этот вопрос: stackoverflow.com/questions/2260147/… .
Шейн
Привет Шейн, попробовал использовать RJSON. Меня интересуют в основном необходимые манипуляции с данными. Вот пример файла JSON, с которым я работаю. example.json: [{"winner": "68694999", "voice": [{"ts": "Thu Mar 25 03:13:01 UTC 2010", "user": {"name": "Lamur", "user_id": "68694999"}}, {"ts": "Чт 25 марта 03:13:08 UTC 2010", "user": {"name": "Lamur", "user_id": "68694999"}} ], "lastVote": {"timestamp": 1269486788526, "user": {"name": "Lamur", "user_id": "68694999"}}, "startPrice": 0}, ...]
user313967
1
Предупреждение: если файл JSON действительно большой, библиотеки .so или .dll, очевидно, не будут его обрабатывать. Предпочтительным форматом является NetCDF, но некоторые организации не знают об этой проблеме.

Ответы:

187

Сначала установите rjsonпакет:

install.packages("rjson")

Затем:

library("rjson")
json_file <- "http://api.worldbank.org/country?per_page=10&region=OED&lendingtype=LNX&format=json"
json_data <- fromJSON(paste(readLines(json_file), collapse=""))

Обновление: начиная с версии 0.2.1

json_data <- fromJSON(file=json_file)
система охлаждения реактора
источник
1
Обратите внимание, что редактирование относится к обновлению библиотеки, а не к R. Обновление изменяет последнюю строку предыдущего примера, и вам все равно нужно загрузить библиотеку, как указано выше.
Стивен Уотерман
90

jsonliteимпортирует JSON во фрейм данных. Опционально может выравнивать вложенные объекты. Вложенные массивы будут фреймами данных.

> library(jsonlite)
> winners <- fromJSON("winners.json", flatten=TRUE)
> colnames(winners)
[1] "winner" "votes" "startPrice" "lastVote.timestamp" "lastVote.user.name" "lastVote.user.user_id"
> winners[,c("winner","startPrice","lastVote.user.name")]
    winner startPrice lastVote.user.name
1 68694999          0              Lamur
> winners[,c("votes")]
[[1]]
                            ts user.name user.user_id
1 Thu Mar 25 03:13:01 UTC 2010     Lamur     68694999
2 Thu Mar 25 03:13:08 UTC 2010     Lamur     68694999
хп.
источник
Абсолютно! Действительно проще работать с data.frames вместо списков при фильтрации результатов!
MS Berends
31

Альтернативный пакет - RJSONIO. Чтобы преобразовать вложенный список, lapply может помочь:

l <- fromJSON('[{"winner":"68694999",  "votes":[ 
   {"ts":"Thu Mar 25 03:13:01 UTC 2010", "user":{"name":"Lamur","user_id":"68694999"}},   
   {"ts":"Thu Mar 25 03:13:08 UTC 2010", "user":{"name":"Lamur","user_id":"68694999"}}],   
  "lastVote":{"timestamp":1269486788526,"user":
   {"name":"Lamur","user_id":"68694999"}},"startPrice":0}]'
)
m <- lapply(
    l[[1]]$votes, 
    function(x) c(x$user['name'], x$user['user_id'], x['ts'])
)
m <- do.call(rbind, m)

дает информацию о голосах в вашем примере.

Карстен В.
источник
1
x$user$name, x$user$user_idтеперь должно быть x$user['name'], x$user['user_id']. Кроме того, m <- do.call(rbind, m)может быть лучшим способом преобразования списка в матрицу.
13
Есть ли что-то вроде функции convertToDataFrame для JSON (как для пакета XML)?
userJT
16

Если URL-адрес https, например, используемый для Amazon S3, используйте getURL

json <- fromJSON(getURL('https://s3.amazonaws.com/bucket/my.json'))
Энтони
источник
11
PSA: getURL находится в пакаке RCurl.
Марк Макдональд
1
Кроме того,Error in function (type, msg, asError = TRUE) : Protocol "s3" not supported or disabled in libcurl
d8aninja
3

Сначала установите пакеты RJSONIO и RCurl:

install.packages("RJSONIO")
install.packages("(RCurl")
Развернуть фрагмент

Попробуйте приведенный ниже код, используя RJSONIO в консоли

library(RJSONIO)
library(RCurl)
json_file = getURL("https://raw.githubusercontent.com/isrini/SI_IS607/master/books.json")
json_file2 = RJSONIO::fromJSON(json_file)
head(json_file2)
Развернуть фрагмент

Моби М
источник
2

пакеты:

  • библиотека (HTTR)
  • библиотека (jsonlite)

У меня были проблемы с преобразованием JSON в dataframe / CSV. Для моего случая я сделал:

Token <- "245432532532"
source <- "http://......."
header_type <- "applcation/json"
full_token <- paste0("Bearer ", Token)
response <- GET(n_source, add_headers(Authorization = full_token, Accept = h_type), timeout(120), verbose())
text_json <- content(response, type = 'text', encoding = "UTF-8")
jfile <- fromJSON(text_json)
df <- as.data.frame(jfile)

затем от df до csv.

В этом формате должно быть легко преобразовать его в несколько .csvs, если это необходимо.

Важной частью является функция контента должна иметь type = 'text'.

Аарон С
источник
1

импортировать пакет httr

library(httr)

Получить URL

url <- "http://www.omdbapi.com/?apikey=72bc447a&t=Annie+Hall&y=&plot=short&r=json"
resp <- GET(url)

Напечатайте содержание как текст

content(resp, as = "text")

Распечатать содержание респ

content(resp)

Используйте content () для получения содержимого resp, но на этот раз не указывайте второй аргумент. R автоматически выясняет, что вы имеете дело с JSON, и преобразует JSON в именованный список R.

Адарш Павар
источник