Как импортировать данные из mongodb в pandas?

99

У меня есть большой объем данных в коллекции в mongodb, которые мне нужно проанализировать. Как мне импортировать эти данные в панды?

Я новичок в pandas и numpy.

РЕДАКТИРОВАТЬ: коллекция mongodb содержит значения датчиков, помеченные датой и временем. Значения датчиков имеют тип данных float.

Пример данных:

{
"_cls" : "SensorReport",
"_id" : ObjectId("515a963b78f6a035d9fa531b"),
"_types" : [
    "SensorReport"
],
"Readings" : [
    {
        "a" : 0.958069536790466,
        "_types" : [
            "Reading"
        ],
        "ReadingUpdatedDate" : ISODate("2013-04-02T08:26:35.297Z"),
        "b" : 6.296118156595,
        "_cls" : "Reading"
    },
    {
        "a" : 0.95574014778624,
        "_types" : [
            "Reading"
        ],
        "ReadingUpdatedDate" : ISODate("2013-04-02T08:27:09.963Z"),
        "b" : 6.29651468650064,
        "_cls" : "Reading"
    },
    {
        "a" : 0.953648289182713,
        "_types" : [
            "Reading"
        ],
        "ReadingUpdatedDate" : ISODate("2013-04-02T08:27:37.545Z"),
        "b" : 7.29679823731148,
        "_cls" : "Reading"
    },
    {
        "a" : 0.955931884300997,
        "_types" : [
            "Reading"
        ],
        "ReadingUpdatedDate" : ISODate("2013-04-02T08:28:21.369Z"),
        "b" : 6.29642922525632,
        "_cls" : "Reading"
    },
    {
        "a" : 0.95821381,
        "_types" : [
            "Reading"
        ],
        "ReadingUpdatedDate" : ISODate("2013-04-02T08:41:20.801Z"),
        "b" : 7.28956613,
        "_cls" : "Reading"
    },
    {
        "a" : 4.95821335,
        "_types" : [
            "Reading"
        ],
        "ReadingUpdatedDate" : ISODate("2013-04-02T08:41:36.931Z"),
        "b" : 6.28956574,
        "_cls" : "Reading"
    },
    {
        "a" : 9.95821341,
        "_types" : [
            "Reading"
        ],
        "ReadingUpdatedDate" : ISODate("2013-04-02T08:42:09.971Z"),
        "b" : 0.28956488,
        "_cls" : "Reading"
    },
    {
        "a" : 1.95667927,
        "_types" : [
            "Reading"
        ],
        "ReadingUpdatedDate" : ISODate("2013-04-02T08:43:55.463Z"),
        "b" : 0.29115237,
        "_cls" : "Reading"
    }
],
"latestReportTime" : ISODate("2013-04-02T08:43:55.463Z"),
"sensorName" : "56847890-0",
"reportCount" : 8
}
Нитин
источник
Использование настраиваемого типа поля с MongoEngine может упростить хранение и извлечение фреймов данных Pandasmongo_doc.data_frame = my_pandas_df
Jthorpe

Ответы:

134

pymongo может помочь вам, вот некоторые коды, которые я использую:

import pandas as pd
from pymongo import MongoClient


def _connect_mongo(host, port, username, password, db):
    """ A util for making a connection to mongo """

    if username and password:
        mongo_uri = 'mongodb://%s:%s@%s:%s/%s' % (username, password, host, port, db)
        conn = MongoClient(mongo_uri)
    else:
        conn = MongoClient(host, port)


    return conn[db]


def read_mongo(db, collection, query={}, host='localhost', port=27017, username=None, password=None, no_id=True):
    """ Read from Mongo and Store into DataFrame """

    # Connect to MongoDB
    db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

    # Make a query to the specific DB and Collection
    cursor = db[collection].find(query)

    # Expand the cursor and construct the DataFrame
    df =  pd.DataFrame(list(cursor))

    # Delete the _id
    if no_id:
        del df['_id']

    return df
ожидание
источник
Спасибо, это метод, которым я в итоге воспользовался. У меня также был массив встроенных документов в каждой строке. Поэтому мне пришлось повторить и это в каждой строке. Есть лучший способ сделать это??
Nithin
Можно ли предоставить образцы структуры вашего mongodb?
waitkuo
3
Обратите внимание, что list()внутренняя часть df = pd.DataFrame(list(cursor))оценивается как список или генератор для охлаждения процессора. Если у вас есть миллион элементов данных, и следующие несколько строк будут разумно разделены, детализированы и обрезаны, весь shmegegge все еще можно безопасно использовать. Приятно.
Филип
2
Это очень медленно @ df = pd.DataFrame(list(cursor)). Запросы чистого БД выполняются намного быстрее. Можем ли мы изменить listкастинг на что-нибудь другое?
Peter.k
1
@Peter эта строчка тоже привлекла мое внимание. Приведение курсора базы данных, который предназначен для итерации и потенциально может переносить большие объемы данных, в список в памяти, мне не кажется разумным.
Рафа
41

Вы можете загрузить свои данные mongodb в pandas DataFrame с помощью этого кода. Меня устраивает. Надеюсь и на тебя.

import pymongo
import pandas as pd
from pymongo import MongoClient
client = MongoClient()
db = client.database_name
collection = db.collection_name
data = pd.DataFrame(list(collection.find()))
saimadhu.polamuri
источник
24

Monaryделает именно это, и это очень быстро . ( другая ссылка )

Посмотрите этот классный пост, который включает в себя краткое руководство и некоторые тайминги.

shx2
источник
Поддерживает ли Monary строковый тип данных?
Snehal Parmar 01
Я пробовал Monary, но это занимает много времени. Мне не хватает оптимизации? Пытался client = Monary(host, 27017, database="db_tmp") columns = ["col1", "col2"] data_type = ["int64", "int64"] arrays = client.query("db_tmp", "coll", {}, columns, data_type)для 50000записей занимает около 200s.
nishant
Звучит очень медленно ... Честно говоря, я не знаю, каков статус этого проекта сейчас, 4 года спустя ...
shx2
17

Согласно PEP, простое лучше, чем сложное:

import pandas as pd
df = pd.DataFrame.from_records(db.<database_name>.<collection_name>.find())

Вы можете включить условия, как если бы вы работали с обычной базой данных mongoDB, или даже использовать find_one () для получения только одного элемента из базы данных и т. Д.

и вуаля!

Сай Бу
источник
pd.DataFrame.from_records кажется таким же медленным, как DataFrame (list ()), но результаты очень противоречивы. %% time показало что угодно от 800 мс до 1,9 с
AFD
1
Это не подходит для больших записей, так как не показывает ошибки памяти, instread вешает систему из-за слишком больших данных. в то время как pd.DataFrame (список (курсор)) показывает ошибку памяти.
Amulya Acharya
13
import pandas as pd
from odo import odo

data = odo('mongodb://localhost/db::collection', pd.DataFrame)
fengwt
источник
9

Для эффективной работы с данными вне ядра (не вмещающимися в ОЗУ) (то есть с параллельным выполнением) вы можете попробовать экосистему Python Blaze : Blaze / Dask / Odo.

Blaze (и Odo ) имеет готовые функции для работы с MongoDB.

Несколько полезных статей для начала:

И статья, которая показывает, какие удивительные вещи возможны со стеком Blaze: Анализ 1,7 миллиарда комментариев Reddit с помощью Blaze и Impala (по сути, запрос 975 ГБ комментариев Reddit за секунды).

PS Я не связан ни с одной из этих технологий.

Денис Голомазов
источник
1
Я также написал сообщение с использованием Jupyter Notebook с примером того, как Dask помогает ускорить выполнение даже для данных, помещаемых в память, за счет использования нескольких ядер на одной машине.
Денис Голомазов
8

Еще один вариант, который я нашел очень полезным:

from pandas.io.json import json_normalize

cursor = my_collection.find()
df = json_normalize(cursor)

таким образом вы получаете разворачивание вложенных документов mongodb бесплатно.

Икар Погорски
источник
2
У меня ошибка с этим методомTypeError: data argument can't be an iterator
Габриэль Фэйр
2
Странно, это работает на моем питоне 3.6.7с использованием панд 0.24.2. Может, лучше попробовать df = json_normalize(list(cursor))?
Ikar Pohorský
Для +1. docs, аргумент max_level определяет максимальный уровень глубины dict. Я только что провел тест, и это неправда, поэтому некоторые столбцы необходимо разделить с помощью .str accesrors. Тем не менее, очень приятная функция для работы с mongodb.
Маурисио Марото,
5

С помощью

pandas.DataFrame(list(...))

будет потреблять много памяти, если результат итератора / генератора большой

лучше генерировать небольшие куски и конкатенировать в конце

def iterator2dataframes(iterator, chunk_size: int):
  """Turn an iterator into multiple small pandas.DataFrame

  This is a balance between memory and efficiency
  """
  records = []
  frames = []
  for i, record in enumerate(iterator):
    records.append(record)
    if i % chunk_size == chunk_size - 1:
      frames.append(pd.DataFrame(records))
      records = []
  if records:
    frames.append(pd.DataFrame(records))
  return pd.concat(frames)
Део Люн
источник
1

После этого отличного ответа от waitkuo я хотел бы добавить возможность сделать это с помощью chunksize в соответствии с .read_sql () и .read_csv () . Я увеличиваю ответ Деу Люнга , избегая перехода по одной каждой «записи» «итератора» / «курсора». Я позаимствую предыдущую функцию read_mongo .

def read_mongo(db, 
           collection, query={}, 
           host='localhost', port=27017, 
           username=None, password=None,
           chunksize = 100, no_id=True):
""" Read from Mongo and Store into DataFrame """


# Connect to MongoDB
#db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)
client = MongoClient(host=host, port=port)
# Make a query to the specific DB and Collection
db_aux = client[db]


# Some variables to create the chunks
skips_variable = range(0, db_aux[collection].find(query).count(), int(chunksize))
if len(skips_variable)<=1:
    skips_variable = [0,len(skips_variable)]

# Iteration to create the dataframe in chunks.
for i in range(1,len(skips_variable)):

    # Expand the cursor and construct the DataFrame
    #df_aux =pd.DataFrame(list(cursor_aux[skips_variable[i-1]:skips_variable[i]]))
    df_aux =pd.DataFrame(list(db_aux[collection].find(query)[skips_variable[i-1]:skips_variable[i]]))

    if no_id:
        del df_aux['_id']

    # Concatenate the chunks into a unique df
    if 'df' not in locals():
        df =  df_aux
    else:
        df = pd.concat([df, df_aux], ignore_index=True)

return df
Рафаэль Валеро
источник
1

Похожий подход, как у Рафаэля Валеро, waitkuo и Deu Leung с использованием разбивки на страницы :

def read_mongo(
       # db, 
       collection, query=None, 
       # host='localhost', port=27017, username=None, password=None,
       chunksize = 100, page_num=1, no_id=True):

    # Connect to MongoDB
    db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

    # Calculate number of documents to skip
    skips = chunksize * (page_num - 1)

    # Sorry, this is in spanish
    # https://www.toptal.com/python/c%C3%B3digo-buggy-python-los-10-errores-m%C3%A1s-comunes-que-cometen-los-desarrolladores-python/es
    if not query:
        query = {}

    # Make a query to the specific DB and Collection
    cursor = db[collection].find(query).skip(skips).limit(chunksize)

    # Expand the cursor and construct the DataFrame
    df =  pd.DataFrame(list(cursor))

    # Delete the _id
    if no_id:
        del df['_id']

    return df
Джорди Куан
источник
0

Вы можете добиться желаемого с помощью pdmongo в трех строках:

import pdmongo as pdm
import pandas as pd
df = pdm.read_mongo("MyCollection", [], "mongodb://localhost:27017/mydb")

Если ваши данные очень большие, вы можете сначала выполнить агрегированный запрос, отфильтровав данные, которые вам не нужны, а затем сопоставить их с нужными столбцами.

Вот пример сопоставления Readings.aс столбцом aи фильтрации по reportCountстолбцу:

import pdmongo as pdm
import pandas as pd
df = pdm.read_mongo("MyCollection", [{'$match': {'reportCount': {'$gt': 6}}}, {'$unwind': '$Readings'}, {'$project': {'a': '$Readings.a'}}], "mongodb://localhost:27017/mydb")

read_mongoпринимает те же аргументы, что и агрегат pymongo

пакаллис
источник