JSON-сериализация моделей Google App Engine

86

Я долго искал безуспешно. В моем проекте не используется Django. Есть ли простой способ сериализации моделей App Engine (google.appengine.ext.db.Model) в JSON или мне нужно написать собственный сериализатор?

Модель:

class Photo(db.Model):
    filename = db.StringProperty()
    title = db.StringProperty()
    description = db.StringProperty(multiline=True)
    date_taken = db.DateTimeProperty()
    date_uploaded = db.DateTimeProperty(auto_now_add=True)
    album = db.ReferenceProperty(Album, collection_name='photo')
user111677
источник

Ответы:

62

Простая рекурсивная функция может использоваться для преобразования объекта (и любых референтов) во вложенный словарь, который можно передать в simplejson:

import datetime
import time

SIMPLE_TYPES = (int, long, float, bool, dict, basestring, list)

def to_dict(model):
    output = {}

    for key, prop in model.properties().iteritems():
        value = getattr(model, key)

        if value is None or isinstance(value, SIMPLE_TYPES):
            output[key] = value
        elif isinstance(value, datetime.date):
            # Convert date/datetime to MILLISECONDS-since-epoch (JS "new Date()").
            ms = time.mktime(value.utctimetuple()) * 1000
            ms += getattr(value, 'microseconds', 0) / 1000
            output[key] = int(ms)
        elif isinstance(value, db.GeoPt):
            output[key] = {'lat': value.lat, 'lon': value.lon}
        elif isinstance(value, db.Model):
            output[key] = to_dict(value)
        else:
            raise ValueError('cannot encode ' + repr(prop))

    return output
dmw
источник
2
В коде есть небольшая ошибка: там, где у вас есть «output [key] = to_dict (model)», должно быть: «output [key] = to_dict (value)». Кроме того, это прекрасно. Благодарность!
arikfr
1
Этот код завершится ошибкой при обнаружении UserProperty. Я работал над этим, выполняя "output [key] = str (value)" в финале else вместо того, чтобы вызывать ошибку.
Борис Терзич
1
Отличный материал. Небольшое улучшение заключается в использовании вместо него iterkeys (), поскольку вы не используете там «prop».
PEZ
7
Я не пробовал все возможные типы (date, GeoPt, ...), но похоже, что в хранилище данных есть именно этот метод, и до сих пор он работал для меня со строками и целыми числами: developers.google.com/appengine/ docs / python / datastore /… Так что я не уверен, что вам нужно изобретать велосипед для сериализации в json:json.dumps(db.to_dict(Photo))
gentimouton 05
@gentimouton Этот метод - новое дополнение. Его точно не существовало в 2009 году
dmw
60

Это самое простое решение, которое я нашел. Требуется всего 3 строки кода.

Просто добавьте в модель метод для возврата словаря:

class DictModel(db.Model):
    def to_dict(self):
       return dict([(p, unicode(getattr(self, p))) for p in self.properties()])

SimpleJSON теперь работает правильно:

class Photo(DictModel):
   filename = db.StringProperty()
   title = db.StringProperty()
   description = db.StringProperty(multiline=True)
   date_taken = db.DateTimeProperty()
   date_uploaded = db.DateTimeProperty(auto_now_add=True)
   album = db.ReferenceProperty(Album, collection_name='photo')

from django.utils import simplejson
from google.appengine.ext import webapp

class PhotoHandler(webapp.RequestHandler):
   def get(self):
      photos = Photo.all()
      self.response.out.write(simplejson.dumps([p.to_dict() for p in photos]))
mtgred
источник
привет спасибо за подсказку. это отлично работает, за исключением того, что я не могу сериализовать поле даты. Я получаю: TypeError: datetime.datetime (2010, 5, 1, 9, 25, 22, 891937) не сериализуемый JSON
givp
Привет, спасибо, что указали на проблему. Решение состоит в том, чтобы преобразовать объект даты в строку. Например, вы можете заключить вызов «getattr (self, p)» в «unicode ()». Я отредактировал код, чтобы отразить это.
mtgred
1
Чтобы удалить мета-поля db.Model, используйте это: dict ([(p, unicode (getattr (self, p))) для p в self.properties (), если не p.startswith ("_")])
Вонил
для ndb см. ответ Фредвы.
Kenji Noguchi
self.properties () у меня не работал. Я использовал self._properties. Полная строка: return dict ([(p, unicode (getattr (self, p))) for p в self._properties])
Эяль Левин
15

В последнем (1.5.2) выпуске App Engine SDK to_dict()функция преобразования экземпляров модели в словари была представлена ​​в db.py. См. Примечания к выпуску .

В документации пока нет ссылки на эту функцию, но я попробовал ее сам, и она работает должным образом.

Фредрикморкен
источник
Интересно, убрали ли это? Я получаю, AttributeError: 'module' object has no attribute 'to_dict'когда from google.appengine.ext import dbи использую simplejson.dumps(db.to_dict(r))(где r - экземпляр подкласса db.Model). Я не вижу «to_dict» в google_appengine / google / appengine / ext / db / *
idbrii
1
его нужно использовать как «db.to_dict (ObjectOfClassModel)»
Дмитрий Душкин
2
для объекта ndb эту работу выполняет self.to_dict (). Если вы хотите сделать класс сериализуемым с помощью стандартного модуля json, добавьте в класс def default (self, o): return o.to_dict () `
Кенджи Ногучи
7

Чтобы сериализовать модели, добавьте пользовательский кодировщик json, как в следующем питоне:

import datetime
from google.appengine.api import users
from google.appengine.ext import db
from django.utils import simplejson

class jsonEncoder(simplejson.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, datetime.datetime):
            return obj.isoformat()

        elif isinstance(obj, db.Model):
            return dict((p, getattr(obj, p)) 
                        for p in obj.properties())

        elif isinstance(obj, users.User):
            return obj.email()

        else:
            return simplejson.JSONEncoder.default(self, obj)


# use the encoder as: 
simplejson.dumps(model, cls=jsonEncoder)

Это закодирует:

Чтобы расшифровать дату, вы можете использовать этот javascript:

function decodeJsonDate(s){
  return new Date( s.slice(0,19).replace('T',' ') + ' GMT' );
} // Note that this function truncates milliseconds.

Примечание. Спасибо пользователю pydave, который отредактировал этот код, чтобы сделать его более читабельным. Изначально я использовал выражения if / else в Python для выражения jsonEncoderменьшего количества строк следующим образом: (Я добавил несколько комментариев и использовал их google.appengine.ext.db.to_dict, чтобы сделать его более понятным, чем оригинал.)

class jsonEncoder(simplejson.JSONEncoder):
  def default(self, obj):
    isa=lambda x: isinstance(obj, x) # isa(<type>)==True if obj is of type <type>
    return obj.isoformat() if isa(datetime.datetime) else \
           db.to_dict(obj) if isa(db.Model) else \
           obj.email()     if isa(users.User) else \
           simplejson.JSONEncoder.default(self, obj)
Даниэль Патру
источник
4

Вам не нужно писать собственный «синтаксический анализатор» (синтаксический анализатор предположительно превратит JSON в объект Python), но вы все равно можете сериализовать свой объект Python самостоятельно.

Используя simplejson :

import simplejson as json
serialized = json.dumps({
    'filename': self.filename,
    'title': self.title,
    'date_taken': date_taken.isoformat(),
    # etc.
})
Джонатан Файнберг
источник
1
Да, но я не хочу делать это для каждой модели. Я пытаюсь найти масштабируемый подход.
user111677 07
о, и я действительно удивлен, что не могу найти лучших практик по этому поводу. Я думал, что модель движка приложения + rpc + json была задана ...
user111677 07
4

В простых случаях мне нравится подход, который предлагается здесь, в конце статьи:

  # after obtaining a list of entities in some way, e.g.:
  user = users.get_current_user().email().lower();
  col = models.Entity.gql('WHERE user=:1',user).fetch(300, 0)

  # ...you can make a json serialization of name/key pairs as follows:
  json = simplejson.dumps(col, default=lambda o: {o.name :str(o.key())})

В статье также содержится, на другом конце спектра, сложный класс сериализатора, который обогащает django (и требует _meta- не уверен, почему вы получаете ошибки об отсутствии _meta, возможно, об ошибке, описанной здесь ) с возможностью сериализации вычисленных свойства / методы. В большинстве случаев сериализация находится где-то посередине, и для них может быть предпочтительнее интроспективный подход, такой как @David Wilson.

Алекс Мартелли
источник
3

Даже если вы не используете django в качестве фреймворка, эти библиотеки все еще доступны для вас.

from django.core import serializers
data = serializers.serialize("xml", Photo.objects.all())
Эндрю Следж
источник
Вы имели в виду serializers.serialize ("json", ...)? Это выбрасывает «AttributeError: объект 'Photo' не имеет атрибута '_meta'». FYI - serializers.serialize ("xml", Photo.objects.all ()) выбрасывает "AttributeError: объект типа" Photo "не имеет атрибута" objects "". serializers.serialize ("xml", Photo.all ()) выбрасывает "SerializationError: немодельный объект (<class 'model.Photo'>), обнаруженный во время сериализации".
user111677 07
2

Если вы используете app-engine-patch, он автоматически объявляет _metaатрибут для вас, а затем вы можете использовать, django.core.serializersкак обычно, на моделях django (как в коде sledge).

App-engine-patch имеет некоторые другие интересные функции, такие как гибридная аутентификация (учетные записи django + google), а также работает административная часть django.

Mtourne
источник
В чем разница между app-engine-patch и google-app-engine-django и версией django, поставляемой с python sdk app engine? Насколько я понимаю, app-engine-patch более полный?
user111677 08
Я не пробовал версию django на движке приложений, но думаю, что она интегрирована как есть. google-app-engine-django, если я не ошибаюсь, пытается заставить модель django работать с app-engine (с некоторыми ограничениями). app-engine-patch напрямую использует модели app-engine, они просто добавляют к нему некоторые незначительные вещи. На их сайте есть сравнение между ними.
mtourne
2

Ответ Mtgred выше отлично сработал для меня - я немного изменил его, чтобы я мог также получить ключ для входа. Не как несколько строк кода, но он дает мне уникальный ключ:

class DictModel(db.Model):
def to_dict(self):
    tempdict1 = dict([(p, unicode(getattr(self, p))) for p in self.properties()])
    tempdict2 = {'key':unicode(self.key())}
    tempdict1.update(tempdict2)
    return tempdict1
Виктор Ван Хи
источник
2

Я расширил класс JSON Encoder, написанный dpatru, для поддержки:

  • Свойства результатов запроса (например, car.owner_set)
  • ReferenceProperty - рекурсивно превратить его в JSON
  • Фильтрация свойств - verbose_nameв JSON будут кодироваться только свойства с символом a.

    class DBModelJSONEncoder(json.JSONEncoder):
        """Encodes a db.Model into JSON"""
    
        def default(self, obj):
            if (isinstance(obj, db.Query)):
                # It's a reference query (holding several model instances)
                return [self.default(item) for item in obj]
    
            elif (isinstance(obj, db.Model)):
                # Only properties with a verbose name will be displayed in the JSON output
                properties = obj.properties()
                filtered_properties = filter(lambda p: properties[p].verbose_name != None, properties)
    
                # Turn each property of the DB model into a JSON-serializeable entity
                json_dict = dict([(
                        p,
                        getattr(obj, p)
                            if (not isinstance(getattr(obj, p), db.Model))
                            else
                        self.default(getattr(obj, p)) # A referenced model property
                    ) for p in filtered_properties])
    
                json_dict['id'] = obj.key().id() # Add the model instance's ID (optional - delete this if you do not use it)
    
                return json_dict
    
            else:
                # Use original JSON encoding
                return json.JSONEncoder.default(self, obj)
    
Ярон Будовски
источник
2

Как упоминалось в https://stackoverflow.com/users/806432/fredva , to_dict отлично работает. Вот мой код, который я использую.

foos = query.fetch(10)
prepJson = []

for f in foos:
  prepJson.append(db.to_dict(f))

myJson = json.dumps(prepJson))
TrentVB
источник
да, и есть также "to_dict" в Модели ... эта функция - ключ к тому, чтобы сделать всю эту проблему настолько тривиальной, насколько она должна быть. Он работает даже для NDB со «структурированными» и «повторяющимися» свойствами!
Ник Перкинс,
1

Существует метод Model.properties (), определенный для всех классов модели. Он возвращает искомый словарь.

from django.utils import simplejson
class Photo(db.Model):
  # ...

my_photo = Photo(...)
simplejson.dumps(my_photo.properties())

См. Свойства модели в документации.

Джефф Кэролло
источник
Некоторые объекты не «сериализуемы JSON»:TypeError: <google.appengine.ext.db.StringProperty object at 0x4694550> is not JSON serializable
idbrii
1

Эти API (google.appengine.ext.db) больше не рекомендуются. Приложения, использующие эти API-интерфейсы, могут работать только в среде выполнения Python 2 в App Engine, и перед переходом в среду выполнения Python 3 для App Engine необходимо будет перейти на другие API и службы. Чтобы узнать больше: нажмите здесь

Ришаб Джайн
источник
0

Чтобы сериализовать экземпляр модели хранилища данных, вы не можете использовать json.dumps (не тестировал, но Лоренцо указал на это). Возможно, в будущем сработает следующее.

http://docs.python.org/2/library/json.html

import json
string = json.dumps(['foo', {'bar': ('baz', None, 1.0, 2)}])
object = json.loads(self.request.body)
HMR
источник
вопрос заключается в преобразовании экземпляра модели AppEngine Datastore Model в JSON. Ваше решение заключается только в преобразовании словаря Python в JSON
настроено
@tunedconsulting Я не пробовал сериализовать экземпляр модели хранилища данных с помощью json.dumps, но предполагаю, что он будет работать с любым объектом. Отчет об ошибке должен быть представлен, если это не так, поскольку в документации указано, что json.dumps принимает объект в качестве параметра. Он добавлен как комментарий с повторным комментарием о том, что его не было в 2009 году. Добавлен этот ответ, потому что он кажется немного устаревшим, но если он не сработает, я счастлив удалить его.
HMR
1
Если вы попытаетесь выполнить json.dumps объект сущности или класс модели, вы получите TypeError: 'is not JSON serializable' <Object at 0x0xxxxxx>. Хранилище данных GAE имеет свои собственные типы данных (например, даты). Текущий правильный ответ, протестированный и работающий, - это ответ от dmw, который преобразует некоторые проблемные типы данных в сериализуемые.
настроено
@tunedconsulting Спасибо за ваш вклад, я обновлю свой ответ.
HMR