Загрузить файлы в Google App Engine

Question 1

Я планирую создать веб-приложение, которое позволит пользователям переходить на более раннюю версию своих файлов проектов Visual Studio. Однако похоже, что Google App Engine поддерживает загрузку файлов и хранение плоских файлов на сервере Google через db.TextPropertyи db.BlobProperty.

Я буду рад, что любой может предоставить образец кода (как на стороне клиента, так и на стороне сервера) о том, как это можно сделать.

Question 2

Вот полный рабочий файл. Я взял оригинал с сайта Google и изменил его, чтобы сделать его немного более реальным.

Обратите внимание на несколько вещей:

В этом коде используется API BlobStore.
Цель этой строки в классе ServeHandler - «исправить» ключ, чтобы он избавился от любого искажения имени, которое могло произойти в браузере (я не наблюдал такого в Chrome).
```
blob_key = str(urllib.unquote(blob_key))
```
Предложение "save_as" в конце этого очень важно. Он будет следить за тем, чтобы имя файла не искажалось при отправке в ваш браузер. Избавьтесь от него, чтобы увидеть, что происходит.
```
self.send_blob(blobstore.BlobInfo.get(blob_key), save_as=True)
```

Удачи!

import os
import urllib

from google.appengine.ext import blobstore
from google.appengine.ext import webapp
from google.appengine.ext.webapp import blobstore_handlers
from google.appengine.ext.webapp import template
from google.appengine.ext.webapp.util import run_wsgi_app

class MainHandler(webapp.RequestHandler):
    def get(self):
        upload_url = blobstore.create_upload_url('/upload')
        self.response.out.write('<html><body>')
        self.response.out.write('<form action="%s" method="POST" enctype="multipart/form-data">' % upload_url)
        self.response.out.write("""Upload File: <input type="file" name="file"><br> <input type="submit" name="submit" value="Submit"> </form></body></html>""")

        for b in blobstore.BlobInfo.all():
            self.response.out.write('<li><a href="https://stackoverflow.com/serve/%s' % str(b.key()) + '">' + str(b.filename) + '</a>')

class UploadHandler(blobstore_handlers.BlobstoreUploadHandler):
    def post(self):
        upload_files = self.get_uploads('file')
        blob_info = upload_files[0]
        self.redirect('/')

class ServeHandler(blobstore_handlers.BlobstoreDownloadHandler):
    def get(self, blob_key):
        blob_key = str(urllib.unquote(blob_key))
        if not blobstore.get(blob_key):
            self.error(404)
        else:
            self.send_blob(blobstore.BlobInfo.get(blob_key), save_as=True)

def main():
    application = webapp.WSGIApplication(
          [('/', MainHandler),
           ('/upload', UploadHandler),
           ('/serve/([^/]+)?', ServeHandler),
          ], debug=True)
    run_wsgi_app(application)

if __name__ == '__main__':
  main()

Question 3

Фактически, на этот вопрос есть ответ в документации App Egnine. См. Пример загрузки пользовательских изображений .

HTML-код внутри <form> </form>:

<input type = "file" name = "img" />

Код Python:

гостевая книга класса (webapp.RequestHandler):
  def post (self):
    приветствие = Приветствие ()
    если users.get_current_user ():
      welcome.author = users.get_current_user ()
    приветствие.content = self.request.get ("контент")
    аватар = self.request.get ("img")
    приветствие.avatar = db.Blob (аватар)
    приветствие.put ()
    self.redirect ('/')

Question 4

Об этом есть ветка в группах Google:

Загрузка файлов

С большим количеством полезного кода это обсуждение очень помогло мне в загрузке файлов.

Question 5

Google выпустила сервис для хранения больших файлов. Взгляните на документацию по API blobstore . Если размер ваших файлов> 1 МБ, вам следует использовать его.

Question 6

Пробую сегодня, работает он следующим образом:

моя версия sdk - 1.3.x

html-страница:

<form enctype="multipart/form-data" action="/upload" method="post" > 
<input type="file" name="myfile" /> 
<input type="submit" /> 
</form>

Код сервера:

file_contents = self.request.POST.get('myfile').file.read()

Question 7

Если проблема не исчезла, убедитесь, что вы используете enctype в теге формы.

Нет:

<form encoding="multipart/form-data" action="/upload">

Да:

<form enctype="multipart/form-data" action="/upload">

Question 8

Вы не можете хранить файлы, поскольку нет традиционной файловой системы. Вы можете хранить их только в их собственном хранилище данных (в поле, определенном как BlobProperty ).

В предыдущей ссылке есть пример:

class MyModel(db.Model):
  blob = db.BlobProperty()

obj = MyModel()
obj.blob = db.Blob( file_contents )

Question 9

Лично я нашел описанное здесь руководство полезным при использовании среды выполнения Java с GAE. По какой-то причине, когда я пытался загрузить файл с помощью

<form action="/testservelet" method="get" enctype="multipart/form-data">
    <div>
        Myfile:<input type="file" name="file" size="50"/>
    </div>

    <div>
        <input type="submit" value="Upload file">
    </div>
</form>

Я обнаружил, что мой класс HttpServlet по какой-то причине не принимает форму с атрибутом enctype. Однако удаление работает, это означает, что я не могу загружать файлы.

Question 10

В Google App Engine нет хранения плоских файлов. Все должно поступать в хранилище данных, которое немного похоже на реляционную базу данных, но не совсем.

Вы можете хранить файлы как атрибуты TextProperty или BlobProperty .

На записи в хранилище данных установлено ограничение в 1 МБ, что может быть проблемой, а может и не быть.

Question 11

Я заметил странное поведение при загрузке файлов в App Engine. Когда вы отправляете следующую форму:

<form method="post" action="/upload" enctype="multipart/form-data">
    <input type="file" name="img" />
    ...
</form>

И затем вы извлекаете imgиз запроса следующим образом:

img_contents = self.request.get('img')

img_contentsПеременная является str()в Google Chrome, но это юникода в Firefox. И, как вы сейчас, db.Blob()конструктор принимает строку и выдаст ошибку, если вы передадите строку в Юникоде.

Кто-нибудь знает, как это можно исправить?

Кроме того, что мне кажется совершенно странным, так это то, что когда я копирую и вставляю приложение «Гостевая книга» (с аватарами), оно работает отлично. Я делаю все точно так же в своем коде, но это просто не сработает. Я очень близок к тому, чтобы выдернуть волосы.

Question 12

Есть способ использовать плоскую файловую систему (по крайней мере, с точки зрения использования)

Это проект виртуальной файловой системы Google App Engine . который реализован с помощью API хранилища данных и кэша памяти для имитации обычной файловой системы. Используя эту библиотеку, вы можете использовать в своем проекте аналогичный доступ к файловой системе (чтение и запись) .

Answer 1

Я планирую создать веб-приложение, которое позволит пользователям переходить на более раннюю версию своих файлов проектов Visual Studio. Однако похоже, что Google App Engine поддерживает загрузку файлов и хранение плоских файлов на сервере Google через db.TextPropertyи db.BlobProperty.

Я буду рад, что любой может предоставить образец кода (как на стороне клиента, так и на стороне сервера) о том, как это можно сделать.

Answer 2

@ user858915 Ссылка не работает :(

Marco

Answer 3

Вот полный рабочий файл. Я взял оригинал с сайта Google и изменил его, чтобы сделать его немного более реальным.

Обратите внимание на несколько вещей:

В этом коде используется API BlobStore.
Цель этой строки в классе ServeHandler - «исправить» ключ, чтобы он избавился от любого искажения имени, которое могло произойти в браузере (я не наблюдал такого в Chrome).
```
blob_key = str(urllib.unquote(blob_key))
```
Предложение "save_as" в конце этого очень важно. Он будет следить за тем, чтобы имя файла не искажалось при отправке в ваш браузер. Избавьтесь от него, чтобы увидеть, что происходит.
```
self.send_blob(blobstore.BlobInfo.get(blob_key), save_as=True)
```

Удачи!

import os
import urllib

from google.appengine.ext import blobstore
from google.appengine.ext import webapp
from google.appengine.ext.webapp import blobstore_handlers
from google.appengine.ext.webapp import template
from google.appengine.ext.webapp.util import run_wsgi_app

class MainHandler(webapp.RequestHandler):
    def get(self):
        upload_url = blobstore.create_upload_url('/upload')
        self.response.out.write('<html><body>')
        self.response.out.write('<form action="%s" method="POST" enctype="multipart/form-data">' % upload_url)
        self.response.out.write("""Upload File: <input type="file" name="file"><br> <input type="submit" name="submit" value="Submit"> </form></body></html>""")

        for b in blobstore.BlobInfo.all():
            self.response.out.write('<li><a href="https://stackoverflow.com/serve/%s' % str(b.key()) + '">' + str(b.filename) + '</a>')

class UploadHandler(blobstore_handlers.BlobstoreUploadHandler):
    def post(self):
        upload_files = self.get_uploads('file')
        blob_info = upload_files[0]
        self.redirect('/')

class ServeHandler(blobstore_handlers.BlobstoreDownloadHandler):
    def get(self, blob_key):
        blob_key = str(urllib.unquote(blob_key))
        if not blobstore.get(blob_key):
            self.error(404)
        else:
            self.send_blob(blobstore.BlobInfo.get(blob_key), save_as=True)

def main():
    application = webapp.WSGIApplication(
          [('/', MainHandler),
           ('/upload', UploadHandler),
           ('/serve/([^/]+)?', ServeHandler),
          ], debug=True)
    run_wsgi_app(application)

if __name__ == '__main__':
  main()

Answer 4

Удивительно , что это работает для всех кроме меня ... self.__uploadsв blobstore_handlerэто , Noneкогда я пытаюсь это.

Тим

Answer 5

49

Фактически, на этот вопрос есть ответ в документации App Egnine. См. Пример загрузки пользовательских изображений .

HTML-код внутри <form> </form>:

<input type = "file" name = "img" />

Код Python:

гостевая книга класса (webapp.RequestHandler):
  def post (self):
    приветствие = Приветствие ()
    если users.get_current_user ():
      welcome.author = users.get_current_user ()
    приветствие.content = self.request.get ("контент")
    аватар = self.request.get ("img")
    приветствие.avatar = db.Blob (аватар)
    приветствие.put ()
    self.redirect ('/')

састанин
источник

Не нравится этот подход, потому что вы теряете информацию о типе пантомимы.

santiagobasulto

@santiagobasulto: Почему бы вам самому не проверить это?

vietean

Я не хочу это проверять. Когда вам нужно отобразить изображение, вы должны предоставить информацию о типе MIME (будь то изображение JPG, GIF и т. Д.), Поэтому вы должны предоставить HTTP-заголовок типа контента. Если вы загрузите изображение с помощью предоставленного вами решения, то в будущем вы не будете знать тип содержимого рисунка, следовательно, вы не можете установить заголовок, следовательно, старые странные браузеры будут иметь проблемы с отображением изображения ( из-за отсутствия типа контента)

santiagobasulto

1

Если вы не проверяете тип MIME, которому доверяете клиент, оставляя вас уязвимым для атак «черная шляпа» или неверно настроенных типов MIME в клиенте. Если вы собираетесь это сделать, вы можете просто доверять самому расширению файла.

Начо Колома

Answer 6

Не нравится этот подход, потому что вы теряете информацию о типе пантомимы.

santiagobasulto

Answer 7

@santiagobasulto: Почему бы вам самому не проверить это?

vietean

Answer 8

Я не хочу это проверять. Когда вам нужно отобразить изображение, вы должны предоставить информацию о типе MIME (будь то изображение JPG, GIF и т. Д.), Поэтому вы должны предоставить HTTP-заголовок типа контента. Если вы загрузите изображение с помощью предоставленного вами решения, то в будущем вы не будете знать тип содержимого рисунка, следовательно, вы не можете установить заголовок, следовательно, старые странные браузеры будут иметь проблемы с отображением изображения ( из-за отсутствия типа контента)

santiagobasulto

Answer 9

1

Если вы не проверяете тип MIME, которому доверяете клиент, оставляя вас уязвимым для атак «черная шляпа» или неверно настроенных типов MIME в клиенте. Если вы собираетесь это сделать, вы можете просто доверять самому расширению файла.

Начо Колома

Answer 10

Об этом есть ветка в группах Google:

Загрузка файлов

С большим количеством полезного кода это обсуждение очень помогло мне в загрузке файлов.

Answer 11

6

Google выпустила сервис для хранения больших файлов. Взгляните на документацию по API blobstore . Если размер ваших файлов> 1 МБ, вам следует использовать его.

Jbochi
источник

Как сохранять файлы> 1мб. Я использую github.com/ckopanos/django-google-cloud-storage

Гео Джейкоб,

Answer 12

Как сохранять файлы> 1мб. Я использую github.com/ckopanos/django-google-cloud-storage

Гео Джейкоб,

Answer 13

Пробую сегодня, работает он следующим образом:

моя версия sdk - 1.3.x

html-страница:

<form enctype="multipart/form-data" action="/upload" method="post" > 
<input type="file" name="myfile" /> 
<input type="submit" /> 
</form>

Код сервера:

file_contents = self.request.POST.get('myfile').file.read()

Answer 14

3

Если проблема не исчезла, убедитесь, что вы используете enctype в теге формы.

Нет:

<form encoding="multipart/form-data" action="/upload">

Да:

<form enctype="multipart/form-data" action="/upload">

Джо Петрини
источник

У меня возникла ошибка кодирования, прежде чем я реализовал ваш ответ

Jader Dias

1

Когда я делал это, меня действительно раздражала проблема отсутствия «размера» для типа ввода файла. Я тестировал Safari, который, по-видимому, имеет очень короткую длину файла по умолчанию (?), И все, что я получал в GAE для содержимого файла, - это имя файла. Просто предупреждение, которое может спасти кого-то от небольшой головной боли.

Джон Картер

Answer 15

У меня возникла ошибка кодирования, прежде чем я реализовал ваш ответ

Jader Dias

Answer 16

1

Когда я делал это, меня действительно раздражала проблема отсутствия «размера» для типа ввода файла. Я тестировал Safari, который, по-видимому, имеет очень короткую длину файла по умолчанию (?), И все, что я получал в GAE для содержимого файла, - это имя файла. Просто предупреждение, которое может спасти кого-то от небольшой головной боли.

Джон Картер

Answer 17

Вы не можете хранить файлы, поскольку нет традиционной файловой системы. Вы можете хранить их только в их собственном хранилище данных (в поле, определенном как BlobProperty ).

В предыдущей ссылке есть пример:

class MyModel(db.Model):
  blob = db.BlobProperty()

obj = MyModel()
obj.blob = db.Blob( file_contents )

Answer 18

Лично я нашел описанное здесь руководство полезным при использовании среды выполнения Java с GAE. По какой-то причине, когда я пытался загрузить файл с помощью

<form action="/testservelet" method="get" enctype="multipart/form-data">
    <div>
        Myfile:<input type="file" name="file" size="50"/>
    </div>

    <div>
        <input type="submit" value="Upload file">
    </div>
</form>

Я обнаружил, что мой класс HttpServlet по какой-то причине не принимает форму с атрибутом enctype. Однако удаление работает, это означает, что я не могу загружать файлы.

Answer 19

1

Это может быть потому, что вы используете метод get, попробуйте вместо этого настроить его для публикации. Я не уверен, что это сработает, но попробовать стоит.

Slashnick

Answer 20

В Google App Engine нет хранения плоских файлов. Все должно поступать в хранилище данных, которое немного похоже на реляционную базу данных, но не совсем.

Вы можете хранить файлы как атрибуты TextProperty или BlobProperty .

На записи в хранилище данных установлено ограничение в 1 МБ, что может быть проблемой, а может и не быть.

Answer 21

Как сохранить файлы размером более 1мб. Я использую github.com/ckopanos/django-google-cloud-storage

Geo Jacob

Answer 22

Я заметил странное поведение при загрузке файлов в App Engine. Когда вы отправляете следующую форму:

<form method="post" action="/upload" enctype="multipart/form-data">
    <input type="file" name="img" />
    ...
</form>

И затем вы извлекаете imgиз запроса следующим образом:

img_contents = self.request.get('img')

img_contentsПеременная является str()в Google Chrome, но это юникода в Firefox. И, как вы сейчас, db.Blob()конструктор принимает строку и выдаст ошибку, если вы передадите строку в Юникоде.

Кто-нибудь знает, как это можно исправить?

Кроме того, что мне кажется совершенно странным, так это то, что когда я копирую и вставляю приложение «Гостевая книга» (с аватарами), оно работает отлично. Я делаю все точно так же в своем коде, но это просто не сработает. Я очень близок к тому, чтобы выдернуть волосы.

Answer 23

2

: D В форме говорилось: mutlipart / form-data вместо multipart / form-data. Chrome достаточно умен, чтобы исправить опечатку, а Firefox - нет.

Honza Pokorny,

Answer 24

Есть способ использовать плоскую файловую систему (по крайней мере, с точки зрения использования)

Это проект виртуальной файловой системы Google App Engine . который реализован с помощью API хранилища данных и кэша памяти для имитации обычной файловой системы. Используя эту библиотеку, вы можете использовать в своем проекте аналогичный доступ к файловой системе (чтение и запись) .

Загрузить файлы в Google App Engine

Ответы: