Загрузка изображения в кодировке base64 в Amazon S3 через Node.js

103

Вчера я провел сеанс глубокого ночного кодирования и создал небольшое приложение node.js / JS (ну, на самом деле CoffeeScript, но CoffeeScript - это просто JavaScript, так что, скажем, JS).

какова цель:

  1. клиент отправляет данные холста (png) на сервер (через socket.io)
  2. сервер загружает изображение на amazon s3

шаг 1 выполнен.

на сервере теперь есть строка а-ля

data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAMgAAADICAYAAACt...

у меня вопрос: каковы мои следующие шаги для «потоковой передачи» / загрузки этих данных в Amazon S3 и создания там реального изображения?

knox https://github.com/LearnBoost/knox кажется отличной библиотекой для ПОМЕЩЕНИЯ чего-то в S3, но чего мне не хватает, так это связующего звена между строкой изображения в кодировке base64 и фактическим действием загрузки ?

Любые идеи, указатели и отзывы приветствуются.

Франц Энценхофер
источник
4
Отметьте этот ответ: stackoverflow.com/questions/5867534/…
Akirk,

Ответы:

218

Для людей, которые все еще борются с этой проблемой. Вот подход, который я использовал с собственным aws-sdk:

var AWS = require('aws-sdk');
AWS.config.loadFromPath('./s3_config.json');
var s3Bucket = new AWS.S3( { params: {Bucket: 'myBucket'} } );

Внутри вашего метода маршрутизатора (ContentType должен быть установлен на тип содержимого файла изображения):

  buf = Buffer.from(req.body.imageBinary.replace(/^data:image\/\w+;base64,/, ""),'base64')
  var data = {
    Key: req.body.userId, 
    Body: buf,
    ContentEncoding: 'base64',
    ContentType: 'image/jpeg'
  };
  s3Bucket.putObject(data, function(err, data){
      if (err) { 
        console.log(err);
        console.log('Error uploading data: ', data); 
      } else {
        console.log('successfully uploaded the image!');
      }
  });

файл s3_config.json:

{
  "accessKeyId":"xxxxxxxxxxxxxxxx",
  "secretAccessKey":"xxxxxxxxxxxxxx",
  "region":"us-east-1"
}
Дивяншу Дас
источник
2
[MissingRequiredParameter: в параметрах отсутствует требуемый ключ 'Key']
Николь А. Миллер
1
Ключ: req.body.userId Я использовал userId в качестве ключа в данных сообщения ... это было давно ... но вы можете объявить любую строку как ключ. Чтобы не допустить перезаписи уже имеющихся файлов, сохраните ключ уникальным.
Дивяншу Дас
@Divyanshu Спасибо за такой полезный пример. У меня возникли два сомнения: How to make S3 generates a unique KEY to prevent from overriding files?а If I don't set the ContentType, when I download the files I won't be able to get the correct file?я имею ввиду, я получу такой испорченный файл? Заранее спасибо!
alexventuraio
2
Путь к местоположению @Marklar в основном является ключевым - например, если имя вашего ведра - bucketone, а имя ключа - xyz.png, тогда путь к файлу будет bucketone.s3.amazonaws.com/xyz.png
Divyanshu Das
2
@Divyanshu Спасибо за отличный ответ! Это мне очень помогло. Однако я думаю, что ContentEncoding: 'base64'это неверно, потому что new Buffer(..., 'base64')декодирует строку в кодировке base64 в ее двоичное представление.
Shuhei Kagawa
17

хорошо, это ответ, как сохранить данные холста в файл

в основном это выглядит так в моем коде

buf = new Buffer(data.dataurl.replace(/^data:image\/\w+;base64,/, ""),'base64')


req = knoxClient.put('/images/'+filename, {
             'Content-Length': buf.length,
             'Content-Type':'image/png'
  })

req.on('response', (res) ->
  if res.statusCode is 200
      console.log('saved to %s', req.url)
      socket.emit('upload success', imgurl: req.url)
  else
      console.log('error %d', req.statusCode)
  )

req.end(buf)
Франц Энценхофер
источник
1
Объект буфера выдаст ошибку «Буфер не определен». Можете ли вы дать мне решение для этого.
NaveenG 05
Я тоже получаю ту же ошибку. есть решение или нет
Кришна
1
@NaveenG Это пример узла, может быть, вы используете простой JS?
Pointi
9

Вот код из одной статьи, которую я нашел, размещенной ниже:

const imageUpload = async (base64) => {

  const AWS = require('aws-sdk');

  const { ACCESS_KEY_ID, SECRET_ACCESS_KEY, AWS_REGION, S3_BUCKET } = process.env;

  AWS.config.setPromisesDependency(require('bluebird'));
  AWS.config.update({ accessKeyId: ACCESS_KEY_ID, secretAccessKey: SECRET_ACCESS_KEY, region: AWS_REGION });

  const s3 = new AWS.S3();

  const base64Data = new Buffer.from(base64.replace(/^data:image\/\w+;base64,/, ""), 'base64');

  const type = base64.split(';')[0].split('/')[1];

  const userId = 1;

  const params = {
    Bucket: S3_BUCKET,
    Key: `${userId}.${type}`, // type is not required
    Body: base64Data,
    ACL: 'public-read',
    ContentEncoding: 'base64', // required
    ContentType: `image/${type}` // required. Notice the back ticks
  }

  let location = '';
  let key = '';
  try {
    const { Location, Key } = await s3.upload(params).promise();
    location = Location;
    key = Key;
  } catch (error) {
  }

  console.log(location, key);

  return location;

}

module.exports = imageUpload;

Прочитайте больше: http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/S3.html#upload-property

Кредиты: https://medium.com/@mayneweb/upload-a-base64-image-data-from-nodejs-to-aws-s3-bucket-6c1bd945420f

Харви
источник
4

Принятый ответ отлично работает, но если кому-то нужно принять любой файл вместо изображений, это регулярное выражение отлично работает:

/^data:.+;base64,/

Ms01
источник