Ограничение S3 на объекты в ведре

Кто-нибудь знает, есть ли ограничение на количество объектов, которые я могу поместить в ведро S3? Могу я положить миллион, 10 миллионов и т.д. в одно ведро?

Согласно Amazon:

Запись, чтение и удаление объектов, содержащих от 0 до 5 терабайт данных каждый. Количество объектов, которые вы можете хранить, не ограничено.

Источник: http://aws.amazon.com/s3/details/ по состоянию на 3 сентября 2015 г.

Похоже, лимит изменился. Вы можете хранить 5 ТБ для одного объекта.

Общий объем данных и количество объектов, которые вы можете хранить, не ограничены. Отдельные объекты Amazon S3 могут иметь размер от минимум 0 байтов до максимум 5 терабайт. Самый большой объект, который может быть загружен за один PUT, - 5 гигабайт. Для объектов размером более 100 мегабайт клиентам следует рассмотреть возможность использования возможности многокомпонентной загрузки.

http://aws.amazon.com/s3/faqs/#How_much_data_can_I_store

• Нет ограничений на количество объектов в ведре.
• Существует ограничение в 100 ведер на одну учетную запись (вам нужно запросить Amazon, если вам нужно больше).
• Производительность не падает, даже если вы храните миллионы объектов в одной корзине.

Из документов,

Нет ограничений на количество объектов, которые могут храниться в корзине, и нет разницы в производительности, используете ли вы много корзин или всего несколько. Вы можете хранить все свои объекты в одной корзине или организовать их в нескольких корзинах.

по состоянию на август 2016 г.

Хотя вы можете хранить неограниченное количество файлов / объектов в одной корзине, когда вы переходите к перечислению «каталога» в корзине, по умолчанию вы получаете только первые 1000 файлов / объектов в этой корзине. Чтобы получить доступ ко всем файлам в таком большом «каталоге», вам нужно сделать несколько вызовов их API.

Нет ограничений на количество объектов, которые вы можете хранить в корзине S3. AWS утверждает, что у него неограниченное хранилище. Однако есть некоторые ограничения -

1. По умолчанию клиенты могут выделять до 100 корзин для каждой учетной записи AWS. Однако вы можете увеличить лимит корзины Amazon S3, посетив AWS Service Limits.
2. Размер объекта может составлять от 0 байтов до 5 ТБ.
3. Самый большой объект, который можно загрузить в одном PUT, составляет 5 гигабайт.
4. Для объектов размером более 100 мегабайт клиентам следует рассмотреть возможность использования возможности многокомпонентной загрузки.

При этом, если у вас действительно много объектов для хранения в корзине S3, рассмотрите возможность рандомизации префикса имени объекта для повышения производительности.

Если ваша рабочая нагрузка представляет собой сочетание типов запросов, внесите некоторую случайность в имена ключей, добавив хеш-строку в качестве префикса к имени ключа. Если ввести случайность в имена ключей, нагрузка ввода-вывода будет распределяться по нескольким разделам индекса. Например, вы можете вычислить хэш MD5 последовательности символов, которую вы планируете назначить в качестве ключа, и добавить 3 или 4 символа из хеша в качестве префикса к имени ключа.

Подробнее - https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/

- По состоянию на июнь 2018 г.

«Вы можете хранить в ведре столько объектов, сколько захотите, а также записывать, читать и удалять объекты в своем ведре. Объекты могут быть размером до 5 терабайт».

с http://aws.amazon.com/s3/details/ (по состоянию на 4 марта 2015 г.)

@ Acyra - производительность доставки объектов из одного ведра будет сильно зависеть от имен объектов в нем.

Если бы имена файлов были разделены случайными символами, их физическое расположение было бы распределено дальше на оборудовании AWS, но если вы назвали все «common-x.jpg», «common-y.jpg», то эти объекты будут храниться вместе.

Это может замедлить доставку файлов, если вы запрашиваете их одновременно, но не настолько, чтобы беспокоить вас, больший риск возникает из-за потери данных или сбоя, поскольку эти объекты хранятся вместе, они будут потеряны или недоступны вместе.