Я хотел бы ежедневно копировать некоторые файлы из производственной корзины в группу разработки. Например: скопируйте productionbucket / feed / feedname / date в developmentbucket / feed / feedname / date. Поскольку файлы, которые мне нужны, находятся так глубоко в структуре папок, переход в...
Есть ли зависимости между Spark и Hadoop ? Если нет, то есть ли какие-то функции, которые я пропущу при запуске Spark без Hadoop ?
Закрыто. Этот вопрос не соответствует рекомендациям по переполнению стека . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он соответствовал теме Stack Overflow. Закрыт 2 года назад . Уточните этот вопрос Я хочу разместить статический веб-сайт только...
Довольно простой вопрос, но я не смог найти ответа. Используя Transit, я могу «перемещать» файлы из одной корзины S3 в одной учетной записи AWS в другую корзину S3 в другой учетной записи AWS, но на самом деле она загружает файлы из первой, а затем загружает их во вторую. Есть ли способ перемещать...
Я искал в Интернете более двух дней и, вероятно, просмотрел большинство задокументированных в Интернете сценариев и обходных путей, но пока у меня ничего не работало. Я использую AWS SDK для PHP V2.8.7, работающего на PHP 5.3. Я пытаюсь подключиться к своей корзине S3 с помощью следующего кода: //...
В настоящее время я использую плагин node.js под названием s3-upload-stream для потоковой передачи очень больших файлов в Amazon S3. Он использует составной API и по большей части работает очень хорошо. Однако этот модуль показывает свой возраст, и мне уже пришлось внести в него изменения (автор...
В проекте Node.js я пытаюсь получить данные из S3. При использовании getSignedURLвсе работает: aws.getSignedUrl('getObject', params, function(err, url){ console.log(url); }); Мои параметры: var params = { Bucket: "test-aws-imagery", Key: "TILES/Level4/A3_B3_C2/A5_B67_C59_Tiles.par" Если я выведу...
Я создал папку в s3 с именем «test» и вставил «test_1.jpg», «test_2.jpg» в «test». Как я могу использовать boto для удаления папки "test"?
Если бы у меня был миллион изображений, было бы лучше хранить их в какой-то иерархии папок / подпапок или просто выгружать их все прямо в корзину (без папок)? Может ли сброс всех изображений в корзину без иерархии замедлить операции LIST? Есть ли значительные накладные расходы при создании папок и...
У меня в S3 следующая структура папок. Есть ли способ рекурсивно удалить все файлы в определенной папке (скажем foo/bar1 or foo or foo/bar2/1..) foo/bar1/1/.. foo/bar1/2/.. foo/bar1/3/.. foo/bar2/1/.. foo/bar2/2/.. foo/bar2/3/.....
AWS имеет несколько мест для хранения и инстансов EC2 по разным ценам. Как я мог определить, какое место лучше всего подходит для конкретного региона. Это интуитивно понятно (лучше всего ближе к региону обслуживания) или есть какие-либо проблемы с надежностью (конкретное местоположение AWS...
Я хотел бы проверить, существует ли ключ в данном ведре, используя Java. Я посмотрел API, но нет никаких полезных методов. Я попытался использовать, getObjectно возникла исключительная ситуация....
Кто-нибудь знает как это сделать? Пока ничего полезного через гугл найти не удалось. Я действительно хотел бы настроить локальное репо и использовать его git pushдля публикации на S3, идея заключается в том, чтобы иметь локальный контроль версий над активами, но удаленное хранилище на S3. Можно ли...
Кто-нибудь знает, есть ли ограничение на количество объектов, которые я могу поместить в ведро S3? Могу я положить миллион, 10 миллионов и т.д. в одно ведро?
Я использую boto3 для получения файлов из ведра s3. Мне нужна аналогичная функциональность, напримерaws s3 sync Мой текущий код #!/usr/bin/python import boto3 s3=boto3.client('s3') list=s3.list_objects(Bucket='my_bucket_name')['Contents'] for key in list: s3.download_file('my_bucket_name',...
Возможно, я слепой, но я не могу найти в документации S3 максимальную длину имени файла, которую можно загрузить в S3.
Я загружаю файл на S3 с помощью Java - вот что у меня получилось: AmazonS3 s3 = new AmazonS3Client(new BasicAWSCredentials("XX","YY")); List<Bucket> buckets = s3.listBuckets(); s3.putObject(new PutObjectRequest(buckets.get(0).getName(), fileName, stream, new ObjectMetadata())); Файл...
У меня есть вариант использования, когда я программно вызываю экземпляр EC2, копирую исполняемый файл из S3, запускаю его и закрываю экземпляр (выполняется в пользовательских данных). Мне нужно получить только последний добавленный файл из S3. Есть ли способ получить последний измененный файл /...
Amazon.com только что объявил, что можно размещать статические веб-сайты в ведре S3. Я зашел на их страницу настройки по адресу http://docs.amazonwebservices.com/AmazonS3/latest/dev/index.html?WebsiteHosting.html и создал корзину для своего статического веб-сайта, и она работала нормально. У меня...