Автоматически удалять старые элементы из корзины s3

15

Есть ли простой способ настроить корзину для автоматического удаления файлов старше x дней?

amazon-s3 ПСР
источник

Ответы:

19

Тем временем Amazon представила жизненные циклы S3 (см. Вступительное сообщение в блоге Amazon S3 - Истечение срока действия объекта ), где вы можете указать максимальный возраст в днях для объектов в корзине - подробности его использования см. В разделе Истечение срока действия объекта через API S3 или AWS Management. Приставка.

Akshat
источник
+1 за обновление этой устаревшей информации, спасибо!
Штеффен Опель
3

Вы можете использовать s3cmd для написания скрипта, который будет проходить через ваше ведро и удалять файлы на основе предварительного условия.

Вам нужно написать некоторый код (bash, python) поверх него.

Вы можете скачать s3cmd с http://s3tools.org/s3cmd

lynxman
источник
3

сценарий оболочки для удаления старых блоков с помощью
источника служебной программы s3cmd : http://shout.setfive.com/2011/12/05/deleting-files-older-than-specified-time-with-s3cmd-and-bash/

#!/bin/bash
# Usage: ./deleteOld "bucketname" "30 days"
s3cmd ls s3://$1 | while read -r line;  do

createDate=`echo $line|awk {'print $1" "$2'}`
createDate=`date -d"$createDate" +%s`
olderThan=`date -d"-$2" +%s`
if [[ $createDate -lt $olderThan ]]
  then 
    fileName=`echo $line|awk '{$1=$2=$3=""; print $0}' | sed 's/^[ \t]*//'`
    echo $fileName
    if [[ $fileName != "" ]]
      then
        s3cmd del "$fileName"
    fi
fi
done;
Kushal
источник
Использование: ./deleteOld "bucketname" "30 days" например. s3: // dir1 / dir2 / dir3 / bucketname = "dir1 / dir2 / dir3 /" никогда не игнорировать последний "/"
Что делать, если в имени файла есть место, и после этого мне нужно распечатать все столбцы, Video 1280x720 (2)13201781136780000000.mp4просто выдает «Видео», а не все остальное.
Рамратан Гупта
Я получил решение от stackoverflow.com/a/9745022/1589444
Рамратан Гупта
1

Нет, S3 - это просто хранилище данных. Вам нужно будет использовать внешний клиент для периодического удаления старых файлов.

Мартейн Хеемельс
источник
5
Это больше не так: docs.amazonwebservices.com/AmazonS3/latest/UG/…
Табита,
1
Ах, это делает вещи намного проще. Хотя для моих резервных копий я все же предпочитаю выполнять удаление из моего сценария, чтобы гарантировать, что старые резервные копии удаляются только после успешного создания новой.
Мартейн Химельс
1

Я нашел гораздо более быстрое решение удалить пакет с помощью AWS Cli

#!/usr/bin/env php
<?php
//remove files which were created 24 hrs ago
$fcmd = 'aws s3 ls s3://<bucket>/<prefix>/ | awk \'{$3=""; print $0}\'';//remove file size and handle file with spaces

exec($fcmd, $output, $return_var);
$seconds_24_hour = 24 * 60 * 60;
$file_deleted_count = 0;
if (!empty($output)) {
    $deleted_keys = array();
    foreach ($output as $file) {
        $file_path = substr($file, 21);
        $file_time_stamp = substr($file, 0, 19); //2017-09-19 07:59:41
        if (time() - strtotime($file_time_stamp) > $seconds_24_hour) {
            $deleted_keys[]["Key"] = "<prefix>/" . $file_path;
            $file_deleted_count++;
        }
    }
    if (!empty($deleted_keys)) {
        $json_data_delete = array("Objects" => $deleted_keys);
        echo $cmd = ("aws s3api delete-objects --bucket <bucket> --delete '" . json_encode($json_data_delete) . "'");
        system($cmd);
    }
    echo "\n$file_deleted_count files deleted from content_media\n";
}

Ссылка для пакетного удаления /programming//a/41734090/1589444

Ссылка для обработки файла с пробелом со 100% пропуском /programming/36813327/how-to-display-only-files-from-aws-s3-ls-command

Рамратан Гупта
источник