получить последний измененный объект из S3 CLI

У меня есть вариант использования, когда я программно вызываю экземпляр EC2, копирую исполняемый файл из S3, запускаю его и закрываю экземпляр (выполняется в пользовательских данных). Мне нужно получить только последний добавленный файл из S3. Есть ли способ получить последний измененный файл / объект из корзины S3 с помощью интерфейса командной строки?

Вы можете перечислить все объекты в ведре с помощью aws s3 ls $BUCKET --recursive:

$ aws s3 ls $BUCKET --recursive
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object
2015-04-29 12:09:29      32768 yet-another-object.sh

Они отсортированы в алфавитном порядке по ключу, но в первом столбце указано время последнего изменения. Быстро sortотсортирует их по дате:

$ aws s3 ls $BUCKET --recursive | sort
2015-04-29 12:09:29      32768 yet-another-object.sh
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object

tail -n 1выбирает последнюю строку и awk '{print $4}'извлекает четвертый столбец (имя объекта).

$ aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'
some/other/object

И последнее, но не менее важное: вставьте это, aws s3 cpчтобы загрузить объект:

$ KEY=`aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'`
$ aws s3 cp s3://$BUCKET/$KEY ./latest-object

Через некоторое время есть небольшое обновление, как сделать это немного элегантнее:

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'sort_by(Contents, &LastModified)[-1].Key' --output=text

Вместо дополнительной reverseфункции мы можем получить последнюю запись из списка через[-1]

Старый ответ:

Эта команда просто выполняет работу без каких-либо внешних зависимостей:

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'reverse(sort_by(Contents, &LastModified))[:1].Key' --output=text

aws s3api list-objects-v2 --bucket "bucket-name" |jq  -c ".[] | max_by(.LastModified)|.Key"

Ниже приведен сценарий bash, который загружает последний файл из S3 Bucket. Я использовал AWS S3 SynchВместо этого команду , чтобы она не загружала файл с S3, если он уже существует.

--exclude, исключает все файлы

--include, включает все файлы, соответствующие шаблону

#!/usr/bin/env bash

    BUCKET="s3://my-s3-bucket-eu-west-1/list/"
    FILE_NAME=`aws s3 ls $BUCKET  | sort | tail -n 1 | awk '{print $4}'`
    TARGET_FILE_PATH=target/datdump/
    TARGET_FILE=${TARGET_FILE_PATH}localData.json.gz

    echo $FILE_NAME
    echo $TARGET_FILE

    aws s3 sync $BUCKET $TARGET_FILE_PATH --exclude "*" --include "*$FILE_NAME*"

    cp target/datdump/$FILE_NAME $TARGET_FILE

ps Спасибо @ Дэвид Мюррей

Если это только что загруженный файл, вы можете использовать Lambda для выполнения фрагмента кода на новом объекте S3.

Если вам действительно нужно получить самый последний объект, вы можете сначала назвать файлы с датой, отсортировать по имени и взять первый объект.