Массовое удаление для большой таблицы в MySQL

У меня есть таблица уведомлений, содержащая около 100 миллионов строк хоста в Amazon RDS с 1000 IOPS, и я хочу удалить эти строки старше одного месяца.

Если я это сделаю DELETE FROM NOTIFICATION WHERE CreatedAt < DATE_SUB(CURDATE(), INTERVAL 30 day);, все IOPS будут приняты, процесс займет несколько часов, и много новых записей не могут быть вставлены из-за «Превышено время ожидания блокировки; попробуйте перезапустить транзакцию».

Я пытался сделать так, как описано здесь: http://mysql.rjweb.org/doc.php/deletebig Однако я использую UUID вместо ID приращения.

Как правильно и эффективно удалить эти строки, не влияя на добавление / обновление новых данных?

Создайте временную таблицу, включите и выключите ее и скопируйте в нее данные за последние 30 дней.

#
# Make empty temp table
#
CREATE TABLE NOTIFICATION_NEW LIKE NOTIFICATION;
#
# Switch in new empty temp table
#
RENAME TABLE NOTIFICATION TO NOTIFICATION_OLD,NOTIFICATION_NEW TO NOTIFICATION;
#
# Retrieve last 30 days data 
#
INSERT INTO NOTIFICATION SELECT * FROM NOTIFICATION_OLD
WHERE CreatedAt >= DATE_SUB(CURDATE(), INTERVAL 30 DAY);

В нерабочее время бросьте старый стол

DROP TABLE NOTIFICATION_OLD;

Вот преимущества этого УДАЛЕНИЯ, как это

1. NOTIFICATION быстро опорожняется путем переключения в пустую таблицу.
2. NOTIFICATION немедленно доступен для новых вставок
3. Оставшиеся 30 дней добавляются обратно, в NOTIFICATIONто время как новые INSERT могут иметь место.
4. Удаление старой версии NOTIFICATIONне мешает новым INSERT
5. ПРИМЕЧАНИЕ: я рекомендовал делать приманку и переключение для таблиц DELETE до: (см. Мой пост от 19 июля 2012 года: Оптимизация запроса DELETE в таблице MySQL MEMORY )

Попробуйте!

Мой любимый это pt-archiver от Percona Toolkit. Он заботится о загрузке MySQL, задержке репликации.

создать таблицу уведомлений_темпов как выберите * из уведомления, где CreatedAt <DATE_SUB (CURDATE (), ИНТЕРВАЛ 30 дней);

уведомление об удалении таблицы;

ПЕРЕИМЕНОВАТЬ извещение_повестку В УВЕДОМЛЕНИЕ;