Как я могу экспортировать подмножество табличных данных из производственной базы данных в мою локальную базу данных тестирования?

У нас есть относительно большой объем производства на базе базы данных Postgres: ~ 20 ГБ. База данных PostgreSQL размещена на heroku.

Я хотел бы скопировать небольшое подмножество данных таблицы в мою локальную базу данных, чтобы я мог выполнить некоторые тесты на них без необходимости работать на производстве.

Я не хочу сам генерировать образцы данных, а использую данные, которые уже существуют в производственной среде.

~ 100 строк из каждой таблицы в базе данных будет достаточно. Есть ли простой способ сделать это?

Я не использовал этот инструмент, но Jailer обещает сделать именно это

Подмножество базы данных и инструмент просмотра. Экспортирует согласованные, ссылочно-неповрежденные наборы строк из реляционных баз данных (JDBC)

http://sourceforge.net/projects/jailer/

Тюремщик может помочь в этой ситуации. Я работаю над тем же, что и у вас (пытаясь получить ~ 100 записей каждой таблицы), и вот шаги, которые я сделал: - Найти корневой объект (тот, который связан почти с таблицами) и получить подмножество записей корневая строка (например, root is people, тогда я буду искать все связанные записи с people.id = 1 ...) - После завершения шага 1 снова начните с другой таблицы (той, в которой вы хотели бы иметь 100 записей ) и получить его подмножество из результата выше.

Другим вариантом является то , что я только недавно наткнулся ( как должное, я еще использовать его, но план в ближайшее время ): rdbms-subsetter.

Это немного проще и легче, чем Jailer, с несколькими приятными особенностями / преимуществами:

• CLI так легко подключить к существующим инструментам
• Открытый исходный код
• Будет следовать внешним ключам для получения согласованного набора данных
  • Если у вас нет четко определенных внешних ключей, отношения могут быть предоставлены через файл конфигурации JSON. В моем случае я планирую создать этот конфиг из метаданных схемы, хранящихся в другом месте (спасибо, Rails: \)
• Вы можете настроить таргетинг на конкретную строку и получить все связанные записи (например, у конкретного клиента есть проблемы, поэтому вы можете сделать все, чтобы данные его учетной записи были доступны локально)
• Может потребоваться постоянное количество записей в таблице или логарифм, чтобы получить больше данных из больших таблиц без лишних затрат.

Стоит упомянуть еще один вариант для баз данных Heroku, который я часто использовал (как я там работал).

На самом деле Heroku довольно быстро выводит на экран новую БД с моментальными снимками, поскольку сначала она готовит журналы упреждающей записи, затем подключается к основной БД, чтобы наверстать упущенное, а затем перестает следовать за ней. Вы можете создавать эти «вилки» в разных приложениях, чтобы не слишком сильно влиять на работу:

$ heroku addons:create heroku-postgres[:specific-plan] \
    --fork your-production-app::DATABASE \
    --app some-other-app-to-own-forked-database \
    [--as PRODUCTION_SNAPSHOT]

Затем вы можете загрузить приложение, локально указывающее на этот снимок. Я часто использую это, чтобы выполнить пробную миграцию данных или схем или отладить проблемы клиентов.

В приведенной выше команде, если у вас есть БД, доступная с помощью DATABASE_URLon your-production-app, вы получите БД, доступную с PRODUCTION_SNAPSHOT_URL(если вы указали --as) в другом приложении с именем some-other-app-to-own-forked-database.

Чтобы получить случайный набор строк, вы можете использовать LIMIT следующим образом:

SELECT * FROM my_table LIMIT 100

Это самый простой способ, он просто выберет 100 первых строк, с которыми столкнулся PostreSQL. Это может быть 100 последних вставленных или, возможно, 100 первых. Если вам нужно что-то действительно случайное, посмотрите на этот ответ Stackoverflow .