Возможно ли mysqldump подмножество базы данных, необходимой для воспроизведения запроса?

Задний план

Я хотел бы предоставить подмножество моей базы данных, необходимое для воспроизведения selectзапроса. Моя цель - сделать мой вычислительный рабочий процесс воспроизводимым (как в воспроизводимых исследованиях ).

Вопрос

Есть ли способ, которым я могу включить этот оператор выбора в сценарий, который сбрасывает запрашиваемые данные в новую базу данных, так что база данных может быть установлена ​​на новом сервере MySQL, и оператор будет работать с новой базой данных. Новая база данных не должна содержать записей в дополнение к тем, которые были использованы в запросе.

Обновление: для пояснения, я не заинтересован в дампе CSV результатов запроса. Что мне нужно сделать, так это сбросить подмножество базы данных, чтобы его можно было установить на другом компьютере, а затем сам запрос можно было бы воспроизвести (и изменить по отношению к тому же набору данных).

пример

Например, мой анализ может запрашивать подмножество данных, для которого требуются записи из нескольких (в этом примере 3) таблиц:

select table1.id, table1.level, table2.name, table2.level 
       from table1 join table2 on table1.id = table2.table1_id 
       join table3 on table3.id = table2.table3_id
       where table3.name in ('fee', 'fi', 'fo', 'fum'); 

mysqldump имеет опцию --where, чтобы выполнить предложение WHERE для данной таблицы.

Несмотря на то, что mysqldump невозможно выполнить запрос на соединение, вы можете экспортировать определенные строки из каждой таблицы, чтобы каждая строка, извлеченная из каждой таблицы, была позже включена в объединение.

Для вашего данного запроса вам нужно выполнить mysqldump три раза:

Во-первых, mysqldump все строки таблицы 3 с именем в ('fee', 'fi', 'fo', 'fum'):

mysqldump -u... -p... --where="name in ('fee','fi','fo','fum')" mydb table3 > table3.sql

Затем mysqldump все строки table2, которые имеют совпадающие значения table3_id из первого mysqldump:

mysqldump -u... -p... --lock-all-tables --where="table3_id in (select id from table3 where name in ('fee','fi','fo','fum'))" mydb table2 > table2.sql

Затем mysqldump все строки таблицы table1, которые имеют совпадающие значения table1_id из второго mysqldump:

mysqldump -u... -p... --lock-all-tables --where="id in (select table1_id from table2 where table3_id in (select id from table3 where name in ('fee','fi','fo','fum')))" mydb table1 > table1.sql

Примечание: поскольку для второго и третьего mysqldumps требуется использование более одной таблицы, необходимо использовать --lock-all-tables .

Создайте свою новую базу данных:

mysqladmin -u... -p... mysqladmin create newdb

Наконец, загрузите три mysqldumps в другую базу данных и попытайтесь соединиться там в новой базе данных.

mysql -u... -p... -D newdb < table1.sql
mysql -u... -p... -D newdb < table2.sql
mysql -u... -p... -D newdb < table3.sql

В клиенте mysql запустите ваш запрос на присоединение

mysql> use newdb
mysql> select table1.id, table1.level, table2.name, table2.level 
       from table1 join table2 on table1.id = table2.table1_id 
       join table3 on table3.id = table2.table3_id
       where table3.name in ('fee', 'fi', 'fo', 'fum'); 

Попробуйте!

ВНИМАНИЕ: Если не проиндексированы правильно, второй и третий mysqldumps может занять вечно !!!

На всякий случай проиндексируйте следующие столбцы:

ALTER TABLE table2 ADD INDEX (table1_id);
ALTER TABLE table2 ADD INDEX (table3_id);
ALTER TABLE table3 ADD INDEX (name,id);

Я предполагаю, что id является первичным ключом таблицы 3.

Я решил бы использовать 'outfile' как часть вашего SELECT вместо mysqldump для решения этой проблемы. Вы можете создать любой оператор SELECT, который вам нужен, а затем добавить в конце «INTO OUTFILE» /path/to/outfile.csv '... »с соответствующей конфигурацией для вывода в стиле CSV. Тогда вы можете просто использовать что-то вроде синтаксиса « LOAD DATA INFILE ...», чтобы загрузить данные в новое местоположение схемы.

Например, используя ваш SQL:

select table1.id, table1.level, table2.name, table2.level 
       from table1 join table2 on table1.id = table2.table1_id 
       join table3 on table3.id = table2.table3_id
       where table3.name in ('fee', 'fi', 'fo', 'fum')
INTO OUTFILE '/tmp/fee-fi-fo-fum.csv'
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
; 

Имейте в виду, что вам понадобится достаточно свободного места на целевом разделе диска.

Утилита mysqldump имеет опцию --tables, которая позволяет вам указать, какие таблицы выгружать. Позволяет указать список таблиц.

Я не знаю более простого (автоматизированного) способа.

Что было полезно для меня, было что-то вроде:

mysqldump -u db_user -p db_name table_name --no_create_info \
--lock-all-tables --where 'id in (SELECT tn.id FROM table_name AS tn \
JOIN related_table AS rt ON tn.related_table_id = rt.id \
WHERE rt.some_field = 1)' > data.sql

От http://krosinski.blogspot.com/2012/12/using-table-join-with-mysqldump.html

Вы пробовали функцию цитаты в MySQL?

SELECT CONCAT("insert into table4(id,level,name,levelt2) VALUES(",   quote(table1.id),   ",",    quote(table1.level),   ",",    quote(table2.name),   ",",    quote(table2.level),    ");") as q
       from table1 join table2 on table1.id = table2.table1_id 
       join table3 on table3.id = table2.table3_id
       where table3.name in ('fee', 'fi', 'fo', 'fum'); 

сохранить выше, как query.sql

cat query.sql|mysql --skip-column-names --raw > table4.sql

В MySQL:

SHOW CREATE TABLE table1; -- use these two create statements
SHOW CREATE TABLE table2; -- to design table4's create statement
CREATE TABLE table4( .... );
INSERT INTO table4(id,level,name,levelt2)
SELECT table1.id, table1.level, table2.name, table2.level 
   from table1 join table2 on table1.id = table2.table1_id 
   join table3 on table3.id = table2.table3_id
   where table3.name in ('fee', 'fi', 'fo', 'fum'); 

В командной строке:

mysqldump mydb table4 |gzip > table4.sql.gz

На целевом сервере настройте ~ / .my.cnf

[client]
default-character-set=utf8

Импорт на целевой сервер

zcat table4.sql.gz | mysql

я написал небольшой скрипт для аналогичной проблемы, вот он: https://github.com/digitalist/mysql_slice

include ('queryDumper.php');


$exampleQuery="select * from information_schema.columns c1 
left join information_schema.columns c2 on 1=1 limit 1";

//define credentials
$exampleMysqli = new mysqli($host, $user, $password, $database);
$exampleResult=$exampleMysqli->query($exampleQuery);

//if  mysqlnd (native driver installed), otherwise use wrapper
$exampleData=fetchAll($exampleResult);
$exampleMeta=$exampleResult->fetch_fields();

/*
 * field content removal options
 * column name => function name in queryDumper.php, namespace QueryDumperHelpers
 * 
 * */

$forbiddenFields=array(
'password'=>'replacePassword', //change password -> md5("password")
'login'=>'replaceLogin', //change login vasya@mail.ru -> vasya@example.com
'comment'=>'sanitizeComment' //lorem ipsum or 
);


//get tables dump
$dump=(\queryDumper\dump($exampleData, $exampleMeta, $forbiddenFields));



$dropDatabase=true; //default false
$dropTable=true; //default false

$dbAndTablesCreationDump=\QueryDumperDatabaseAndTables\dump($exampleMysqli,$exampleMeta, $dropDatabase, $dropTable);

$databases=$dbAndTablesCreationDump['databases'];
$tables=$dbAndTablesCreationDump['tables'];
$eol=";\n\n";
echo implode($eol, $databases)."\n";
echo implode($eol, $tables).";\n";
echo "\n";

//consider using array_unique($dump) before imploding
echo implode("\n\n", $dump);
echo "\n";
?>

т.е. у вас есть этот запрос :

SELECT * FROM employees.employees e1 
LEFT JOIN employees.employees e2 ON 1=1 
LIMIT 1; 

Вы получили эту свалку :

DROP DATABASE `employees`;

CREATE DATABASE `employees`;
CREATE TABLE `employees` ( /* creation code */ ) ENGINE=InnoDB DEFAULT CHARSET=latin1;

INSERT IGNORE INTO `employees`.`employees` VALUES ("10001","1953-09-02","Georgi","Facello","M","1986-06-26");

INSERT IGNORE INTO `employees`.`employees` VALUES ("10001","1953-09-02","Georgi","Facello","M","1986-06-26");