Повреждение MySQL INNODB после сбоя сервера во время одновременной команды усечения

9

Мой сервер сегодня вышел из строя из-за одновременной команды усечения таблицы в одной из наших таблиц INNODB. Сервер может быть перезапущен, но после запуска каждый раз, когда я пытаюсь выполнить команду SQL, я получаю следующую ошибку:

ERROR 2006 (HY000): MySQL server has gone away

Вот что произошло в логах:

121206 01:11:12  mysqld restarted
121206  1:11:13  InnoDB: Started; log sequence number 275 559321759
InnoDB: !!! innodb_force_recovery is set to 1 !!!
121206  1:11:13 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.0.95-log'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  Source distribution
InnoDB: Error: trying to load index PRIMARY for table 
InnoDB: but the index tree has been freed!
121206  1:11:37 - mysqld got signal 11 ;
This could be because you hit a bug. It is also possible that this binary
or one of the libraries it was linked against is corrupt, improperly built,
or misconfigured. This error can also be caused by malfunctioning hardware.
We will try our best to scrape up some info that will hopefully help diagnose
the problem, but since we have already crashed, something is definitely wrong
and this may fail.

key_buffer_size=134217728
read_buffer_size=1048576
max_used_connections=1
max_connections=400
threads_connected=1
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections = 950272 K
bytes of memory
Hope that's ok; if not, decrease some variables in the equation.

thd=0x9900950
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
Cannot determine thread, fp=0x46353fa0, backtrace may not be correct.
Stack range sanity check OK, backtrace follows:
(nil)
New value of fp=0x9900950 failed sanity check, terminating stack trace!
Please read http://dev.mysql.com/doc/mysql/en/using-stack-trace.html and follow instructions on how to resolve the stack trace. Resolved
stack trace is much more helpful in diagnosing the problem, so please do
resolve it
Trying to get some variables.
Some pointers may be invalid and cause the dump to abort...
thd->query at 0x993e500 =
thd->thread_id=1
The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
information that should help you find out what is causing the crash.

Я искал в Интернете, и я понял, что это ошибка MySQL, но я не знаю, как ее решить. Я использую MySQL версии 5.0.95.

Похоже, мне нужно создать новую базу данных и сбросить старые данные в новые, но как я могу это сделать, если я не могу даже выполнить какие-либо команды SQL для текущей?

--- ОБНОВЛЕНИЕ ---
Версия: сокет '5.0.95-log': порт /var/lib/mysql/mysql.sock: 3306 Распределение источника InnoDB: Ошибка: попытка загрузить индекс PRIMARY для таблицы InnoDB: но Индексное дерево было освобождено! 121206 4:13:41 - mysqld получил сигнал 11; Это может быть потому, что вы нажали ошибку. Также возможно, что этот двоичный файл или одна из библиотек, с которыми он был связан, поврежден, неправильно построен или неправильно настроен. Эта ошибка также может быть вызвана неисправностью оборудования. Мы сделаем все возможное, чтобы собрать некоторую информацию, которая, как мы надеемся, поможет диагностировать проблему, но, поскольку мы уже потерпели крах, что-то определенно не так, и это может дать сбой.

key_buffer_size=134217728
read_buffer_size=1048576
max_used_connections=1
max_connections=400
threads_connected=1
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections = 950272 K
bytes of memory
Hope that's ok; if not, decrease some variables in the equation.

thd=0x17fb8950
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
Cannot determine thread, fp=0x464a3fa0, backtrace may not be correct.
Stack range sanity check OK, backtrace follows:
(nil)
New value of fp=0x17fb8950 failed sanity check, terminating stack trace!
Please read http://dev.mysql.com/doc/mysql/en/using-stack-trace.html and follow instructions on how to resolve the stack trace. Resolved
stack trace is much more helpful in diagnosing the problem, so please do
resolve it
Trying to get some variables.
Some pointers may be invalid and cause the dump to abort...
thd->query at 0x17ff6500 =
thd->thread_id=3
The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
information that should help you find out what is causing the crash.

Number of processes running now: 0
121206 04:13:41  mysqld restarted
InnoDB: The log sequence number in ibdata files does not match
InnoDB: the log sequence number in the ib_logfiles!
121206  4:13:42  InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
121206  4:13:43  InnoDB: Started; log sequence number 275 559323148
121206  4:13:43 [Note] /usr/libexec/mysqld: ready for connections.
Version: '5.0.95-log'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  Source distribution
Эндрю
источник

Ответы:

6

АСПЕКТ № 1

Первое, что бросилось в глаза, была эта линия

InnoDB: ошибка: попытка загрузить индекс PRIMARY для таблицы /

Это указывает на то, что у вас есть таблица, использующая InnoDB Storage Engine

В InnoDB интересно то, как хранится ПЕРВИЧНЫЙ КЛЮЧ. Он хранится в структуре, называемой gen_clust_index , или более известной как кластерный индекс.

Мое непосредственное предположение - то, что определенная запись ПЕРВИЧНОГО КЛЮЧА слишком велика

Пожалуйста, рассмотрите некоторые статьи о хорошем, плохом и ужасном использовании длинных ПЕРВИЧНЫХ КЛЮЧЕЙ:

затем посмотрите, <DB Hidden>.<Table Hidden>нужно ли изменить дизайн.

АСПЕКТ № 2

С точки зрения вашей гипотезы о параллельной усеченной таблице это звучит довольно опасно. Почему? InnoDB выполняет TRUNCATE TABLE как DDLнет DML. Я писал об этом раньше:

АСПЕКТ № 3

Некоторые советы по настройке

Пожалуйста, добавьте следующее к my.ini

[mysqld]
max_allowed_packet=1G
innodb_fast_shutdown=0

Запустите MySQL

В другой сессии запустите tail -f <errorlogfile>и посмотрите InnoDB Crash Recovery.

Если mysql полностью запущен, резервное копирование и восстановление после сбоя InnoDB завершено, попробуйте немедленно отключить mysql. Возможно, вам придется изменить размер журналов транзакций InnoDB.

Прошу прощения за эти дикие предложения, но я здесь летаю вслепую.

Пожалуйста, напишите следующее в вопросе:

  • весь ваш my.cnf
  • сколько оперативной памяти на борту

ОБНОВЛЕНИЕ 2012-12-05 12:09 ПО ВОСТОЧНОМУ ВРЕМЕНИ

Пожалуйста, сделайте следующее:

ШАГ 01) Добавьте эти изменения в my.cnf

[mysqld]
max_allowed_packet=1G
innodb_fast_shutdown=0
innodb_thread_concurrency=0

ШАГ 02) service mysql restart

чтобы убедиться, что MySQL подходит

ШАГ 03) Вам нужно изменить размеры ib_logfile0 и ib_logfile1 (24M может быть слишком маленьким)

service mysql stop
cd /var/lib/mysql
mv ib_logfile0 ib_logfile0.bak
mv ib_logfile1 ib_logfile1.bak

ШАГ 04) Добавьте эти изменения в my.cnf

[mysqld]
innodb_log_file_size=512M
innodb_log_buffer_size=8M

ШАГ 05) service mysql start

mysqld будет воссоздавать ib_logfile0 и ib_logfile1 по 512M каждый

Теперь попробуйте и посмотрите, что произойдет ....

ОБНОВЛЕНИЕ 2012-12-05 12:18 ПО ВОСТОЧНОМУ ВРЕМЕНИ

А пока, пожалуйста, прочитайте мой пост ServerFault о пакете mysql и его влиянии на размер относительно innodb_log_file_size и innodb_log_buffer_size, как я узнал из чьего-либо поста ServerFault .

ОБНОВЛЕНИЕ 2012-12-05 14:28 ПО ВОСТОЧНОМУ ВРЕМЕНИ

Я отредактировал все ссылки на таблицы клиентов из этого вопроса.

Основной причиной была поврежденная страница ibdata1со смешанными страницами данных и индекса. Я помог Эндрю перенести данные, заново создать ibdata1 с помощью innodb_file_per_table , и Эндрю перезагрузил данные.

RolandoMySQLDBA
источник
Спасибо за ваши комментарии Роландо. Я обязательно пересмотрю структуру первичного ключа. Тем временем я перейду к вашим статьям и посмотрю, смогу ли я восстановить наш сервер и запустить его как можно скорее.
Андрей
Некоторая часть ibdata1 имеет поврежденную страницу. Я видел это условие много раз с моими клиентами хостинга.
RolandoMySQLDBA
В соответствии с просьбой я стерла все свои комментарии, чтобы скрыть конфиденциальную информацию.
RolandoMySQLDBA
@RolandoMySQLDBA, не могли бы вы рассказать, как вы обнаружили основную причину, я имею в виду, как вы это выяснили? И какие шаги вы предприняли, чтобы это исправить?
Бхупеш Пант