MySQL: большой VARCHAR против текста?

У меня есть таблица сообщений в MySQL, которая записывает сообщения между пользователями. Помимо типичных идентификаторов и типов сообщений (все целочисленные типы) мне нужно сохранить фактический текст сообщения как VARCHAR или TEXT. Я устанавливаю входной предел в 3000 символов, что означает, что сообщения никогда не будут вставляться в БД, как это дольше.

Есть ли смысл использовать VARCHAR (3000) или TEXT? В написании VARCHAR (3000) есть что-то нелогичное. Я просматривал другие подобные сообщения о переполнении стека, но было бы неплохо получить представления, относящиеся к этому типу общего хранения сообщений.

• TEXTи BLOB может храниться вне таблицы с таблицей, имеющей только указатель на местоположение фактического хранилища. Где он хранится, зависит от многих вещей, таких как размер данных, размер столбцов, row_format и версия MySQL.

• VARCHARхранится в соответствии с таблицей. VARCHARбыстрее, когда размер разумный, компромисс которого будет быстрее, зависит от ваших данных и вашего оборудования, вы захотите сравнить реальный сценарий с вашими данными.

Можете ли вы предсказать, как долго будет вводить пользователь?

УАКСНАК (Х)

Кейс: имя пользователя, адрес электронной почты, страна, тема, пароль

---

ТЕКСТ

Дело: сообщения, электронные письма, комментарии, форматированный текст, HTML, код, изображения, ссылки

---

MEDIUMTEXT

Дело: большие тела json, короткие и средние книги, csv-струны

---

LONGTEXT

Кейс: учебники, программы, файлы лет журналов, Гарри Поттер и кубок огня, ведение научных исследований

Просто чтобы уточнить лучшие практики:

1. Текстовые сообщения почти всегда должны храниться в формате TEXT (в конечном итоге они будут произвольно длинными)

2. Строковые атрибуты должны храниться как VARCHAR (имя пользователя, тема и т. Д.).

Я понимаю, что у вас есть лимит внешнего интерфейса, который хорош, пока его нет. * ухмылка * Хитрость заключается в том, чтобы рассматривать БД отдельно от приложений, которые к ней подключаются. То, что одно приложение накладывает ограничение на данные, не означает, что данные изначально ограничены.

Что в самих сообщениях заставляет их никогда не превышать 3000 символов? Если это просто произвольное ограничение приложения (скажем, для текстового поля или чего-то еще), используйте TEXTполе на уровне данных.

Отказ от ответственности: я не эксперт по MySQL ... но это мое понимание проблем.

Я думаю, что TEXT хранится вне строки mysql, а я думаю, что VARCHAR хранится как часть строки. Для строк mysql есть максимальная длина строки, поэтому вы можете ограничить объем других данных, которые можно хранить в строке, используя VARCHAR.

Также из-за того, что VARCHAR является частью строки, я подозреваю, что запросы, просматривающие это поле, будут немного быстрее, чем запросы, использующие блок TEXT.

Краткий ответ: нет практического, производительности или хранения, разницы.

Длинный ответ:

По сути, нет никакой разницы (в MySQL) между VARCHAR(3000)(или любым другим большим пределом) и TEXT. Первый будет усекать до 3000 символов ; последний будет урезан до 65535 байт . (Я делаю различие между байтами и символами, потому что символ может занимать несколько байтов.)

Для меньших ограничений VARCHARесть некоторые преимущества TEXT.

• «меньше» означает 191, 255, 512, 767 или 3072 и т. д., в зависимости от версии, контекста и CHARACTER SET.
• INDEXesограничены в том, насколько большой столбец может быть проиндексирован. (767 или 3072 байта ; это зависит от версии и настроек)
• Промежуточные таблицы, созданные комплексом SELECTs, обрабатываются двумя различными способами - MEMORY (быстрее) или MyISAM (медленнее). Когда задействованы «большие» столбцы, автоматически выбирается более медленная техника. (Значительные изменения ожидаются в версии 8.0; поэтому этот элемент марки может быть изменен.)
• Относительно предыдущего элемента все TEXTтипы данных (в отличие от VARCHAR) переходят прямо к MyISAM. То есть TINYTEXTавтоматически генерируется для сгенерированных временных таблиц хуже, чем эквивалент VARCHAR. (Но это берет обсуждение в третьем направлении!)
• VARBINARYэто как VARCHAR; BLOBэто как TEXT.

Опровержение других ответов

Исходный вопрос задал одну вещь (какой тип данных использовать); принятый ответ отвечал на что-то другое (внеплановое хранение). Этот ответ сейчас устарел.

Когда этот поток был запущен и получен ответ, в InnoDB было только два «формата строки». Вскоре после этого были введены еще два формата ( DYNAMICи COMPRESSED).

Место хранения для TEXTи VARCHAR()зависит от размера , а не от имени типа данных . Для обновленного обсуждения о включении / выключении хранения больших столбцов текста / больших двоичных объектов смотрите это .

Предыдущие ответы недостаточно настаивают на главной проблеме: даже в очень простых запросах, таких как

(SELECT t2.* FROM t1, t2 WHERE t2.id = t1.id ORDER BY t1.id) 

временная таблица может потребоваться, и если VARCHARполе задействовано, оно преобразуется в CHARполе во временной таблице. Таким образом, если в вашей таблице указано 500 000 строк с VARCHAR(65000)полем, только в этом столбце будет использоваться 6,5 * 5 * 10 ^ 9 байт. Такие временные таблицы не могут быть обработаны в памяти и записаны на диск. Можно ожидать, что воздействие будет катастрофическим.

Источник (с метриками): https://nicj.net/mysql-text-vs-varchar-performance/ (Это относится к обработке TEXTvs VARCHARв «стандартном» (?) Механизме хранения MyISAM. Он может отличаться в других, например, InnoDB.)

Существует огромная разница между VARCHAR и TEXT. Хотя поля VARCHAR могут быть проиндексированы, поля TEXT - нет. Поля типа VARCHAR хранятся встроенными, а TEXT хранятся в автономном режиме, в записях фактически хранятся только указатели на данные TEXT.

Если вам нужно проиндексировать поле для более быстрого поиска, обновления или удаления, чем использовать VARCHAR, независимо от его размера. VARCHAR (10000000) никогда не будет таким же, как поле TEXT, потому что эти два типа данных различны по своей природе.

• Если вы используете свое поле только для архивации
• вы не заботитесь о скорости передачи данных
• вы заботитесь о скорости, но вы будете использовать оператор "% LIKE%" в своем поисковом запросе, так что индексация не сильно поможет
• Вы не можете предсказать предел длины данных

чем перейти к тексту.

Varchar для небольших данных, таких как адреса электронной почты, в то время как Text для гораздо больших данных, таких как новостные статьи, Blob для двоичных данных, таких как изображения.

Производительность Varchar более высокая, поскольку он полностью запускается из памяти, но это не будет так, если данные слишком велики, как, varchar(4000)например ,.

Текст, с другой стороны, не прилипает к памяти и зависит от производительности диска, но этого можно избежать, разделив текстовые данные в отдельной таблице и применив запрос левого соединения для извлечения текстовых данных.

BLOB-объект намного медленнее, поэтому используйте его только в том случае, если у вас нет таких данных, как 10000 изображений, которые будут стоить 10000 записей.

Следуйте этим советам для максимальной скорости и производительности:

1. Используйте varchar для имени, названий, электронных писем

2. Используйте текст для больших данных

3. Отдельный текст в разных таблицах

4. Используйте запросы левого соединения для идентификатора, такого как номер телефона

5. Если вы собираетесь использовать Blob, примените те же советы, что и в текстовом.

Это приведет к тому, что запросы будут стоить миллисекунды для таблиц с данными> 10 МБ и гарантированным размером до 10 ГБ.