Почему пространство данных таблицы может в 4 раза превышать размер необработанных данных?

У меня есть таблица с 490 M строк и 55 ГБ табличного пространства, так что около 167 байтов на строку. Таблица имеет три столбца: a VARCHAR(100), a DATETIME2(0)и a SMALLINT. Средняя длина текста в VARCHARполе составляет около 21,5, поэтому необработанные данные должны составлять около 32 байтов в строке: 22 + 2 для VARCHAR, 6 для DATETIME2и 2 для 16-разрядного целого числа.

Обратите внимание, что пространство выше - это только данные, а не индексы. Я использую значение, указанное в разделе Свойства | Хранение Генерал | Пространство данных.

Конечно, должны быть некоторые издержки, но 135 байтов на строку кажутся большими, особенно для большой таблицы. Почему это может быть? Кто-нибудь еще видел подобные множители? Какие факторы могут повлиять на количество необходимого дополнительного пространства?

Для сравнения я попытался создать таблицу с двумя INTполями и 1 M строк. Требуемое пространство данных составляло 16,4 МБ: 17 байтов на строку по сравнению с 8 байтами необработанных данных. В другой тестовой таблице с символом INTи, VARCHAR(100)заполненным тем же текстом, что и в реальной таблице, используется 39 байтов на строку (44 тыс. Строк), где я ожидал 28 плюс.

Таким образом, производственный стол имеет значительно больше накладных расходов. Это потому что оно больше? Я ожидал бы, что размеры индекса будут примерно N * log (N), но я не понимаю, почему пространство, необходимое для фактических данных, должно быть нелинейным.

Заранее спасибо за любые указатели!

РЕДАКТИРОВАТЬ:

Все поля перечислены NOT NULL. Реальная таблица имеет кластеризованный PK на VARCHARполе и DATETIME2поле в указанном порядке. Для двух тестов первым INTбыл (кластеризованный) PK.

Если это имеет значение: таблица представляет собой запись результатов пинга. Поля: URL, дата / время пинга и время ожидания в миллисекундах. Данные постоянно добавляются и никогда не обновляются, но данные периодически удаляются, чтобы сократить их до нескольких записей в час на URL.

РЕДАКТИРОВАТЬ:

Очень интересный ответ здесь предполагает, что для индекса с большим чтением и записью перестройка может быть не выгодной. В моем случае, занимаемое пространство - это проблема, но если производительность записи важнее, лучше использовать дряблые индексы.

После обсуждений в комментариях к исходному вопросу выясняется, что в этом случае потерянное пространство вызвано выбором кластеризованного ключа, что привело к массовой фрагментации.

Всегда стоит проверять состояние фрагментации с помощью sys.dm_db_index_physical_stats в этих ситуациях.

Изменить: после обновления в комментариях

Средняя плотность страниц (до перестройки кластерного индекса) составляла 24%, что идеально соответствует исходному вопросу. Страницы были заполнены только на 1/4, поэтому общий размер в 4 раза превышал размер необработанных данных.

Структуры на диске имеют накладные расходы:

• заголовок строки
• нулевое растровое изображение + указатель
• смещения столбцов переменной длины
• указатели версии строки (необязательно)
• ...

Принимая 2 х 4 байта в столбцах, у вас есть

• Заголовок строки 4 байта
• 2-байтовый указатель на растровое изображение NULL
• 8 байтов для 2 столбцов типа int
• 3 байта NULL растровое изображение

Ух 17 байт!

Вы можете сделать то же самое для вашей второй тестовой таблицы, которая имеет больше накладных расходов, чем ваша оригинальная таблица:

• 2 байта для подсчета столбцов переменной длины
• 2 байта на столбец переменной длины

Почему разница? Кроме того (я не буду ссылаться на них)

• Вы когда-нибудь перестраивали индексы для их дефрагментации?
• удаляет не вернуть место
• страницы данных будут разделены, если вы вставите в середину
• обновления могут вызывать прямые указатели (оставляет пробел)
• переполнение строки
• удален столбец varchar без перестроения индекса или DBCC CLEANTABLE
• куча или таблица (куча не имеет кластеризованного индекса = записи разбросаны по всему)
• Уровень изоляции RCSI (дополнительные 14 байтов на строку)
• конечные пробелы (по умолчанию SET ANSI_PADDING включено) в varchar. Используйте DATALENGTH для проверки, а не LEN
• Запустите sp_spaceused с @updateusage = 'true'
• ...

Смотрите это: SQL Server: Как создать таблицу, которая занимает одну страницу размером 8 КБ?

От ТАК:

• /programming/4614771/sql-server-2008-how-much-space-does-this-occupy/4614799#4614799
• /programming/3793022/how-to-come-to-limits-of-8060-bytes-per-row-and-8000-per-varchar-nvarchar-valu/3793265#3793265

Изменились ли типы данных с течением времени? Были ли удалены столбцы переменной длины? Часто ли дефрагментировали индексы, но никогда не перестраивали? Было ли удалено много строк или было значительно обновлено много столбцов переменной длины? Хорошая дискуссия здесь .