Что означают «невременные» обращения к памяти в x86

Это вопрос довольно низкого уровня. В сборке x86 есть две инструкции SSE:

MOVDQA xmmi, m128

и

MOVNTDQA xmmi, m128

В Руководстве разработчика программного обеспечения IA-32 говорится, что NT в MOVNTDQA означает Non-Temporal , и что в остальном это то же самое, что и MOVDQA.

У меня вопрос, что означает « Non-Temporal» ?

Невременные инструкции SSE (MOVNTI, MOVNTQ и т. Д.) Не подчиняются обычным правилам когерентности кеша. Поэтому за невременными хранилищами должна следовать инструкция SFENCE, чтобы их результаты могли своевременно увидеть другие процессоры.

Когда данные создаются, а не (немедленно) снова потребляются, тот факт, что операции хранилища памяти сначала читают полную строку кэша, а затем изменяют кэшированные данные, отрицательно сказывается на производительности. Эта операция выталкивает данные из кешей, которые могут понадобиться снова, в пользу данных, которые не будут использоваться в ближайшее время. Это особенно верно для больших структур данных, таких как матрицы, которые заполняются, а затем используются позже. Перед заполнением последнего элемента матрицы из-за огромного размера первые элементы вытесняются, что делает кеширование записей неэффективным.

Для этой и подобных ситуаций процессоры обеспечивают поддержку операций записи вне времени. Невременное в этом контексте означает, что данные не будут использоваться повторно в ближайшее время, поэтому нет причин для их кэширования. Эти невременные операции записи не читают строку кэша и не изменяют ее; вместо этого новый контент напрямую записывается в память.

Источник: http://lwn.net/Articles/255364/

Эспо в значительной степени попадает в цель. Просто хотел добавить свои два цента:

Фраза «вневременной» означает отсутствие временной локальности. Кеши используют два типа локальности - пространственную и временную, и, используя невременную инструкцию, вы сигнализируете процессору, что не ожидаете, что этот элемент данных будет использоваться в ближайшем будущем.

Я немного скептически отношусь к написанной вручную сборке, которая использует инструкции управления кешем. По моему опыту, эти вещи приводят к большему количеству вредоносных ошибок, чем любое эффективное повышение производительности.

Согласно Руководству разработчика программного обеспечения для архитектур Intel® 64 и IA-32, том 1: Базовая архитектура, глава «Программирование с использованием расширений Intel Streaming SIMD (Intel SSE)»:

Кеширование временных и вневременных данных

Данные, на которые ссылается программа, могут быть временными (данные будут использоваться снова) или невременными (данные будут ссылаться один раз и не будут использоваться повторно в ближайшем будущем). Например, программный код обычно носит временный характер, тогда как мультимедийные данные, такие как список отображения в приложении трехмерной графики, часто не являются временными. Чтобы эффективно использовать кеши процессора, обычно желательно кэшировать временные данные, а не кэшировать невременные данные. Перегрузка кэшей процессора невременными данными иногда называется «загрязнением кешей». Команды управления кэшируемостью SSE и SSE2 позволяют программе записывать невременные данные в память таким образом, чтобы минимизировать загрязнение кешей.

Описание невременных инструкций по загрузке и хранению. Источник: Руководство разработчика программного обеспечения для архитектур Intel 64 и IA-32, том 2: Справочник по набору инструкций

ЗАГРУЗИТЬ (MOVNTDQA - загрузить подсказку с двойным четырехсловым без временного выравнивания)

Загружает двойное четверное слово из исходного операнда (второй операнд) в целевой операнд (первый операнд) с использованием невременной подсказки, если источником памяти является тип памяти WC (объединение записи) [...]

[...] процессор не считывает данные в иерархию кеша и не извлекает соответствующую строку кеша из памяти в иерархию кеша.

Обратите внимание, что, как комментирует Питер Кордес, это бесполезно для обычной памяти WB (с обратной записью) на текущих процессорах, потому что подсказка NT игнорируется (вероятно, потому, что нет предварительных выборок HW с поддержкой NT) и применяется полная строго упорядоченная семантика загрузки , prefetchntaможет использоваться как уменьшающая загрязнение нагрузка из памяти WB

СОХРАНИТЬ (MOVNTDQ - хранить упакованные целые числа с помощью вневременной подсказки)

Перемещает упакованные целые числа в исходном операнде (втором операнде) в целевой операнд (первый операнд), используя невременную подсказку, чтобы предотвратить кэширование данных во время записи в память.

[...] процессор не записывает данные в иерархию кеша и не извлекает соответствующую строку кэша из памяти в иерархию кеша.

Используя терминологию, определенную в разделе Политики записи в кэш и производительность , их можно рассматривать как обратную запись (без записи-выделения, без выборки при пропуске записи).

Наконец, может быть интересно просмотреть заметки Джона Макалпина о вневременных хранилищах .