Статистические модели для локальной памяти / вычислений, задержки в сети и дрожания полосы пропускания в HPC

Параллельные вычисления часто моделируются с использованием детерминированной локальной скорости вычислений, времени ожидания и пропускной способности сети. На самом деле, они пространственно переменные и недетерминированные. Такие исследования, как Skinner и Kramer (2005), наблюдают мультимодальные распределения, но анализ производительности, похоже, всегда использует либо детерминистические, либо гауссовские распределения (не только неточные, но и непоследовательные из-за положительной вероятности отрицательной задержки).

Были ли разработаны более точные статистические модели? Учитывают ли какие-либо взаимные корреляции в локальных вычислениях / памяти, задержке и вариабельности полосы пропускания?

С точки зрения информатики, я не думаю, что имеет смысл создавать общую статистическую модель для времени доступа к памяти (задержки) и пропускной способности памяти.

Имеет смысл создать статистическую модель для алгоритма . Это связано с тем, что каждый алгоритм имеет конкретный шаблон доступа к памяти, шаблоны доступа к памяти имеют отношение к иерархии кеша, например, алгоритм с высокой локальностью данных будет использовать преимущества кешей низкого уровня, которые выигрывают от действительно быстрого времени доступа к памяти, в то время как другие алгоритмы должны будут пройти весь путь до оперативной памяти (или даже хуже, подкачки памяти) и иметь крайне медленное время доступа.

Значения общего назначения даны с точки зрения архитектуры, вы можете проверить свою архитектуру и выполнить поиск времени доступа от данного ядра к заданной области памяти (скажем, кэш L3). Имейте в виду, что в последнее время используются архитектуры NUMA с неравномерным доступом к памяти, которые сделают вашу работу немного сложнее.