Оценка производительности многоядерных процессоров. Часть 2

При анализе результатов тестирования перед разработчиком системы обычно встает вопрос: «Насколько верно результаты теста предсказывают производительность приложения, если использовать новый процессор или новый компилятор»? Другими словами, если новый процессор или компилятор увеличивают производительность теста X на Y%, то насколько этот процессор или компилятор улучшат разрабатываемое приложение?
Понятно, что ответ на этот вопрос зависит от ряда условий, ведь приложение не повторяет в точности тестовую программу. Кроме того, следует скептически отнестись к тому утверждению, что новый процессор или компилятор так же повысят производительность системы, что была достигнута в тестовых данных. Обычно говорят, что следует ожидать некоторого улучшения производительности, и есть несколько статистических методов, которые помогут увеличить степень доверия к данным тестирования при оценке производительности разрабатываемого приложения. Для определения степени возможного улучшения производительности приложения на основе данных тестирования применяются три следующих подхода:
– предположение, что повышение производительности скоррелировано с улучшениями, полученными при тестировании;
– расчет коэффициента корреляции между приложением разработчика и некоторыми тестами, а затем использование данных о производительности системы из теста с наивысшей степенью корреляции;
– многомерный регрессионный анализ с использованием данных, полученных при ранее проведенном тестировании.
Первые два метода довольно легко реализовать. Третий метод использует многомерную регрессию для оценки производительности приложения с использованием в качестве исходных следующих видов данных:
– данные тестирования ряда ранее выпускавшихся процессоров и нового процессора;
– данные о производительности приложения, работающего на процессорах, для которых уже имеются тестовые данные.
Рассмотрим данные о производительности приложения, представленные в таблице 1. В колонках таблицы приведены данные о производительности в виде баллов для каждого теста из пакета SPEC CINT2000 для ряда процессоров, включая Intel Pentium 4, Intel Core Duo и Intel Core 2 Quad.

Колонка «Приложение разработчика» содержит гипотетические данные, которые характеризуют производительность приложения, полученную на каждом из перечисленных в таблице процессоров (это реальные данные, взятые из теста CINT2000/300 Base bench­mark).
Колонка «Коэффициент корреляции» содержит отношение производительности, измеренной в каждом отдельном тесте, к данным из колонки «Приложение разработчика». Данные колонки «Оценка ММР» получены при многомерном регрессионном анализе, в котором данные для каждого теста CINT2000 являются независимыми переменными, а данные из колонки «Приложение разработчика» — зависимыми переменными.
Наконец, колонка «Базовый уровень» показывает общий балл тестов CINT2000. Если разработчик рассматривает возможность переноса приложения с процессора Dual-Core Intel Xeon 5160 с частотой 3 ГГц на процессор Intel Core 2 Extreme X6800 с частотой 2,93 ГГц, то в таблице 2 приведена оценка разницы в производительности системы на базе этих процессоров на основе данных из таблицы 1. В данном случае предполагается, что проверка приложения на базе процессора Intel Core 2 Extreme X6800 еще не была проведена, поэтому в колонке «Реальное значение» баллы для этого процессора отсутствуют (обозначено «????»). Процентная разница для колонки «Базовый уровень» предполагает, что приложение разработчика выигрывает 6,11% от перехода на новый процессор. Если использовать данные теста с наивысшей корреляцией (метод 2) с разрабатываемым приложением (тест 175 Base с корреляцией 0,994), то улучшение производительности составит 2,22%.

Если применить многомерную регрессию к представленному набору данных, производительность уменьшается на 1,68%. Реальная производительность уменьшается на 0,99%, и это говорит о том, что в данном примере многомерная регрессия показывает наиболее близкий результат. Конечно, нет гарантии, что использование коэффициента корреляции или многомерной регрессии приведет к лучшему прогнозированию производительности приложения для всех случаев. Однако сравнение трех вариантов оценки производительности обеспечивает большую степень достоверности.
Таким образом, вооружившись результатами проведенных тестов CPU2000 и данными тестирования разрабатываемого приложения на некоторых процессорах, можно сформировать еще две оценки ожидаемого улучшения производительности при переходе на новый процессор без запуска приложения на этом процессоре. Оценка на основе коэффициента корреляции между результатами отдельных тестов CPU2000 и многомерной регрессии позволяет получить более точную информацию об ожидаемой производительности.

Кроме чистой оценки производительности на основе полученных данных, тесты могут также дать характеристики многоядерного процессора в условиях конкретного приложения при различных параметрах системы. Для примера на рисунках 1 и 2 отражена производительность двух приложений, работающих на двухъядерном процессоре Intel Pentium D и использующих разное число параллельных рабочих элементов.

Рис. 1. Производительность системы при выполнении вращения изображения

Рис. 2. Производительность системы при выполнении БПФ

Как видно из рисунков, при выполнении вращения изображения может произойти резкое увеличение производительности системы, по всей вероятности, из-за работы кэш-памяти приложения. При выполнении быстрого преобразования Фурье (БПФ) использование множественных рабочих элементов увеличивает пропускную способность примерно на 20%. При параллельной обработке более двух наборов данных наблюдается небольшое снижение производительности системы.
Система на базе двух процессорных ядер — это самый простой случай. С помощью тестов можно снять характеристики системы с количеством ядер больше двух. Рисунки 3 и 4 отражают производительность системы на базе 16 ядер при выполнении вращения изображения. Эти же рисунки показывают результаты выполнения теста EEMBC по вращению изображения в градациях серого размером 4 Мп. Рисунок 3 отражает эффект использования множественных ядер для ускорения обработки одного изображения, в то время как на рисунке 4 отображены результаты оптимизации пропускной способности системы (т.е. общего количества обработанных изображений).

Рис. 3. Коэффициент ускорения при выполнении вращения изображения на 16-ядерной процессорной системе

Рис. 4. Пропускная способность при выполнении вращения изображения на 16-ядерной процессорной системе

Термин «размер среза данных» отражает глубину синхронизации разных ядер, обрабатывающих одну и ту же картинку, причем меньший размер среза данных требует большей глубины синхронизации. Рисунок 3 показывает, что при обработке одного изображения с использованием нескольких ядер со средней глубиной синхронизации работа системы может ускориться в 5 раз.
Заметим, что производительность растет практически линейно при 2—4 активных ядрах, однако когда активны все 16 ядер, производительность падает. Скорее всего, это связано с тем, что при работе 16 ядер затраты системных ресурсов на синхронизацию начинают превышать доступную вычислительную мощность.
Рисунок 4 показывает пропускную способность системы, причем каждая линия отражает число процессорных ядер, работающих с любым отдельным изображением. Можно заметить улучшение пропускной способности более чем в 6 раз. Однако результаты все еще далеки от теоретической возможности 16-кратного ускорения 16-ядерной системы. Также интересно заметить, что работа восьми процессорных ядер обеспечивает наилучшую производительность, когда два изображения обрабатываются одновременно четырьмя процессорными ядрами.

Тесты позволяют сделать оценку и сравнить производительность встраиваемой системы, однако часто на основе результатов тестирования могут быть сделаны недостаточно корректные и разумные выводы. Правильная оценка результатов зависит от параметров используемого теста. При анализе полученных результатов следует учитывать следующие факторы:
– конфигурацию системы;
– сертификацию теста;
– режимы выполнения тестирования (базовый или пиковый тест);
– анализ однопотоковых и однократных тестовых данных.
При сравнении производительности процессоров различных вендоров важно рассматривать систему в целом и, в первую очередь, анализировать системы, наиболее сходные по конфигурации.
Во-вторых, следует определить, сертифицированы ли результаты теста (в случае EEMBC и BDTI), и опубликованы ли они официально (в случае SPEC). Сертифицированные результаты тестирования проверяются сторонними организациями, поэтому они вызывают большее доверие. Официально опубликованные результаты могут быть в дальнейшем пересмотрены другими компаниями.
В-третьих, необходимо учитывать условия проведения тестов. Например, SPEC использует два метода проведения тестов для одноядерных процессоров. Первоначальное тестирование, или базовые результаты, требуют ограниченного количества опций, которые должны быть одинаковыми для всех тестов в пакете. Второе тестирование, или пиковые результаты, допускают использование различных опций компилятора. Нецелесообразно сравнивать систему, имеющую базовые результаты тестирования, с системой, для которой были получены пиковые результаты.
Подобно SPEC, EEMBC также допускает два типа результатов: стандартные и оптимизированные. Стандартные результаты предполагают, что исходный код теста EEMBC не был модифицирован. Оптимизированные результаты допускают модификацию кода для использования функционально эквивалентных алгоритмов при выполнении тестов.
Тестовый пакет BDTI Benchmark Suites предназначен для растущего рынка приложений в области цифровой обработки сигнала. В таких приложениях программное обеспечение обычно тщательно отлажено для целевого процессора, поэтому результаты тестирования на BDTI Benchmark Suites основаны на полностью оптимизированном коде. Кроме того, требуется, чтобы вендоры получили разрешение от BDTI при распространении результатов сравнения продуктов с использованием их тестов.
Наконец, следует уделить внимание корректному использованию тестов. Недопустимо сравнивать производительность одноядерного и многоядерного процессоров, используя одноядерные тесты, например CPU2000 base, и утверждать, что многоядерный процессор не увеличивает вдвое производительность и, следовательно, совершенно не пригоден. Такие тесты нельзя использовать для анализа многоядерных процессоров.