29 февраля 2016 
AdminGWP
Не так давно мы опубликовали нашу новую методику измерения энергопотребления с использованием внешнего измерительного блока, однако она имеет одно существенное ограничение. Дело в том, что используемый нами измерительный блок жестко привязан к разъемам питания на материнской плате и должен подключаться к 24-контактному (ATX) и 8-контактному (EPS12V) разъемам питания на материнской плате и к аналогичным разъемам блока питания. Это позволяет использовать данный измерительный блок при тестировании процессоров и материнских плат, но если речь заходит о тестировании ноутбуков, моноблоков и неттопов, то использование данной методики не представляется возможным.
Поэтому специально для тех случаев, когда использование внешнего измерительного блока невозможно, мы сделали отдельный программный плагин, позволяющий контролировать мощность потребления процессора, его температуру и уровень загрузки.
Как и в случае с внешним измерительным блоком, речь идет о плагине к нашему бенчмарку iXBT Application Benchmark 2016. Напомним, что данный бенчмарк включает в себя 17 отдельных тестов на основе реальных приложений и позволяет оценивать производительность системы в различных сценариях использования путем замера времени выполнения тестовых задач и сопоставления этого времени со временем выполнения этих задач на референсной системе.
Принцип мониторинга мощности, температуры и загрузки процессора
Идея, положенная в основу работы нашего программного плагина заключается в следующем. На тестируемом компьютере в фоновом режиме запускается специализированная программа мониторинга, которая способна контролировать требуемые параметры системы. Такая программа мониторинга через определенные интервалы времени опрашивает датчики и контроллеры на материнской плате, что позволяет в режиме реального времени отслеживать огромное количество различных параметров. Конечно, нет необходимости отслеживать все параметры, в нашем случае мы ограничились только тремя: мощность, потребляемая процессором, его температура и уровень загрузки.
Далее, синхронно с началом выполнения тестовой задачи, программа мониторинга начинает собирать требуемые данные, а синхронно с моментом окончания выполнения тестового задания все собранные данные записываются в файл, который впоследствии обрабатывается программой бенчмарка.
Вопрос лишь в том, какую именно программу мониторинга использовать.
Первоначально мы остановили свой выбор на программе Open Hardware Monitor, интегрировав ее в наш бенчмарк. Эта программа умеет записывать log-файлы и подходит по всем параметрам, однако впоследствии нам пришлось от нее отказаться. Дело в том, что последнее обновление этой программы датировано 2014 годом, новых процессоров Skylake программа не понимает и не способна определять нужные нам параметры. Последний процессор, который знает эта программа — Broadwell.
В итоге мы остановились на программе HWiNFO64, которая регулярно обновляется и знает все процессоры. Кроме того, она позволяет отключать мониторинг тех датчиков, которые не нужны, поддерживает назначение горячей клавиши для старта и останова сбора данных, записывает данные в CSV-файл, а также позволяет задавать интервал времени опроса датчиков.
Для интеграции данной программы с нашим бенчмарком мы использовали портативную версию программы, не требующую инсталляции на компьютер. Однако данная программа нуждается в предварительной настройке для корректной работы с нашим бенчмарком.
Во-первых, нужно отключить мониторинг тех параметров, которые не используются, оставив, в итоге, только три параметра: мощность, потребляемую процессором (CPU Package Power), температуру процессора (CPU Package) и загрузку процессора (Total CPU Usage).
Во-вторых, необходимо задать интервал опроса датчиков (Scan Interval) и назначить горячую клавишу (Hot Key) для начала и окончания сбора данных.
В-третьих, необходимо задать параметры запуска программы, отключив приветственное окно, минимизировав основное окно и оставив на рабочем столе только окно сенсоров (Show Sensors on Startup). В противном случае, как показала практика, горячая клавиша может срабатывать, а может и не срабатывать.
Как уже отмечалось, данные, сохраняемые программой HWiNFO64 в CSV-файле, далее анализируются бенчмарком iXBT Application Benchmark 2016. Рассчитывается средняя за время выполнения тестовой задачи мощность, потребляемая процессором, а также средний уровень его загрузки. Расчет средней за время теста температуры мы сочли бессмысленным, поэтому определяется максимальная достигнутая температура. Именно эти три параметра и записываются вместе со временем выполнения тестовой задачи в качестве результата каждого теста.
Представление результатов тестирования
Аналогично тому, как это делается в бенчмарке iXBT Application Benchmark 2016, при дополнительном мониторинге мощности, температуры и загрузки процессора для каждого теста рассчитывается среднеарифметический результат по указанным дополнительным параметрам и погрешность измерения для доверительного интервала 0,95. Результаты измерения записываются в соответствии с общепринятыми правилами записи результатов с погрешностью.
Преимущества и недостатки методики
К несомненным преимуществам данной методики можно отнести то обстоятельство, что для ее реализации не требуется никакого дополнительного оборудования. Решение исключительно программное и может использоваться при тестировании любых систем (в отличие от специализированного измерительного блока).
Тем не менее, есть и обратная сторона медали. Во-первых, запуск дополнительной программы мониторинга в фоновом режиме может, теоретически, негативно отразиться на результатах тестирования. Для того чтобы минимизировать влияние фоновой программы мониторинга на результаты тестирования, мы отключаем мониторинг всех ненужных датчиков. Как показывает практика (об этом чуть далее), во всяком случае для производительных процессоров, запуск программы мониторинга не отражается на результатах тестирования.
Во-вторых, системы и процессоры бывают разные, и датчики, соответственно, тоже. Вполне вероятна ситуация, что для каких-то процессоров данная методика окажется неработоспособной по причине того, что программа HWiNFO64 просто не сможет отслеживать требуемые параметры. На сегодняшний момент мы проверили работоспособность программы на процессорах Intel семейств Sandy Bridge, Haswell и Skylake. Но не факт, что все будет работать как нужно с процессорами Intel Atom или процессорами AMD.
В-третьих, датчики, интегрированные на плате и в процессоре, все-таки не являются специализированными измерительными блоками. Их показания могут, мягко говоря, отклоняться от действительных. К примеру, известная программа AIDA64 (в ней используется опрос тех же самых датчиков, что и в программе HWiNFO64) иногда выдает полную лажу (когда температура процессора оказывается даже ниже комнатной температуры).
Пример результатов тестирования
В заключение продемонстрируем пример результата тестирования с мониторингом мощности, температуры и загрузки процессора. Кроме того, сравним результаты тестирования с программным мониторингом и результаты тестирования с измерением потребляемой мощности при помощи внешнего измерительного блока.
Стенд для тестирования имел следующую конфигурацию:
Процессор
Intel Core i7–6700K
Материнская плата
Asus Sabertooth Z170 S
Чипсет
Intel Z170
Оперативная память
16 ГБ DDR4–2133 (2 канала)
Накопитель
SSD Seagate ST480FN0021 (480 ГБ)
Операционная система
Windows 10 (64-битная)
Процессор работал в штатном режиме (без разгона) с активированной технологией Turbo Boost. Результаты тестирования с программным мониторингом мощности, температуры и загрузки процессора представлены в таблице.
Логическая группа тестов
Результат тестирования, секунды
Мощность процессора, Вт
Максимальная температура, °C
Уровень загрузки, %
Работа с видеоконтентом, баллы
334±6
MediaCoder x64 0.8.36.5757
113,0±0,5
88,6±0,2
92±3
95,1±0,3
SVPmark 3.0.3b, баллы
3330±50
64±4
87±5
64±5
Adobe Premiere Pro CC 2015.0.1
291,1±0,7
77±4
94±5
95,4±0,6
Adobe After Effects CC 2015.0.1
464±3
37,3±0,3
77±3
30,4±0,5
Photodex ProShow Producer 7.0.3257
391±5
54,3±0,3
82±4
42,4±0,3
Обработка цифровых фотографий, баллы
305±2
Adobe Photoshop CC 2015.0.1
630±10
51,4±0,8
80±2
56,0±0,4
Adobe Photoshop Lightroom 6.1.1
316±2
71,83±0,03
86±2
93,3±0,4
PhaseOne Capture One Pro 8.2
368±3
39±4
68±5
46±5
ACDSee Pro 8.2.287
205±8
39,2±0,7
72,0±0,5
40±1
Векторная графика, баллы
182,7±0,3
Adobe Illustrator CC 2015.0.1
350,3±0,7
25,0±0,2
68±3
13,05±0,06
Аудиообработка, баллы
290±3
Adobe Audition CC 2015.0
358±10
45±11
73±3
39±3
Распознавание текста, баллы
385±2
Abbyy FineReader 12 Professional
147±3
62±2
85±2
71±2
Архивирование и разархивирование данных, баллы
244±7
WinRAR 5.21 архивирование
103±2
53,4±0,9
70±2
78,4±0,7
WinRAR 5.21 разархивирование
6,8±0,4
Файловые операции, баллы
171±6
Скорость инсталляции приложений
333±3
21,21±0,07
61±3
11,05±0,09
Копирование данных
70±2
15±1
55±2
11,3±0,7
UltraISO Premium Edition 9.6.2.3059
28±1
7,3±0,5
49±7
7,5±0,9
Научные расчеты, баллы
289±7
Dassault SolidWorks 2016 SP0 с пакетом Flow Simulation
247±5
61,6±0,3
79±2
91,1±0,7
Интегральный результат производительности, баллы
266±6
Далее рассмотрим результаты тестирования с аппаратным измерением потребляемой мощности:
Логическая группа тестов
Результат тестирования, секунды
Общая мощность, Вт
Мощность процессора, Вт
Работа с видеоконтентом, баллы
334±6
MediaCoder x64 0.8.36.5757
114±2
108±2
89±2
SVPmark 3.0.3b, баллы
3300±300
83±5
64±5
Adobe Premiere Pro CC 2015.0.1
291±2
93±2
73,8±0,4
Adobe After Effects CC 2015.0.1
464±4
48,4±0,3
32,6±0,3
Photodex ProShow Producer 7.0.3257
394±2
68,7±0,3
52,0±0,3
Обработка цифровых фотографий, баллы
305±2
Adobe Photoshop CC 2015.0.1
627±4
67,63±0,09
49,90±0,06
Adobe Photoshop Lightroom 6.1.1
319,4±0,4
91,3±0,5
70,0±0,4
PhaseOne Capture One Pro 8.2
373±5
59±2
43±2
ACDSee Pro 8.2.287
207±2
54,6±0,4
38,3±0,4
Векторная графика, баллы
182,7±0,3
Adobe Illustrator CC 2015.0.1
356,7±0,7
39,19±0,08
24,40±0,09
Аудиообработка, баллы
290±3
Adobe Audition CC 2015.0
360±3
61,73±0,07
46,10±0,08
Распознавание текста, баллы
385±2
Рубрика: