Часть 1 → Часть 2 → Часть 3 → Часть 4
Оборудование для тестирования:
В нашем наборе для прессы AMD предоставила почти полные системы для тестирования. В поставку AMD включила:
- AMD Threadripper 2990WX (32C, 250W, $1799)
- AMD Threadripper 2950X (16C, 180W, $899)
- ASUS ROG Zenith Extreme motherboard, rev 2
- MSI X399 MEG Creation motherboard
- 4x8 GB of G.Skill FlareX DDR4-3200 14-14-14
- Wraith Ripper Cooler, co-developed with Cooler Master
- Enermax Liqtech 240 TR4 Liquid Cooler, rated to 500W
Для нашего обычного тестирования мы стараемся использовать одинаковые источники питания, одни и те же устройства хранения, в идеале одну и ту же материнскую плату в диапазоне процессоров, всегда используем новейший BIOS. Несмотря на то, что AMD отгружает нам достаточно быструю память, согласно нашей внутренней политике, проводить тесты этих систем будем на максимально поддерживаемой частоте в соответствии с производителем процессора. В данном случае это DDR4-2933 для новых процессоров Threadripper серии 2000.
В нашем тестировании мы сравнили процессоры первого поколения Threadripper со вторым поколением. У нас имеется 18-ядерный Core i9-7980XE от Intel, некоторые результаты от Core i7-7900X (10-ядерный), а также два мейнстрим процессора: один от Intel и один от AMD. Наш новейший пакет тестирования процессоров вступает в силу сегодня.
Из-за важного отраслевого события, произошедшего в середине нашего тестирования, нам пришлось разделить тестирование на части, и провезти 30-ти килограммовый набор оборудования через полмира, чтобы потом протестировать все в гостиничном номере во время Flash Memory Summit. Положительный момент: тестирование было выполнено в гостиничном номере, в достаточно прохладной среде благодаря кондиционеру.
Память, используемая в тестах — в основном G.Skill, реже — Crucial. Для системы EPYC, Micron прислала нам несколько LRDIMM, для подключения всех восьми каналов мы использовали 1 ТБ памяти.
Что касается Intel, мы все еще пытаемся ускорить тестирование.
Со временем мы добавим другие тестируемые процессоры Intel.
Наши благодарности:
Мы должны поблагодарить следующие компании за любезное предоставление оборудования для наших многочисленных тестовых систем. Некоторые из полученных аппаратных средств осознанно не используются в этом тестовом сетапе, но используются в других тестах.
Спасибо Crucial за предоставленные SSD MX200 и Micron за память LRDIMM. Crucial отлично подходит для наших тестовых систем, так как список бенчмарков и другого софта продолжает расти, а 1TB MX200 — сильные исполнители. Основанный на контроллере 88S9189 от Marvell и использующий микросхему Micron с 16-нм 128-Гбит MLC, это 7-миллиметровые, 2,5-дюймовые приводы, рассчитанные на 100K случайных считываний IOP, и 555/500 МБ / последовательного чтения / записи. Модели 1TB, которые мы используем, поддерживают шифрование TCG Opal 2.0 и IEEE-1667 (eDrive), имеют номинальную выносливость 320 Тбайт с трехлетней гарантией.
Спасибо Corsair за предоставленный блок питания AX1200i. AX1200i был первым источником питания, предлагающим цифровой контроль и управление через систему Corsair Link. Он способен выдавать 1200 Вт при 50°C и имеет сертификацию 80 PLUS Platinum. Это позволяет обеспечить 89-92% эффективности при 115 В и 90-94% при 230 В. AX1200i полностью модульный с более крупной 200-миллиметровой конструкцией, с двойным шарикоподшипниковым 140-мм вентилятором для поддержки высокопроизводительной работы.
AX1200i — рабочая лошадка с 8 разъемами PCIe с поддержкой four-way GPU. AX1200i имеет режим вентилятора Zero RPM, он позволяет выключить вентилятор, если источник питания работает с нагрузкой менее 30%.
Спасибо G.Skill за предоставленную память. На протяжении многих лет G.Skill поддерживает AnandTech при тестировании CPU или материнских плат. Мы уже писали об их высокопроизводительных и высокочастотных чипах; каждый год на Computex G.Skill проходит мировой турнир по оверклокингу на жидком азоте прямо на выставочном этаже.
Обновленный набор тестов для 2018 и 2019 года
Патчи Spectre и Meltdown
Чтобы предоставлять актуальные данные по результатам тестов, нам нужно постоянно обновлять наше программное обеспечение. В обновлениях мы внедряем новейшую операционную систему, последние патчи, последние версии программного обеспечения, новейшие графические драйверы, добавляем новые тесты или удаляем старые. Тестирование процессоров включает в себя набор автоматизированных тестов, в зависимости от того, как работает новейшее программное обеспечение, пакет либо должен быть изменен (обновлен/удален), либо полностью переписан.
Одним из ключевых элементов тестового обновления на 2018 (и 2019) год: наши скрипты и системы защищены от уязвимостей Spectre и Meltdown. Это означает, что все наши BIOS обновлены с помощью новейшего микрокода, все шаги тестирования выполняются на операционной системе с необходимыми обновлениями. В данном случае мы используем Windows 10 x64 Enterprise 1709 с апрельскими обновлениями безопасности, которые повышают устойчивость к угрозам Smeltdown. Пользователи могут спросить, почему мы не используем Windows 10 x64 RS4, последнее крупное обновление. Это связано с новыми функциями, которые дают непостоянные результаты. Дабы не тратить несколько недель на обучение по тому, как правильно их отключать, мы лучше будем использовать широко распространенную RS3.
Наш предыдущий набор тестов был разделен на несколько сегментов. Наш новый набор тестов сохранил ту же логику и разделен на несколько сегментов.Мы запускаем тесты, базируясь на:
- Power
- Memory
- Office
- System
- Render
- Encoding
- Web
- Legacy
- Linux
- Integrated Gaming
- CPU Gaming
В зависимости от целей обзора порядок этих бенчмарков может измениться, или некоторые из них могут не учитываются в обзоре. Все полученные данные по-прежнему сохраняются в нашей тестовой базе данных Bench, в которой появился новый раздел «CPU 2019».
Каждый перечисленный раздел мы будем тестировать таким образом:
Power
В наших power — тестах мы запускаем значительную рабочую нагрузку для каждого потока в системе, а затем исследуем регистры питания на чипе, это позволяет узнать детали, такие как потребляемая мощность ядер, мощность всего чипа, мощность DRAM, мощность ввода-вывода и мощность отдельно взятого ядра. Все это зависит от того, сколько информации дает производитель чипа: иногда много, а иногда и ничего.
В настоящее время мы используем Prime95 в качестве основного теста, однако мы немного поиграем и с POV-Ray.
Memory
Эти тесты подразумевают отключение всех турбо-режимов в системе, вынуждая ее работать на базовой частоте, и затем реализуют как проверку задержки памяти (Intel Memory Latency Checker одинаково хорошо работает для обеих платформ), так и AIDA64 для проверки пропускной способности кэша.
Office
- Chromium Compile: Windows VC++ Compile of Chrome 56 (same as 2017)
- PCMark10: Primary data will be the overview results – subtest results will be in Bench
- 3DMark Physics: We test every physics sub-test for Bench, and report the major ones (new)
- GeekBench4: By request (new)
- SYSmark 2018: Recently released by BAPCo, currently automating it into our suite (new)
System
- Application Load: Time to load GIMP 2.10.4 (new)
- FCAT: Time to process a 90 second ROTR 1440p recording (same as 2017)
- 3D Particle Movement: Particle distribution test (same as 2017) – we also have AVX2 and AVX512 versions of this, which may be added later
- Dolphin 5.0: Console emulation test (same as 2017)
- DigiCortex: Sea Slug Brain simulation (same as 2017)
- y-Cruncher v0.7.6: Pi calculation with optimized instruction sets for new CPUs (new)
- Agisoft Photoscan 1.3.3: 2D image to 3D modelling tool (updated)
Render
- Corona 1.3: Performance renderer for 3dsMax, Cinema4D (same as 2017)
- Blender 2.79b: Render of bmw27 on CPU (updated to 2.79b)
- LuxMark v3.1 C++ and OpenCL: Test of different rendering code paths (same as 2017)
- POV-Ray 3.7.1: Built-in benchmark (updated)
- CineBench R15: Older Cinema4D test, will likely remain in Bench (same as 2017)
Encoding
- 7-zip 1805: Built-in benchmark (updated to v1805)
- WinRAR 5.60b3: Compression test of directory with video and web files (updated to 5.60b3)
- AES Encryption: In-memory AES performance. Slightly older test. (same as 2017)
- Handbrake 1.1.0: Logitech C920 1080p60 input file, transcoded into three formats for streaming/storage:
- 720p60, x264, 6000 kbps CBR, Fast, High Profile
- 1080p60, x264, 3500 kbps CBR, Faster, Main Profile
- 1080p60, HEVC, 3500 kbps VBR, Fast, 2-Pass Main Profile
Web
- WebXPRT3: The latest WebXPRT test (updated)
- WebXPRT15: Similar to 3, but slightly older. (same as 2017)
- Speedometer2: Javascript Framework test (new)
- Google Octane 2.0: Depreciated but popular web test (same as 2017)
- Mozilla Kraken 1.1: Depreciated but popular web test (same as 2017)
Legacy (неизменно с 2017)
- 3DPM v1: Older version of 3DPM, very naïve code
- x264 HD 3.0: Older transcode benchmark
- Cinebench R11.5 and R10: Representative of different coding methodologies
Linux
Мы снова решили вернуться к использованию LinuxBench 1.0. Он присутствовал в нашем тестовом наборе 2016 года, но в 2017 году был отброшен, так как это добавляло дополнительный уровень сложности для нашей автоматизации. Благодаря запросам читателей, мы снова запустим его.
Integrated and CPU Gaming
Мы усердно трудимся над автоматизацией около десятка игр на четырех различных уровнях производительности. Большинство игр будут предоставлять данные о времени кадра. Идея состоит в том, чтобы получить набор разнообразных жанров и движков для тестирования. Пока что нам удалось автоматизировать следующие игры:
- World of Tanks, encore (standalone benchmark)
- Final Fantasy XV (standalone benchmark, standard detail to avoid overdraw)
- Far Cry 5
- Shadow of War
- GTA5
- F1 2017
- Civilization 6
- Car Mechanic Simulator 2018
Работа над автоматизацией «с переменным успехом» ведется для:
- Ashes of the Singularity: Classic (is having issues with command line)
- Total War: Thrones of Britannia (will not accept mouse input when loaded)
- Deus Ex: Mankind Divided (current test not portable, might be Denuvo limited)
- Steep For Honor
- Ghost Recon
Для тестов CPU Gaming мы будем работать на NVIDIA GTX 1080. Для тестирования CPU используем RX460, ведь теперь в нашем арсенале есть несколько устройств для параллельного тестирования.
В предыдущие годы мы тестировали различные видеокарты на небольшом количестве игр, сейчас же наоборот: больше игр, меньше графических процессоров.
Scale Up vs Scale Out: преимущества автоматизации
Изо дня в день мы получаем один и тот же комментарий: автоматизация — это не лучший способ тестирования. Здесь высокий барьер для входа, и он ограничивает тесты, которые могут быть выполнены. С нашей точки зрения, несмотря на затраченное на программирование время (плюс анализ полученных результатов), автоматизация означает, что мы можем сделать несколько вещей:
- Гарантировать одинаковые перерывы между тестами для кулдауна, а не случайные перерывы, основанные на «я смотрю на экран».
- Одновременно тестировать несколько систем. В настоящее время я использую пять систем у себя в офисе (я ограничен числом мониторов 4K и свободным местом), следовательно, мы можем тестировать больше различного оборудования одновременно.
- Можем оставить тесты на ночь, что очень важно, когда поджимает время.
- Модифицировать тесты при условии, что скрипт хорошо написан, весьма легко
Наш тестовый софт сопоставляет все результаты, отправляет все данные запущенных тестов в центральное хранилище. Я могу анализировать данные по мере их поступления: похоже на ручную проверку в случае, если какие-либо данные выглядят аномально.
У нас есть одно основное ограничение, оно касается наших игровых тестов. Мы запускаем несколько тестов через одну учетную запись Steam, некоторые игры (например, GTA) доступны только онлайн. Поскольку Steam позволяет одной учетной записи запускать игру только на одной системе, наш игровой скрипт проверяет Steam API, чтобы определить, являемся ли мы «онлайн» или нет. Запускает автономные тесты, если аккаунту разрешен вход в систему. В зависимости от количества игр, которые категорически требуют онлайн-режим, эта необходимость может стать узким местом.
Запуск нового комплекта Benchmark
Это первый обзор с новым набором тестов, по крайней мере, что касается тестов ЦПУ. Мы все еще работаем над новыми игровыми тестами. Пока что для этого обзора мы протестировали 8-9 процессоров.
Спасибо, что остаетесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас оформив заказ или порекомендовав знакомым, 30% скидка для пользователей Хабра на уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps от $20 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
3 месяца бесплатно при оплате новых Dell R630 на срок от полугода — 2 х Intel Deca-Core Xeon E5-2630 v4 / 128GB DDR4 / 4х1TB HDD или 2х240GB SSD / 1Gbps 10 TB — от $99,33 месяц, только до конца августа, заказать можно тут.
Dell R730xd в 2 раза дешевле? Только у нас 2 х Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD 1Gbps 100 ТВ от $249 в Нидерландах и США! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
Автор: TashaFridrih
