Голод памяти

На ютубе посмотрел ролик: Не покупайте AMD Threadripper для Adobe Premiere Pro (сам ролик можно посмотреть в блоге за 17.02.2018, под названием: Don't Buy AMD Threadripper For Adobe Premiere Pro). Очень редко комментирую выложенные ролики, но это просто шедевр, который затрагивает очень популярные вопросы и сам же на них отвечает.
За последнее время пересмотрел кучу роликов по теме сборки и выборов комплектующих. И почти 99.9% таких роликов: ребята собирают игровые сборки (я за все время использования ПК, ни разу не ставил игры и не играл в них, поэтому что они там собирают оценить не могу), обсуждают игровые сборки других (в том числе и компаний). Все чинно и благородно. И вот этим сборщикам, обзорщикам, тестерам, видимо становится тесно в своей нише. Они там начинают сравнивать сколько стоит Apple к примеру и какой конфиг игровой можно собрать на эти деньги. Понятно что Apple игровые компы не выпускает, но попинать огрызок и рассказать какие тупые пользователи техники Apple, тут мало кто может удержаться.
И вот наступает такой день когда эти 99.9% авторов подобных роликов, начинают свои игровые сборки, позиционировать еще и как рабочие станции. И понеслась на этих "рабочих станциях" тестировать профессиональный софт! А почему нет? Какая им разница игры тестировать или профессиональный софт... и вот эти ребята которые вообще не шарят в этом софте, с умным видом начинают втюхивать свои г.вно сборки/конфиги как рабочие станции.
Там в этих роликах прекрасно все... Почти той же болезнью, "страдают" и крупные железячные сайты, я уже писал немного об этом здесь.
Интересны выводы подобных тестирований: "от Adobe Premiere Pro не может использовать более там определенного количества потоков" (ранее разбирались примеры, когда народ дорвался до многоядерных инженерников Xeon v2/v3/v4: 12 и более ядер, да еще их ставил в двухсокетные платы, но память для них ставил 8Гб и т.п. смешные объемы) до как у автора ролика: "Не покупайте AMD Threadripper для Adobe Premiere Pro", что также вытекает в "Adobe Premiere Pro не может использовать более там определенного количества потоков".
Так как видео могут удалить и т.п. варианты, давайте на скринах из него разберем, в чем суть "проблемы" процессоров AMD Threadripper и Adobe Premiere Pro. Мы видим, что у автора 16-ядерный/32-поточный процессор AMD Ryzen Threadripper 1950X, системная плата MSI X399 SLI Plus, кулер Noctua NH-U14S TR4-SP3 (с двумя вентиляторами), 16Гб (2х 8Гб) CORSAIR Vengeance LPX DDR4, 2.5" Samsung 850 Evo, видеокарта nVidia GeForce GTX 1080 Ti.
Перед тестом были проведены следующие манипуляции:
- Установлено последнее обновление Windows 10.
- Очищен загрузочный диск.
- Установлен последний Ryzen Drivers (18.10).
- Включен режим Windows Performance Mode.
- BIOS обновлен до последней версии.
Итак, на скрине из видео, в Диспетчере задач (а автор молодец, не поленился показать загрузку и скрин Диспетчера задач, большинство обзорщиков на подобную "ерунду" даже не отвлекаются), загрузка скачет (причем она общая и непонятно какого процесса) с 44 до 65%.

Вывод 1080p60 (исходник SONY Alpha a6300) видео в Adobe Media Encoder, в Format: H.264, Preset: YouTube 1080p HD. Самый худший результат у процессора AMD Ryzen Threadripper 1950X, на секунду лучше, он же, но разогнанный до частоты 4.1ГГц@1.42В.
В лидеры выбился: Intel Core i7-8700K (и Intel Core i5-8600K), кулер Noctua D9L, 16Гб (2х 8Гб) Corsair Dominator Platinum DDR4-2666, Mini-ITX системная плата MSI Z370i Pro Carbon AC, системный диск Samsung 960 EVO M.2 250GB, видеокарта EVGA GTX 1080 Ti SC2, корпусные вентиляторы EK Vardar EVO 120mm 2200RPM, SFX блок питания Corsair SF600, корпус NCASE M1.

Когда у таких обзорщиков получается странный результат, как ранее и писалось, винят они всех кроме себя, начинают вытаскивать из сокета второй процессор, отключать Hyper-Threading и т.д.
Автор ролика также не подкачал, и начал думать в этом же направлении, за счет отключения поддержки технологии SMT (SMT OFF), он уменьшил время рендеринга с 724 секунд до 640 секунд. Т.е. вместо 32 логических потоков он получил 16 физических потоков.

Потом он из AMD Ryzen Threadripper, сделал просто AMD Ryzen включив режим: Game Mode, т.е. остаются активными 8 ядер и 16 потоков. Результат ухудшился, относительно просто отключения многопоточности.

Затем добавлен результат, когда активны 12 ядер и 24 потока.

Следующий тест, это вывод 4K@30p видео, нагрузка с дисковой и оперативки, немного переместилась на центральный процессор, что позволило разогнанному AMD Ryzen Threadripper 1950X выйти на третье место.

А отключение SMT позволило почти догнать Intel Core i7-8700K работающий на базовой частоте.



Отключение SMT вновь дает лучший результат, чем активация режима Game Mode.



12-ядерный режим (12C24T) в этом тесте проигрывает 16-ядерному (16C32T).



Тест Warp Stabilizer однопоточный, а на данный момент самое быстрое ядро у i7-8700K, поэтому он и лучший в этом бенчмарке.



Количество пропущенных кадров при воспроизведении таймлайна.

Комментарии под видео, все как на подбор:
- "Проблема с Adobe Premiere Pro, поскольку он не используют много ядер".
- "Adobe Premiere Pro просто плохо оптимизирован".
- "Вау, я не ожидал таких результатов. Спасибо за это видео!"
- "Premiere не оптимизирован для процессоров AMD. Причина? Я понятия не имею. Вероятно, потому, что в течение последних лет мало кто использовал чипы AMD для редактирования видео в Premiere".
- "Я думаю, что Premiere не использует более 8х ядер процессора.
- "Это не проблема Ryzen vs Intel, это проблема Adobe с многопоточными процессорами, та же проблема и на платформе Intel X299 Express".
- "Threadripper это очень здорово... Не покупайте Adobe Premiere Pro... проблема в Adobe, а не процессоре..."
- "Adobe Software оптимизирует всякий мусор, ей давно пора прекратить добавлять ненужный функционал (который никто не просил), а сосредоточить все свои силы на производительности".
- "Это ошибка Adobe. Так не бывает, чтобы 6 ядерный процессор бил 16 ядерного!!! Компания AMD выпустит Ryzen второго поколения в апреле, а до того, им нужно серьезно поговорить с Adobe".
- "Не важно какую мы платформу выбираем, если компании будут оптимизировать свой код под них. Доминирующее положение Adobe сделало их ленивыми, голодными до денег и самодовольными".
- "Используйте DaVinci Resolve, там все будет летать".
Советы от бывалых:
- Включен ли четырехканальный режим, это важно! Задачи по обработке видео, требуют высокую пропускную способность. Использование двух модулей а не четырех (читаем двухканальный режим) приводит к ужасным последствиям (* хорошо что комп вообще включился :). Важны агрессивно низкие тайминги для уменьшения циклов ожидания.
Производительность Adobe Premiere Pro зависит от кодека с которым вы работаете. Дальше рассказывается, что у декодера H.264 есть ограничение на использование ядер, оно ровно 6 (* откуда такая информация интересно?).
Потом, главный вывод, виноват Adobe Premiere Pro, так как он не может использовать более 8 потоков для рендеринга, а дефакто вообще для ряда кодеков только 4х потока.
- Покупает 4-х канальный процессор и использует только 2 канала (* 2х 8Гбайт). Вы также должны включить график использования процессора при бенчмаркинге!
Ну и приз забирает:
- Хоть никто и не написал, про "голод памяти". Но несколько юзеров написали что-то типа: видео должно называться "Не ставьте только два модуля памяти на платформе X399".
Вообще часто даже те кто собирает игровые компьютеры, при сравнении с тем же Apple iMac рассказывают "школьникам", да я за эти деньги соберу игровой комп на Х299 с четырехканальной памятью!!! Ну как бы у Apple есть Mac Pro он как раз и имеет четырехканальную память, которая его особо не спасает.
В сети полно тестов в реальных приложениях, где все эти мифы давно развеяны. Т.е. важен объем памяти привязанный к потокам процессора.
И автору канала был задан правильный вопрос:
- "Мне вот интересно, изменятся ли результаты, если использовать вместо 2х 8Гб, 4х 32Гб"?
Т.е. если поставить хотя-бы 64Гбайта (4х 16Гб)...
Интересно, что в комментариях подтянулись и другие блогеры технических каналов, владельцы AMD Ryzen Threadripper 1950X, его пост:
- "Я купил свой 1950X в сентябре в основном для рендеринга видео, RIP :( когда я экспортирую из Adobe Premiere Pro, все ядра загружены около 70% или около того".
Переходим на его канал Jarrod's Tech там находим тесты, среди которых и Adobe Premiere Pro CC 2018, сравниваются две системы: 2х Intel Xeon E5-2670 V1 и AMD Ryzen Threadripper 1950X.

Пробуем найти его конфиг: кулер Noctua NH-U14S TR4-SP3, материнская плата ASUS ROG Zenith Extreme X399, 64Гбайта оперативной памяти G.SKILL Trident Z RGB, системный диск Samsung 960 Pro (MZ-V6P512BW), видеокарта EVGA GeForce GTX 1080 серии, блок питания Corsair HX1000i, корпус Thermaltake View 71 RGB.
Оперативная память установлена как и рекомендуется в слота: DIMM_A1, DIMM_B1, DIMM_C1, DIMM_D1.

Также автор ролика (который мы выше и ниже обсуждаем) ссылается на результаты тестирования тех же процессоров на Gamer's Nexus, там также 8700K выбился в лидеры (но AMD Ryzen Threadripper 1950X не так сильно отстал, ибо использовалось уже 32Гб оперативной памяти G.SKILL TridentZ RGB DDR4-3200 (F4-3200C16Q-32GTZR), а не 16Гбайт). И приводит следующий скрин:

Многие из комментаторов упомянули тесты от Puget Systems, давайте с них и начнем. Ознакомимся с используемой конфигурацией: системная плата Gigabyte X399 AORUS Gaming 7 (rev 1.0), 8x DDR4-2666 16GB (общий объем памяти 128Гб), системный диск Samsung 960 Pro 1TB, видеокарта NVIDIA GeForce GTX 1080 Ti 11GB, софт Windows 10 Pro 64-bit + Adobe Premiere Pro CC 2017.1.2.
Итак, первый скрин - это работа в режимах: Creator Mode (по-умолчанию) - активные вся ядера и потоки, Game Mode - для лучшей совместимости, отключена половина ядер, т.е. получаем 8C/16T (8х ядер и 16х потоков).
При экспорте видео, получаем среднюю масштабируемость в 24% (но это средний результат!).

Средний отрыв от 6-ядерного процессора Intel Core i7-7800X при экспорте видео, составляет 28%.

На следующем графике, у нас на таймлайне лежит 4К видео, которое мы экспортируем в 1080p H.264 видео. Цвет столбика, нам сообщает в каком формате у нас 4К видео на таймлайне. От формата видео и зависит, скорость работы процессоров.
И тут же вспоминаем вопрос, который приходится встречать много раз на дню, а для разрешения 4К какой процессор и видеокарту посоветуете?
По результатам графика видим, что при работе с 4K RED (.R3D) лидером у нас стал процессор AMD Ryzen Threadripper 1950X, а при работе 4K H.264 он показал худший результат, выйграв только у AMD Ryzen Threadripper 1920X. И оба процессора от AMD показали худший результат по работе с 4K DNxHR HQ.

Убрав скалинг, ситуация немного изменилась:



Возвращаем скалинг, но увеличиваем разрешение (8К/6К > 4К). Результат 8K DNxHR HQ снова худший у AMD.

Экспорт в 4K H.264 VR с эффектами, без скалинга. AMD Ryzen Threadripper 1950X показал лучший результат при работе с 4K ProRes 4444 и 422 HQ.

Экспорт в 4K DNxHR HQ 8-bit, AMD Ryzen Threadripper 1950X поделил первое место с 12-ядерным процессором Intel Core i7-7820X.

Тот же тест, но со скалингом.

8K > 8К H.265, в отличие от кодека x265, у штатного кодека нет сильной оптимизации под процессоры Intel, поэтому процессор AMD Ryzen Threadripper 1950X поделил первое место с 12-ядерным процессором Intel Core i7-7820X.

Тест Warp Stabilizer, вновь показал, что однопоток сильнее у процессоров Intel.

Здесь то же под тестами есть комменты пользователей:
- Я владелец 1950X, остальной конфиг Asus ROG Zenith Extreme, 64 GB Corsair Vengenace 3000Mhz, Asus GTX 1080ti turbo 11GB, Corsair H105, Decklink 4K.
Автор поста пишет, что когда собрал свою рабочую станцию, проблема с которой он столкнулся, это лаги при скраббинге. Вышел из ситуации следующим образом, загрузил 5 секундный RED 8K weapon footage, добавил к нему в Adobe Premiere Pro CC 2018 - 5 эффектов: Lumetri, Magic Bullet Looks, Convolution Kernel, ProcAmp и Lighting. Далее, нажал на рендер рабочей области (I/O) и получил 100% загрузку всех 32 ядер, и через 2 секунды плавный плейбек и нормальный скраббинг (* т.е. сделал предварительный рендер).
Ранее в одной из старых статей, упоминалась информация о голоде памяти, вот цитата оттуда:
"В тему как раз пост Karl Soule (Adobe Systems Incorporated) на своем блоге, о том когда может пригодиться 32Гб оперативной памяти (исключения RAM Disk и т.п.): он тестировал двухсокетную платформу (16х физических и 32х логических ядра) с профессиональной видеокартой Quadro 5000 и 24Гб оперативной памяти. И столкнулся с характерным «голодом» оперативной памяти, когда ядра процессоров были загружены всего на 20% и в итоге его MacBook Pro c четырехъядерным процессором отрабатывал быстрее такой платформы. Т.е. на одно логическое ядро приходилось меньше гигабайта оперативной памяти и они простаивали. Он отключил Hyper-Threading (некоторые пользователи Sony Vegas Pro также практикуют отключение Hyper-Threading, так как программа не очень хорошо поддерживает эту технологию, но это не связано с нехваткой оперативной памяти) и время визуализации уменьшилось до 20 раз. Т.е. слишком много оперативной памяти, никогда не приводят к отрицательным последствиям, в отличие от слишком много ядер процессоров. Karl Soule рекомендует для программы Adobe Premiere Pro CS6 формулу: 1Гб памяти на одно ядро, а оптимальным является: 2Гб памяти на одно ядро. Так что 16Гб оперативной памяти, на 8х логических ядер процессора Intel Core i7-3770, является оптимальным размером. Но есть нюанс, что для стабильной работы необходимо оставлять память для операционной системы и других приложений (пункт: ОЗУ, зарезервированное для других приложений)".
Давайте считать: AMD Ryzen Threadripper 1950X это 32х логических потока, 32х 2Гб = 64Гбайта оперативки = 5Гб для системы необходимо оставить. Соответственно у нас вырисовывается следующая схема: 32х 1.5Гб + 5Гб = 53Гбайта.
Какой же расклад был у автора ролика: 16Гбайт оперативки, 4Гбайта под систему и 12Гб для Adobe Premiere Pro. 12/32= 375Мбайт на поток, если мы отключим SMT, мы получим 750 Мбайт на поток, т.е. только если оставить 8/12 ядер физических без SMT, мы выйдет на занчение 1Гб памяти на поток и выше.
Но простая покупка 128Гб оперативки, по отзывам тех кто использует такие системы, также может замедлять работу Adobe Premiere Pro, т.е. все равно нужна тонкая настройка, и как правило юзеры ограничивают доступ программы ко всей доступной памяти. А выделить программе 48 или 64 Гбайта, тут надо определять уже опытным путем. В любом случае, не стоит оставлять дефолтные настройки при таком объеме оперативки в системе.
Но и это еще не все, если следить по тестам, то действительно для ряда кодеков/форматов и разрешений, нет смысла в использовании процессора с таким количеством потоков.
Опытный сборщик за плечами у которого (не в далеком прошлом, а в настоящем) десятки и сотни собранных конфигов, всегда более выгодный советчик, чем любой там профи в какой-то сфере, но который собирает конфиги раз в три месяца или раз в полгода. По себе знаю, да раньше железо мог собирать закрытыми глазами, опыта хватало, но все меняется: кулера, корпуса, способы крепления, и т.д. и т.п. поэтому при нечастых сборках, лучше (и не стыдно) обновить свои знания.
И как правило, если хотите посмотреть как собрать комп (или заменить деталь, там клавиатуру у ноутбука) надо идти смотреть ролики или читать статьи, именно у сборщиков/ремонтников. Хотите собрать оптимальный игровой комп, идём и смотрим ролики у опытных и грамотных обзорщиков по играм.
Хотите подобрать конфигурацию рабочей станции для работы с видео и т.д. есть именно специализированные сборщики графических и рабочих станций, определить грамотных не так и сложно, как правило у них есть свои тесты и обзоры, где они тестируют комплектующие для и под специфичные задачи.
По качеству железа, которое собираетесь покупать, уже можно идти на ресурсы по оверклокингу или на большие сайты по обзору железа (и они иногда нужны), где есть статья именно по этой железке, а не: "обзор 150 видеокарт в играх". Плюс таких ресурсов (даже если статья и проплачена), что авторы как правило держали в руках, разбирали и тестировали конкретные экземпляры видеокарт. Т.е. могут спорить о вкусе ананасов с теми, кто их ел! Обычные энтузиасты как правило через себя пропускают ограниченное число видеокарт, и дают советы, типа: не покупайте ASUS, лучше покупать MSI или наоборот. Эта карта плохая, у нее радиатор не охлаждает чипы памяти...
А уже про тонкие настройки и нюансы конкретного софта (под железо) можно узнавать у всяких энтузиастов этого дела, если нет информации на официальном сайте/блоге/форуме производителя выбранного вами софта.
Да, может так все срастись, что есть в сети такой пользователь, который совмещает в себе все этапы: как и где правильно купить, как правильно выбрать комплектовуху, как собрать, как настроить софт под это железо и т.д. и т.п. Но поиск на том же ютубе такого спеца, среди десятков тысяч других "профи" по всем вопросам, может сильно растянуться по времени.
Поэтому мой вам совет, видите ролик по сборке рабочей станции для видеомонтажа, посмотрите историю канала, если там все связанное с играми, не тратьте свое драгоценное время на просмотр данного ролика, на 99.9% это вообще не о чем, или сбор конфига аля "средняя температура по больнице".
*Немного о сообществах и форумах. Бытует мнение, что их время прошло и т.п. вот те же каналы на YouTube их убили. На одном из форумов довольно известный пользователь Canopus, рассказывал, что для того чтобы проверить какие видеокарты нормально ускоряют переходы и эффекты Canopus Xplode Pro (они использовали Direct3D ускорение), на каких можно добиться воспроизведения в реальном времени. Он приходил к знакомому в компьютерный магазин и перебирал все видеокарты ATI (т.е. вставлял в системник и проверял, с разными настройками). Список видеокарт ATI на тот момент, на пальцах можно сосчитать. Плюс была заявлена поддержка: nVidia Ti4600 & 3Dlabs WildCat. И при этом была проделана большая работа.
Другой пример из личного опыта: при тестировании интегрированного графического ядра Intel Iris Pro Graphics 6200 (GT3e), получаем ошибку "Quick Sync Video is not available" в Vegas Pro для одного из режимов, или не включается аппаратное ускорение (при установленной галке Use Hardware Encoder) в EDIUS Pro. Вариант решения: идем на сайт Intel, скачиваем все драйвера и один за одним устанавливаем, и проверяем какой заработает. Прибавьте сюда еще версии и сборки операционных систем.
А теперь представьте себе объем работы например для AMD/nVidia у которых десятки драйверов и десятки чипсетов, и все это для каждой оси (версия, сборка), и еще сюда приплюсуйте версии софта.
Если кто-то думает, что крупные сайты по железу когда показывают графики из 15-20 и т.д. видеокарт/процессоров, все это тестировали одномоментно с учетом текущих реалий (на одних и тех же драйверах, свежих сборках оси и софта), то это не соответствует действительности. Как правило у них есть "методика тестирования", есть автоматизированный стенд и т.п. И новый результат, просто добавляется к старым результатам полученным непонятно когда, а производитель давно мог исправить ситуацию как в лучшую сторону (как пример), так и в худшую (затормозить старые модели в дровах, чтобы новые выглядели более выйгрышно и т.п.).
И кстати такая практика еще ущербна и тем что, многие пользователи обвиняют таких обзорщиков в том, что цифры просто нарисованы, и доходит до того, что автор статьи якобы даже не держал в руках видеокарту, либо просто получил пофоткать, пририсовал еще один столбец с графиком и всё (а скрины загрузок и т.п. важные вещи никто на таких ресурсах не выкладывает).
Поэтому это гигантский труд и огромная работа, которую не делают даже крупные ресурсы с большими возможностями. Такую работу могут проделать только сообщества, где много активных участников, которые готовы потратить часть своего времени, чтобы так сказать "внести вклад в общее дело". И из таких тестирований можно много вынести, например, если у кого-то результат выбивается из общего хора, в лучшую или худшую сторону, есть возможность быстро разобрать в чем тут дело.
Также есть личный опыт сбора результатов тестирования видеокарт (Ray-traced 3D Renderer, большинство результатов было взято как раз из таких сообществ (например Creative Cow), но и самому приходилось запускать это тестирование на разных форумах, и конечно добавлять собственные результаты. И тут появляется старая болезнь, если тестирование по времени растянуто, то тут и разные версии драйверов, After Effects, optix.1.dll... И как правило такое тестирование становится актуально только для одной линейки (например: Pascal).
Попросить кого-то потестить 5 минут проект и после это "выцыганить" итоговый скрин, задача нетривиальная, и это касается не только Рунета. Например, пользователи давно забросили добавление результатов для того же плагина Neat Video, еще аж в 2015 году. Но в группе ВКонтакте по Adobe Premiere Pro было запущено народное тестирование видеокарт в Neat Video.