NVIDIA обяви, че суперчипът NVIDIA GH200 Grace Hopper и ускорителят H100 водят във всички тестове за производителност на центровете за данни в бенчмарка MLPerf Inference v3.1 за генеративен изкуствен интелект, който включва задачи за от областта на компютърното зрение, разпознаването на реч, обработката на медицински изображения и големи езикови модели (LLM).

Преди време NVIDIA обяви рекордната производителност на H100 в новия бенчмарк MLPerf. Сега тя заявява, че суперчипът GH200 Grace Hopper за първи път е преминал всички тестове на MLPerf. В същото време системите, оборудвани с осем ускорителя H100, са постигнали най-висока производителност във всеки от тестовете на MLPerf Inference. Решенията на NVIDIA преминаха успешно актуализирания тест DLRM-DCNv2, както и първия бенчмарк GPT-J LLM с 6 милиарда параметъра.

За отбелязване е, че GH200 е с до 17% по-бърз от H100, въпреки че самият чип на ускорителя е един и същ и в двата продукта. NVIDIA обяснява това с няколко фактора. Първо, GH200 има повече памет в комплекта – 96 GB срещу 80 GB. Второ, SRP е 4 TB/s, а самият чип е хибриден, така че не използва PCIe за прехвърляне на данни между LPDDR5x и HBM3. Трето, GH200 при ниско натоварване на процесора е в състояние да отдаде част от мощността на ускорителя, оставайки в рамките на зададените ограничения за консумация на енергия. При стрес тестовете обаче GH200 работи с пълна мощност, т.е. с TDP на ниво 1 kW.