Nvidia е пазарен лидер в областта на компютърния хардуер за изкуствен интелект. Зелената корпорация печели милиарди, а новите устройства се доставят с тонове. В същото време и AMD, и Intel предлагат алтернативни решения. Последната предлага мощния изчислителен ускорител Gaudi 2, за който не се е чувало много в новините. Но явно има голям потенциал. Компанията Stability AI, която разработва известния ИИ Stable Diffusion, сподели своите тестове на Intel Gaudi 2 и Nvidia H100. И изведнъж се оказа, че ускорителят на Intel дава по-добри резултати.

Ускорителят Intel Gaudi 2 показа изключителни резултати при новите изчисления на Stable Diffusion 3. За целите на тестването бе стартиран модел с 2 милиарда параметъра беше изпълнен на два клъстъра с по 16 ускорителя. Оказа се, че конфигурацията с Gaudi 2 осигурява обработка на изображенията с 56% по-бързо! А ако я сравним с по-старите процесори Nvidia A100, разликата е 2,4 пъти!

Показани са и изчислителни резултати на модела Stable Beluga 2.5 със 70 милиарда параметри, базиран на модела LLaMA 2. Без допълнителни операции и оптимизации под контрола на PyTorch конфигурацията от 256 ускорителя Gaudi 2 осигурява средна производителност от 116777 токена в секунда. Това е с 28% по-бързо от конфигурацията A100.

Устройството Intel Gaudi 2 е базирано на мощен чип със собствена архитектура. Известно е, че то се фокусира върху хетерогенните изчисления. Има 24 големи тензорни ядра, разполага с 48MB SRAM и 96 гигабайта HBM2e памет, както и 24 интегрирани Gigabit Ethernet. Големият капацитет на паметта може да е един от факторите, които определят успеха на Gaudi 2 в тестовете. Оригиналният ускорител Nvidia H100 е оборудван с 80 гигабайта, а това не е достатъчно за големите модели с изкуствен интелект. Но не трябва да забравяме, че зеленият гигант вече обяви H200 със 141 GB HBM3e памет.