Чиповете WSE-3 с размерите на гигантски iPad на Cerebras са способни да работят с най-бързата до този момент невронна мрежа със скорост, която е с порядък по-висока от тази на най-добрите облачни сървъри, базирани на графични процесори.

Cerebras съобщи, че е стартирала работно натоварване на клиент на новата си Llama 3.1 405B със скорост 969 токена/секунда, което е нов рекорд за модела Frontier.

Llama 3.1 405B на Cerebras е най-бързият модел Frontier в света – 12 пъти по-бърз от GPT-4o и 18 пъти по-бърз от Claude 3.5 Sonnet.

ИИ моделът бе стартиран в облачната услуга Cerebras Inference, която използва същите гигантски чипове WSE-3. Компанията Cerebras винаги е твърдяла, че нейната услуга Inference е най-бързата при генерирането на токени за големите езикови модели.

Когато бе представен за пръв път през месец август, се твърдеше, че Cerebras Inference е около 20 пъти по-бърз от графичните процесори на Nvidia, работещи чрез доставчици на облачни услуги като Amazon Web Services, при сравнение с моделите Llama 3.1 8B и Llama 3.1 70B. Сега вече е налице резултатът върху гигантския модел Llama 3.1 405B с 405 милиарда параметри.

За да илюстрира колко бързо работи, Cerebras възложи на услугата си да създаде шахматна програма на Python. Cerebras Inference се справи с това за около 3 секунди, докато Fireworks – най-бързата облачна услуга за изкуствен интелект, оборудвана с графични процесори – го направи за 20 секунди.

Компанията също така се похвали, че само един единстен чип WSE-2 превъзхожда суперкомпютъра Frontier със 768 пъти при симулации на молекулярна динамика. А Frontier е най-бързият суперкомпютър в света от 2021 г. насам, като едва сега бе изместен от El Capitan.

Да напомним, че Cerebras WSE-3 съдържа 4 трилиона транзистора, 900 000 ядра и 44 GB памет с пропускателна способност от 21 PB/s.