Днес Amazon на своята годишна конференция re:Invent представи своите ИИ-ускорители за обучение на големи езикови модели – Trainium2. Представени бяха и сървърните процесори Graviton4.

Trainium2 е в състояние да осигури 4 пъти по-висока производителност и 2 пъти по-висока енергийна ефективност от първото поколение Trainium, представено през декември 2020 година. Trainium2 ще бъде на разположение на клиентите на Amazon Web Services в инстанции EC Trn2 в 16-чипови клъстери. В решението AWS EC2 UltraCluster клиентите ще могат да получат на свое разположение до 100 000 чипа Trainium2 за обучение на големи езикови модели. За съжаление Amazon не уточни кога Trainium2 ще бъде на разположение на клиентите на AWS, като предположи само, че това ще стане „през следващата година“.

Amazon твърди, че 100 000 чипа Trainium2 ще осигурят теоретична изчислителна мощност от 65 Eflops (квинтилиона операции в секунда), което означава 650 Tflops (трилиона операции) на ядро. Разбира се, това са само теоретични цифри и си струва да се вземат предвид фактори, които усложняват изчисленията. Въпреки това, ако приемем, че едно ядро Trainium2 може да осигури реална производителност от около 200 Tflops, това би надхвърлило значително възможностите на чиповете на Google за обучение на модели с изкуствен интелект.

Amazon също така подчерта, че клъстер от 100 000 чипа Trainium2 може да обучи голям езиков модел на ИИ (LLM – large language model) с 300 милиарда параметъра само за няколко седмици. Преди това подобни задачи отнемаха месеци. Параметрите при LLM са елементи на модела, получени от набори от данни за обучение и всъщност определят уменията на модела при решаването на конкретна задача, например генериране на текст или код. 300 милиарда параметри са около 1,75 пъти повече от GPT-3 на OpenAI.

Вторият чип, обявен от Amazon днес, е процесорът Graviton4 Arm. Amazon твърди, че той предлага 30% по-висока производителност, 50% повече ядра и 75% по-голяма пропускателна способност на паметта в сравнение с предишното поколение процесори Graviton3 (но не и с по-новия Graviton3E), работещи в облака Amazon EC2. Така Graviton4 ще предлага до 96 ядра (но ще има и други конфигурации) и поддръжка на до 12 канала DDR5-5600 RAM.

Друго подобрение спрямо Graviton3 е, че всички физически хардуерни интерфейси на Graviton4 са криптирани. Amazon твърди, че това трябва да защити по-надеждно работните натоварвания за обучение на клиенти с изкуствен интелект и данните на клиенти с по-високи изисквания за поверителност.

„Graviton4 е четвъртото поколение процесори, които сме пуснали само за пет години, и е най-мощният и енергийно ефективен чип, който някога сме създавали за широк спектър от работни натоварвания“, казва Дейвид Браун в изявление. – Като усъвършенстваме чиповете си за реалните работни натоварвания, които са най-важни за клиентите, можем да им предоставим най-модерната облачна инфраструктура.“

Graviton4 ще бъде наличен в масивите Amazon EC2 R8g, които вече са отворени за клиенти в предварителна версия от днес.