IBM и Groq обявиха стратегическо партньорство, за да предоставят на клиентите си високоскоростен ИИ-инференс на достъпна цена, като комбинират Watsonx Orchestrate на IBM с хардуерните решения на Groq, ускорявайки внедряването на системи с ИИ-агенти. Като част от партньорството, Groq и IBM планират да интегрират и подобрят технологията Red Hat vLLM с LPU архитектурата на Groq.

Очаква се съвместното решение да позволи на клиентите да използват възможностите на Watsonx Orchestrate по познат начин и с известни инструменти в инференс-платформата GroqCloud, която предоставя на разработчиците достъп до високоскоростна и евтина LLM обработка. Тази интеграция ще отговори на основните нужди на AI-разработчиците, включително и оркестрация на инференса, балансиране на натоварването и хардуерно ускорение, като в крайна сметка ще оптимизира самия процес на инференс. За клиентите на IBM е планирана и поддръжка на моделите IBM Granite в GroqCloud.

IBM отбелязва, че предприятията продължават да се сблъскват с предизвикателства по отношение на скоростта, разходите и надеждността при прехода на AI-агенти от пилотен към производствен проект. Партньорството между IBM и Groq съчетава скоростта на инференса на Groq, рентабилността и достъпа до най-новите модели с отворен код с оркестрацията на AI-агентите на IBM, предоставяйки на клиентите инфраструктурата, необходима за мащабиране, съобщиха от компанията.

IBM съобщава също, че LPU осигуряват поне пет пъти по-бърз и по-рентабилен инференс от системите, задвижвани от ускорителите на конкурентите, очевидно визирайки NVIDIA. Това гарантира постоянно ниска латентност и производителност, като същевременно мащабира натоварванията, което е особено важно за AI-агентите в регулируемите индустрии. Като пример IBM посочи клиентите в здравеопазването, които едновременно получават хиляди сложни въпроси от пациенти. С Groq, AI агентите на IBM ще могат да анализират информацията в реално време и незабавно да предоставят точни отговори, което ще позволи на организациите в този сектор да вземат по-бързи и по-информирани решения.

В нерегулируемите индустрии клиентите на IBM могат ще използват платформата GroqCloud, за да ускорят производителността на AI-агентите и да подобрят автоматизацията на HR процесите и производителността на служителите. IBM обяви, че незабавно ще предостави възможностите на GroqCloud на клиентите, а съвместните ѝ екипи с Groq ще се съсредоточат върху предоставянето на следните възможности на клиентите на IBM:

• високоскоростен и високопроизводителен инференс;
• внедряване на изкуствен интелект с фокус върху сигурността и поверителността, проектирано да отговаря на най-строгите регулаторни и нормативни изисквания;
• интеграция с агентския продукт на IBM — платформата Watsonx Orchestrate, предоставя на клиентите гъвкавостта да използват специализирани шаблони за алгоритми на агенти, адаптирани към различни случаи на употреба.

Groq е набрала финансиране от $1,8 млрд, включително раунд финансиране от $750 млн миналия месец при оценка от $6,9 млрд. Сред инвеститорите ѝ са Cisco и Samsung. Groq си партнира и със саудитската Aramco Digital. Според Wall Street Journal, компанията тази година е стартирала 12 центъра за данни и планира да пусне поне още 12 до 2026 г. През 2024 г. Groq промени оперативния си модел – вече не продава своите ИИ-ускорители, а предлага вместо това създаване на центрове за данни или облачни услуги.