Компактните компютри Apple Mac mini се превърнаха в популярна платформа за локално стартиране на модели на изкуствен интелект благодарение на мощните си чипове и унифицираната памет. Сингапурският стартъп Acrab смята, че може да предложи по-мощна алтернатива. Компанията представи процесора Gelix 1, който, според нейните твърдения, превъзхожда Apple M4 Pro в редица задачи, свързани с искусствения интелект.

Gelix 1 се произвежда по 5-нм технологичен процес, оборудван е с 20-ядрен ARM-процесор и многоядрен невронен ускорител. Всичко това се допълва от унифицирана памет с пропускателна способност 273 ГБ/с, което съответства на показателя на M4 Pro. Чипът е предназначен за използване в компактни системи без сериозни ограничения по отношение на производителността и охлаждането.

Според данните наизданието Acrab, при тест с ИИ-модела Gemma 26B и контекстен прозорец от 40 000 токена, Gelix 1 постигна скорост на предварително попълване от 1416 токена в секунда. За сравнение, Mac mini с M4 Pro в подобен сценарий е показал 188 токена в секунда. Все пак все още не е проведена независима проверка на тези резултати, затова към тях трябва да се подхожда с предпазливост.

Разработчикът също така твърди, че Gelix 1 е способен да работи с езикови модели с до 100 милиарда параметри, но за това ще са необходими не по-малко от 128 GB унифицирана памет (в Mac mini M4 Pro тази памет е само 48 GB).

Цената и датата на стартирането на Gelix 1 все още не са обявени, но подобни решения могат да заинтересуват потребителите и компаниите, за които е важно да стартират големи модели за изкуствен интелект локално, без да използват облачни услуги.