Големите ИИ-модели могат да работят отвъд центровете за данни. Стартъп компанията PrismML създаде Bonsai 27B, който работи директно на смартфоните, а Apple вече тества новата технология.

Това съобщава CNBC.

Технология за компресия: Как да намалим изкуствения интелект с 15 пъти

Разработката е базирана на невронната мрежа с отворен код Qwen3.6 27B на китайската компания Alibaba. В оригиналното си състояние тя тежи приблизително 54 GB, което прави невъзможно нейното изпълнение на потребителските устройства.

Инженерите на PrismML приложиха метод за радикално опростяване на математическите стойности. Вместо стандартното 16-битово кодиране, всяко тегло в невронната мрежа вече е представено само с 1-2 бита.

Патентите за метода са собственост на Caltech и са лицензирани ексклузивно за стартъп компанията, която е набрала 16,25 милиона долара финансиране през март.

В резултат на това компанията пусна две безплатни версии на модела под лиценза Apache 2.0:

• Мобилна версия (3,9 GB): оптимизирана за смартфоните, съвместима е с iPhone 15 и по-новите модели чрез фреймуърка Apple MLX;
• Версия за лаптоп (5.9 GB): адаптирана за MacBook и компютрите с NVIDIA графични карти чрез CUDA архитектурата.

Според разработчиците, тази компресия позволява на модела да използва 10-15 пъти по-малко RAM памет. В същото време скоростта за генериране на отговори се е увеличила 6-8 пъти, а консумацията на енергия е намаляла 3-6 пъти.

Какво ще промени това за Apple и Siri?

Apple води преговори с PrismML, тъй като стартира публичната бета версия на iOS 27, където компанията представи голяма актуализация на Siri.

Локалното изпълнение на компресирани модели, директно върху процесорите на iPhone, дава на Apple няколко стратегически предимства:

1. Минимална латентност: смартфонът вече не е необходимо да чака отговор от облака – заявките се обработват мигновено.
2. Максимална поверителност: Чувствителните данни, като медицинска информация, списъци с лекарства или показатели за физическа подготовка, никога не напускат устройството.
3. Автономност: Основните ИИ функции, инструментите за компютърна фотография, генерирането на видео и редактирането на текст могат да работят без интернет връзка.
4. Намаляване на разходите: Намалява финансовата тежест от поддръжката на собствените центрове за данни на Apple и плащането за облачни лицензи на трети страни.

Технически ограничения и реакцията на хардуерния пазар

Въпреки оптимистичните твърдения на PrismML, независими анализатори от Counterpoint Research и IDC призовават за предпазливост при оценката на технологията, тъй като все още не са провеждани реални тестове извън лабораторията.

Екстремната компресия има своите недостатъци: моделът губи няколко процента от общата си ефективност.

По-специално, способността на Bonsai 27B да си спомня точни факти, да разпознава изображения и да работи с инструменти на трети страни се е влошила забележимо, въпреки че логиката, математиката и кодирането остават на високо ниво.

Въпросът относно консумацията на енергия при продължителна употреба също остава отворен, тъй като непрекъснатата работа на невронната мрежа във фонов режим може бързо да изтощи батерията на телефона, а процесорът започва да се забавя поради прегряване само след пет минути непрекъсната работа.