Тази седмица китайската компания Alibaba представи своето водещо семейство ИИ модели Qwen3, които използват метода „смесване на експерти“, за да постигнат резултати, сравними с тези на хибридните модели за разсъждение. Само няколко дни по-късно гигантът в областта на електронната търговия и облачните изчисления представи олекотения модел Qwen2.5-Omni-3B, базиран на архитектура от предишно поколение, който е предназначен за локална работа на потребителски компютри и лаптопи.

Qwen2.5-Omni-3B е умалена версия на водещия алгоритъм със 7 милиарда параметъра, сведена до 3 милиарда параметъра. Въпреки намаления размер тази версия на ИИ модела е запазила повече от 90% от мултимодалната производителност и може да осигури онлайн генериране както на текст, така и на естествена реч.

Разработчиците са успели да постигнат значително подобрение в ефикасността на паметта на графичния ускорител. Отбелязва се, че Qwen2.5-Omni-3B е намалил потреблението на видеопамет с 50% при обработката на дълги контексти до 25 хил. лексеми. След оптимизиране на настройките потреблението на памет е намаляло от 60,2 гигабайта за модела със 7 милиарда параметри до 28,2 гигабайта за модела с 3 милиарда параметри. Благодарение на това алгоритъмът Qwen2.5-Omni-3B може да бъде инсталиран и използван на устройство, което използва графичен ускорител с 24 GB видеопамет. Подобни графични карти обикновено се поставят в първокласните персонални компютри и лаптопи.

Алгоритъмът Qwen2.5-Omni-3B вече е достъпен за изтегляне от Hugging Face, GitHub и ModelScope. Лицензионните условия обаче позволяват алгоритъмът да се използва само за изследователски цели. Това означава, че не могат да се създават търговски продукти, базирани на Qwen2.5-Omni-3B, без лиценз от Alibaba за използване на фамилията модели Qwen. Резултатите от сравнителните тестове на алгоритъма показват, че въпреки намаления размер на модела на изкуствения интелект, той остава напълно конкурентен.