Интегрирането на генеративен изкуствен интелект в дигиталните продукти и уеб-браузърите поражда опасения относно поверителността на данните, тъй като обработката на заявките обикновено се извършва на облачните сървъри на разработчиците. Алтернатива са локалните браузъри, които позволяват езикови модели да се изпълняват директно на устройството на потребителя, без да се предава информация към облака. Това пише SlashGear.

Един инструмент за прилагане на този подход е браузърът Puma, достъпен за Android и iOS. Приложението се фокусира върху поверителността и поддържа изпълнението на локални на AI-модели като Llama 3.2, Ministral, Gemma и Qwen. Това ви позволява да извършвате задачи за обработка на текст и извличане на информация без нужда от интернет връзка.

Какъв е процесът на настройка

След инсталиране на браузъра Puma, моделът с отворен код Meta Llama 3.2 се активира автоматично. За да промените модела, щракнете върху иконата Puma в долната част на екрана и изберете опцията Local LLM Chat. В чат менюто щракнете върху бутона с името на текущия модел и изберете „More models“ (Още модели). Потребителите могат да избират от списък с модели, включително Google Gemma, Mistral, DeepSeek и Microsoft Phi. Изтеглянето на избрания модел изисква повече от 1 GB свободно място в паметта на смартфона.

Какви са особеностите при употребата

Основното предимство на локалното използване на AI е поверителността и възможността за работа офлайн. Има обаче технически ограничения: локалните версии в този браузър не поддържат генериране на изображения. Puma също така няма разширени настройки за балансиране на натоварването между централния и графичния процесор, които са достъпни в специализираните инструменти като Google AI Edge Gallery.