Една от най-съвременните невронни мрежи може да бъде инсталирана локално на домашен компютър, но компонентите трябва да бъдат специално подбрани.

Прословутата безплатна невронна мрежа DeepSeek-R1, която работи на нивото на платения модел ChatGPT o1, стана известна благодарение на изключително малкия си размер за LLM от такова ниво – тя може да се стартира буквално на домашен компютър – локално, а не на мощни сървъри в центрове за данни. И дори не става дума за „орязани“ версии на невронната мрежа, а за пълноценната DeepSeek-R1 без дестилация и с квантуване от ниво Q8 (осигуряващо много добър баланс между точност, бързина и тежест). В социалната мрежа X потребител с никнейм @carrigmat състави компютърна конфигурация, която може да изпълнява този ИИ модел локално, като посочи конкретните компоненти и общата им цена. За по-малко от 24 часа тази публикация събра повече от 4,2 милиона гледания.

Необходимата дънна платка е Gigabyte MZ73-LM0 или MZ73-LM1. Необходими са ви два EPYC сокета за да имате 24 канала DDR5 RAM, с цел максимално увеличаване капацитета и пропускателната способност на оперативната памет.

Като процесор ще ви е необходим някой от два CPU от фамилията AMD EPYC 9004 или 9005. Тъй като тясното място за LLM е пропускателната способност на паметта, няма смисъл да харчите твърде много за чипсета. Дори 9115 или 9015 ще ви свършат работа, ако искате да спестите колкото се може повече.

Изборът на радиатор може да се окаже проблемен, тъй като процесорите AMD EPYC използват SP5 сокет, а повечето радиатори за него са предназначени за монтаж в 2U/4U сървърни корпуси. Но в AliExpress и Ebay можете да намерите подходящи модели. По-добре е да замените вградените вентилатори с Noctua NF-A12x25, за да работят по-ефективно и по-тихо.

Не бива да пестите и от оперативна памет – ще ви трябват 768 GB (за да поберете невронната мрежа). С други думи, необходими са 24 плочки тип DDR5-RDIMM от по 32 GB всяка.

SSD паметта трябва да е с размер 1 TB, за да побере DeepSeek-R1. В този случай колкото по-бърз флаш диск, толкова по-добре, тъй като при стартирането му ще трябва да се запишат над 700 GB на модела в оперативната памет.

Консумацията на енергия на тази конфигурация е изненадващо ниска – до 400 W. Въпреки това ще ви трябват много кабели за двата EPYC сокета. И още, Corsair HX1000i или по-евтин модел с подобни характеристики ще свърши работа.

Като кутия можете да изберете всеки модел кула, но с монтажни стойки за сървърни дънни платки, които не се предлагат навсякъде. Например, Phanteks Enthoo Pro 2 Server ще свърши работа.

Общата стойност на компонентите и кутията е около $6000.