Ветеранът в разработката на Windows Дейв Плъмър реши в гаража си, който е препълнен с компютри да развенчае митовете около изкуствения интелект, като разкрие „мръсната малка тайна на AI“.

Същността на експеримента се разкрива още в първия ред от описанието на видеото му: Дейв използва PDP-11 за обучение на истинска невронна мрежа. За демонстрацията разработчикът използва своята 47-годишна система PDP-11 с процесор, работещ на 6 MHz и едва 64KB оперативна памет. На нея се стартира AI модел, наречен „Attention 11“, написан от Дамиен Бюре на асемблер за PDP-11.

На пръв поглед задачата, която PDP-11 трябва да „научи“ да изпълнява е елементарна – да обърне последователност от осем цифри. Въпреки това AI моделът трябва да усвои структурно правило, за да се справя успешно с всякакви входни данни. Според Плъмър това отразява същността на работата на съвременните големи езикови модели като ChatGPT.

Въпреки използването на Attention 11, написан изцяло на асемблер PDP-11, специалистът все пак трябваше да оптимизира кода според ограниченията на системата.

„Ограниченията не са враг на инженерството. Ограниченията са това, което кара творческото инженерство да се случва.“

споделя Плъмър

Може да се изненадате от това колко малко е необходимо за проявяване на изкуствен интелект. Например, използваният AI модел има само 1216 параметъра. В него се използва математика с фиксирана запетая, точността е ограничена до 8 бита за директен проход, и всеки цикъл е оптимизиран, за да може машината да завърши обучението преди „топлинната смърт на Вселената“ .
Дейв коментира:

„Наблюдаваме опростената анатомия на самото обучение. Моделът започва като глупав. Загубите са големи. Точността се препъва, като човек, който се опитва да сглоби мебели от IKEA в каросерията на движещ се микробус, а после, някъде по този път, тежестите се подреждат в определена схема. И механизмът на вниманието открива картата на обръщането. И машината преминава тази невидима граница от предположенията към знанието.“

споделя Плъмър

Резултатите от експеримента по обучение на AI на древен компютър с 6-мегахерцов процесор се оказаха впечатляващи.

Дейв успя да постигне 100% точност от AI модела в задачата за обръщане на цифри приблизително след 350 стъпки обучение. Постигането на това ниво на обучение отне около 3 минути и половина на PDP-11/44, за което допринесе платката за кеш памет. Дейв настоява, че съвременният AI работи чрез същата механична, а не мистична техника, само с колосално увеличени мащаби на корекция на грешки и аритметика.

„Тази стара машина не мисли в някакъв мистичен смисъл. Тя просто преработва аритметиката, за да актуализира няколко хиляди внимателно съхранени числа. И в това е цялата същност на играта. Блясъкът на съвременния AI се дължи основно на факта, че това се прави в зашеметяващи мащаби, но самият акт на обучение вече е напълно представен тук, в миниатюра.“

обясни легендарният разработчик на Windows

В заключение Плъмър отбелязва, че тъй като недостигът на изчислителни ресурси се превръща в ограничаващ фактор, всяка компания, която успее да възприеме старата школа на обсебването от ефективността и оптимизацията, може да получи значително предимство.