Компанијата Lumai, со седиште во Оксфорд, го лансираше првиот оптички компјутерски систем во светот кој може да работи со голем јазичен модел (LLM) со милијарда параметри во реално време. Iris Nova наводно може да им помогне на компаниите да испорачаат услуги за инференција со вештачка интелигенција со до 90 проценти помалку енергија.
Стандардните системи користат силикон за пресметување, кој веќе некое време се приближува до своите граници на перформанси, што има големо влијание врз неговата скалабилност и потрошувачка на енергија. Секоја нова генерација традиционални процесори сега е во можност да врши повеќе пресметки, но со значително зголемување на потрошувачката на енергија.
Се очекува центрите за податоци што се градат за да ја опслужат новата ера на вештачката интелигенција да трошат повеќе енергија од кога било досега. Проценките сугерираат дека глобалната побарувачка за енергија ќе се дуплира до крајот на оваа деценија.
Но, Lumai сака да го промени тоа со оптички компјутерски систем кој е скалабилен и подготвен за работа цеднсш. Тие се фокусираа на фотони наместо на електрони во нивниот развој.
Iris Nova користи светлина за да ги надмине ограничувањата на дводимензионалните силиконски чипови, постигнувајќи масивен просторен паралелизам. Серверот е опремен со хибриден процесор кој користи оптички тензорски мотор за математичко пресметување и дигитална обработка.
Со користење на светлина во тродимензионален волумен системот може да извршува милиони операции истовремено. Оптичките процесори на Lumai овозможуваат побрзо носење заклучоци и поголема ефикасност на извршување, обезбедувајќи значителни заштеди на енергија.
За да ги демонстрира своите можности, Lumai неодамна изврши тестирање во реално време на Llama 8B и 70B. Покрај Iris Nova, тие нудат уште два сервери, Aura и Tetra.
(Bug.hr)
