Вештачката интелигенција и големи јазични модели ги освоија корисниците од целиот свет, но иако големите компании кои ги создадоа тие модели се обидуваат на корисниците да им овозможат користење и на мобилни телефони, сите се соочуваат со истиот проблем: недостиг на меморија.
Денешните паметни телефони честопати на хартија имаат повеќе меморија од просечните, но едноставно не се доволно моќни за да обработуваат илјадници параметри кои се користат во големите јазични модели.
Но, изгледа дека во иднина и тоа ќе се смени. Во научен труд објавен на репозиториумот arXiv, научници од Apple објавија дека развиле метода која на новите мобилни телефони ќе им овозможи да пренесуваат податоци меѓу флеш меморија и DRAM многу побрзо и поефикасно и така да овозможат стартување и користење на моќни системи за вештачка интелигенција.
Истражувачите велат дека нивниот процес може да стартува AI програми дупло поголеми од капацитетот на DRAM на уредите, да ги забрза CPU операциите до 500%, a GPU процесите за до 25 пати во однос на сегашната технологија.
Во својот труд “LLM in a flash: Efficient Large Language Model Inference with Limited Memory” научниците појаснуваат дека користеле две методи. Првата е windowing, со која ја намалиле количината податоци која е потребно да се размени меѓу флеш меморијата и RAM. То а се постигнува со повторно коростење на резултатите од неодашнешни пресметки, минимизирање на IO барањата и заштеда на енергија и време. Втората метода е групирање на колони и редови, кои постигнуваат поголема ефикасност со обработка на поголеми податоци одеднаш од флеш меморијата.
(Dnevnik.hr)
(фото: Pick Pik)
