Нова студија покажува како повторуваните неточни изјави и притисокот во разговорот ја тераат вештачката интелигенција да го промени точниот одговор. Некои модели на вештачка интелигенција можат да ги повлечат своите точни одговори под влијание на повторување и притисок за време на разговор, па дури и да се вратат подоцна за да потврдат лажно тврдење, открива нова студија на истражувачи од Универзитетот во Аризона
Студијата, објавена во списанието Scientific Reports, тестираше седум главни јазични модели преку повеќе рунди интервјуа во обид да идентификува слабости што можеби нема да се појават при тестирање на моделите користејќи само едно прашање, објави Ал Џезира. Истражувачите тестираа модели од OpenAI, како и Claude 3.5 Sonnet на Anthropic, потоа Google Gemini 1.5 Pro, како и Llama-3-70B и DeepSeek-R1.
Наместо едноставно поставување прашања и давање одговори, експериментите се потпираа на долги разговори што вклучуваа повторување на лажни тврдења, како и попровокативна формулација и вршење притисок врз моделот, со цел да се измерат три клучни аспекти: склоноста на моделот да прави грешки, неговата убедливост и неговата способност да ги исправи сопствените грешки.
На Универзитетот во Аризона, тие веруваат дека овој начин на тестирање е поблизок до вистинската употреба на чет-ботови, чии одговори во разговорот зависат од претходниот контекст. Студијата на Универзитетот во Аризона, сепак, укажува на друг аспект, а тоа е дека проблемот не се јавува само во рамките на информациите што му се достапни на моделот, туку може да се појави и за време на самиот дијалог.
Едно од најинтересните откритија беше дека некои модели не зазедоа цврст став за неточната изјава, туку наместо тоа се колебаа помеѓу нејзиното прифаќање и отфрлање за време на истиот разговор. Студијата го нарече овој модел „реверберација“, опишувајќи ја промената во одговорот како што напредуваше дијалогот.
Спротивно на тоа, четири модели, GPT-4O, GPT-4O-Mini, Gemini 1.5 Pro и DeepSec-R1, покажаа 100-процентна корекција на грешки кога им се даде втора шанса да го преиспитаат одговорот, покажуваат резултатите од студијата. Ова значи дека грешката не била секогаш конечна и дека повторното поставување на прашањето или давањето можност на моделот да ја преиспита својата позиција понекогаш може да доведе до подобар исход.
Исто така, беше забележана јасна разлика помеѓу моделите со вештачка интелигенција, при што GPT-3.5 најверојатно ќе потврди дезинформации при повторување на неточни тврдења, додека моделот Claude 3.5 Sonnet беше најмалку подложен на такво влијание.
Студијата, исто така, покажа дека седумте модели биле посклони кон усвојување дезинформации кога тврдењата се однесувале на нејасни теми или оние за кои има малку податоци, што укажува дека изобилството на податоци за одредена тема може да му помогне на моделот подобро да се спротивстави на дезинформациите.
Студијата покажа дека најдобриот начин за справување со одговорите на вештачката интелигенција не е да се третираат како конечна пресуда, туку да се користат како почетна точка за истражување, особено кога станува збор за контроверзни тврдења или информации што е тешко да се потврдат.
Експериментот на Универзитетот во Аризона на крајот сугерира дека тестирањето на вештачката интелигенција со само едно прашање можеби не ги открива сите нејзини слабости, бидејќи моделот може да го даде точниот одговор на почетокот на дијалогот, а потоа да го промени својот став по серија повторувачки тврдења.
(B92)
Фото – MarketsandMarkets
