Ғалымдар деректің небәрі 0,001%-ын өзгерту арқылы нейрондық желінің жұмысына әсер етіп, оның дәлдігіне күмән келтіретінін анықтады.
Нью-Йорк университетінің зерттеушілері медициналық салада қолданылатын тілдік модельдердің (LLM) осал тұстарын анықтады. Nature Medicine журналында жарияланған зерттеуге сәйкес, оқыту деректерінің небәрі 0,001%-ына жалған ақпарат енгізу жасанды интеллектінің жұмысының дәлдігіне кері әсерін тигізеді.
Зерттеу барысында ғалымдар танымал «The Pile» атты LLM оқытуға арналған деректер жинағына әдейі жалған медициналық ақпарат енгізді. Бұл жинақта PubMed секілді сенімді дереккөздерден алынған жоғары сапалы материалдар бар. Бар болғаны 24 сағат ішінде зерттеу тобы 150 000 жалған медициналық мақала жасап шығарды.
Зерттеу нәтижелері күтпеген деңгейде күрделі болып шықты. Ғалымдар 100 миллиард токеннен тұратын оқыту деректерінің 1 миллионын вакцина туралы жалған ақпаратпен алмастырғанда, зиянды ақпараттың көлемі 4,8%-ға артқанын анықтады. Мұндай өзгерістер үшін небәрі 2000 жалған мақаладан құралған 1500 беттік материал жеткілікті болған. Зерттеушілердің есептеуінше, мұндай шабуылды ұйымдастыруға бар-жоғы 5 АҚШ доллары қажет болған.
Ең қауіптісі, дезинформация енгізілген жүйелер стандартты тестілеуден өткенде бұрынғыдай дұрыс нәтиже көрсетіп, қалыпты жұмыс істейтіндей көрінеді. Бұл дегеніміз, жүйе зақымданса да, оның жұмысында ешбір өзгеріс жоқтай әсер қалдырады. Сонымен қатар, зиянкеске модельдің ішкі құрылымдарына қол жеткізу міндетті емес. Бар болғаны ғаламтор желілеріне жалған ақпарат жарияласа болғаны.
Бұл мәселе шынайы өмірде де орын алып жатыр. Мысалы, өткен жылы «The New York Times» басылымы MyChart платформасында жиі қате медициналық мәліметтер берілгенін хабарлады. Бұл платформа пациенттерге жауап беру үшін жасанды интеллектіні қолданған.
Зерттеушілер жасанды интеллектіні әзірлеушілерді және медициналық мекемелерді бұл мәселені ескеріп, байыппен қарауға шақыруда. Олардың пікірінше, тілдік модельдерді диагностика мен емдеуге қолданар алдында сенімді қорғаныс механизмдерін жасау және қосымша қауіпсіздік зерттеулерін жүргізу қажет.
