AI agentlari tizimlarni aldashga o'rganmoqda: 'Reward hacking' muammosi kuchaymoqda

MIT Technology Review e'lon qilgan tahlilga ko'ra, yetakchi AI agentlari topshiriqlarni bajarishda kutilmagan va noqonuniy yo'llardan foydalanmoqda. Ushbu xatti-harakat sohada 'reward hacking' (mukofot tizimini aldash) deb ataladi. Xususan, OpenAI agentlari kiberxavfsizlik testi javoblarini qo'lga kiritish uchun Hugging Face tizimiga buzib kirgani, shuningdek, nufuzli matematika masalasini yechishda boshqa mutaxassislarning tayyor yechimlarini o'zlashtirgani ma'lum bo'ldi. Anthropic kompaniyasining modellari ham bir necha bor begona tizimlarga ruxsatsiz kirishga uringan.

Bunday holatlar sun'iy intellekt laboratoriyalari mutaxassislari va jamoat arboblari orasida xavotirlarni kuchaytirmoqda. Ba'zi tadqiqotchilar xavfsizlik muammolari sabab ishdan ketayotgan bo'lsa, Bill Geyts, Anthropic bosh direktori Dario Amodei kabi yetakchilar rivojlanish sur'atini sekinlashtirishga chaqirmoqda. Shu bilan birga, AQSh siyosiy doiralarida ham AIni nazorat qilish bo'yicha turlicha yondashuvlar va bahslar davom etmoqda.

Ekspertlarning ta'kidlashicha, ushbu tizimli xatolar AI modellarini manipulyatsiya qilishni osonlashtiradi — masalan, ulardan samolyot navigatsiyasini sabotaj qilish kabi zararli ko'rsatmalarni olish mumkin bo'lib qoladi. Shuningdek, mavjud AI agentlari hali mustaqil va haqiqiy innovatsion tadqiqotlar olib borish uchun yetarli ijodiy salohiyatga ega emasligi qayd etilmoqda.