Google DeepMind sun'iy intellekt modellarini baholashda birinchi marta «ikki tomonlama yopiq» usulni sinovdan o'tkazdi

Sun'iy intellekt modellarining haqiqiy imkoniyatlarini aniqlashda benchmark testlarining tozaligi eng jiddiy muammolardan biri hisoblanadi. Agar model test savollarini o'rganish jarayonida ko'rib ulgurgan bo'lsa, uning yuqori natijalari bilimidan emas, balki shunchaki yodlab olganidan darak beradi. Google DeepMind ushbu «benchmark contamination» muammosiga yechim sifatida dunyoda birinchi marta tijoriy AI modellari uchun kriptografik «ikki tomonlama yopiq» (double-blind) baholash mexanizmini ishga tushirdi.

Ilgari bunday sinovlarni o'tkazishda tomonlar murosaga kelishga majbur edi: yo sinovchi tashkilot o'zining maxfiy savollarini AI kompaniyasiga topshirishi (bu savollar oshkor bo'lish xavfini tug'dirar edi), yoki kompaniya modelning og'irlik parametrlarini (weights) uchinchi tomonga berishi talab qilinardi. Yangi tizim bu murosani bekor qiladi va har ikki tomonning ma'lumotlarini to'liq himoyalaydi.

Ushbu loyiha Google Cloud Confidential Computing portfeliga kiruvchi «Confidential Space» texnologiyasi yordamida amalga oshirildi. Mazkur kriptografik muhitda Gemini modeli ham, tashqi sinovchilarning maxfiy savollari ham bir-biriga ko'rinmaydi. Sinovchi kompaniya modelning ichki tuzilishini ko'ra olmaydi, Google esa tekshiruv uchun yuborilgan savollarni o'qiy olmaydi.

Pilot loyihada Gemini Flash Lite modeli sinovdan o'tkazildi. Tadqiqotda DeepMind bilan birgalikda Singapur Sun'iy intellekt xavfsizligi instituti, OpenMined, AVERI va MLCommons kabi nufuzli tashkilotlar hamkorlik qildi. Bu kabi xavfsiz baholashlar, ayniqsa, kiberxavfsizlik va davlat xavfsizligiga oid o'ta maxfiy sinovlarda muhim o'rin tutadi.

Google DeepMind ushbu tajriba butun AI sohasi uchun standartga aylanishiga umid qilmoqda. Texnologiya mustaqil audit o'tkazuvchi tashkilotlar, davlat organlari va tadqiqotchilarga ilg'or modellarni ularning intellektual mulki va ma'lumotlar xavfsizligiga daxl qilmagan holda xolisona tekshirish imkonini beradi.