AI ტექსტის დეტექტორმა არ „იცის", ვინ დაწერა კონკრეტული ტექსტი — ის უბრალოდ სტატისტიკურ ვარაუდს აკეთებს იმის მიხედვით, რამდენად პროგნოზირებადია სიტყვების არჩევანი, შემდეგ კი ამ ვარაუდს ქულის ან პროცენტის სახით გვთავაზობს. დამოუკიდებელმა ტესტირებამ არაერთხელ დაადასტურა, რომ ეს შეფასებები საკმარისად არასაიმედოა — თავად OpenAI-მაც კი დახურა საკუთარი დეტექტორი მისი გამოშვებიდან სულ რაღაც ოთხი თვის შემდეგ, ხოლო მკვლევრებმა დაადოკუმენტირეს კონკრეტული ჯგუფის ავტორების მიმართ სისტემური მცდარი ბრალდებები. ერთი დეტექტორის დასკვნას მოეპყარით როგორც მინიშნებას, არა როგორც საბოლოო ვერდიქტს.

როგორ ცდილობენ დეტექტორები AI-ტექსტის ამოცნობას

დეტექტორების უმეტესობა ორ რამეს აანალიზებს: პერპლექსიას — რამდენად მოულოდნელია თითოეული სიტყვა წინა კონტექსტის გათვალისწინებით — და ბერსტინესს — რამდენად იცვლება წინადადებების სიგრძე და სტრუქტურა ტექსტის განმავლობაში. დიდი ენობრივი მოდელები ხშირად ირჩევენ სტატისტიკურად ყველაზე სავარაუდო შემდეგ სიტყვას, რაც ტექსტს უფრო გლუვსა და ერთგვაროვანს ხდის, ვიდრე ჩვეულებრივი ადამიანური წერაა, რომელსაც უფრო არარეგულარული რიტმი ახასიათებს. დეტექტორი წვრთნის კლასიფიკატორს — ხშირად თავადაც ნეირონულ ქსელს — ცნობილი ადამიანური და AI-ტექსტების დიდ ნაკრებზე, შემდეგ კი ახალ ტექსტს აფასებს იმის მიხედვით, რამდენად ჰგავს მისი ნიმუში წვრთნის მონაცემებში არსებულ AI-ტექსტს.

უფრო ახალი და პირდაპირი მიდგომაა წყალნიშანი (watermarking) — მას AI კომპანია ტექსტში გენერაციის მომენტში ჩადებს, ნაცვლად იმისა, რომ შემდგომ ივარაუდოს. Google DeepMind-ის SynthID ტექსტისთვის ოდნავ ცვლის იმ ალბათობებს, რომლებსაც მოდელი შემდეგი სიტყვის კანდიდატებს ანიჭებს — ისეთი პატერნით, რომლის ამოცნობაც მხოლოდ თავად კომპანიის დეტექტორს შეუძლია; ის უკვე ჩაშენებულია Gemini-ის პასუხებში. რადგან წყალნიშანი გენერაციის დროს ინერგება და არა სტილის მიხედვით ივარაუდება, SynthID უფრო საიმედოა, ვიდრე შემდგომი კლასიფიკატორები — თუმცა თავად DeepMind აღიარებს, რომ მისი სანდოობის მაჩვენებელი მკვეთრად ეცემა, თუ ტექსტი მნიშვნელოვნად გადაიწერება, მანქანურად ითარგმნება ან ძალიან მოკლეა.

რატომ ცდებიან დეტექტორები

ამოცნობა ფუძემდებლურად ალბათობითია, და ზემოთ ჩამოთვლილ ყველა მეთოდს დოკუმენტირებული ხარვეზები აქვს:

  • OpenAI-მ საკუთარ დეტექტორზე თავად თქვა უარი. 2023 წელს OpenAI-მ გამოუშვა და მალევე გააუქმა საკუთარი AI-ტექსტის კლასიფიკატორი, რადგან აღიარა მისი „დაბალი სიზუსტე“ — ის სწორად აღიარებდა AI-ტექსტის მხოლოდ დაახლოებით მეოთხედს, ხოლო ადამიანურ ტექსტს დაახლოებით 9%-ში მცდარად მიაწერდა AI-ს.
  • ინგლისურის არამშობლიურენოვანი ავტორები არაპროპორციულად ხშირად ხვდებიან ეჭვმიტანილებში. სტენფორდის კვლევამ შვიდი პოპულარული დეტექტორი გამოსცადა TOEFL-ის გამოცდაზე დაწერილ ესეებზე, რომლებიც ინგლისურის არამშობლიურენოვანმა ავტორებმა შექმნეს, ინგლისურის მშობლიურენოვანი ავტორების ესეებთან ერთად. დეტექტორებმა არამშობლიურენოვანი ავტორების ესეების უმეტესობა AI-ს მიაწერეს, მაშინ როცა მშობლიურენოვანი ავტორების ესეები თითქმის უცდომლად შეაფასეს — რადგან ხელსაწყოები უფრო მარტივ, პროგნოზირებად ლექსიკას მანქანური ავტორობის ნიშნად თვლიან, ხოლო არამშობლიურენოვანი ავტორები სწორედ ასეთ, უფრო პროგნოზირებად სიტყვებს იყენებენ იმ მიზეზების გამო, რომლებსაც AI-სთან საერთო არაფერი აქვს.
  • მსუბუქი რედაქტირება არღვევს სიგნალს. რამდენიმე წინადადების გადაწერა, AI-ს დახმარებით მოწერილი მონახაზის ადამიანური რედაქტირებით შერევა თუ ტექსტის თარგმნა ასუსტებს როგორც სტილზე დაფუძნებულ დეტექტორებს, ისე წყალნიშნებს. რადგან დღეს რეალურ წერაში ხშირად AI-ს მონახაზი და ადამიანური რედაქტირება ერთმანეთშია არეული, „სუფთა“ AI ან ადამიანური ვერდიქტი სულ უფრო ხშირად ვერ ასახავს, როგორ შეიქმნა ტექსტი სინამდვილეში.
  • არცერთ დეტექტორს არ აქვს გამოქვეყნებული საკმარისად დაბალი შეცდომის მაჩვენებელი მაღალი რისკის გადაწყვეტილებებისთვის. რადგან მცდარმა დადებითმა შედეგმა შეიძლება უსამართლოდ ბრალდებული სტუდენტი ან უარყოფილი სამუშაო განაცხადი გამოიწვიოს, ისეთი ხელსაწყოს მწარმოებლებიც კი, როგორიც Turnitin-ია, მომხმარებლებს ურჩევენ, დეტექციის ქულა აღიქვან როგორც ერთ-ერთი შემავალი მონაცემი ადამიანური განხილვისთვის და არა როგორც ავტომატური მტკიცებულება.

შეიძლება თუ არა დეტექტორის ქულის ნდობა?

დეტექტორის შედეგს მოეპყარით ისე, როგორც ერთ მოწმეს: სასარგებლოა, რომ საკითხს უფრო ახლოს დააკვირდეთ, მაგრამ არასაკმარისია, როგორც ერთადერთი მტკიცებულება. თუ გსურთ, თავად შეამოწმოთ ტექსტი, ხელსაწყო, როგორიც GPTZero-ია, საშუალებას გაძლევთ, ანგარიშის გარეშე უფასოდ შეამოწმოთ 10,000 სიმბოლომდე ტექსტი — გამოსადეგია პირველადი გადამოწმებისთვის, თუმცა ზემოთ აღწერილი ხარვეზების გამო თავად საკმარისი მტკიცებულება არ არის (გრძელი დოკუმენტებისთვის საჭიროა უფასო ანგარიში ან ფასიანი გეგმა). სერიოზული შედეგის მქონე შემთხვევებში — შეფასება, დასაქმების გადაწყვეტილება, სამართლებრივი დავა — დეტექტორის ქულა შეაფარდეთ სხვა მტკიცებულებას, მაგალითად, მონახაზებს, რედაქტირების ისტორიას ან ავტორთან საუბარს, ნაცვლად იმისა, რომ მხოლოდ რიცხვს დაეყრდნოთ.

ხშირად დასმული კითხვები

შეუძლია თუ არა AI-ს საკუთარი ტექსტის საიმედოდ ამოცნობა? არა მხოლოდ საკუთარი ძალებით. თუნდაც წყალნიშნების სისტემები, როგორიც SynthID-ია და გენერაციის მომენტში ინერგება, კარგავს სანდოობას, როგორც კი ტექსტი რედაქტირდება, ითარგმნება ან მოკლდება.

იყენებენ თუ არა უნივერსიტეტები კვლავ AI-დეტექტორებს? ბევრი მათგანი — ხშირად Turnitin-ის მეშვეობით — თუმცა სულ უფრო მეტი დაწესებულება თიშავს ამ ფუნქციას ან მოითხოვს, რომ პედაგოგებმა ქულა საკონსულტაციო ინფორმაციად აღიქვან და არა საბოლოო დასკვნად, დოკუმენტირებული მცდარი ბრალდებების საქმეების შემდეგ.

შესაძლებელია თუ არა AI-ტექსტის დეტექტორისთვის „უხილავად“ გახდომა? გადაწერა, პარაფრაზირება ან მსუბუქი რედაქტირება საიმედოდ ამცირებს დეტექციის ქულას — სწორედ ამიტომ აფრთხილებენ დეტექტორების მწარმოებლები, რომ მათი ხელსაწყოები საბოლოო მტკიცებულებად არ გამოიყენონ.

წყაროები: TechCrunch — OpenAI-ის დეტექტორის დახურვის შესახებ, სტენფორდის კვლევა დეტექტორების მიკერძოებაზე, Google DeepMind-ის მასალა SynthID-ის შესახებ, ვიკიპედია: Turnitin.