OpenAI-მ გამოაქვეყნა ინფორმაცია GPT-Red-ის შესახებ — შიდა ავტომატური red-teaming მოდელის, რომელიც კომპანიის AI სისტემებში უსაფრთხოების ხარვეზებს თავდამსხმელებზე ადრე ეძებს. ეს კომპანიის ბლოგპოსტშია აღწერილი, რომელიც 15 ივლისს გამოქვეყნდა.
როგორ მუშაობს
GPT-Red ვარჯიშობს self-play გამაძლიერებელი სწავლებით: ერთი მხრივ, ის თავად ცდილობს სამიზნე მოდელის მანიპულირებას prompt injection-ის გზით — ანუ ელფოსტაში, ვებგვერდში, ფაილში ან კოდში ჩაფარული მავნე ინსტრუქციებით — ხოლო მეორე მხრივ, ცალკე „დამცველი“ მოდელი ცდილობს წინააღმდეგობის გაწევას და თავდაპირველი დავალების შესრულებას. OpenAI-ის თქმით, GPT-Red ჯილდოს იმ შემთხვევაში იღებს, როცა რეალურ ხარვეზს იწვევს, დამცველი კი — როცა თავს არიდებს მანიპულაციას. ასეთი განმეორებადი „ორთაბრძოლა“ ორივე მხარეს თანდათან აუმჯობესებს.
ახალ, მანამდე უცნობ სცენარებზე ჩატარებულ ტესტებში, OpenAI-ის ინფორმაციით, GPT-Red-მა შემთხვევების 84%-ში მიაღწია წარმატებას, მაშინ როცა ადამიანურმა red-teaming გუნდებმა — მხოლოდ 13%-ში. კომპანიამ GPT-Red-ის მიერ აღმოჩენილი ხარვეზები გამოიყენა უახლესი მოდელის, GPT-5.6 Sol-ის, საწინააღმდეგო წვრთნისთვის — შედეგად, OpenAI-ის ყველაზე რთულ პირდაპირი prompt injection-ის ტესტზე მოდელის ჩავარდნის მაჩვენებელი მხოლოდ 0.05%-ია, რაც ოთხი თვის წინანდელ საწარმოო მოდელთან შედარებით ექვსჯერ დაბალი მაჩვენებელია. ერთმა GPT-Red-ის მიერ აღმოჩენილმა თავდასხმის ტექნიკამ, სახელად „Fake Chain-of-Thought“, GPT-5.1-ის წინააღმდეგ შემთხვევების 95%-ში იმუშავა, ხოლო GPT-5.6 Sol-ის წინააღმდეგ ეს მაჩვენებელი 10%-ზე დაბლა დაეცა.
ტესტები რეალურთან მიახლოებულ სცენარებზე
OpenAI-ის თქმით, GPT-Red-მა ასევე შეამოწმა პრაქტიკული სცენარები — მათ შორის, სიმულირებული AI-სავაჭრო აპარატის მანიპულირება, რომლის დროსაც ფასები 0.50 დოლარამდე დაწია, ამ ფასად ძვირადღირებული პროდუქტი შეუკვეთა და სხვა მომხმარებლის შეკვეთა გააუქმა, ასევე მონაცემების გატანის მცდელობა Codex CLI კოდირების აგენტის წინააღმდეგ. კომპანიამ ასევე შეამოწმა, ხომ არ დაქვეითებულა მოდელების ზოგადი შესაძლებლობები ამ დამატებითი დაცვის გამო — და აღმოაჩინა, რომ არც შესაძლებლობები შემცირებულა და არც კანონიერ მოთხოვნებზე უსაფუძვლო უარები გაზრდილა.
რჩება მხოლოდ შიდა გამოყენებისთვის
OpenAI GPT-Red-ს არც ChatGPT-ის მომხმარებლებისთვის და არც API დეველოპერებისთვის არ გახსნის. რადგან ეს მოდელი განზრახ გაწვრთნეს ხარვეზების საპოვნელად და გამოსაყენებლად, კომპანია მას საჯარო საწარმოო სისტემებისგან იზოლირებულად ინახავს, რათა მისი თავდასხმის შესაძლებლობები ბოროტად არ იქნას გამოყენებული.
გამოქვეყნება იმ ფონზე ხდება, როცა AI აგენტებს სულ უფრო ხშირად ეძლევათ წვდომა ელფოსტაზე, ბრაუზერსა და ფაილურ სისტემებზე, რაც prompt injection-ის თავდასხმების არეალს აფართოებს — რისკზეც რეგულატორები და დამოუკიდებელი უსაფრთხოების ტესტერები წელს არაერთხელ მიუთითეს.