ადამიანის გამოხმაურებაზე დაფუძნებული განმტკიცებითი სწავლება, ანუ RLHF (Reinforcement Learning from Human Feedback), არის წვრთნის ეტაპი, რომელიც უბრალო დიდ ენობრივ მოდელს — სისტემას, რომელიც მხოლოდ სავარაუდო შემდეგ სიტყვას ან-ჰბობს — აქცევს ასისტენტად, რომელიც მითითებებს იცავს, საშიშ მოთხოვნებზე უარს ამბობს და პასუხობს ისე, რომ ადამიანისთვის რეალურად გამოსადეგი იყოს. ეს ხდება ისე, რომ ადამიანები ერთი და იმავე კითხვაზე რამდენიმე AI პასუხს ადარებენ, საუკეთესოდან ყველაზე ცუდამდე ალაგებენ, და ამ რანჟირებით ასწავლიან მოდელს, როგორია კარგი პასუხი.
რა არის ეს
ახლადგაწვრთნილი ენობრივი მოდელი კარგად აგრძელებს ტექსტს სტატისტიკურად სავარაუდო გზით, მაგრამ არ აქვს ჩაშენებული განცდა იმისა, თუ რომელი გაგრძელება მოეწონებოდა რეალურ ადამიანს. კითხვაზე მან შეიძლება უპასუხოს გამოსადეგად, გაბუტტოს, უსაფუძვლოდ უარი თქვას, ან უბრალოდ კითხვა თავიდან გაიმეოროს. განმტკიცებითი სწავლება — მანქანური სწავლების ერთ-ერთი მიმართულებაა, სადაც სისტემა სწავლობს მოქმედებების შესრულებითა და მათზე მიღებული ჯილდოს სიგნალით. RLHF ამ იდეას ენობრივ მოდელებზე იყენებს: იმის ნაცვლად, რომ პროგრამისტმა ფორმულა დაწეროს, რა ითვლება „კარგ“ პასუხად, ჯილდოს სიგნალს თავად ადამიანი-შემფასებლები იძლევიან, რეალური მოდელის პასუხების შეფასებით.
როგორ მუშაობს
RLHF ჩვეულებრივ სამ ეტაპად მიმდინარეობს, მას შემდეგ, რაც მოდელი უკვე გაწვრთნილია ტექსტის უზარმაზარ მოცულობაზე:
- ზედამხედველობითი დახვეწა (Supervised Fine-Tuning). ადამიანი-დამწერები ქმნიან სამაგალითო, იდეალურ პასუხებს რეპრეზენტატული კითხვების ნაკრებზე, და გაწვრთნილი მოდელი ეწვრთნება ამ სტილის მიბაძვას.
- ჯილდოს მოდელის წვრთნა. კონკრეტულ კითხვაზე მოდელი რამდენიმე განსხვავებულ პასუხს აგენერირებს. ადამიანი-შემფასებლები მათ საუკეთესოდან ყველაზე ცუდამდე ალაგებენ. ეს რანჟირება წვრთნის მეორე, ცალკე მოდელს — ჯილდოს მოდელს — რომელიც სწავლობს, იწინასწარმეტყველოს, როგორ შეაფასებდა ადამიანი ნებისმიერ ახალ პასუხს, ანუ ადამიანურ განსჯას რიცხვად აქცევს, რომლის ოპტიმიზაციაც კომპიუტერს შეუძლია.
- განმტკიცებითი სწავლებით დახვეწა. საწყისი მოდელი კვლავ იწვრთნება, ამჯერად განმტკიცებითი სწავლების ალგორითმით (ჩვეულებრივ Proximal Policy Optimization, PPO), რომელიც მას აჯილდოებს პასუხებისთვის, რომლებსაც ჯილდოს მოდელი მაღალ ქულას აძლევს. სპეციალური „ჯარიმა“ არ აძლევს მოდელს, საწყისი ენობრივი უნარისგან ზედმეტად შორს გადაუხვიოს — წინააღმდეგ შემთხვევაში მოდელს შეუძლია ისწავლოს ისეთი „მოსახერხებელი“, მაგრამ უაზრო ტექსტის გენერირება, რომელიც ჯილდოს მოდელს მოატყუებს მაღალი ქულის მისაღებად. ამ მოვლენას ჯილდოს გატეხვა (reward hacking) ეწოდება.
სასარგებლო ანალოგია იქნება წერის მწვრთნელი, რომელიც სტუდენტს არ აძლევს მკაცრ შეფასების ცხრილს, არამედ უჩვენებს ერთი და იმავე ესეს ორ ვარიანტს გვერდიგვერდ და ეუბნება, რომელია უკეთესი — და ამ შედარებას მრავალჯერ იმეორებს. მრავალი რაუნდის შემდეგ სტუდენტი — ან, ამ შემთხვევაში, მოდელი — სწავლობს, დაწეროს ისეთი ტექსტი, რომელიც მუდმივად იმსახურებს მოწონებას, თუმცა არავინ არასდროს უხსნის მას ამის ზუსტ წესს.
რატომ არის მნიშვნელოვანი
RLHF არის მთავარი მიზეზი იმისა, რომ თანამედროვე ჩატბოტი პასუხობს საუბრულად და მითითებების შესრულებით, და არა უბრალოდ, ტექსტის ავტომატური გაგრძელებით. OpenAI-ის 2022 წლის InstructGPT კვლევამ, რომელმაც ეს ტექნიკა დღევანდელ დიდ ენობრივ მოდელებში დანერგა, აჩვენა, რომ ადამიანი-შემფასებლებმა 1.3 მილიარდპარამეტრიან, RLHF-ით გაწვრთნილ მოდელს მისცეს უპირატესობა 175 მილიარდპარამეტრიან, „უბრალო“ GPT-3-თან შედარებით, საიდანაც ის იყო აგებული — მიუხედავად იმისა, რომ GPT-3 ასჯერ მეტი პარამეტრით იყო. ზომამ თავად ვერ გახადა მოდელი გამოსადეგი — ადამიანის გამოხმაურებაზე დაფუძნებულმა წვრთნამ გახადა.
RLHF-ს რეალური შეზღუდვებიც აქვს. საკმარისი რაოდენობის ადამიანური შედარებების შეგროვება ნელი და ძვირია, და თავად პროცესი მხოლოდ ცვლის, როგორ გამოხატავს მოდელი უკვე ნასწავლ ცოდნას — ის არ ამატებს ახალ ცოდნას თუ მსჯელობის უნარს და არ უშლის მოდელს, თავდაჯერებულად წარმოთქვას მცდარი ინფორმაცია (იხილეთ ჩვენი ახსნა AI ჰალუცინაციის შესახებ). ვინაიდან რანჟირების მონაცემები ასახავს კონკრეტული ადამიანი-შემფასებლების ჯგუფის პრეფერენციებს, საბოლოო მოდელის ტონი და შეფასებები ამ შემფასებლების საკუთარ დაშვებებსა და ხარვეზებსაც იზიარებს — ერთ-ერთი მიზეზი, თუ რატომ გრძნობენ სხვადასხვა AI კომპანიის ასისტენტები ერთმანეთისგან შესამჩნევად განსხვავებულად.
ყველა AI ლაბორატორია RLHF-ს ერთნაირად არ იყენებს. Anthropic-ის კონსტიტუციური AI მიდგომა ადამიანური რანჟირების დიდ ნაწილს ცვლის დაწერილი პრინციპების ნაკრებით, რომლის მიხედვითაც მოდელი თავად აკრიტიკებს და ასწორებს საკუთარ საბაზისო პასუხებს — ამ ვარიანტს ხანდახან „AI გამოხმაურებაზე დაფუძნებულ განმტკიცებით სწავლებას“ (RLAIF) უწოდებენ — რაც განსაკუთრებით იმისთვისაა, რომ შემცირდეს იმ საზიანო მაგალითების რაოდენობა, რომელთა წაკითხვა და რანჟირებაც ადამიანებს უწევთ ხელით. ორივე მიდგომა ერთი და იმავე, უფრო ფართო ძალისხმევის — AI ალაინმენტის — ინსტრუმენტია: იმის მიღწევა, რომ მოდელის ქცევა რეალურად ემთხვეოდეს იმას, რასაც მისი შემქმნელები და მომხმარებლები გულისხმობენ.
წყაროები: Illustrating Reinforcement Learning from Human Feedback (Hugging Face); Training language models to follow instructions with human feedback (OpenAI InstructGPT ნაშრომი); Constitutional AI: Harmlessness from AI Feedback (Anthropic).