ადამიანის გამოხმაურებაზე დაფუძნებული განმტკიცებითი სწავლება, ანუ RLHF (Reinforcement Learning from Human Feedback), არის წვრთნის ეტაპი, რომელიც უბრალო დიდ ენობრივ მოდელს — სისტემას, რომელიც მხოლოდ სავარაუდო შემდეგ სიტყვას ან-ჰბობს — აქცევს ასისტენტად, რომელიც მითითებებს იცავს, საშიშ მოთხოვნებზე უარს ამბობს და პასუხობს ისე, რომ ადამიანისთვის რეალურად გამოსადეგი იყოს. ეს ხდება ისე, რომ ადამიანები ერთი და იმავე კითხვაზე რამდენიმე AI პასუხს ადარებენ, საუკეთესოდან ყველაზე ცუდამდე ალაგებენ, და ამ რანჟირებით ასწავლიან მოდელს, როგორია კარგი პასუხი.
რა არის ეს
ახლადგაწვრთნილი ენობრივი მოდელი კარგად აგრძელებს ტექსტს სტატისტიკურად სავარაუდო გზით, მაგრამ არ აქვს ჩაშენებული განცდა იმისა, თუ რომელი გაგრძელება მოეწონებოდა რეალურ ადამიანს. კითხვაზე მან შეიძლება უპასუხოს გამოსადეგად, გაბუტტოს, უსაფუძვლოდ უარი თქვას, ან უბრალოდ კითხვა თავიდან გაიმეოროს. განმტკიცებითი სწავლება — მანქანური სწავლების ერთ-ერთი მიმართულებაა, სადაც სისტემა სწავლობს მოქმედებების შესრულებითა და მათზე მიღებული ჯილდოს სიგნალით. RLHF ამ იდეას ენობრივ მოდელებზე იყენებს: იმის ნაცვლად, რომ პროგრამისტმა ფორმულა დაწეროს, რა ითვლება „კარგ“ პასუხად, ჯილდოს სიგნალს თავად ადამიანი-შემფასებლები იძლევიან, რეალური მოდელის პასუხების შეფასებით.
როგორ მუშაობს
RLHF ჩვეულებრივ სამ ეტაპად მიმდინარეობს, მას შემდეგ, რაც მოდელი უკვე გაწვრთნილია ტექსტის უზარმაზარ მოცულობაზე:
- ზედამხედველობითი დახვეწა (Supervised Fine-Tuning). ადამიანი-დამწერები ქმნიან სამაგალითო, იდეალურ პასუხებს რეპრეზენტატული კითხვების ნაკრებზე, და გაწვრთნილი მოდელი ეწვრთნება ამ სტილის მიბაძვას.
- ჯილდოს მოდელის წვრთნა. კონკრეტულ კითხვაზე მოდელი რამდენიმე განსხვავებულ პასუხს აგენერირებს. ადამიანი-შემფასებლები მათ საუკეთესოდან ყველაზე ცუდამდე ალაგებენ. ეს რანჟირება წვრთნის მეორე, ცალკე მოდელს — ჯილდოს მოდელს — რომელიც სწავლობს, იწინასწარმეტყველოს, როგორ შეაფასებდა ადამიანი ნებისმიერ ახალ პასუხს, ანუ ადამიანურ განსჯას რიცხვად აქცევს, რომლის ოპტიმიზაციაც კომპიუტერს შეუძლია.
- განმტკიცებითი სწავლებით დახვეწა. საწყისი მოდელი კვლავ იწვრთნება, ამჯერად განმტკიცებითი სწავლების ალგორითმით (ჩვეულებრივ Proximal Policy Optimization, PPO), რომელიც მას აჯილდოებს პასუხებისთვის, რომლებსაც ჯილდოს მოდელი მაღალ ქულას აძლევს. სპეციალური „ჯარიმა“ არ აძლევს მოდელს, საწყისი ენობრივი უნარისგან ზედმეტად შორს გადაუხვიოს — წინააღმდეგ შემთხვევაში მოდელს შეუძლია ისწავლოს ისეთი „მოსახერხებელი“, მაგრამ უაზრო ტექსტის გენერირება, რომელიც ჯილდოს მოდელს მოატყუებს მაღალი ქულის მისაღებად. ამ მოვლენას ჯილდოს გატეხვა (reward hacking) ეწოდება.
სასარგებლო ანალოგია იქნება წერის მწვრთნელი, რომელიც სტუდენტს არ აძლევს მკაცრ შეფასების ცხრილს, არამედ უჩვენებს ერთი და იმავე ესეს ორ ვარიანტს გვერდიგვერდ და ეუბნება, რომელია უკეთესი — და ამ შედარებას მრავალჯერ იმეორებს. მრავალი რაუნდის შემდეგ სტუდენტი — ან, ამ შემთხვევაში, მოდელი — სწავლობს, დაწეროს ისეთი ტექსტი, რომელიც მუდმივად იმსახურებს მოწონებას, თუმცა არავინ არასდროს უხსნის მას ამის ზუსტ წესს.
რატომ არის მნიშვნელოვანი
RLHF არის მთავარი მიზეზი იმისა, რომ თანამედროვე ჩატბოტი პასუხობს საუბრულად და მითითებების შესრულებით, და არა უბრალოდ, ტექსტის ავტომატური გაგრძელებით. OpenAI-ის 2022 წლის InstructGPT კვლევამ, რომელმაც ეს ტექნიკა დღევანდელ დიდ ენობრივ მოდელებში დანერგა, აჩვენა, რომ ადამიანი-შემფასებლებმა 1.3 მილიარდპარამეტრიან, RLHF-ით გაწვრთნილ მოდელს მისცეს უპირატესობა 175 მილიარდპარამეტრიან, „უბრალო“ GPT-3-თან შედარებით, საიდანაც ის იყო აგებული — მიუხედავად იმისა, რომ GPT-3 ასჯერ მეტი პარამეტრით იყო. ზომამ თავად ვერ გახადა მოდელი გამოსადეგი — ადამიანის გამოხმაურებაზე დაფუძნებულმა წვრთნამ გახადა.
RLHF-ს რეალური შეზღუდვებიც აქვს. საკმარისი რაოდენობის ადამიანური შედარებების შეგროვება ნელი და ძვირია, და თავად პროცესი მხოლოდ ცვლის, როგორ გამოხატავს მოდელი უკვე ნასწავლ ცოდნას — ის არ ამატებს ახალ ცოდნას თუ მსჯელობის უნარს და არ უშლის მოდელს, თავდაჯერებულად წარმოთქვას მცდარი ინფორმაცია (იხილეთ ჩვენი ახსნა AI ჰალუცინაციის შესახებ). ვინაიდან რანჟირების მონაცემები ასახავს კონკრეტული ადამიანი-შემფასებლების ჯგუფის პრეფერენციებს, საბოლოო მოდელის ტონი და შეფასებები ამ შემფასებლების საკუთარ დაშვებებსა და ხარვეზებსაც იზიარებს — ერთ-ერთი მიზეზი, თუ რატომ გრძნობენ სხვადასხვა AI კომპანიის ასისტენტები ერთმანეთისგან შესამჩნევად განსხვავებულად.
ყველა AI ლაბორატორია RLHF-ს ერთნაირად არ იყენებს. Anthropic-ის კონსტიტუციური AI მიდგომა ადამიანური რანჟირების დიდ ნაწილს ცვლის დაწერილი პრინციპების ნაკრებით, რომლის მიხედვითაც მოდელი თავად აკრიტიკებს და ასწორებს საკუთარ საბაზისო პასუხებს — ამ ვარიანტს ხანდახან „AI გამოხმაურებაზე დაფუძნებულ განმტკიცებით სწავლებას“ (RLAIF) უწოდებენ — რაც განსაკუთრებით იმისთვისაა, რომ შემცირდეს იმ საზიანო მაგალითების რაოდენობა, რომელთა წაკითხვა და რანჟირებაც ადამიანებს უწევთ ხელით. ორივე მიდგომა ერთი და იმავე, უფრო ფართო ძალისხმევის — AI ალაინმენტის — ინსტრუმენტია: იმის მიღწევა, რომ მოდელის ქცევა რეალურად ემთხვეოდეს იმას, რასაც მისი შემქმნელები და მომხმარებლები გულისხმობენ.
ხშირად დასმული კითხვები
RLHF ხდის მოდელს უფრო ჭკვიანს? არა. ის არ ამატებს ფაქტებს ან მსჯელობის უნარს — ის ცვლის, როგორ გამოხატავს მოდელი უკვე, წვრთნის დროს მიღებულ ცოდნასა და შესაძლებლობებს, მიმართავს რა მას იმ პასუხებისკენ, რომლებსაც ადამიანები უფრო გამოსადეგად და მართებულად აფასებენ.
RLHF იგივეა, რაც კონტენტის მოდერაცია? არა ზუსტად. RLHF აყალიბებს მოდელის ზოგად გამოსადეგობას, ტონსა და მითითებების შესრულების მზადყოფნას. კონკრეტული აკრძალული კონტენტის დასაჭერად ჩვეულებრივ ცალკე უსაფრთხოების ფილტრები და მოდერაციის სისტემები ემატება.
ვინ შექმნა RLHF? ის ეყრდნობა განმტკიცებითი სწავლების კვლევებს, რომლებიც წლების წინ დაიწყო, მაგრამ სწორედ OpenAI-ის 2022 წლის InstructGPT ნაშრომმა აქცია ის სტანდარტულ მეთოდად, რომლითაც ლაბორატორიები დიდ ენობრივ მოდელებს ადამიანის მითითებებთან ათანხმებენ.
რატომ უშვებენ RLHF-ით გაწვრთნილი მოდელები მაინც შეცდომებს? RLHF ოპტიმიზაციას უწევს სტილს, გამოსადეგობასა და მითითებების შესრულებას — არა ფაქტობრივ სიზუსტეს. ფაქტების სისწორეზე ზრუნვა ცალკე, ჯერ კიდევ ბოლომდე გადაუჭრელი პრობლემაა, რომელსაც სხვა ტექნიკებით ებრძვიან.
წყაროები: Illustrating Reinforcement Learning from Human Feedback (Hugging Face); Training language models to follow instructions with human feedback (OpenAI InstructGPT ნაშრომი); Constitutional AI: Harmlessness from AI Feedback (Anthropic).