მონაცემთა ანოტირება არის პროცესი, რომლის დროსაც უსტრუქტურო მონაცემს — ფოტოს, წინადადებას, აუდიო ჩანაწერს — ემატება ინფორმაცია, რომელიც მანქანური სწავლების მოდელს ესაჭიროება მისგან სასწავლად: ეს არის გაჩერების ნიშანი, ეს შეფასება უარყოფითია, ეს სიტყვა ადამიანის სახელია. თითქმის ყველა AI სისტემა, რომელიც ზედამხედველობით სწავლებას გადის — სპამის ფილტრებიდან თვითმართვად მანქანებამდე და ჩატბოტებამდე — ისწავლა იმ მონაცემებზე დაყრდნობით, რომლებიც ჯერ ადამიანმა მონიშნა. ავტომატიზაციის ათწლეულების მიუხედავად, ეს პირველი ეტაპი დღემდე უფრო ხშირად გადის ადამიანის შეფასებაზე, ვიდრე ბევრი ფიქრობს.
რა ითვლება ანოტირებად
„ანოტირება“ მრავალფეროვან ამოცანებს მოიცავს. კომპიუტერული ხედვის სფეროში ეს ნიშნავს ქუჩის ფოტოში ქვეითის ჩარჩოთი მონიშვნას ან სკანში სიმსივნის კონტურის გამოკვეთას. ტექსტში — წინადადების სპამად მონიშვნას, აბზაცში კომპანიის სახელის საზღვრების აღნიშვნას ან კომენტარის ტოქსიკურობის შეფასებას. აუდიოში — მეტყველების ტრანსკრიფციას ან იმის მონიშვნას, სად წყდება ერთი მოსაუბრე და იწყება მეორე. დღევანდელი ჩატბოტებისთვის ეს სულ უფრო ხშირად რაღაც უფრო სუბიექტურს ნიშნავს: ერთსა და იმავე კითხვაზე AI-ის ორი განსხვავებული პასუხიდან ადამიანი ირჩევს უკეთესს ან წერს შენიშვნებს იმაზე, როგორი უნდა იყოს კარგი პასუხი.
ეს ბოლო კატეგორია ადამიანის უკუკავშირზე დაფუძნებული განმტკიცებითი სწავლების (RLHF) ცენტრშია — ტექნიკა, რომელსაც კომპანიები იყენებენ მოდელის ტონისა და ქცევის ჩამოსაყალიბებლად საწყისი გაწვრთნის შემდეგ. მონაცემთა ანოტირება და RLHF ერთმანეთთან დაკავშირებულია, მაგრამ ერთი და იგივე არ არის: ანოტირება უფრო ფართო და ძველი პრაქტიკაა — მონაცემების მონიშვნა მოდელის შექმნამდე, ხოლო RLHF კონკრეტული, გვიანდელი ეტაპია, რომელიც უკვე არსებულ მოდელს აყალიბებს. ჩვენი მასალა იმის შესახებ, როგორ ვარჯიშობენ AI მოდელები რეალურად, აჩვენებს, სად ჯდება თითოეული ეტაპი უფრო დიდ პროცესში.
ვინ აკეთებს ანოტირებას
2010-იანი წლების უმეტეს ნაწილში მონაცემების მასშტაბურად ანოტირების ყველაზე იაფი გზა იყო მისი წვრილ ამოცანებად დაყოფა და დისტანციური მუშაკების ბრბოსთვის თითოეულ დავალებაზე რამდენიმე ცენტის გადახდა. Amazon Mechanical Turk, რომელიც 2005 წელს გაეშვა და დასახელებულია მე-18 საუკუნის ჭადრაკის ავტომატის მიხედვით, რომელშიც ფარულად ადამიანი იმალებოდა, ამ მოდელის ყველაზე ცნობილი მაგალითი გახდა. კომპანიები აქვეყნებდნენ „ადამიანური ინტელექტის დავალებებს“: მონიშნე ეს სურათი, გადაშიფრე ეს ჩანაწერი, შეავსე ეს გამოკითხვა. ნებისმიერს შეეძლო დავალების აღება და მასზე ანაზღაურების მიღება — ჩვეულებრივ დაბალი საათობრივი განაკვეთით მარტივი სამუშაოსთვის და უფრო მაღალით სპეციალიზებულისთვის.
როგორც AI მოდელების შესაძლებლობები იზრდებოდა და ანოტირების სამუშაოც უფრო რთული ხდებოდა, ბაზარი გაიყო. ზოგადი ბრბოს შრომა გადავიდა ისეთ პლატფორმებზე, როგორიცაა Appen და CloudFactory. სპეციალურად მონაცემთა ანოტირებისთვის შექმნილმა კომპანიებმა, როგორებიცაა Scale AI და Surge AI, დაიწყეს დიდი ანოტატორული გუნდების მართვა სერვისის სახით, ხარისხის კონტროლის დამატებითი დონეებით. ხოლო პლატფორმების ახალმა ტალღამ — მათ შორის Mercor-მა და Prolific-მა — დაიწყო დარგის ექსპერტების მოზიდვა: ექიმების, იურისტების და პროგრამული ინჟინრების, რომლებიც საკუთარ სფეროში აფასებენ ან მონიშნავენ AI-ის პასუხებს, რადგან მოდელისთვის სწორი იურიდიული თუ სამედიცინო ტექსტის დაწერის სწავლება სულ სხვა ტიპის განსჯას მოითხოვს, ვიდრე კატის ფოტოების მონიშვნა.
რატომ სჭირდება ეს ჯერ კიდევ AI-ს
თანამედროვე AI ლაბორატორიები ანოტირების დასაჩქარებლად საკმაოდ ბევრ ავტომატიზაციას იყენებენ: მოდელს შეუძლია მონაცემთა ნაკრები წინასწარ მონიშნოს, ხოლო ადამიანმა მხოლოდ შეცდომები გამოასწოროს, რაც ნულიდან მონიშვნაზე ბევრად სწრაფია. მაგრამ ავტომატიზაციამ ადამიანების საჭიროება არ აღმოფხვრა. ე.წ. „ჭეშმარიტი მონაცემები“ (ground truth) — ის მაგალითები, რომლებთანაც საბოლოოდ მოდელს ადარებენ — მოდელის გარეთ არსებული რაიმე წყაროდან უნდა მომდინარეობდეს, სხვაგვარად შეცდომები უბრალოდ გროვდება. დღემდე ადამიანია საჭირო იმის გადასაწყვეტად, თუ როგორი უნდა იყოს „სწორი“ პასუხი სასაზღვრო შემთხვევებში, ბუნდოვან ენასთან და ტონთან, უსაფრთხოებასთან თუ ფაქტობრივ ნიუანსებთან დაკავშირებულ საკითხებში — მანამ, სანამ მოდელი ამის მიხედვით გაწვრთნას ან შეფასებას გაივლის.
სწორედ ამიტომ ანოტირების სამუშაოზე მოთხოვნა არ გამქრალა, თუნდაც მის ირგვლივ ინსტრუმენტები შეიცვალა — ის უფრო რთულ, სპეციალიზებულ ამოცანებზე გადაინაცვლა, სადაც უფრო მეტს იხდიან და მეტი ექსპერტიზაა საჭირო, მაშინ როცა უმარტივეს, ყველაზე დაბალანაზღაურებიან ბრბოს დავალებებს სულ უფრო ხშირად ასრულებენ AI-ის დახმარებით მომუშავე ინსტრუმენტები, და არა ცალკეული ადამიანები, რომლებიც აქამდე მონაცემებს ხელით, თითო-თითოდ ნიშნავდნენ.
სიახლეებში
სწორედ ამ ძვრამ უბიძგა Amazon-ს, 21 წლის შემდეგ Mechanical Turk-ის დახურვა გამოეცხადებინა: პლატფორმა, რომელიც ოდესღაც ბრბოს მეშვეობით შესრულებული მონაცემთა შრომის სინონიმი იყო, დღევანდელი AI მოდელების მოთხოვნებზე მორგებულმა სპეციალიზებულმა ანოტირების ფირმებმა და ექსპერტთა ქსელებმა ჩაანაცვლა.