ტოკენი არის ტექსტის ის მცირე ნაწილი, რომელსაც დიდი ენობრივი მოდელი რეალურად კითხულობს და წერს — არა მთლიანი სიტყვა, არამედ მისი ნაწილი: გავრცელებული სიტყვა, მარცვალი, პუნქტუაციის ნიშანი ან ცალკეული სიმბოლო, იმის მიხედვით, თუ როგორ იშლება ტექსტი. „ტოკენიზაცია" არის პროცესი, რომლის დროსაც ტექსტი ამ ნაწილებად იყოფა მანამ, სანამ მოდელი მას დაამუშავებს — და სწორედ ეს პროცესი განსაზღვრავს ორ რამეს: როგორ ფასდება AI და რამდენად კარგად უმკლავდება ის სხვადასხვა ენას.
ტექსტიდან ტოკენებამდე
ენობრივი მოდელები ასოებს ან სიტყვებს პირდაპირ არ „კითხულობენ" — ისინი მუშაობენ ტოკენების ფიქსირებული ლექსიკონით, რომელშიც ჩვეულებრივ ათობით ათასიდან ასეულობით ათას ჩანაწერამდეა. ტოკენაიზერი შემოსულ ტექსტს ყოფს ნაწილებად, რომლებიც ამ ლექსიკონის ჩანაწერებს ემთხვევა, შემდეგ კი თითოეულ ნაწილს გარდაქმნის რიცხვად, რომლითაც მოდელს გამოთვლის შესრულება შეუძლია. სიტყვა „ტოკენიზაცია" თავად შეიძლება ორ ტოკენად დაიშალოს, მაშინ როცა ხშირად გამოყენებული მოკლე სიტყვა ჩვეულებრივ ერთი ტოკენია.
თანამედროვე ტოკენაიზერების უმეტესობა ლექსიკონს აგებს ბაიტთა წყვილების კოდირების (BPE) მეთოდით: ალგორითმი ცალკეული სიმბოლოებიდან იწყებს და თანმიმდევრულად აერთიანებს ყველაზე ხშირად შემხვედრ წყვილებს ახალ ტოკენებად, ისე რომ სავარჯიშო მონაცემებში გავრცელებული შაბლონები ერთ ერთეულში იკვეცება, ხოლო იშვიათი შაბლონები მცირე ნაწილებად რჩება დაშლილი. რადგან ლექსიკონი შენდება იმ ტექსტის მიხედვით, რომელიც სავარჯიშო მონაცემებში დომინირებს, გავრცელებული ინგლისური სიტყვები ჩვეულებრივ ეფექტურ, ერთეულ ტოკენებად იქცევა, ხოლო ნაკლებად გავრცელებული შაბლონები — მათ შორის მთლიანად სხვა ენები — მეტ, პატარა ტოკენად იჭრება.
რატომ ფასდება AI „მილიონ ტოკენში"
ყოველი ტოკენი, რომელსაც მოდელი კითხულობს ან წარმოქმნის, პროვაიდერს გამოთვლით რესურსს უჯდება, ამიტომ ტოკენების რაოდენობა გახდა AI API-ების ფასდადების სტანდარტული ერთეული — ჩვეულებრივ, ფასი მითითებულია მილიონ დამუშავებულ ტოკენზე. სწორედ ტოკენებს ითვლის მოხმარებაზე დაფუძნებული AI ფასდადებაც, როცა პროვაიდერები ფიქსირებული გამოწერიდან განზე იხრებიან — რაც მეტ ტოკენს მოიხმარს დავალება, მით მეტი ჯდება, დამოუკიდებლად იმისგან, თუ რამდენად „გრძელი" ჩანს ეს დავალება ადამიანისთვის. მოკლე კითხვა შესაძლოა რამდენიმე ასეულ ტოკენს მოიხმარდეს, ხოლო გრძელი დოკუმენტი ან AI აგენტის მრავალსაფეხურიანი დავალება — ასეულობით ათას ტოკენს.
ტოკენების რაოდენობა ასევე ადგენს მკაცრ ტექნიკურ ზღვარს: ყოველ მოდელს აქვს ფიქსირებული კონტექსტის ფანჯარა — ტოკენების მაქსიმალური რაოდენობა, რომლის დამახსოვრებაც მას ერთი საუბრის ფარგლებში შეუძლია, წაკითხულისა და წარმოქმნილის ჩათვლით. როცა საუბრის ტოკენების რაოდენობა ამ ზღვარს გადააჭარბებს, მოდელს ადრინდელი შინაარსის მოცილება ან შეჯამება უწევს, რომ მუშაობა გააგრძელოს.
ყველა ენა ერთნაირად არ იტოკენიზდება
რადგან ტოკენაიზერის ლექსიკონს სავარჯიშო მონაცემები აყალიბებს, რომელშიც ინგლისური და რამდენიმე სხვა ფართოდ გავრცელებული ენა დომინირებს, ერთი და იგივე ტექსტი სხვადასხვა ენაზე თარგმნისას მკვეთრად განსხვავებულ რაოდენობის ტოკენებად იშლება. ფართოდ ციტირებულმა 2023 წლის კვლევამ აჩვენა, რომ ეს განსხვავებები ზოგ ენას შორის 15-ჯერ აღწევს, ხოლო ზოგი ენის მოსაუბრეები ეკვივალენტურ შინაარსში მინიმუმ 2.5-ჯერ მეტს იხდიან, ვიდრე ინგლისურენოვანი მომხმარებლები — და იმავე კონტექსტის ფანჯარაში პროპორციულად ნაკლების ჩატევა შეუძლიათ.
ქართული ამის დოკუმენტირებული მაგალითია. 2024 წლის კვლევამ აჩვენა, რომ Mistral-ის ადრეული ტოკენაიზერი, რომელსაც ქართული ანბანის რამდენიმე ასო აკლდა და მათ ბაიტების დონეზე შლიდა, საშუალოდ 7.6 ტოკენს მოითხოვდა ერთ ქართულ სიტყვაზე — გაცილებით მეტს, ვიდრე ინგლისურისთვის დამახასიათებელი, დაახლოებით 1.2–1.4 ტოკენი სიტყვაზე. მას შემდეგ, რაც მკვლევრებმა ტოკენაიზერის ლექსიკონი დაახლოებით 5,500 ქართულენოვანი ტოკენით გააფართოვეს, ეს მაჩვენებელი 2.7 ტოკენამდე დაეცა სიტყვაზე — თითქმის სამჯერადი გაუმჯობესება. მოდელების პროვაიდერები, რომლებსაც უფრო სრულყოფილი, ქართულზე მორგებული ლექსიკონები აქვთ, დღეს ამ პრობლემას უკეთ ართმევენ თავს ნაგულისხმევადაც კი, თუმცა ძირითადი კანონზომიერება — რომ ზოგი ენის დამუშავება მხოლოდ დამწერლობისა და გრამატიკის ტოკენიზაციის თავისებურებების გამო ძვირი ჯდება — დღემდე ინარჩუნებს ძალას წამყვან მოდელთა უმეტესობაში.
საკუთარი ტოკენების რაოდენობის შემოწმება
პროვაიდერების უმეტესობა ამის პირდაპირი შემოწმების საშუალებას იძლევა. OpenAI-ს აქვს უფასო ტოკენაიზერის ხელსაწყო, სადაც ნებისმიერი ტექსტის ჩასმისას მაშინვე ჩანს, როგორ იშლება ის ტოკენებად და რამდენია მათი რაოდენობა — ანგარიშის გარეშეც. Anthropic-ს OpenAI-ის მსგავსი ღია ტოკენაიზერი არ აქვს გამოქვეყნებული, მაგრამ გთავაზობთ ტოკენების დათვლის API-ს, რომლითაც დეველოპერებს პრომფტის ზუსტი ტოკენური ღირებულების გაგება შეუძლიათ გაგზავნამდე. ერთი და იგივე წინადადების ინგლისურად და ქართულად შედარება ორივე ხელსაწყოზე ამ განსხვავებას თვალსაჩინოს ხდის.
სიახლეებში
ტოკენებზე დაფუძნებული ბილინგისკენ გადასვლა ახლაც მიმდინარეობს: Anthropic-მა ცოტა ხნის წინ Claude Fable 5 გამოწერიდან ტოკენებზე დაფუძნებულ, ანგარიშვალდებულ კრედიტებზე გადაიყვანა — ზუსტად იმ შემავალი და გამომავალი ტოკენების რაოდენობის მიხედვით, რომელზეც ზემოთ იყო საუბარი.
ხშირად დასმული კითხვები
ტოკენი იგივეა, რაც სიტყვა?
არა. ტოკენი ხშირად სიტყვაზე პატარაა — გავრცელებული სიტყვები შეიძლება ერთი ტოკენი იყოს, ხოლო გრძელი ან იშვიათი სიტყვები რამდენიმე ტოკენად იშლება. საორიენტაციოდ, ინგლისურ ტექსტში ერთი ტოკენი ხშირად სიტყვის დაახლოებით ¾-ს შეესაბამება, თუმცა ეს პროპორცია ენების მიხედვით მკვეთრად იცვლება.
რატომ იძლევა სხვადასხვა AI მოდელი ერთი და იმავე ტექსტისთვის განსხვავებულ ტოკენების რაოდენობას?
თითოეული მოდელის ოჯახი საკუთარ ტოკენაიზერსა და ლექსიკონს იყენებს, საკუთარ მონაცემებზეა გავარჯიშებული, ამიტომ ერთი და იგივე წინადადება სხვადასხვა მოდელისთვის განსხვავებული რაოდენობის ტოკენად შეიძლება დაიშალოს.
თუ კონტექსტის ფანჯარა დიდია, ტოკენებს უფასოდ მეტს ვიღებ?
არა — კონტექსტის ფანჯარის ზომა და ფასი ერთმანეთისგან დამოუკიდებელია. დიდი კონტექსტის ფანჯარა საშუალებას იძლევა საუბარმა მეტი ტოკენი დაიტიოს ძველი შინაარსის მოცილებამდე, მაგრამ ყოველი დამუშავებული ტოკენი მაინც იმავე ერთეულოვანი ტარიფით ფასდება.
შემიძლია ჩემი ტექსტის ტოკენების რაოდენობა შევამცირო?
მოკლე და პირდაპირი პრომფტები ნაკლებ ტოკენს მოიხმარს, ხოლო ზედმეტი, გამეორებადი კონტექსტის მოცილება ეხმარება ამაში. არაინგლისურენოვანი ტექსტისთვის ტოკენების რაოდენობას დიდწილად ტოკენაიზერის ლექსიკონი განსაზღვრავს და მხოლოდ სიტყვების გადაფორმულებით მისი მნიშვნელოვნად შემცირება ძნელია.