ტრანსფორმერი არის ნეირონული ქსელის დიზაინი, რომელზეც აგებულია დღეს გამოყენებული თითქმის ყველა დიდი ენობრივი მოდელი — GPT, Claude, Gemini და ის ღია წონების მოდელები, რომლებსაც ლაბორატორიები ყოველ კვირას უშვებენ. 2017 წელს Google-ის მკვლევრებმა შემოგვთავაზეს ეს არქიტექტურა, რომელმაც შეცვალა ძველი დიზაინები, სადაც ტექსტი იკითხებოდა სიტყვა-სიტყვად, თანმიმდევრობით. ტრანსფორმერი კი მთელ პასუხს ერთბაშად „კითხულობს“ და აანალიზებს, როგორ უკავშირდება ყოველი სიტყვა დანარჩენებს. სწორედ ეს ერთი ცვლილება არის მიზეზი, რომ დღევანდელ ჩატბოტებს შეუძლიათ საუბრის წარმართვა, კოდის დაწერა თუ დოკუმენტის შეჯამება წამებში — არა წუთებში.
რა არის ტრანსფორმერი სინამდვილეში
ტრანსფორმერი ხელოვნური ნეირონული ქსელის ერთი სახეობაა — მარტივი მათემატიკური ერთეულების შრეები, რომლებიც მონაცემებიდან ნიმუშებს სწავლობენ. ის, რაც ტრანსფორმერს ძველი დიზაინებისგან განასხვავებს, ეწოდება თვით-ყურადღება (self-attention). სიტყვების თანმიმდევრობით დამუშავების ნაცვლად, ტრანსფორმერი მთელ წინადადებას ერთდროულად იღებს, თითოეულ სიტყვას რიცხვით წარმოდგენად — ტოკენად — გარდაქმნის და შემდეგ ითვლის, რამდენად ძლიერად უნდა „მიაქციოს ყურადღება“ ერთმა ტოკენმა მეორეს. წინადადებაში „თასი ჩემოდანში ვერ ჩაეტია, რადგან ძალიან დიდი იყო“ სწორედ თვით-ყურადღება აძლევს მოდელს საშუალებას, გაარკვიოს, რომ „დიდი“ თასს ეხება და არა ჩემოდანს — კონკრეტული სიტყვების ურთიერთმიმართების აწონვით, და არა უბრალოდ მარცხნიდან მარჯვნივ კითხვით.
ეს იდეა 2017 წელს გამოქვეყნებულ ნაშრომში „Attention Is All You Need“ გაჩნდა, რომელიც Google-ის რვა მკვლევარმა დაწერა. პირველ ტრანსფორმერს დაახლოებით 100 მილიონი პარამეტრი ჰქონდა — დღევანდელი სტანდარტებით მცირე, როცა წამყვანი მოდელები ასობით მილიარდ პარამეტრს ითვლიან — თუმცა გარღვევა თავად ზომაში კი არა, არქიტექტურაში იყო.
რატომ შეცვალა ტრანსფორმერმა ძველი დიზაინები
ტრანსფორმერამდე ენობრივი ამოცანებისთვის ძირითადად რეკურენტულ ნეირონულ ქსელებს (RNN) იყენებდნენ, რომლებიც ტექსტს მკაცრად თანმიმდევრობით კითხულობდნენ — ჯერ ერთ სიტყვას, მერე მეორეს — და თან მიმდინარე „შეჯამებას“ ატარებდნენ. ეს თანმიმდევრული პროცესი მათ ვარჯიშს ანელებდა, რადგან ყოველი ნაბიჯი წინაზე იყო დამოკიდებული, და ასევე იწვევდა ინფორმაციის „დავიწყებას“ გრძელი ტექსტის დასაწყისიდან.
ტრანსფორმერმა ეს შეზღუდვა მოხსნა. რადგან თვით-ყურადღება ყველა ტოკენს ერთდროულად აძლევს საშუალებას, დანარჩენებს „დახედოს“, მთელი გამოთვლა შესაძლებელია ათასობით პროცესორულ ბირთვზე გადანაწილდეს და GPU-ებზე პარალელურად შესრულდეს. სწორედ ამ პარალელიზმმა მისცა მკვლევრებს საშუალება, მოდელები მილიარდობით პარამეტრამდე გაზარდონ და ინტერნეტის მასშტაბის ტექსტზე გონივრულ დროში გაწვრთნან — რასაც RNN-ზე დაფუძნებული დიზაინები ეფექტურად ვერასდროს აკეთებდნენ.
რატომ აქვს მნიშვნელობა
ტრანსფორმერი თანამედროვე AI ბუმის საერთო წინაპარია. Google-ის BERT (2018) და GPT სერია (იმავე წლიდან) ორივე მასზეა აგებული; ასევე ChatGPT, Claude, Gemini, Llama, DeepSeek და Qwen. იმავე არქიტექტურის ვარიაციები დღეს სურათებსაც ამუშავებენ (Vision Transformer), ხმასაც და ცილების სტრუქტურასაც კი. როცა ლაბორატორია ახალ მოდელს აცხადებს, ტრანსფორმერის დიზაინი, როგორც წესი, საწყისი წერტილია — რაც მოდელებს ერთმანეთისგან განასხვავებს, არის მასშტაბი, სავარჯიშო მონაცემები და ზედმეტად დამატებული ინჟინერიული ხრიკები, მაგალითად Mixture of Experts მარშრუტიზაცია ან უფრო გრძელი საკონტექსტო ფანჯარა — და არა თავად ყურადღების მექანიზმი.
ამ ერთი დიზაინური გადაწყვეტილების გაგება — მთელი ტექსტისთვის ერთბაშად ყურადღების მიქცევა, მკაცრი თანმიმდევრობის ნაცვლად — ხსნის, რატომ გაუმჯობესდა AI ენობრივი მოდელები ასე სწრაფად 2017 წლის შემდეგ, და რატომ ხმარდება დარგის დღევანდელი ინჟინერიული ძალისხმევის დიდი ნაწილი იმას, რომ იგივე მექანიზმი უფრო სწრაფად და იაფად იმუშაოს, სულ უფრო დიდ მასშტაბზე.
სიახლეებში
ახალი, ტრანსფორმერზე დაფუძნებული მოდელები თითქმის ყოველკვირეულად ჩნდება. ბოლო მაგალითებია Thinking Machines Lab-ის Inkling-ის გამოშვება — ღია წონების მოდელი — და PrismML-ის Bonsai 27B, რომელიც, ცნობით, პირველი 27-მილიარდპარამეტრიანი მოდელია, რომელსაც პირდაპირ სმარტფონზე გაშვება შეუძლია — ორივე იმავე ზემოთ აღწერილ არქიტექტურას ეფუძნება, უბრალოდ სხვადასხვაგვარად მასშტაბირებული და ოპტიმიზირებულია საკუთარი დანიშნულებისთვის.
წყაროები: „Attention Is All You Need“ (Vaswani et al., 2017); ვიკიპედია.