რა არის ტრანსფორმერი — არქიტექტურა ყველა თანამედროვე ჩატბოტის მიღმა

ტრანსფორმერი არის ნეირონული ქსელის დიზაინი, რომელზეც აგებულია დღეს გამოყენებული თითქმის ყველა დიდი ენობრივი მოდელი — GPT, Claude, Gemini და ის ღია წონების მოდელები, რომლებსაც ლაბორატორიები ყოველ კვირას უშვებენ. 2017 წელს Google-ის მკვლევრებმა შემოგვთავაზეს ეს არქიტექტურა, რომელმაც შეცვალა ძველი დიზაინები, სადაც ტექსტი იკითხებოდა სიტყვა-სიტყვად, თანმიმდევრობით. ტრანსფორმერი კი მთელ პასუხს ერთბაშად „კითხულობს“ და აანალიზებს, როგორ უკავშირდება ყოველი სიტყვა დანარჩენებს. სწორედ ეს ერთი ცვლილება არის მიზეზი, რომ დღევანდელ ჩატბოტებს შეუძლიათ საუბრის წარმართვა, კოდის დაწერა თუ დოკუმენტის შეჯამება წამებში — არა წუთებში.

რა არის ტრანსფორმერი სინამდვილეში

ტრანსფორმერი ხელოვნური ნეირონული ქსელის ერთი სახეობაა — მარტივი მათემატიკური ერთეულების შრეები, რომლებიც მონაცემებიდან ნიმუშებს სწავლობენ. ის, რაც ტრანსფორმერს ძველი დიზაინებისგან განასხვავებს, ეწოდება თვით-ყურადღება (self-attention). სიტყვების თანმიმდევრობით დამუშავების ნაცვლად, ტრანსფორმერი მთელ წინადადებას ერთდროულად იღებს, თითოეულ სიტყვას რიცხვით წარმოდგენად — ტოკენად — გარდაქმნის და შემდეგ ითვლის, რამდენად ძლიერად უნდა „მიაქციოს ყურადღება“ ერთმა ტოკენმა მეორეს. წინადადებაში „თასი ჩემოდანში ვერ ჩაეტია, რადგან ძალიან დიდი იყო“ სწორედ თვით-ყურადღება აძლევს მოდელს საშუალებას, გაარკვიოს, რომ „დიდი“ თასს ეხება და არა ჩემოდანს — კონკრეტული სიტყვების ურთიერთმიმართების აწონვით, და არა უბრალოდ მარცხნიდან მარჯვნივ კითხვით.

ეს იდეა 2017 წელს გამოქვეყნებულ ნაშრომში „Attention Is All You Need“ გაჩნდა, რომელიც Google-ის რვა მკვლევარმა დაწერა. პირველ ტრანსფორმერს დაახლოებით 100 მილიონი პარამეტრი ჰქონდა — დღევანდელი სტანდარტებით მცირე, როცა წამყვანი მოდელები ასობით მილიარდ პარამეტრს ითვლიან — თუმცა გარღვევა თავად ზომაში კი არა, არქიტექტურაში იყო.

რატომ შეცვალა ტრანსფორმერმა ძველი დიზაინები

ტრანსფორმერამდე ენობრივი ამოცანებისთვის ძირითადად რეკურენტულ ნეირონულ ქსელებს (RNN) იყენებდნენ, რომლებიც ტექსტს მკაცრად თანმიმდევრობით კითხულობდნენ — ჯერ ერთ სიტყვას, მერე მეორეს — და თან მიმდინარე „შეჯამებას“ ატარებდნენ. ეს თანმიმდევრული პროცესი მათ ვარჯიშს ანელებდა, რადგან ყოველი ნაბიჯი წინაზე იყო დამოკიდებული, და ასევე იწვევდა ინფორმაციის „დავიწყებას“ გრძელი ტექსტის დასაწყისიდან.

ტრანსფორმერმა ეს შეზღუდვა მოხსნა. რადგან თვით-ყურადღება ყველა ტოკენს ერთდროულად აძლევს საშუალებას, დანარჩენებს „დახედოს“, მთელი გამოთვლა შესაძლებელია ათასობით პროცესორულ ბირთვზე გადანაწილდეს და GPU-ებზე პარალელურად შესრულდეს. სწორედ ამ პარალელიზმმა მისცა მკვლევრებს საშუალება, მოდელები მილიარდობით პარამეტრამდე გაზარდონ და ინტერნეტის მასშტაბის ტექსტზე გონივრულ დროში გაწვრთნან — რასაც RNN-ზე დაფუძნებული დიზაინები ეფექტურად ვერასდროს აკეთებდნენ.

რატომ აქვს მნიშვნელობა

ტრანსფორმერი თანამედროვე AI ბუმის საერთო წინაპარია. Google-ის BERT (2018) და GPT სერია (იმავე წლიდან) ორივე მასზეა აგებული; ასევე ChatGPT, Claude, Gemini, Llama, DeepSeek და Qwen. იმავე არქიტექტურის ვარიაციები დღეს სურათებსაც ამუშავებენ (Vision Transformer), ხმასაც და ცილების სტრუქტურასაც კი. როცა ლაბორატორია ახალ მოდელს აცხადებს, ტრანსფორმერის დიზაინი, როგორც წესი, საწყისი წერტილია — რაც მოდელებს ერთმანეთისგან განასხვავებს, არის მასშტაბი, სავარჯიშო მონაცემები და ზედმეტად დამატებული ინჟინერიული ხრიკები, მაგალითად Mixture of Experts მარშრუტიზაცია ან უფრო გრძელი საკონტექსტო ფანჯარა — და არა თავად ყურადღების მექანიზმი.

ამ ერთი დიზაინური გადაწყვეტილების გაგება — მთელი ტექსტისთვის ერთბაშად ყურადღების მიქცევა, მკაცრი თანმიმდევრობის ნაცვლად — ხსნის, რატომ გაუმჯობესდა AI ენობრივი მოდელები ასე სწრაფად 2017 წლის შემდეგ, და რატომ ხმარდება დარგის დღევანდელი ინჟინერიული ძალისხმევის დიდი ნაწილი იმას, რომ იგივე მექანიზმი უფრო სწრაფად და იაფად იმუშაოს, სულ უფრო დიდ მასშტაბზე.

სიახლეებში

ახალი, ტრანსფორმერზე დაფუძნებული მოდელები თითქმის ყოველკვირეულად ჩნდება. ბოლო მაგალითებია Thinking Machines Lab-ის Inkling-ის გამოშვება — ღია წონების მოდელი — და PrismML-ის Bonsai 27B, რომელიც, ცნობით, პირველი 27-მილიარდპარამეტრიანი მოდელია, რომელსაც პირდაპირ სმარტფონზე გაშვება შეუძლია — ორივე იმავე ზემოთ აღწერილ არქიტექტურას ეფუძნება, უბრალოდ სხვადასხვაგვარად მასშტაბირებული და ოპტიმიზირებულია საკუთარი დანიშნულებისთვის.

ხშირად დასმული კითხვები

ტრანსფორმერი და ChatGPT ერთი და იგივეა? არა. ტრანსფორმერი საბაზისო არქიტექტურაა — გეგმა, თუ როგორ ამუშავებს ქსელი ინფორმაციას. ChatGPT კონკრეტული პროდუქტია, აგებული ტრანსფორმერზე დაფუძნებულ მოდელზე (GPT), რომელიც OpenAI-მ საუბრისთვის გაწვრთნა და მორგო.

ყველა AI მოდელი ტრანსფორმერს იყენებს? დღეს არსებული თითქმის ყველა დიდი ენობრივი მოდელი — მათ შორის ბაზარზე არსებული ძირითადი ღია და დახურული მოდელები — ტრანსფორმერზეა აგებული. ცალკეული კვლევითი ლაბორატორიები ალტერნატიულ დიზაინებსაც სცდიან, მაგალითად state-space მოდელებს, ძალიან გრძელი მიმდევრობების უფრო ეფექტურად დასამუშავებლად, თუმცა ტრანსფორმერი 2026 წლის მდგომარეობით მაინც დომინანტი არქიტექტურაა.

რატომ ჰქვია მექანიზმს „ყურადღება“? იმიტომ, რომ ის მოდელს საშუალებას აძლევს, სხვადასხვა სიტყვას წინადადების თითოეული ნაწილის ინტერპრეტაციისას სხვადასხვა წონა — ანუ „ყურადღება“ — მიანიჭოს, რაც ზოგადად იმეორებს, თუ როგორ აქცევს მკითხველი მეტ ყურადღებას ზოგიერთ სიტყვას აზრის გასაგებად.

ტრანსფორმერის გაგება საჭიროა თუ AI ინსტრუმენტების უბრალოდ გამოსაყენებლად? არა. არქიტექტურა მნიშვნელოვანია მოდელების შემქმნელი და მავარჯიშებელი ინჟინრებისთვის; ჩვეულებრივ მომხმარებელს შეუძლია ChatGPT-ისა თუ Claude-ის გამოყენება, თუნდაც არასდროს იცოდეს, რა მუშაობს „ქუდქვეშ“.

წყაროები: „Attention Is All You Need“ (Vaswani et al., 2017); ვიკიპედია.