რა არის დიფუზიის მოდელი — და როგორ იქმნება AI სურათები?

დიფუზიის მოდელი სურათს, ვიდეოს ან ხმას ისე ქმნის, რომ იწყებს წმინდა შემთხვევითი ხმაურის „ტილოთი" და ამ ტილოს ათეულობით ჯერ ატარებს გაწვრთნილი ნეირონული ქსელის გავლით — ყოველ გავლაზე ოდნავ აცილებს ხმაურს, სანამ საბოლოოდ არ დარჩება გამოსახულება, რომელიც შეესაბამება ტექსტურ მოთხოვნას, რომელმაც პროცესი წარმართა. ეს არის მექანიზმი, რომელსაც ეყრდნობა Stable Diffusion, Midjourney, DALL-E და OpenAI-ის Sora — სხვადასხვა კომპანიის სხვადასხვა პროდუქტი, მაგრამ ერთი და იგივე ტექნიკა სიტყვების პიქსელებად გარდაქმნისთვის, და დღევანდელი გენერაციული AI-ის ბუმის ერთ-ერთი ძირითადი ინსტრუმენტი.

წვრთნა: ქსელს ხმაურის ამოცნობა ესწავლება

დიფუზიის მოდელი მზა სურათების დამახსოვრებით არ სწავლობს. ის პირიქით, „დანგრევით" სწავლობს. მკვლევრები იღებენ რეალური ფოტოების დიდ ნაკრებს და თითოეულს, მცირე ნაბიჯებით, ემატება გაზომილი დოზა შემთხვევითი, გაუსური ხმაურის, სანამ საწყისი გამოსახულება მთლიანად არ დაიფარება ამ ხმაურით და სტატისტიკურად აღარ განსხვავდება წმინდა ხმაურისგან. შემდეგ ისინი ნეირონულ ქსელს ავარჯიშებენ საწინააღმდეგო ამოცანაზე: შუალედური, ნაწილობრივ ხმაურიანი სურათის დანახვისას, შეუძლია თუ არა მას ზუსტად განსაზღვროს, რა ხმაური დაემატა? ქსელი, რომელიც ამ ვიწრო ამოცანაში წარმატებას მიაღწევს — მიდგომა, რომელიც 2020 წლის Denoising Diffusion Probabilistic Model-ის ნაშრომშია აღწერილი — მიუხედავად იმისა, რომ მას არასდროს უთქვამთ, რა არის „კატა" ან „ტაძარი", საკმარისად სწავლობს რეალური სურათების სტრუქტურას, რომ მიყენებული ზიანი გამოასწოროს.

გენერაცია: პროცესის უკუღმა გაშვება

ახალი სურათის შექმნა ნიშნავს ამ გაწვრთნილი ქსელის უკუღმა გაშვებას. პროცესი იწყება შემთხვევითი ხმაურის „ტილოთი" — მათემატიკურად იმავეთი, რაც წვრთნისას ემატებოდა — და ქსელს სთხოვს, განსაზღვროს, რა ხმაურია მასში. შემდეგ აცილებს ამ პროგნოზის ნაწილს, რის შედეგადაც ოდნავ უფრო „სუფთა" ტილო რჩება, და პროცესს იმეორებს. ადრეულ დიფუზიის მოდელებს ერთი სურათისთვის დაახლოებით 1000 ასეთი გავლა სჭირდებოდათ, რის გამოც პირველი ვერსიები ძალიან ნელი იყო; თანამედროვე სემპლერები მათემატიკას ისე აწყობენ, რომ მსგავს შედეგს მხოლოდ 20–50 ნაბიჯში აღწევენ — რაც დიდწილად იმის მიზეზია, რომ დღევანდელი AI სურათების გენერატორები სურათს წამებში აბრუნებენ, არა წუთებში.

როგორ მართავს მოთხოვნა საბოლოო სურათს

თუ პროცესს ხელუხლებლად დავტოვებთ, ის უბრალოდ დამაჯერებელ, თუმცა შემთხვევით სურათს შექმნის — საჭიროა მისი კონკრეტული სცენისკენ წარმართვა. სწორედ ამას აკეთებს კონდიცირება (conditioning): ცალკე ტექსტის ენკოდერი თქვენს მოთხოვნას რიცხვით წარმოდგენად აქცევს, რომელიც ყოველ ნაბიჯზე ეგზავნება ხმაურის მომცილებელ ქსელს, რათა ხმაურის მოცილების ყველა შესაძლო გზას შორის მან ის აირჩიოს, რომელიც თქვენს სიტყვებთან მიახლოებისკენ მიდის. ტექნიკა, სახელად „კლასიფიკატორისგან დამოუკიდებელი წარმართვა" (classifier-free guidance), აკონტროლებს, რამდენად მკაცრად მისდევს შედეგი მოთხოვნას და რამდენი ვიზუალური თავისუფლება რჩება მოდელს — ზედმეტად აწეული მაჩვენებლისას სურათები მკვეთრი და ზედმეტად გაჯერებული ხდება, დაბალის შემთხვევაში კი მოთხოვნა თითქმის იგნორირებულია. ჩვენი სახელმძღვანელო AI სურათების გენერატორის გამოყენებაზე აჩვენებს, როგორ გამოიყურება ეს პრაქტიკაში.

იგივეს კეთება უფრო მცირე სივრცეში

ამ ხმაურის დამატება-მოცილების ციკლის პირდაპირ, დიდი სურათის ყოველ პიქსელზე გაშვება გამოთვლების თვალსაზრისით უკიდურესად მძიმეა. ლატენტური დიფუზია — მიდგომა, რომელიც მიუნხენის ერთმა კვლევითმა ჯგუფმა 2022 წელს გამოაქვეყნა და რომელიც Stability AI-მ თავდაპირველ Stable Diffusion-ში ჩადო — ჯერ სურათს გაცილებით მცირე მათემატიკურ წარმოდგენად შეკუმშავს, მთელ პროცესს ამ შეკუმშულ სივრცეში ატარებს და მხოლოდ ბოლოს აბრუნებს სრულ ზომაზე. სწორედ ეს ერთი ცვლილებაა მთავარი მიზეზი იმისა, რომ Stable Diffusion-ს შეუძლია პირად კომპიუტერის GPU-ზეც იმუშაოს, არა მხოლოდ მონაცემთა ცენტრში.

არა მხოლოდ სტატიკური სურათები

იგივე მექანიზმი სტატიკურ სურათებს სცდება. OpenAI-მ თავისი AI-ვიდეო გენერაციის მოდელი, Sora, აღწერა როგორც დიფუზიის სისტემა, რომელიც ხმაურს შლის ვიდეოში — ეს უკანასკნელი დაყოფილია სივრცე-დროის „ფრაგმენტებად" (patches), ბრტყელი, ორგანზომილებიანი პიქსელების ნაცვლად — და, საინტერესოა, რომ გამოსახულებაზე ორიენტირებული ქსელის ნაცვლად იყენებს ტრანსფორმერს, იმავე არქიტექტურას, რომელზეც დიდი ენობრივი მოდელებია აგებული. დიფუზიის ტექნიკებს იყენებენ ხმის სინთეზისთვისაც და, მედიის სფეროს მიღმაც, წამლების კვლევაში მოლეკულებისა და ცილების სავარაუდო სტრუქტურების გენერირებისთვისაც. დიფუზიამ ბოლო რამდენიმე წლის განმავლობაში ჩაანაცვლა უფრო ძველი გენერაციული მიდგომა — გენერაციულ-შეჯიბრებითი ქსელი (GAN) — რადგან უფრო სტაბილურად ვარჯიშობს და მოთხოვნას უფრო ერთგულად მისდევს, თუმცა თითოეული სურათისთვის მეტ გამოთვლას მოითხოვს, ვიდრე GAN-ის ერთჯერადი გავლა.

წყაროები: „Denoising Diffusion Probabilistic Models" (Ho, Jain, Abbeel, 2020); „High-Resolution Image Synthesis with Latent Diffusion Models" (Rombach et al., 2022); OpenAI, „Video generation models as world simulators."