საკონტექსტო ფანჯარა არის მაქსიმალური ტექსტის მოცულობა — გაზომილი ტოკენებში, არა სიტყვებში ან სიმბოლოებში — რომლის „დანახვაც" შეუძლია AI მოდელს პასუხის გენერირებისას ერთდროულად. ყველაფერი, რასაც მოდელი ამჟამად „იცის" საუბრის, დოკუმენტის ან კოდის შესახებ, ამ ფანჯარაში უნდა ეტიოს — ყველაფერი, რაც უფრო ძველია ან აღემატება ზომას, უბრალოდ აღარ არის ხელმისაწვდომი მოდელისთვის.
როგორ მუშაობს ეს
საკონტექსტო ფანჯარა უფრო წააგავს მოდელის სამუშაო მეხსიერებას, ვიდრე მის გრძელვადიან ცოდნას. დიდი ენობრივი მოდელი წვრთნისას სწავლობს ზოგად კანონზომიერებებს, მაგრამ არ „იმახსოვრებს" კონკრეტულ საუბარს ისე, როგორც ადამიანი — მას ყოველ მოთხოვნაში თავიდან უნდა მიეწოდოს შესაბამისი ტექსტი. ეს ტექსტი მოიცავს სისტემურ ინსტრუქციებს, საუბრის ყველა წინა შეტყობინებას, ნებისმიერ მიმაგრებულ დოკუმენტსა თუ სურათს და, კოდირების ან აგენტური ხელსაწყოების შემთხვევაში, მოდელისთვის ხელმისაწვდომი ხელსაწყოების აღწერილობებსაც. თავად მოდელის პასუხი, გენერირების შემდეგ, შემდეგი ტურისთვის იმავე ფანჯარაში ხვდება.
საუბრის გაგრძელებასთან ერთად, ყოველი ახალი შეტყობინება ემატება საერთო მოცულობას. როცა ეს მოცულობა მოდელის ლიმიტს მიაღწევს, რაღაც უნდა დაუთმოს ადგილი — ყველაზე ძველი შეტყობინებები იშლება, შეიკვეცება ან სხვაგვარად კომპრესირდება, რათა საუბარი გაგრძელდეს. ამ პროცესს AI კომპანიები კონტექსტის მართვას უწოდებენ, ხოლო Anthropic-ის ტერმინოლოგიით — „კომპაქციას". რაც ფანჯარას გარეთ რჩება, მოდელისთვის აღარ არის ხილული, სანამ იგი სპეციალურად არ დაუბრუნდება საუბარს.
საკონტექსტო ფანჯარის ზომას ჩვეულებრივ ტოკენებში აღწერენ, სადაც ერთი ტოკენი დაახლოებით ინგლისური სიტყვის სამი მეოთხედის ტოლია. ადრეული სამომხმარებლო ჩატბოტები მხოლოდ რამდენიმე ათას ტოკენთან მუშაობდნენ — ტექსტის რამდენიმე გვერდის ტოლი მოცულობა. წამყვანმა მოდელებმა ეს მაჩვენებელი მკვეთრად გაზარდეს: მაგალითად, Claude Sonnet 5 ნაგულისხმევად 1 მილიონი ტოკენის საკონტექსტო ფანჯარით მოდის, ხოლო რამდენიმე სხვა Claude-ის მოდელი 200 000 ტოკენს გვთავაზობს — ამის შესახებ წერია Anthropic-ის დეველოპერულ დოკუმენტაციაში. მილიონი ტოკენი დაახლოებით 750 000 სიტყვაა — დაახლოებით 3000 გვერდი — რაც საკმარისია მთელი კოდბაზის ან დოკუმენტების მცირე ბიბლიოთეკის ერთ მოთხოვნაში მოსათავსებლად.
რატომ აქვს მნიშვნელობა
დიდი საკონტექსტო ფანჯარა, ერთი შეხედვით, უბრალო გაუმჯობესებად ჩანს, მაგრამ მას საკუთარი კომპრომისები ახლავს. მეტი ტექსტის დამუშავება მეტ გამოთვლით სიმძლავრეს მოითხოვს, რაც პასუხის სისწრაფეზეც აისახება. კიდევ უფრო მნიშვნელოვანია ის, რომ მოდელები საკონტექსტო ფანჯარას თანაბრად არ იყენებენ — კვლევებიც და მწარმოებელთა დოკუმენტაციაც აღწერენ მოვლენას, რომელსაც ხშირად „კონტექსტის გაფუჭებას" ან „შუაში დაკარგვის" ეფექტს უწოდებენ — როცა ძალიან გრძელი ტექსტის შუაში „დამარხულ" ინფორმაციას მოდელი ნაკლებ ყურადღებას აქცევს, ვიდრე დასაწყისში ან ბოლოში მოთავსებულს. ყველაფრის უბრალოდ ფანჯარაში ჩაყრა იშვიათად იძლევა უკეთეს პასუხს, ვიდრე მოდელისთვის მცირე, გულმოდგინედ შერჩეული, რელევანტური ტექსტის მიწოდება — ეს ერთ-ერთი მიზეზია, რის გამოც ისეთი მიდგომები, როგორიცაა მოძიება (მხოლოდ საჭირო ფრაგმენტების მოძიება მოთხოვნისამებრ, RAG-ის საფუძველი), მნიშვნელოვნები რჩება საკონტექსტო ლიმიტების ზრდის მიუხედავად.
კონტექსტის სიგრძემ ფასზეც შეიძლება იმოქმედოს, თუმცა არა ყოველთვის მოსალოდნელი გზით. ზოგიერთი მომწოდებელი ისტორიულად აწესებდა დამატებით საფასურს, როცა მოთხოვნა გარკვეულ ზღვარს გადააჭარბებდა. Anthropic, პირიქით, ახლა 1-მილიონტოკენიან მოდელებს ერთიანი, სიგრძისგან დამოუკიდებელი ტარიფით ანგარიშობს — 900 000-ტოკენიანი მოთხოვნა ტოკენზე იმავეს ღირს, რასაც 9000-ტოკენიანი, კომპანიის ფასების დოკუმენტაციის მიხედვით. ფასების სტრუქტურები მომწოდებლების მიხედვით განსხვავდება და ხშირად იცვლება, ამიტომ ღირს მომწოდებლის მიმდინარე ფასების გვერდის შემოწმება, ვიდრე ვივარაუდოთ, რომ ძველ მოდელზე მოქმედი წესი დღემდე ძალაშია.
ჩვეულებრივი მომხმარებლისთვის საკონტექსტო ფანჯარა ხსნის ნაცნობ იმედგაცრუებას: ჩატბოტი, რომელსაც თითქოს „ავიწყდება" გრძელი საუბრის დასაწყისში ნათქვამი, ადამიანური გაგებით არაფერი დავიწყებია — ეს შეტყობინება უბრალოდ ფანჯრიდან „გავარდა" ან შეიკუმშა, რათა ახალ შეტყობინებებს ადგილი გამოთავისუფლდეს. ახალი საუბრის დაწყება, საკვანძო წერტილების საკუთარი შეჯამება ან გრძელი დოკუმენტებისთვის სპეციალურად შექმნილი ხელსაწყოს გამოყენება — ყველა ეს ლიმიტთან გამკლავების პრაქტიკული გზაა.
სიახლეებში
საკონტექსტო ფანჯარის ზომა მოდელების გამოშვებისას რეალურ კონკურენტულ უპირატესობად იქცა. როცა Anthropic-მა Claude Sonnet 5 გამოუშვა, მისი 1-მილიონტოკენიანი საკონტექსტო ფანჯარა ერთ-ერთი მთავარი შესაძლებლობა იყო — მოდელს საშუალებას აძლევს, ერთ გავლაში წინა თაობებზე გაცილებით მეტი კოდი და დოკუმენტი დაამუშაოს.