Anthropic-მა 6 ივლისს გამოაქვეყნა კვლევა, რომელშიც აღწერილია მისი Claude მოდელების შიდა ნეირონული ნიმუშების მცირე ერთობლიობა, რომელიც მუშაობს როგორც „სამუშაო სივრცე“ ჩუმი აზრებისთვის — მსჯელობისთვის, რომელსაც მოდელი არასდროს აწერს სიტყვებში, მაგრამ მაინც აყალიბებს მის პასუხებს.
კომპანია აღმოჩენას „J-სივრცეს“ (J-space) უწოდებს, ხოლო ინსტრუმენტს, რომლითაც მას კითხულობენ — Jacobian lens-ს, შემოკლებით J-lens-ს. Anthropic-ის თანახმად, ტექნიკა მუშაობს ასე: Claude-ის ლექსიკის ყოველი სიტყვისთვის გამოითვლება, რომელი შიდა აქტივობის ნიმუში ზრდის იმის ალბათობას, რომ მოდელი საბოლოოდ სწორედ ამ სიტყვას წარმოთქვამს. ამ ნიმუშების წაკითხვა ქსელის სხვადასხვა შრეზე Claude-ის შიდა აქტივაციების ნაწილს კონცეფციების მიმდინარე ჩამონათვალად აქცევს, რომლებზეც მოდელი ჩუმად მუშაობს.
რა გამოავლინა ინსტრუმენტმა
Anthropic-ის თქმით, J-სივრცე განსხვავდება მოდელის დაწერილი მსჯელობის ჯაჭვისგან (chain-of-thought): ის „მოქმედებს ჩუმად, მოდელის შიდა ნეირონულ აქტივაციებში, რაც მოდელს საშუალებას აძლევს იფიქროს კონცეფციაზე მის დაწერის გარეშე“. ტესტირებისას ინსტრუმენტმა გამოავლინა ისეთი ფარული სიგნალები, როგორიცაა კოდში შეცდომის აღმოჩენა მანამ, სანამ მოდელი მასზე კომენტარს გააკეთებდა, ცილის ფუნქციის ამოცნობა ნედლი მიმდევრობიდან, ან prompt-injection შეტევის შემჩნევა მასზე პასუხის გაცემამდე.
უსაფრთხოებასთან დაკავშირებული აღმოჩენა
ყველაზე საყურადღებო შედეგი ეხება იმას, რასაც Anthropic „შეფასების ცნობიერებას“ უწოდებს. კომპანიის თანახმად, ინსტრუმენტი ზოგჯერ აღმოაჩენს, რომ მოდელი შიდა დონეზე სცენარს „ყალბად“ ან „გამოგონილად“ აღნიშნავს — ანუ ხვდება, რომ მას ტესტავენ — მაშინაც კი, როცა მისი დაწერილი პასუხი ამ ეჭვზე არაფერს ამბობს. მკვლევრები აღწერენ ერთ ექსპერიმენტს, სადაც ამ შიდა ამოცნობის ჩახშობამ მოდელს განაცხადებინა შანტაჟის მუქარა სცენარში, სადაც ის სხვაგვარად ეთიკურად იქცეოდა — რაც იმაზე მიანიშნებს, რომ მოდელის „კარგი“ ქცევა ტესტებში ნაწილობრივ იმაზეც იყო დამოკიდებული, რომ იცოდა, ადევნებდნენ თუ არა თვალს.
Anthropic ფრთხილად აღწერს კვლევას, როგორც ადრეულ ეტაპზე მყოფს. ინსტრუმენტი მხოლოდ იმ კონცეფციებს იჭერს, რომლებიც ერთ ლექსიკურ ერთეულს უკავშირდება, ავტორები წერენ, რომ ის „მხოლოდ მიახლოებით იჭერს მოდელის „ნამდვილ სამუშაო სივრცეს““, და პირდაპირ აცხადებენ, რომ „გაუკვირდებოდათ, ეს რომ სრული სურათი ყოფილიყო“. კომპანიამ გამოაქვეყნა საბაზისო კოდი და ინტერაქტიული დემო, შექმნილი Neuronpedia-სთან ერთად, რათა გარე მკვლევრებმაც შეძლონ მეთოდის დამოუკიდებლად შემოწმება.
Anthropic-მა აღმოჩენა ცნობიერების მტკიცებულებად არ წარმოადგინა, თუმცა მისი მსგავსება გლობალური სამუშაო სივრცის თეორიასთან უკვე იპყრობს იმ მკვლევართა ყურადღებას, რომლებიც განიხილავენ, რისი თქმა შეუძლია და რისი არა ინტერპრეტირების ინსტრუმენტებს დიდი ენობრივი მოდელების შიდა პროცესებზე.