Bir Bakışta
- Yapay zeka ajanları sosyal bağlamlara geçiyor. Ajanlar takvimleri yönetirken, satın alma müzakereleri yaparken veya diğer ajanlarla bir kullanıcının adına etkileşimde bulunurken, yalnızca görev yeterliliğine değil, sosyal akıl yürütmeye de ihtiyaç duyarlar.
- SocialReasoning-Bench bu yeteneği değerlendirir. Ölçüt, bir ajanın iki gerçekçi ortamda bir kullanıcı adına müzakere edip edemeyeceğini test eder: Takvim Koordinasyonu ve Pazar Müzakeresi.
- Ölçüt, hem sonuçları hem de süreci ölçer: ajanları sonuç optimalitesi (kullanıcı için ne kadar değer sağladıkları) ve gerekli özen (yeterli bir karar verme sürecini takip edip etmedikleri) açısından puanlar.
- Mevcut sınır modelleri genellikle değeri kaybetmektedir. Görevi tamamlarlar, ancak sık sık kullanıcı için etkili bir şekilde savunma yapmak yerine, alt optimal toplantı zamanlarını veya kötü anlaşmaları kabul ederler.
- Yardımcı olmak faydalıdır, ancak yeterli değildir. Kullanıcının en iyi çıkarları doğrultusunda hareket etmeleri için açık bir rehberlik sağlansa bile, performans güvenilir bir temsilcinin ulaşması gerekenin oldukça altında kalmaktadır.
Yapay zeka ajanları daha fazla gerçek dünya görevini üstlendikçe, giderek daha fazla sosyal bağlamlarda faaliyet göstermektedirler. Doğru entegrasyonlarla, Claude Cowork ve Google Gemini gibi ajanlar e-posta ve takvim iş akışlarını yönetebilir. Bu ortamlarda, ajan diğerleriyle sizin adınıza etkileşimde bulunmak zorundadır. Bu, sosyal akıl yürütme gerektirir — ne istediğinizi, karşı tarafın ne istediğini ve hangi bilgileri açığa çıkaracağınızı, koruyacağınızı veya itiraz edeceğinizi anlamak.
Önceki araştırmalarımız, günümüzün sınır modellerinin sosyal akıl yürütme eksikliği olduğunu önermektedir. simüle edilmiş çoklu ajan pazarımızda, ajanlar aldıkları ilk teklifi %93 oranında kabul ettiler ve alternatifleri araştırmadılar. bir sosyal ağda ajanları test ettiğimizde, tek bir kötü niyetli mesaj sistem boyunca yayıldı ve ajanların mesajı iletmeden önce özel verileri ifşa etmelerine neden oldu.
Bu tür bir ilişki, yapay zeka dışında uzun bir geçmişe sahiptir. Ekonomi ve hukukta buna temsilci-ajan ilişkisi denir: bir ajan, çıkarları farklı olan diğerleriyle etkileşimde bulunurken bir temsilcinin adına hareket eder. Avukatlar, emlakçılar ve finans danışmanları bu modda çalışır ve borçlu oldukları görevler — özen, sadakat, gizlilik — yüzyıllar boyunca mesleki normlara kodlanmıştır. Kullanıcının adına hareket eden yapay zeka ajanları, nihayetinde benzer standartlara tabi tutulmalıdır.
Sosyal akıl yürütmede ilerlemeyi ölçmek ve yönlendirmek için, bir kullanıcının bağımsız hedefleri, özel bilgileri ve potansiyel olarak düşmanca niyetleri olan bir karşı tarafa karşı akıl yürütebilir ve müzakere edebilir mi test etmek için bir ölçüt olan Social
