Yeni Pangram değerlendirmeleri için çağrı

Pangram gibi yapay zeka algılayıcılarının üçüncü taraf araştırmacılar tarafından denetlenmesinin hayati önem taşıdığına inanıyoruz. Şu anda, en geniş örneklem büyüklüğüne sahip üçüncü taraf değerlendirmemiz Chicago Üniversitesi (UChicago) tarafından gerçekleştirildi ve bir yıldan fazla bir süre önce Pangram 3 kullanılarak yapıldı. Sürekli olarak yeni büyük dil modelleri (LLM’ler) piyasaya sürülüyor ve tamamen yapay zeka tarafından üretilen belgelerle tamamen insan tarafından yazılmış belgeler arasındaki ikili değerlendirme, gerçek dünyadaki performansın tüm yelpazesini tam olarak yansıtmıyor.

Daha fazla sayıda, yüksek kaliteli ve tamamen bağımsız Pangram performans testine ihtiyacımız var. Mükemmel bir performans testi, Pangram’ı anlamamıza ve geliştirmeye yardımcı olacak; ayrıca önümüzdeki yıllarda dünyanın yapay zeka ile nasıl etkileşime gireceğini şekillendirmemize de katkıda bulunacaktır.

Yeni üçüncü taraf değerlendirmeleri için çağrıda bulunuyoruz. Görmek istediğimiz değerlendirmelere örnek olarak, aşağıdaki sorulardan birine yanıt vermeye çalışan değerlendirmeler verilebilir:

• Mevcut dedektörler, en yeni öncü yapay zeka modellerinden gelen metinleri ne kadar iyi yakalıyor?
• AI dedektörleri, derinlemesine araştırma, ajan sistemi içinde veya AI düzenlemesinin birden fazla yinelemesi gibi bağlam açısından zengin ortamlarda nasıl bir performans sergiliyor?
• Algılayıcılar, birden fazla yazarın katkısıyla oluşturulmuş metinlerde ne kadar başarılı? Bu alandaki araştırmalar, basit gramer düzeltmelerinden tam ortak yazarlığa kadar yapay zeka desteğinin tüm yelpazesini inceleyebilir.
• Yapay zeka konuşma-metin dönüştürme programlarının çıktılarında yapay zeka metin algılayıcıları ne kadar başarılıdır? Bu programlar metni ne kadar değiştirir?
• AI dedektörleri, farklı dillerde yazılmış AI ve insan metinlerinde nasıl bir performans sergiliyor?
• Yapay zeka algılayıcıları, farklı geçmişlere sahip, farklı etnik veya kültürel gruplara mensup ve farklı türlerde veya tarzlarda yazan yazarların metinlerinde nasıl bir performans sergiliyor? Herhangi bir önyargı göstermeyen “sıfır” sonuçlar bile bizim için ilgi çekicidir.
• Yapay zeka tespit araçları, yeni taranmış tarihi belgeler gibi yeni metin türlerinde ne kadar başarılı sonuçlar veriyor?
• AI algılayıcıları, hem AI hem de insan tarafından yazılmış teknik metinler, matematik denklemleri veya kodlar üzerinde nasıl bir performans sergiliyor?

Bir karşılaştırma testinde önemsediğimiz unsurlar, olağanüstü derecede temiz veriler, en ileri düzeydeki LLM verileri ve testin çoğu algılayıcı tarafından doymamış kalmasını sağlayacak kadar yüksek bir zorluk seviyesidir.

Bu tür değerlendirmeler için kredi hibeleri sağlamaktan memnuniyet duyarız. Bir hibe konusu onaylandıktan sonra, bu hibelere ilişkin herhangi bir yayın şartı getirmiyoruz — araştırmacılar, elde ettikleri sonuçları, Pangram için olumlu olsun ya da olmasın, diledikleri gibi yayınlayabilirler.

Eğer bir araştırmacıysanız ve bizimle karşılaştırmalı değerlendirme yapmak istiyorsanız, lütfen buradan başvurun.