Yapay zeka algılama sistemi, Claude'un yazım tarzlarını tespit edebilir mi?

Resim: Anthropic

Kasım ayında Anthropic, kullanıcıların asistanın hangi üslupla yanıt vereceğini seçmelerine olanak tanıyan bir güncelleme yayınladı. Varsayılan üsluba ek olarak, kullanıcılar “Özet”, “Açıklayıcı” ve “Resmi” seçeneklerinden oluşan önceden ayarlanmış bir menüden seçim yapabilirler. Ayrıca, bazı belgeleri veya talimatları girerek kendi yazım stilinize dönüştürebileceğiniz bir özel yazım stili modu da mevcuttur.

Ön ayarların işlevleri oldukça açık. "Özet" seçeneği genellikle madde işaretleri veya listeler halinde yanıt verir. "Açıklayıcı" seçeneği ise daha uzun yanıtlar üretir. "Resmi" seçeneği ise Claude'un meşhur "Bu harika bir soru" ifadesini kullanmaz ve oldukça profesyonel bir üslupla yazılar. Ancak benim deneyimlerime göre, hepsi yine de Claude'un sesini yansıtıyor; asistanına bir soru sorup özet, açıklayıcı veya resmi bir yanıt istemekle hiçbir farkı yok.

Ancak asıl test etmek istediğimiz şey, yapay zeka algılama sistemimiz. Her bir Claude yazım stilinden Roma İmparatorluğu'nun çöküşü üzerine 250 kelimelik bir deneme yazmasını istedim. Hadi sonuçlara bir göz atalım.

Standart Claude çıktısı Claude'un özlü çıktısı Açıklayıcı Claude çıktısı Resmi Claude çıktısı

Bunların hepsi hâlâ Claude'un normal yazım tarzına oldukça benziyor. Bunlar, komut satırında doğrudan "kısa ve öz" ya da "resmi" bir çıktı istenmesinden pek de farklı görünmüyor.

Özel yazım stillerini kullanarak daha iyi sonuçlar elde edip edemeyeceğimize bir bakalım. Arayüz oldukça hoş; temel olarak bir metin kopyaladığınızda sizin için tam bir yazım kılavuzu oluşturuyor. Kendi blog yazılarımdan yola çıkarak bir özel stil oluşturdum. Claude buna "Tech Storyteller" adını verdi. Slate Star Codex blog yazılarından bir başka stil daha oluşturdum ve Claude buna "Scholarly Skeptic" adını verdi. Görünüşe göre bu özellik, bir LLM kullanarak yazım stili için yaklaşık üç cümlelik talimatlar üretiyor. Kullanıcı örnekleri için bir bölüm de var, ancak şaşırtıcı bir şekilde LLM'ye verilen örnekler tamamen üretilmiş ve kaynak örneklerle karşılaştırıldığında oldukça genel görünüyor.

Teknoloji Hikaye Anlatıcısı Konu Önerisi Teknoloji Hikayecisi Claude'un çıktısı Akademik Şüpheci Konu Önerisi Bilimsel Şüpheci Claude'un çıktısı

Bunlar hâlâ açıkça yapay zeka tarafından yazılmış gibi görünüyor ve Pangram'ın algılama modeli bunları hâlâ tespit ediyor.

AI tarafından oluşturulan kullanıcı örneklerinin bir eksiklik olabileceğini fark ettiğim için, yazım stili yönergelerini manuel olarak düzenleyerek yerine kaynak örnekleri ekledim: kendi blog yazılarım ve Slate Star Codex’teki yazılar.

Güncellenen Tech Storyteller Claude çıktısı Güncellenmiş Scholarly Skeptic Claude çıktısı

Hâlâ açıkça bir yapay zeka metni olduğu anlaşılıyor. Daha mı iyiydi, yoksa yapay zeka izleri daha mı azdı? Pek sayılmaz; ancak Tech Storyteller’daki yapay zeka izlerini çok bariz gösteren başlığın kaldırılması doğru yönde atılmış bir adımdı. Dikkatimi çeken bir nokta ise, yazım stiline ilişkin talimatlarda “karmaşık bilgilerin sunulması” veya “karmaşıklığın kabul edilmesi”nden bahsedilmesiydi; bu da çoğunlukla yapay zeka metninin diğer denemelere kıyasla “karmaşık” kelimesini daha sık kullanmasına neden olmuş gibi görünüyor. Tam olarak istediğimiz yazım stili değildi.

Son bir not: Makalelerin hangi özelliklerinin onları yapay zeka tarafından yazılmış olduğunu ele verdiğini incelemek için Pangram panosunu kullandım. Kullanılan ifadelerin çoğu, normal insan yazımına kıyasla yapay zeka yazımında çok daha yaygındı.

Pangram Kontrol Paneli

Örneğin, modelimiz "karmaşık ve çok yönlü" ifadesinin yapay zeka tarafından yazılan metinlerde insan tarafından yazılanlara kıyasla 700 kat daha sık kullanıldığını tespit etti. "Karmaşık etkileşim" ifadesi 100 kat daha sık kullanılıyor. "Kritik bir rol oynadı" ifadesi ise 70 kat daha sık kullanılıyor. Bu ifadeler, yapay zeka tarafından yazılmış metinleri sezgisel olarak nasıl tespit edebileceğimizin bir örneği olsa da, model belgenin tüm bağlamını dikkate alan bütüncül bir yaklaşım benimsiyor.

Sonuç olarak, Claude'un yazım stili, her komutun sonuna "gevezelik yok" eklemek istemeyenler için kullanışlı bir özellik gibi görünüyor, ancak bu, yapay zeka çıktılarını tespit edilemez hale getirmek için bir araç değil.

Claude ve diğer modellerin çıktılarını kontrol etmek için Pangram'ın yapay zeka algılama aracını deneyin.