AI algılama, Claude'un yazım tarzını yakalayabilir mi?

Resim: Antropik

Kasım ayında Anthropic, Claude.ai için bir güncelleme yayınlayarak kullanıcıların asistanın hangi ses tonuyla yanıt vereceğini seçmelerine olanak tanıdı. Varsayılan ses tonuna ek olarak, kullanıcılar önceden ayarlanmış Menkul Kıymetler, Açıklayıcı ve Resmi menüden seçim yapabilirler. Ayrıca, kendi yazma stilinize dönüştürülmek üzere bazı belgeler veya talimatlar girdiğiniz özel yazma stilleri için bir mod da bulunmaktadır.

Ön ayarlar oldukça açıklayıcıdır. Concise genellikle madde işaretleri veya listeler halinde yanıt verir. Explanatory daha uzun yanıtlar üretir. Formal, Claude'un imzası olan "Bu harika bir soru" ifadesini atlar ve oldukça profesyonel bir şekilde yazar. Ancak benim deneyimime göre, hepsi hala Claude gibi geliyor - asistana bir soru sormak ve concise/explanatory/formal yanıt istemekten farkı yok.

Ancak test etmek istediğimiz şey, yapay zeka algılama özelliğimizdir. Her bir Claude yazım stilinden Roma'nın çöküşü hakkında 250 kelimelik bir deneme yazmasını istedim. Sonuçlara bir göz atalım.

Standart Claude çıktısı Kısa Claude çıktısı Açıklayıcı Claude çıktısı Resmi Claude çıktısı

Bunların hepsi Claude'un normal yazım stiline oldukça benziyor. Bunlar, komut isteminde doğrudan "özlü" veya "resmi" bir çıktı istemekten çok da farklı görünmüyor.

Özel yazma stilleri kullanarak daha iyi sonuçlar elde edip edemeyeceğimizi görelim. Arayüz oldukça güzel, temel olarak bir metni kopyaladığınızda size tam bir komut istemi oluşturuyor. Kendi blog yazılarımdan yola çıkarak bir özel stil oluşturdum. Claude buna "Tech Storyteller" adını verdi. Slate Star Codex blog yazılarından bir tane daha oluşturdum ve Claude buna "Scholarly Skeptic" adını verdi. Görünüşe göre bu özellik, yazma stili için yaklaşık üç cümlelik talimatlar üretmek için bir LLM kullanıyor. Kullanıcı örnekleri için bir bölüm de var, ancak şaşırtıcı bir şekilde LLM'ye verilen örnekler tamamen üretilmiş ve kaynak örneklerle karşılaştırıldığında oldukça genel görünüyor.

Teknoloji Hikaye Anlatıcısı Komutu Teknoloji Hikaye Anlatıcısı Claude çıktısı Bilimsel Şüpheci Uyarısı Bilimsel Şüpheci Claude çıktısı

Bunlar hala açıkça AI yazısı gibi görünüyor ve Pangram'ın algılama modeli bunları hala yakalıyor.

AI tarafından oluşturulan kullanıcı örneklerinin bir eksiklik olabileceğini fark ettiğimden, yazım stili istemlerini manuel olarak düzenleyerek kaynak örnekleri ekledim: blog yazılarım ve Slate Star Codex yazıları.

Güncellenmiş Tech Storyteller Claude çıktısı Güncellenmiş Bilimsel Şüpheci Claude çıktısı

Hala açıkça AI yazısı olduğu anlaşılıyor. Daha mı iyiydi, yoksa daha az AI'ya benziyor muydu? Özellikle değil, ancak Tech Storyteller'daki AI'ya çok benzeyen başlığın kaldırılması doğru yönde atılmış bir adımdı. Dikkatimi çeken bir şey, yazım stili talimatlarında "karmaşık bilgileri sunmak" veya "karmaşıklığı kabul etmek"ten bahsedilmesi ve bunun sonucunda AI yazısında diğer denemelerden daha fazla "karmaşık" kelimesinin kullanılmasıydı. Tam olarak istediğimiz yazım stili değildi.

Son olarak, Pangram kontrol panelini kullanarak makalelerin hangi özelliklerinin yapay zeka tarafından yazıldığını ele verdiğini inceledim. Kullanılan ifadelerin çoğu, normal insan yazılarından çok yapay zeka yazılarında daha yaygın olarak kullanılıyordu.

Pangram Kontrol Paneli

Örneğin, modelimiz, "karmaşık ve çok yönlü" ifadesinin AI yazılarında insan yazılarından 700 kat daha sık kullanıldığını tespit etmiştir. "Karmaşık etkileşim" ifadesi 100 kat daha sık kullanılmaktadır. "Önemli bir rol oynadı" ifadesi ise 70 kat daha sık kullanılmaktadır. Bu ifadeler, AI yazıları sezgisel olarak nasıl tespit edebileceğimizin bir örneğidir, ancak model, belgenin tüm bağlamını dikkate alan bütünsel bir yaklaşım kullanmaktadır.

Sonuç olarak, Claude'un yazma stili, her komuta "no yapping" eklemek istemeyen kişiler için kullanışlı bir özellik gibi görünüyor, ancak AI çıktılarını tespit edilemez hale getirmek için bir araç değildir.