Yapay zekanın geride bıraktığı izleri nasıl ölçüyoruz?
Muhtemelen ipuçlarını biliyorsunuzdur. "Delve" kelimesi. Dağınık uzun çizgiler. İtici emojiler ya da olmaması gereken yerlerdeki karmaşık biçimlendirmeler. Ya da belki tam olarak ne olduğunu tam olarak belirleyemiyorsunuz, ama belli bir belge size bir şekilde yapay zeka kokuyor.
Muhtemelen haklısınız. Araştırmalar, insanların yapay zeka tarafından yazılmış metinleri gözle ayırt edebilmek için sezgilerini geliştirebileceklerini ortaya koymuştur. Ancak bu süreç bazen zahmetli, kafa karıştırıcı ve başkalarına anlatması zor olabiliyor.
"Destekleyici Kanıtlar", yapay zekanın bu ipuçlarını ortaya çıkarmaya yönelik bir araç setidir. Milyonlarca insan ve yapay zeka belgesinden oluşan veri havuzumuzda kanıta dayalı özellik çıkarma yöntemini kullanarak, yapay zeka çıktılarında sıklıkla rastlanan dokuz kalıp belirledik.
Tek başına hiçbir kanıt, kesin bir ipucu değildir. Bir metinde belirli bir yapay zeka ifadesinin veya emojinin yer alması, o metnin yapay zeka tarafından yazıldığı anlamına gelmez.
Pangram'ın amiral gemisi niteliğindeki algılama modeli, bir belgeyi kapsamlı bir bakış açısıyla değerlendirir ve belirli bir metinle ilgili milyonlarca sinyali bir araya getiren derin öğrenme tabanlı bir algılayıcı kullanır. Çıkarılan destekleyici kanıtlar, modelimize girdi olarak kullanılmamaktadır.
Yeterli sayıda kanıt sunarak, Pangram’ın yapay zeka tahminlerine ilişkin daha fazla anlayış, netlik ve güven kazandırmayı umuyoruz. İşte takip ettiğimiz dokuz kalıbın, insan metinlerine kıyasla yapay zeka metinlerinde ne kadar daha sık ortaya çıktıklarına göre sıralanmış bir dökümü.
| Sinyal | Örnek | İnsan10.000 kelime başına | AI10.000 kelime başına | Çarpan |
|---|---|---|---|---|
| Markdown | **amilaz**Destekleyici KanıtlarMarkdownDüz metin bağlamlarına eklenen Markdown biçimlendirmeleri | 8 | 90 | 12× |
| AI İfadeleri | 45x derinlemesineincelemeDestekleyici KanıtlarAI İfadesiYapay zeka tarafından üretilen metinlerde çok daha sık görülen kelime kalıpları | 3 | 30 | 12× |
| Kısa çizgiler | Destekleyici KanıtlarUzun çizgiİnsan yazarların genellikle kullanmayacağı yerlerde uzun tirelerin aşırı kullanımı | 2 | 17 | 10× |
| Madde işaretli listeler | - Tükürük bezleriDestekleyici KanıtlarMadde İşaretli ListelerBilgileri sistematik bir şekilde düzenlemek için kullanılan yapılandırılmış listeler | 3 | 28 | 9× |
| Üçlüler | Üçlüler1geçmiş, 2şimdiki ve 3gelecekDestekleyici KanıtlarÜçlülerFikirleri üçlü gruplar halinde düzenlemek: Yapay zekada yaygın bir retorik kalıp | 5 | 19 | 4× |
| "Sadece X değil, Y de" | Sadece hayatta kalmaklakalmayıp AmagelişmekDestekleyici KanıtlarKontrast DeseniYapay zeka tarafından yazılan metinlerde sıkça rastlanan "sadece A değil, aynı zamanda B" yapıları | 1 | 3 | 3× |
| Olağandışı Unicode | ≈Destekleyici KanıtlarUnicodeİnsancıllaştırma girişimlerine işaret edebilecek olağandışı Unicode karakterleri | 28 | 71 | 3× |
| AI tarzı başlıklar | Elbette! İşteDestekleyici KanıtlarAI BaşlığıAI çıktılarında sıkça rastlanan aşırı yardımcı başlıklar ve girişler | 1 | 2 | 2× |
| Emojiler | 🚀Destekleyici KanıtlarEmojiİnsan yazarların genellikle eklemeyeceği yerlere emoji eklenmiş | 0.1 | 0.2 | 2× |
Markdown, biçimlendirme bilgilerini karakterler aracılığıyla kodlamanın bir yoludur. Bu, **kalın**, ## başlıklar, ```satır içi kod``` veya *italik* şeklinde görünür. Büyük Dil Modelleri, öğeleri vurgulamak veya belirli ifadelere dikkat çekmek için genellikle gösterişli görselleştirmelere başvurur. Google Dokümanlar, e-posta istemcileri veya forum kutularına yazı yazan insanlar ise nadiren bunu yapar.
İnsanlar ve yapay zeka, farklı Markdown sembollerini farklı sıklıkta kullanır.
| Varyant | İnsan / 10.000 | AI / 10.000 | Çarpan |
|---|---|---|---|
| Kalın (**metin**) | 2 | 65 | 43× |
| Başlıklar (#) | 0.5 | 11 | 23× |
| Satır içi kod | 0.2 | 0.8 | 5× |
| İtalik | 5 | 13 | 2× |
AI İfadeleri, elimizdeki ilk destekleyici kanıtlardı. Bazen AI’nın belirli kelimeleri ve ifadeleri aşırı kullanma eğiliminde olduğunu fark etmek kolaydır. Ancak daha yakından incelendiğinde, AI’nın istatistiksel olarak anlamlı bir düzeyde aşırı kullandığı binlerce ifadeye rastlayabilirsiniz. Burada, bu ifadeleri öne çıkarıyoruz.
Bunların her biri, insan tarafından yazılan metinlere kıyasla yapay zeka tarafından yazılan metinlerde çok daha sık karşımıza çıkıyor. Farklı modellerin farklı tercihleri olduğundan, model ailesi bazında ayrı listeler tutuyoruz.
Uzun tire, bir ara vermeyi belirtmek, vurgu eklemek veya daha etkileyici bir üslup yaratmak amacıyla diğer noktalama işaretlerinin yerine kullanılan, geçerli bir noktalama işaretidir. Nedeni ilk bakışta anlaşılmasa da, yapay zeka uzun tireyi insanlara kıyasla 10 kat daha sık kullanmaktadır.
İnsanlar ortalama olarak her 10.000 kelimede 5 uzun tire kullanır. Çoğu model ailesi bu sayıyı 7 ila 9 kat aşıyor; oysa Gemini 3 Pro, insan yazarlara göre daha az uzun tire kullanıyor.
| Model ailesi | 10.000 başına | Çarpan |
|---|---|---|
| İnsan referans değeri | 5 | 1× |
| OpenAI | 45 | 9× |
| Açık Kaynak | 37 | 8× |
| Antropik | 32 | 7× |
| Google (Gemini 3 Pro) | 3 | 0.7× |
Bir teoriye göre: Büyük dil modellerinin (LLM) ilk yükselişinin ardından 2024 yılında yapay zeka kaynaklı uzun tire kullanımında ani bir artış yaşandı; bu durum, bazılarının bu kullanımların, şirketlerin kitapları ve diğer uzun basılı belgeleri taramak ve bu belgeler üzerinde model eğitimi yapmak için kullandıkları belge ayrıştırıcı temel modellerinden kaynaklandığını düşünmesine yol açtı.
Bir insan “elma, portakal ve muz” yazarken, model genellikle hızlı sohbet arayüzlerinde metni daha iyi düzenlemek amacıyla satır sonu ve tire kullanır. Bu yanlış değildir, daha çok yapısal bir alışkanlıktır. Modeller bunları insanlara kıyasla yaklaşık dokuz kat daha sık üretir ve genellikle düz metinlerin daha doğal okunacağı bağlamlarda kullanır.
Oysa insanlar şöyle yazabilir: Amilaz, tükürük bezlerinizde ve pankreasınızda üretilir; bu bezler ve organ, nişastaları parçalamak üzere amilazı ince bağırsağınıza salar.
Üçlü kural, yüzyıllardır var olan bir dil kalıbıdır. Pek çok üçlü ifade ortak kelime dağarcığımıza girmiştir: “kan, ter ve gözyaşı”, “geçmiş, bugün ve gelecek” ya da hatta “azalt, yeniden kullan, geri dönüştür!” Ancak yapay zeka, bu kalıbı çoğu zaman doğal gelen sınırların ötesine taşıyor ve bunları insanlara kıyasla yaklaşık dört kat daha sık kullanıyor.
En anlaşılmaz yapay zeka kalıplarından biri olan "Sadece X değil, Y de" ifadesi, son derece yaygın bir şablonu ifade eder. Yapay zeka, bir şeyin sadece tek bir şey olmadığını, tamamen ayrı bir şey olduğunu söylemeye bayılır! Yapay zeka, bu şablona uyan ifadeleri insanlara göre üç kat daha sık kullanır.
Olağandışı Unicode karakterleri, hiç kimsenin klavyesinde bulunmayan karakterlerdir: süs amaçlı tireler, matematik işleçleri, ok simgeleri, kutu çizme karakterleri veya kullanıcı arayüzü tarzı işaretler. Bunlar insan tarafından yazılmış metinlerde de görülebilir, ancak nadirdir. Ayrıca, başka türlü birbiriyle ilgisi olmayan metinlerde kullanılan olağandışı Unicode karakterleri, bazen metni insan eliyle yazılmış gibi gösterme girişimlerini işaret edebilir.
| Char | Kod noktası | Ad | Çarpan |
|---|---|---|---|
| ─ | U+2500 | kutu çizimleri, açık renkli, yatay | 940× |
| ≈ | U+2248 | neredeyse eşit | 241× |
| ⚠ | U+26A0 | uyarı işareti | 57× |
| → | U+2192 | sağa ok | 48× |
“Elbette! İşte…” “Tabii! İşte bir…” “Memnuniyetle…” Bu neşeli sohbet robotu selamlamaları, modellerin komutlara nasıl yanıt verecek şekilde eğitildiğinin bir göstergesidir. Bunlar, bir metnin yapay zeka ile oluşturulduğunu açıkça ele verebilir, ancak daha deneyimli kullanıcılar genellikle bunları kaldırır.
Modellerin komutlara yanıt verecek şekilde nasıl eğitildiğini gösteren bir örnek.
| İfade | İnsan / 10.000 | AI / 10.000 | Çarpan |
|---|---|---|---|
| “Elbette! İşte” | 0 | 94 | 70× |
| “Tabii! İşte bir” | 0 | 23 | 18× |
| “İşte bilmeniz gerekenler” | 5 | 85 | 11× |
| “Seve seve” | 54 | 358 | 5× |
Hiç kimse “Elbette! İşte bir tane” yazmadı. Yapay zeka bunu 94 kez yazdı.
AI metinlerinde genel emoji kullanımı neredeyse hiç artmamıştır; insanlar da yaklaşık aynı sıklıkta kullanmaktadır. Ancak hangi emojilerin kullanıldığı konusunda büyük farklar vardır. Onay işaretleri, uyarı işaretleri ve tuş üzerindeki rakamlar, insanların ortalama kullanımının yüzlerce katı sıklıkta görülürken, insanlar kendilerini ifade etmek için yüz emojilerini AI’dan çok daha sık kullanmaktadır.
AI metinlerinde emoji kullanımı genel olarak pek artmış değil. Ancak bazı emojiler de büyük farklılıklar var — kullanıcı arayüzü için kodlanmış simgeler, insan metinlerindeki ortalama kullanımın yüzlerce katı sıklıkta karşımıza çıkıyor.
| Emoji | Ad | Çarpan |
|---|---|---|
| ✅ | beyaz, kalın onay işareti | 167× |
| 2️⃣ | tuş kapağı iki | 129× |
| 4️⃣ | tuş kapağı dört | 98× |
| 3️⃣ | tuş kapağı üç | 86× |
| ✔️ | onay işareti | 64× |
| 1️⃣ | tuş kapağı bir | 61× |
| 🚀 | roket | 26× |
| ❌ | çapraz işareti | 24× |
Günlük hayatta sosyal emojiler insan tarafında biraz daha sık görülür:
| Emoji | Çarpan |
|---|---|
| 😊 | 0.6× |
| ❤️ | 0.2× |
