Pangram 3.0: Metinlerdeki Yapay Zeka Düzenlemelerinin Kapsamının Ölçülmesi

*Not: Yeni modelimiz Pangram 3.0, yayınlanmış araştırmamıza dayanmaktadır: EditLens: Metinlerdeki Yapay Zeka Düzenlemesinin Kapsamının Ölçülmesi.

ChatGPT, Claude ve Gemini gibi büyük dil modellerinin (LLM) hızla yaygınlaşması, metin yazma, düzeltme ve metinlerle etkileşim kurma biçimimizi kökten değiştirdi. OpenAI tarafından yapılan yakın tarihli bir araştırma, ChatGPT’ye yöneltilen yazma ile ilgili sorguların üçte ikisinde, modelden sıfırdan metin üretmesi yerine kullanıcının sağladığı metni değiştirmesinin istendiğini ortaya koydu. Kullanıcılar, insan tarafından yazılmış bir taslaktan yola çıkarak modellerden giderek daha fazla grameri düzeltmelerini, argümanları yeniden yapılandırmalarını veya üslubu değiştirmelerini istiyor.

İnsanlar tarafından yazılan ancak yapay zeka tarafından düzenlenmiş metinlerin yaygınlaşması, yapay zeka tespit araçları açısından ne anlama geliyor? Mevcut araçların çoğu, metinleri en fazla üç kategoriye ayırmak üzere tasarlanmıştır: tamamen insan tarafından yazılmış, tamamen yapay zeka tarafından yazılmış veya karma. Bu çerçeve, büyük dil modeli (LLM) tarafından gramer düzeltmeleri yapılan bir paragraf ile, ayrıntı eklemek amacıyla bir model tarafından genişletilen bir paragraf arasında ayrım yapmamaktadır.

Metinlerdeki yapay zeka düzenlemelerinin tüm yelpazesini tam olarak ortaya koymak amacıyla, bir metnin oluşturulmasında yapay zekanın rolünün boyutunu ölçmek üzere tasarlanmış bir model olan Pangram 3.0’ı sunuyoruz. Pangram, tamamen insan, tamamen yapay zeka veya karma gibi bir sınıflandırma sunmak yerine, yapay zeka müdahalesinin “gücüne” karşılık gelen bir puan verir.

Homojen ve Heterojen Ortak Yazarlık

Pangram 3.0, " homojen karma yazarlık metinleri" olarak adlandıracağımız durumu ele almaktadır. Homojen ve heterojen karma yazarlık arasındaki farkı inceleyelim.

Heterojen durumda, metnin her bir bölümünün yazarı doğrudan bir insana veya yapay zekaya atfedilebilir. Aşağıdaki örnekte, bir insan bir inceleme yazmaya başlar ve ardından ChatGPT’den metni tamamlamasını ister. Bu tür durumlarda, insan ve yapay zeka bölümleri arasında bir veya daha fazla sınır bulunur. Her cümleyi veya hatta her kelimeyi, onu kimin ürettiğine göre (insan mı yoksa AI mı) etiketleyebilirsiniz. Heterojen karışık metin algılama (ayrıntılı AI metin algılama olarak da adlandırılır), daha önce Kushnareva ve ark. (2024), Wang ve ark. (2023) ve Lei ve ark. (2025) tarafından incelenmiştir.

Homojen durumda, yazarlık, düzenleme süreciyle iç içe geçmiştir. Restoran yorumu örneğimize devam edecek olursak, bir insan kısa bir yorum yazıp ChatGPT’den buna ayrıntılar eklemesini isterse, homojen bir karma metin ortaya çıkar. Bu durumda, insan tarafından yazılan kelimeleri AI tarafından yazılan kelimelerden ayırmak imkansızdır: AI, insan metnini yeni kelimelerle yeniden ifade etmiştir, ancak metnin ardındaki anlam ve fikirler doğrudan insan taslağından gelmektedir (bir insan yazarın, kaynak göstermeden başka bir yazarı kendi sözleriyle aktardığı bir durumu düşünün — bu, klasik bir intihal örneğidir!).

Şekil 2: İnsan ve yapay zeka tarafından ortaklaşa yazılmış heterojen bir metin örneği (solda) ve ortaklaşa yazılmış homojen bir metin örneği (sağda)

Şekil 1’deki düzenlenmiş üç metnin her biri, homojen karma yazarlık durumuna birer örnektir. Bu üç örnekten, “Hataları düzelt” komutuyla üretilen metin ile “Daha betimleyici hale getir” komutuyla üretilen metin arasında belirgin bir fark olduğu görülmektedir. Bu fark, çıktı metinlerini insan tarafından yazılmış orijinal metinle karşılaştırdığımızda özellikle belirgindir; ancak Pangram 3.0 ile, yalnızca düzenlenmiş metin varken bu farkı nicelemeye yönelik bir adım atıyoruz, böylece kullanıcılar belirli bir metinde yapay zekanın ne kadar yaygın olduğunu daha iyi anlayabilirler.

AI ile düzenlenmiş bir veri kümesi oluşturma

Bir metinde ne kadar yapay zeka düzenlemesi bulunduğunu belirleyecek bir model eğitmek için, her metinde bulunan yapay zeka düzenlemesinin miktarı ile etiketlenmiş, yapay zeka ile düzenlenmiş metinlerden oluşan bir eğitim veri kümesi oluşturmamız gerekiyordu. Haberler, incelemeler, eğitici web makaleleri ve Reddit yazma önerileri gibi farklı alanlardaki açık kaynak veri kümelerinden tamamen insan tarafından yazılmış kaynak metinlerden örnekler aldık. Ardından, GPT-4.1, Claude Sonnet 4 ve Gemini 2.5 Flash olmak üzere 3 farklı ticari LLM kullanarak "Bunu daha açıklayıcı hale getir" veya "Denememin daha iyi bir not almasına yardımcı olabilir misin?" gibi 303 farklı düzenleme komutu uyguladık. Son olarak, insan tarafından yazılmış her metnin tamamen AI tarafından üretilmiş bir versiyonunu (aynı zamanda "sentetik ayna" olarak da adlandırılır, bkz. Pangram Teknik Raporu) oluşturduk. Nihai veri setimiz 60 bin eğitim, 6 bin test ve 2,4 bin doğrulama örneğinden oluşuyor.

Bir metnin yapay zeka tarafından ne ölçüde düzenlendiğini nasıl belirleyebiliriz?

Veri kümesi oluşturma sürecinde düzenlenmemiş kaynak metne erişimimiz olduğu için, kaynak metni ile yapay zeka tarafından düzenlenmiş halini karşılaştırarak metinde yer alan yapay zeka düzenlemelerinin miktarını ölçebildik. Yapay zekanın insan tarafından yazılmış kaynak metni ne kadar değiştirdiğini 0 ile 1 arasında bir ölçekte tahmin etmek için “kosinüs mesafesi” adlı bir metin benzerlik ölçütü kullandık; bu ölçekte tamamen insan tarafından yazılmış metinlere 0, tamamen yapay zeka tarafından üretilmiş metinlere ise 1 puanı atadık. Bu puanın, insanların AI düzenlemesini nasıl algıladıklarıyla örtüştüğünü doğrulamak için, AI tarafından üretilen metinlere aşina olan 3 uzmanı işe aldığımız bir çalışma yaptık ve onlara, AI tarafından düzenlenmiş iki metinden hangisinin daha fazla AI düzenlemesi içerdiğini seçmelerini istedik. Çalışmamız, değerlendiricilerin genel olarak metin benzerlik ölçütü seçimimizle aynı fikirde olduklarını ortaya koydu.

AI düzenlemelerini tahmin etmek üzere bir modelin eğitilmesi

Etiketlenmiş veri setimizi elde ettikten sonra, sıra modeli eğitmeye geldi. Modelimiz, yalnızca AI tarafından düzenlenmiş metinler üzerinde eğitilmiştir; bu, bir kullanıcının Pangram 3.0'ı nasıl kullanacağını yansıtmaktadır: öğrencisinin ne kadar AI kullandığını merak eden bir öğretmen, öğrencinin önceki taslaklarına değil, yalnızca öğrencinin teslim ettiği metne sahip olacaktır. Modelimiz, verilen bir metin için önceki bölümde atadığımız AI düzenleme puanını tahmin edecek şekilde eğitilmiştir. Şekil 3, hem eğitim hem de test aşamasında modelimizin girdi ve çıktılarını göstermektedir.

Uygulamada yapay zeka destekli algılama

İşte yazar Kazuo Ishiguro hakkında bir insan tarafından yazılmış bir paragraf:

İngiliz yazar Kazuo Ishiguro’nun eserlerini okumak, pek çok farklı düzeyde bir hayal kırıklığı yaşamak demektir. Ishiguro’nun bu sinir bozucu üslubunun dehası, okuyucunun karakterlere ve olay örgüsüne ne kadar duygusal olarak bağlanmış olursa olsun, her halükarda bolca hayal kırıklığı yaşatmasıdır. Dilin kendisinde bile okuyucu, tekrarlar, uzun uzadıya anlatımlar ve bolca kullanılan niteleyici sıfatlarla karşılaşır. Ishiguro, karakterlerinden biri "Kısaca anlatayım" gibi bir şey söylediğinde, bende olumsuz bir fiziksel tepki uyandırmaya alışkındır. Anlatıcıların hepsi birer mesleğe sahiptir, ancak hiçbiri profesyonel bir hikaye anlatıcısı değildir. Bilgiler yavaş, belirsiz ve kronolojik sırayla verilmez. Bu durum, okuyucuyu olay örgüsünü anlamasını kolaylaştıracak somut gerçeklerden mahrum bırakır.

Farklı komutlar uyguladıktan sonra, Pangram 3.0'ın ChatGPT'den alınan bu paragrafın yapay zeka tarafından düzenlenmiş versiyonlarını nasıl tanımladığı aşağıda yer almaktadır:

Grammarly vaka çalışması

Grammarly, kullanıcıların kendi kelime işlemcileri içinde büyük dil modellerini (LLM) kullanarak metinleri doğrudan düzenlemelerine olanak tanıyan, abonelik tabanlı bir yapay zeka yazma asistanıdır. Grammarly’yi kullanarak varsayılan düzenleme önerilerinden 9 tanesini 197 adet insan tarafından yazılmış metne uyguladığımız bir veri seti oluşturduk. Bu öneriler arasında “Basitleştir”, “Akıcı hale getir” ve “Daha betimleyici hale getir” gibi ifadeler yer alıyordu. Ardından, Pangram 3.0 kullanarak düzenlenmiş tüm metinleri puanladık. Şekil 4'te, düzenleme komutuna göre gruplandırılmış yapay zeka yardım puanlarının dağılımlarını sunuyoruz. Belki de sezgilere aykırı bir şekilde, Pangram 3.0'ın "Hataları düzelt" komutunu en küçük düzenlemeler olarak değerlendirirken, "Özetle" ve "Daha ayrıntılı hale getir" komutlarını çok daha kapsamlı düzenlemeler olarak değerlendirdiğini görebiliriz.

Şekil 4: Grammarly'den toplanan bir veri kümesinde Pangram 3.0 (EditLens) puanlarının dağılımı. Puanlar, üzerlerinde uygulanan düzenlemeye göre gruplandırılmıştır. Tüm düzenlemeler, Grammarly'nin kelime işlemcisindeki varsayılan seçeneklerdir.

Daha fazla yapay zeka düzenlemesi yaptıkça yapay zeka yardım puanı yükselir

Aynı metne 5 adet LLM düzenlemesi uyguladığımız ve her düzenlemenin ardından metni Pangram 3.0 ile yeniden puanladığımız bir deney gerçekleştirdik. Şekil 5’te, genel olarak her bir düzenlemeyi uyguladıkça AI destek puanının (EditLens) arttığını görebiliriz.

Şekil 5: Aynı belge üzerinde yapılan 5 aşamalı yapay zeka düzenlemesinin her birinden sonra elde edilen Pangram 3.0 puanları.

Uluslararası Öğrenme Temsilleri Konferansı (ICLR) Örnek Olay İncelemesi

Kasım ayında, yapay zeka araştırmacıları, yapay zeka ve makine öğrenimi alanındaki en önemli konferanslardan biri olan Uluslararası Öğrenme Temsilleri Konferansı’nda (ICLR), sunulan bildiriler ve hakem değerlendirmelerinin büyük bir kısmının yapay zeka tarafından üretilmiş olabileceğine dair endişelerini dile getirdiler. Carnegie Mellon Üniversitesi’nden Profesör Graham Neubig, bu yılki ICLR bildirileri ve değerlendirmeleri üzerinde yapay zeka tespit çalışması yürüten herkese bir ödül teklif etti; biz de Pangram olarak bu teklifi memnuniyetle kabul ettik.

Bu analizin bir parçası olarak, yanlış pozitif oranımızı (FPR) kontrol etmek amacıyla, bu değerlendirme döngüsünde ICLR’ye gönderilen tüm akran değerlendirmelerinin yanı sıra 2022 yılında gönderilen değerlendirmeler üzerinde de Pangram 3.0’ı çalıştırdık. 2022 incelemelerinde, Pangram 3.0'ın Hafif Düzenlenmiş ile Tamamen İnsan tarafından yazılmış metinler arasında yaklaşık 1/1.000, Orta Düzeyde Düzenlenmiş ile Tamamen İnsan tarafından yazılmış metinler arasında 1/5.000 ve Yoğun Düzenlenmiş ile Tamamen İnsan tarafından yazılmış metinler arasında 1/10.000 FPR oranı vardı. Tamamen AI tarafından üretilen ve Tamamen İnsan tarafından üretilen metinler arasında hiçbir karışıklık bulamadık. Bu yılki incelemelerde, Pangram 3.0, incelemelerin yarısından fazlasının bir şekilde AI yardımı içerdiğini tespit etti. Şekil 6, 2026 ICLR incelemelerinin tamamında Pangram 3.0 puanlarının dağılımını göstermektedir.

Şekil 6: Pangram 3.0 tahminlerinin 2026 ICLR makaleleri üzerindeki dağılımı

Metodolojimiz ve sonuçlarımız hakkında daha ayrıntılı bilgi edinmek için, analizimizle ilgili yazdığımız blog yazısına göz atın.

Pangram 3.0, ana dili İngilizce olmayan kişiler tarafından yazılan ve yapay zeka desteğiyle hazırlanmış metinleri nasıl işliyor?

Analiz sonuçlarımızı ve tüm incelemeler için Pangram 3.0 puanlarını yayınladık; bu sayede inceleme yazarları, yazdıkları incelemelerin Pangram 3.0 tarafından nasıl puanlandığını kontrol edebildiler. Sonuç olarak, Pangram 3.0’ın gerçek metinlerde nasıl bir performans sergilediğine dair deneyimsel geri bildirimler alabildik.

X platformunda analizimize gelen yanıtlarda sıkça tekrarlanan bir konu, yapay zeka asistanlarının, ana dili İngilizce olmayan kişilerin yazdığı metinleri nasıl değerlendirdiği ve bu kişilerin daha sonra büyük dil modellerini (LLM) kullanarak kendi yazdıkları metinleri nasıl çevirip düzelttikleri sorusuydu. Aşağıda, Pangram’ın değerlendirmelerine ilişkin tanımlamasına genel olarak katılan yorumcuların birkaç yanıtını paylaşıyoruz:

LLM'ler tarafından İngilizceye uyarlanmış yorumlarımı kontrol ettim ve hepsini "AI izi yok / tamamen insan tarafından yazılmış" olarak işaretledim

— Ana Marasović (@anmarasovic) 15 Kasım 2025

Yorumlarımı kontrol ettim. Sonuç: 2 tanesi orta derecede, 2 tanesi yoğun ve 1 tanesi hafif derecede AI tarafından düzenlenmiş. Çünkü yorumlarımı Çince yazdım ve GPT bunları İngilizceye çevirmeme yardımcı oluyor. Bu sonuç pek de şaşırtıcı değil. Ama bence ben sorumlu bir yorumcuyum :) https://t.co/1QoRvF6q2y

— Rising Zhang (张瑞星) (@xing_rui12683) 16 Kasım 2025

Artık yapay zekanın ürettiği içeriği tespit etmesi konusunda, yapay zekanın ürettiği içeriğin kendisine güvendiğimizden daha fazla yapay zekaya güveniyoruz haha.
Açıkça belirtmek gerekirse, bu analizin yapılmasını mümkün kılan çaba gösteren kişilere tam saygı duyuyorum.

Kendi deneyimimden: Dört yorumun da… https://t.co/qzjxeG48u2

— Shuaichen Chang (@ShuaichenChang) 17 Kasım 2025

Bu ürün güncellemesini sizlerle paylaşmaktan büyük mutluluk duyuyoruz. Pangram 3.0 yapay zeka destekli algılama özelliği (EditLens) hakkında daha fazla teknik ayrıntı için araştırma makalemize buradan göz atabilirsiniz: https://arxiv.org/abs/2510.03154