AI algılama puanınız ne anlama geliyor?

Bir öğrencinin kompozisyonunu veya bir serbest yazarın makalesini bir yapay zeka tespit programından geçiriyorsunuz. Ekranda büyük, kalın bir rakam beliriyor: %65 yapay zeka. Bundan sonra ne yaparsınız?

AI algılama puanları, "geçti" ve "kaldı" gibi sonuçların açıkça belli olduğu geleneksel değerlendirme ölçeklerine benzemez. "Tamamen AI tarafından üretilmiş" ile "AI tarafından düzenlenmiş" arasındaki ince farklar sürekli değişiyor; Pangram'daki algılama sistemlerimiz de aynı şekilde gelişmeye devam ediyor.

Bu kılavuz, basit yüzde değerlerini anlaşılır bir dille açıklıyor. Bir AI puan kontrol aracının yüzde değerlerini nasıl hesapladığını, güven aralıklarının ne anlama geldiğini ve harekete geçmek için doğru AI algılama eşiğini nasıl belirleyeceğinizi ele alıyoruz.

Bu Yüzde Aslında Neyi Gösteriyor?

Bir belgeyi yapay zeka algılama aracıyla taradığınızda, bir yapay zeka yüzdesi puanı alırsınız. Örneğin, “%50”. Bu yüzde, belgenin %50’sinin sahte ya da yapay zeka tarafından oluşturulmuş olduğu anlamına gelmez. Bu, yapay zeka yüzdesi kontrol aracına göre, bu belgenin %50’sinin yapay zeka tarafından oluşturulmuş ya da yapay zeka destekli metinler içerdiği anlamına gelir.

Yapay Zeka Algılama Puanı Örneği

Gelişmiş yapay zeka tabanlı algılama araçları, bir belgeyi tek bir dev metin bloğu olarak ele almaz. Aksine, bu araçlar metni bölümlere, cümlelere ve paragraflara ayırır. Bu ayrı parçalar, bölümler olarak değerlendirilir.

10 sayfalık bir makalede %30'luk bir puan alırsanız, bu muhtemelen metnin yaklaşık üç sayfasında LLM'lere özgü kalıpların görüldüğü anlamına gelir. Bu kalıplar arasında, diğerlerinin yanı sıra, ani yoğunluk eksikliği ve öngörülebilir sözdizimi gibi unsurlar yer alır. Bu puan, belgenin %30'unun yapay zeka tarafından üretildiği anlamına gelmez.

AI Puan Spektrumunu Okuma

Bir AI tespit aracı kullanıyorsanız ve belirli bir belge düşük bir puan alıyorsa (örneğin, %30 oranında AI tarafından üretilmiş), bu genellikle belgenin karma bir belge olduğunu gösterir. Karma bir belge genellikle bir insan tarafından yazılır ve ardından bir AI aracının yardımıyla düzenlenir. Öte yandan, %85 gibi yüksek bir puan, metnin tamamen AI tarafından üretildiğini kuvvetle işaret eder.

Yapay zeka tarafından üretilen ve insan tarafından yazılan içeriklerin karışımı

Düşük ila orta düzeyde AI algılama puanı genellikle yazar şu durumlarda ortaya çıkar:

• Grammarly gibi araçları kullanır.
• ChatGPT gibi bir LLM'den, yazdığı paragrafları “düzeltmesini” ister.
• Kendi ana dillerini İngilizceye çevirmek için yapay zeka kullanıyor.

Bir metnin dilbilimsel yapısının büyük ölçüde yapay zeka tarafından oluşturulmuş olması durumunda, genellikle yüksek bir yapay zeka algılama yüzdesi ortaya çıkar. Bu durum genellikle, metnin yazarının bir büyük dil modeline (LLM) bir komut yazıp, bu modelin doğrudan çıktısını bazı düzenlemelerle birlikte kopyalayıp yapıştırdığı anlamına gelir.

Yapay zeka puan kontrol araçları doğru sonuçlar veriyor mu?

Diğer araçların sonuçlarını doğrulayamıyoruz, ancak Pangram gibi kurumsal düzeyde yapay zeka denetleyicileri son derece yüksek bir doğruluk oranına sahiptir (%99,98). Doğruluklarını değerlendirmenize yardımcı olmak amacıyla, kurumsal düzeyde yapay zeka denetleyicilerinin çoğu, modelin kendi tespit yüzdesine ne kadar emin olduğunu gösteren bir "Güven Aralığı" sunar.

“Yapay zeka kontrol araçları doğru sonuçlar veriyor mu?” sorusunun cevabı iki gerçeğe dayanmaktadır: Bir metnin yapay zeka tarafından üretilip üretilmediğini belirlemek için istatistiksel modeller kullanılır ve bu modeller kesin sonuçlar yerine olasılıklar temelinde çalışır.

“Yüksek Güvenilirlik” işareti, metnin bilinen LLM eğitim verisi kalıplarıyla eşleştiği anlamına gelir. Metin bilinen LLM eğitim verisi kalıplarıyla eşleştiği için, yapay zeka tespit yüzdesi makul bir seviyededir. Bu, yapay zeka tespit yüzdesinin kesinlikle doğru olduğu anlamına gelmez, ancak muhtemelen doğru olduğu anlamına gelir.

“Düşük Güvenilirlik” işareti, metnin bazı yapay zeka özellikleri taşıdığına, ancak modelin kesin bir karar verebilmek için yeterli veriye sahip olmadığı anlamına gelir. “Düşük Güvenilirlik” işaretlerinin çoğu, doğru bir değerlendirme için çok kısa olan metin parçacıklarından kaynaklanır.

Yazılı içeriği siyah-beyaz bir şekilde değerlendiren bir AI kontrol aracı kullanıyorsanız, Pangram gibi bir araç, AI ile yazıldığını gösteren belirli bölümleri tespit etmenize yardımcı olabilir.

"Karışık" Sonuç

Modern iş akışlarında en yaygın durum, insan ve yapay zeka tarafından yazılan/düzenlenen içeriklerin bir araya geldiği “karma” içeriktir. Bu nedenle Pangram 3.0 gibi araçlar, metinleri bir ölçekte sınıflandırır: Tamamen İnsan Tarafından Yazılmış, Hafif Yapay Zeka Destekli, Orta Derecede Yapay Zeka Destekli ve Tamamen Yapay Zeka Tarafından Oluşturulmuş.

Karışık AI Puan Sonuçları

AI tarafından üretilen metinleri bir ölçekte sınıflandırmak önemlidir; zira sadece yazım denetleyicisini kullandığı için "Hafif AI Desteği" kategorisinde %10 puan alan bir öğrenci, %95 oranında "Tamamen AI Tarafından Üretilmiş" bir kompozisyon teslim eden bir öğrenciyle aynı muameleye tabi tutulmamalıdır. Vurgulanan bölümler, metnin tam olarak hangi kısımlarının AI ile oluşturulduğunu gösterir.

Hangi AI Puanı Eşikleri Harekete Geçmeyi Gerektirir?

Düzeltici önlem alınmasını gerektiren evrensel bir "sihirli rakam" yoktur; ancak en iyi uygulamalara göre, %20'nin altındaki yapay zeka algılama puanları genellikle standart dijital yazma yardımını işaret eder. %60'ın üzerindeki puanlar ise genellikle yazının özgünlüğü konusunda doğrudan bir görüşme yapılmasını gerektirir.

AI politikalarınızı yansıtan bir AI algılama eşiği belirlemelisiniz. Örneğin, politikanız “fikir üretmek için AI kullanılabilir, ancak metnin kendisinin yazılmasında kullanılamaz” diyorsa, %40’lık bir puan inceleme gerektirir. Ya da politikanız “yazma sürecinin hiçbir aşamasında AI kullanılmamalıdır” diyorsa, %15’lik bir puan bile muhtemelen inceleme gerektirir.

Aldığınız AI algılama puanı bir teşhis aracıdır. Yüksek bir puan ortaya çıkarsa, Pangram’ın vurguladığı bölümleri ve“AI İfadeleri”raporunu kullanarak yazarla bir araya gelebilir ve taslak hazırlama sürecini açıklamasını isteyebilirsiniz. Bu, konunun netleşmesine, rehberlik sağlanmasına ve her ikinizin de aradığı sonuca ulaşılmasına yol açabilir.

Yapay Zeka Tespiti, "Geçti/Kalmadı" Şeklinde Kesin Bir Sonuç Değildir

Pangram, günümüzün yazım sürecini şekillendiren unsurları ortaya çıkaran, incelikli bir analiz aracıdır. Yapay zeka puanının tam olarak ne anlama geldiğini kavrayarak, profesyoneller yazarlara adil davranırken, içerik bütünlüğü standartlarını da güvenle koruyabilirler.

Rakamların ne anlama geldiğini tahmin etmekten vazgeçin. Pangram’ın segment analizi ile metin yazarlığı konusunda ayrıntılı ve anlaşılır bilgiler edinin.

Belgenizi tarayın