AI algılama puanınız ne anlama geliyor?

Bir öğrencinin kompozisyonunu veya bir serbest yazarın makalesini bir yapay zeka tespit programından geçiriyorsunuz. Ekranda büyük, kalın bir rakam beliriyor: %65 yapay zeka. Bundan sonra ne yaparsınız?

AI algılama puanları, "geçti" ve "kaldı" gibi sonuçların net olduğu geleneksel değerlendirme ölçeklerine benzemez. "Tamamen AI tarafından üretilmiş" ile "AI tarafından düzenlenmiş" arasındaki ince farklar sürekli değişiyor; Pangram'daki algılama sistemlerimiz de bu değişime ayak uyduruyor.

Bu kılavuz, basit yüzde değerlerini anlaşılır bir dille açıklıyor. Bir AI puan kontrol aracının yüzde değerlerini nasıl hesapladığını, güven aralıklarının ne anlama geldiğini ve harekete geçmek için doğru AI algılama eşiğini nasıl belirleyeceğinizi ele alıyoruz.

Bu Yüzde Aslında Neyi Gösteriyor?

Bir belgeyi yapay zeka algılama aracıyla taradığınızda, bir yapay zeka yüzdesi puanı alırsınız. Örneğin, “%50”. Dolayısıyla, yapay zeka yüzdesi kontrol aracına göre, bu belgenin %50’si yapay zeka tarafından üretilmiş veya yapay zeka destekli metinlerden oluşmaktadır.

Yapay Zeka Algılama Puanı Örneği

Gelişmiş yapay zeka tabanlı algılama araçları, bir belgeyi tek bir dev metin bloğu olarak ele almaz. Aksine, bu araçlar metni bölümlere, cümlelere ve paragraflara ayırır. Bu ayrı parçalar, bölümler olarak değerlendirilir.

10 sayfalık bir makalede %30 puan aldıysanız, bu muhtemelen metnin yaklaşık üç sayfasında büyük dil modellerine (LLM) özgü kalıpların görüldüğü anlamına gelir.

AI Puan Spektrumunu Okuma

Bir AI dedektörü kullanıyorsanız ve belirli bir belge düşük bir puan alıyorsa (örneğin, %30 oranında AI tarafından oluşturulmuş), bu genellikle belgenin karma bir belge olduğunu gösterir. Karma bir belge genellikle bir insan tarafından yazılır ve daha sonra bir AI aracının yardımıyla düzenlenir ya da üzerine AI tarafından oluşturulmuş metin eklenir.

Yapay zeka tarafından üretilen ve insan tarafından yazılan içeriklerin karışımı

Bir yazar aşağıdaki durumlarda genellikle yapay zeka destekli bir tespit puanı alır:

• Grammarly gibi araçları kullanır.
• ChatGPT gibi bir LLM'den, yazdıkları paragrafları “düzeltmesini” ister.
• Kendi ana dillerini İngilizceye çevirmek için yapay zeka kullanıyor.

Bir metnin dilbilimsel yapısının büyük ölçüde yapay zeka tarafından oluşturulmuş olması durumunda, genellikle yüksek bir yapay zeka algılama yüzdesi ortaya çıkar. Bu durum genellikle, metnin yazarının bir büyük dil modeline (LLM) bir komut girip, bu modelin doğrudan çıktısını bazı düzenlemelerle birlikte kopyalayıp yapıştırdığını gösterir.

Yapay zeka tabanlı not kontrol araçları doğru sonuçlar veriyor mu?

Diğer araçların sonuçlarını doğrulayamıyoruz, ancak Pangram gibi kurumsal düzeyde yapay zeka denetleyicileri son derece yüksek bir doğruluk oranına sahiptir (%99,98). Doğruluklarını değerlendirmenize yardımcı olmak amacıyla, kurumsal düzeyde yapay zeka denetleyicilerinin çoğu, modelin kendi tespit yüzdesine ne kadar emin olduğunu gösteren bir "Güven" değeri sunar.

“Yapay zeka denetleyicileri doğru sonuçlar veriyor mu?” sorusunun cevabı iki gerçeğe dayanmaktadır: Bir metnin yapay zeka tarafından üretilip üretilmediğini belirlemek için istatistiksel modeller kullanılır ve bu modeller mutlak kesinlikten ziyade olasılıklar temelinde çalışır.

Yazılı içeriği siyah-beyaz bir şekilde değerlendiren bir AI kontrol aracı kullanıyorsanız, Pangram gibi bir araç, AI ile yazıldığını gösteren belirli bölümleri tespit etmenize yardımcı olabilir.

"Karışık" Sonuç

Modern iş akışlarında karşılaşılan bir gerçeklik, insan ve yapay zeka tarafından yazılan/düzenlenen içeriklerin bir araya geldiği “karma” içeriktir. Bu nedenle Pangram 3.0 (ve üzeri) gibi araçlar, metinleri bir spektrumda sınıflandırır: Tamamen İnsan Tarafından Yazılmış, Hafif Yapay Zeka Destekli, Orta Derecede Yapay Zeka Destekli ve Tamamen Yapay Zeka Tarafından Oluşturulmuş.

Karışık AI Puan Sonuçları

AI tarafından üretilen metinleri bir ölçekte sınıflandırmak önemlidir; zira "Hafif AI Destekli" olarak %10 puan alan bir metin, okul veya yayın politikası açısından %95 puan alan "Tamamen AI Tarafından Üretilmiş" bir kompozisyonla aynı şekilde değerlendirilmeyebilir. Vurgulanan bölümler, metnin tam olarak hangi kısımlarının AI ile oluşturulduğunu gösterir.

Hangi AI Puanı Eşik Değerleri Harekete Geçmeyi Gerektirir?

Düzeltici önlem alınmasını gerektiren evrensel bir "sihirli rakam" yoktur; ancak en iyi uygulamalara göre, %20'nin altındaki yapay zeka algılama puanları genellikle standart dijital yazma yardımını işaret eder. %60'ın üzerindeki puanlar ise genellikle yazının özgünlüğü konusunda doğrudan bir görüşme yapılmasını gerektirir.

AI politikalarınızı yansıtan bir AI algılama eşiği belirlemelisiniz. Örneğin, politikanız “fikir üretme aşamasında AI kullanımına izin verirken, metnin kendisinin yazılmasında AI kullanımına izin vermiyorsa”, %40’lık bir puan inceleme gerektirebilir. Ya da politikanız “yazma sürecinin hiçbir aşamasında AI kullanılmamalıdır” diyorsa, %15’lik bir puan bile muhtemelen inceleme gerektirecektir.

Aldığınız AI algılama puanı bir teşhis aracıdır. Yüksek bir puan ortaya çıkarsa, Pangram’ın vurguladığı bölümleri ve“AI İfadeleri”raporunu kullanarak yazarla bir araya gelip taslak hazırlama sürecini açıklamasını isteyebilirsiniz. Bu, konunun netleşmesine, rehberlik sağlanmasına ve her ikinizin de aradığı sonuca ulaşılmasına yol açabilir.

Yapay Zeka Tespiti, "Geçti/Kaladı" Şeklinde Kesin Bir Değerlendirme Değildir

Pangram, günümüzün yazımını şekillendiren süreçlere ilişkin net bir bakış açısı sunan, incelikli bir analiz aracıdır. Yapay zeka puanının tam olarak ne anlama geldiğini kavrayarak, profesyoneller yazarlara adil davranırken bütünlük standartlarını da güvenle koruyabilirler.

Rakamların ne anlama geldiğini tahmin etmekten vazgeçin. Pangram’ın segment analizi ile metin yazarlığı konusunda ayrıntılı ve anlaşılır bilgiler edinin.

Belgenizi Tarayın