Yapay zeka tespiti nasıl çalışır?

Önemli Noktalar:

1. Büyük dil modelleri (LLM'ler), çeşitli yapay zeka tespit araçlarının bunların insan tarafından mı yoksa yapay zeka tarafından mı üretildiğini belirlemesine olanak tanıyan belirli kalıplar sergiler.
2. Eski dedektörler patlama eğilimi ve kafa karışıklığı ölçütlerine dayanıyordu, ancak bunlar güvenilir değildir. Yeni dedektörler çok daha iyi çalışıyor ve daha büyük veri kümelerine ve aktif öğrenmeye dayanıyor.
3. Bir dedektör seçerken, kullanıcılar hangi oranda yanlış pozitif ve yanlış negatif sonuçlara razı olduklarını belirlemelidir. Ayrıca, bir araç seçmeden önce intihal kontrolü veya diğer özelliklere ihtiyaçları olup olmadığını da belirlemelidirler.
4. Yapay zeka tespitine ilişkin eğitim almamış kişiler bu konuda pek başarılı değildir. Bununla birlikte, yapay zeka tarafından üretilen metinlere maruz kalmış veya bu konuda eğitim almış kişiler, eğitimsiz kişilere kıyasla yapay zeka içeriklerini daha iyi tespit edebilir. Bu tespit yöntemi, yazılımla birleştirildiğinde oldukça etkili sonuçlar verebilir.

AI dedektörleri nedir?

Yapay zeka tespit edilebilir. Bu sihir değil, arkasında pek çok araştırma bulunan bir konudur. Akademi, medya ve iş dünyasında AI tarafından üretilen içeriklerin giderek yaygınlaştığı bir çağda, insan ve makine tarafından yazılmış metinleri ayırt edebilme yeteneği kritik bir beceridir. AI, dilbilimsel, üslup ve anlamsal seçimler yapar ve bunların tümü, eğitimli bir göz veya yeterince iyi bir otomatik algılama yazılımı tarafından tespit edilebilir. Bunun nedeni, AI'nın neden bu şekilde konuştuğunu ve onu tespit etmek için hangi kalıpları kullanabileceğimizi anlayabilmemizdir.

Büyük Dil Modelleri Nasıl Çalışır?

Yapay zeka algılama yazılımının nasıl çalıştığını ele almadan önce, yapay zeka modellerinin olasılık dağılımları olduğunu anlamak önemlidir. ChatGPT gibi bir Büyük Dil Modeli (LLM), bunun son derece karmaşık bir versiyonudur ve bir dizideki bir sonraki en olası kelimeyi veya "token"ı sürekli olarak tahmin eder. Bu olasılık dağılımları, genellikle genel internetin önemli bir bölümünü kapsayan devasa miktarda veriden öğrenilir.

Sıkça duyulan bir soru şudur: "AI dil modelleri, tüm insan yazımlarının ortalaması mıdır?" Cevap açıkça hayırdır. Dil modelleri, tüm insanların söylediklerinin sadece ortalamasını almaz. Öncelikle, dil modelleri son derece kendine özgü seçimler yapar. Ayrıca, eğitim veri kümeleri ve yaratıcılarının önyargıları nedeniyle oldukça önyargılıdırlar. Son olarak, modern LLM'ler doğruluk veya kesinlikten ziyade talimatları takip etmek ve kullanıcıların duymak istediklerini söylemek üzere optimize edilmiştir; bu özellik onları kullanışlı yardımcılar haline getirir, ancak güvenilir bilgi kaynakları olmalarını engeller.

Bu, üç aşamadan oluşan modern LLM eğitim sürecinin bir sonucudur:

1. Ön eğitim: Eğitimin bu aşamasında model, dilin istatistiksel kalıplarını öğrenir. Eğitim verilerinden kaynaklanan önyargılar bu kalıplarda kendini gösterir. Örneğin, Wikipedia gibi internette sıkça görülen veriler aşırı temsil edilir; bu nedenle yapay zeka tarafından üretilen metinler genellikle resmi ve ansiklopedik bir üsluba sahiptir. Ayrıca, eğitim verilerinin oluşturulmasında ucuz, dış kaynaklı işgücü kullanılır; bu nedenle "delve", "tapestry" ve "intricate" gibi kelimeler yapay zeka tarafından üretilen metinlerde son derece yaygın hale gelir ve bu da son kullanıcıdan ziyade veri oluşturucuların dil normlarını yansıtır.
2. Talimat Ayarlama: Bu aşamada model, talimatları takip etmeyi ve emirlere uymayı öğrenir. Sonuç olarak model, doğru ve kesin bilgiler sunmaktan ziyade talimatlara uymasının daha iyi olduğunu öğrenir. Bu da, AI'nın gerçekleri uydurmak veya "halüsinasyon" görmek zorunda kalsa bile, yardımcı ve kulağa hoş gelen bir yanıt üretmeye öncelik verdiği, dalkavukça veya "insanları memnun etmeye yönelik" bir davranışa yol açar. Onlar için doğru bilgiyi vermekten ziyade insanları memnun etmek daha önemlidir.
3. Uyum: Bu aşamada model, insanların neleri beğendiğini ve tercih ettiğini ifade etmeyi öğrenir. Neyin “iyi”, neyin “kötü” bir ifade olduğunu öğrenir. Ancak bu tercih verileri son derece önyargılı olabilir ve genellikle tarafsız, güvenli ve kimseyi rahatsız etmeyen yanıtları ön plana çıkarır. Bu süreç, modelin kendine özgü bir sesini elinden alabilir ve onu tartışmalı konuları ya da keskin görüşleri kaçınmaya yöneltebilir. Büyük Dil Modeli’nin (LLM) gerçeklik veya doğruluk konusunda temelli bir dayanağı yoktur.

Üretken yapay zeka modelleri, teknoloji şirketleri tarafından piyasaya sürülen ve çıktılarına kasıtlı olarak önyargılar ve davranışlar yansıtan ürünlerdir.

Yapay Zeka Dilinde Hangi Kalıplar Vardır?

LLM'lerin nasıl eğitildiğini anladığınızda, yapay zeka tabanlı yazma araçlarının "ipuçlarını" fark edebilirsiniz. Genellikle tek bir belirleyici kanıt değil, tüm bu kelimelerin birleşimi dedektörleri harekete geçirir.

Dil ve Üslup

• Kelime Seçimi: Yapay zeka içerik yazarlarının sık kullandığı kelimeler arasında şunlar yer alır: “yön”, “zorluklar”, “derinlemesine incelemek”, “geliştirmek”, “dokuma”, “kanıt”, “otantik”, “kapsamlı”, “hayati”, “önemli”, “dönüştürücü” gibi terimler ile “ayrıca ” ve “üstelik” gibi zarflar. Bu durum, ön eğitim veri kümelerindeki önyargılardan kaynaklanmaktadır. Bu kelimelerin sık kullanımı, aşırı resmi veya abartılı bir üslup yaratabilir; bu da tipik bir öğrenci kompozisyonu veya gayri resmi iletişim bağlamında genellikle yersiz bir izlenim bırakır.
• İfade Kalıpları: Yapay zeka ile yazılan metinlerde , "konuyu [fiil] ederken", "dikkat edilmesi gereken nokta", "sadece değil, aynı zamanda", "yol açmak" ve "konu söz konusu olduğunda" gibi ifade kalıpları sıklıkla kullanılır . Bu ifadeler gramer açısından doğru olsa da, genellikle konuşma dilinde boşluk doldurmak için kullanılır ve metne genel ve kalıplaşmış bir hava katabilir.
• Yazım ve Dilbilgisi: Yapay zeka tarafından yazılan metinler genellikle kusursuz yazım ve dilbilgisi kurallarına uyar ve karmaşık cümleler kullanmayı tercih eder. İnsanlar tarafından yazılan metinlerde ise basit ve karmaşık cümleler bir arada kullanılır; hatta uzman düzeydeki yazarlar bile, vurgu yapmak için cümle parçaları kullanmak gibi üslup nedenleriyle, "kitap kurallarına göre kusursuz" olmayan dilbilgisi kalıplarını bazen kullanır.

Yapı ve Organizasyon

• Paragraflar ve Cümle Yapısı: Yapay zeka ile yazılan metinlerde genellikle, hepsi yaklaşık aynı uzunlukta olan ve liste benzeri yapıları içeren, son derece düzenli paragraflar kullanılır. Bu durum, insan yazımındaki doğal çeşitlilikten yoksun, monoton bir ritim ortaya çıkarabilir. Bu durum cümle uzunluğu için de geçerli olabilir.
• Giriş ve Sonuç Bölümleri: Yapay zeka tarafından üretilen makaleler genellikle çok düzgün bir giriş ve sonuç bölümüne sahiptir; sonuç bölümü çoğu zaman oldukça uzundur, "Genel olarak" veya "Sonuç olarak" ifadesiyle başlar ve daha önce yazılanların çoğunu tekrarlar; esasen yeni bir bakış açısı veya sentez eklemeden tezi ve ana noktaları başka kelimelerle ifade eder.

Amaç ve Kişilik

• Amaç ve Niyet: Yazılar genellikle oldukça belirsizdir ve genel ifadelerle doludur. Bunun nedeni, talimatların ayarlanmasında talimatlara tam olarak uyulmasına aşırı önem verilmesi ve modelin konudan sapmamak için, yanlış olma riskini en aza indirmek amacıyla gerçekten belirsiz ve genel ifadeler kullanmanın en iyisi olduğunu öğrenmesidir.
• Yansıtma ve Metabilgi: Yapay zeka, yazdıklarını yansıtma ve bunları kişisel deneyimleriyle ilişkilendirme konusunda oldukça yetersizdir... çünkü ilişkilendirebileceği hiçbir kişisel deneyimi yoktur! İnsan yazıları ise yazarın kendine özgü sesini ve kişisel deneyimlerini yansıtabilir; bağlantılar kurarak, mevcut bilgilerin basit bir yeniden düzenlemesinden ibaret olmayan özgün fikirler üretebilir.
• Üslup ve Tonundaki Ani Değişimler: Bazen üslup ve tonda oldukça rahatsız edici ve ani bir değişim yaşanır. Bu durum, bir öğrencinin yazısının tamamını değil, sadece bir kısmını yapay zeka kullanarak hazırladığında ortaya çıkar ve sonuçta tutarsız ve kopuk bir metin ortaya çıkar.

Yapay Zeka Tespiti Nasıl Çalışır: Üç Adım

1. AI algılama modelini eğitme: İlk olarak, model eğitilir. İlk AI algılayıcıları, yüksek perpleksite veya yüksek patlamalı yapıya sahip metin parçalarını tespit etmeye çalıştıkları için pek iyi sonuç veremiyordu. Perplexity, bir metindeki her kelimenin büyük bir dil modeli için ne kadar beklenmedik veya şaşırtıcı olduğunu gösterir. Burstiness ise bir belge boyunca perplexity'deki değişimdir. Ancak bu yaklaşımın birkaç kusuru vardır ve genellikle AI çıktılarını algılayamaz. Ayrıca, eğitim için yalnızca sınırlı bir metin veri seti kullanırlar. Pangram gibi modern ve başarılı modeller, daha geniş bir veri seti kullanır ve daha doğru sonuçlar elde etmek için aktif öğrenme gibi teknikler kullanır.
2. Sınıflandırılması gereken metni girin ve tokenize edin: Kullanıcı metni girer. Sınıflandırıcı, girdi metnini aldığında onu tokenize eder. Bu, tüm metni alıp modelin anlamlandırabileceği bir dizi sayıya bölmek anlamına gelir. Ardından model, her bir tokeni bir gömüye dönüştürür; bu gömü, her tokenin anlamını temsil eden bir sayı vektörüdür.
3. Token'ı insan mı yoksa yapay zeka mı olarak sınıflandırın: Giriş verisi sinir ağından geçirilir ve bir çıktı gömülüsü üretilir. Bir sınıflandırıcı başlığı, bu çıktı gömülüsünü 0 veya 1 şeklinde bir tahmine dönüştürür; burada 0 "insan" etiketi, 1 ise "yapay zeka" etiketi anlamına gelir.

Peki ya yanlış pozitifler ve yanlış negatifler?

Bir yapay zeka algılama aracının değeri, aracın kullanımı sonucunda ortaya çıkan yanlış pozitif (FPR) ve yanlış negatif (NPR) sayısına göre ölçülür. Yanlış pozitif, bir algılayıcının insan tarafından yazılmış bir içerik örneğini yanlışlıkla yapay zeka tarafından yazılmış olarak tahmin etmesi durumudur. Buna karşılık, yanlış negatif ise yapay zeka tarafından üretilmiş bir örneğin, insan tarafından yazılmış metin olarak yanlış tahmin edilmesi durumudur.

İnsan Tarafından Yapılan Algılama ve Otomatik Algılama

Yapay zekayı yalnızca gözle tespit etmeyi tercih ederseniz, bu konuda eğitim almış olmanız gerekir. Uzman olmayanlar, rastgele tahmin yapmaktan daha iyi bir sonuç elde edemezler. İleri düzey dilbilimciler bile, özel bir eğitim almadan yapay zekayı tespit edemezler. En iyi sonuçları elde etmek için her iki yöntemi de kullanmanızı ve böylece daha sağlam ve adil bir değerlendirme süreci oluşturmanızı öneririz.

Yapay zeka içerik tespit araçları, bir metnin yapay zeka araçları tarafından üretilip üretilmediğini belirleyebilir. Oysa insanlar, bir metnin yapay zeka ürünü olup olmadığını söylemekle kalmaz, bu karara ek bağlam ve incelikler de katabilirler. Bir insan bağlamı bilir: öğrencinin önceki yazı örnekleri, o sınıf seviyesindeki yazının nasıl olması gerektiği ve bir öğrenciden beklenen tipik ödev cevabının neye benzediği gibi. Bu bağlam hayati önem taşır; zira yapay zeka kullanımının uygunluğu, ödev talimatlarına bağlı olarak büyük ölçüde değişebilir.

Yapay zeka tabanlı tespit araçları sadece bir başlangıçtır. Bu, bir öğrencinin akademik dürüstlüğü ihlal ettiğine dair kesin bir kanıt değildir; daha çok, daha ayrıntılı ve bağlamsal bir incelemeyi gerektiren ilk veri noktasıdır. Yapay zeka kullanımı, kasıtsız, tesadüfi veya hatta belirli bir ödev kapsamında izin verilmiş olabilir: duruma göre değişir!

Bonus: Peki ya Humanizers?!

İnsancılaştırıcılar, yapay zeka tarafından tespit edilmeyi önlemek amacıyla yapay zeka tarafından üretilen içeriği “insanlaştırmak” için kullanılan araçlardır. İçerik yazarları, yapay zeka tarafından yazılan metinlerin görünümünü değiştirmek için sıklıkla bu araçları kullanır. İnsancılaştırıcılar metni başka kelimelerle ifade eder, belirli kelimeleri çıkarır ve bir içeriğe insan benzeri “hatalar” ekler. Bazen bu, metni temelde okunamaz hale getirir veya kalitesini önemli ölçüde düşürür. Birçok AI algılayıcı, yazılımlarını insancılaştırılmış metni algılayacak şekilde eğitir. İnsancılaştırıcı kullanmak genellikle bir risktir çünkü metnin kalitesini önemli ölçüde düşürebilir; bu durum özellikle öğrenci çalışmaları için endişe vericidir.

Artık nasıl çalıştıklarını öğrendiğinize göre, kendi içeriğinizi deneyin. Yapay zeka mı, yoksa insan mı?