Yapay zeka ile yazılmış metinleri nasıl tespit edebilirim?

ChatGPT, saniyeler içinde 2000 kelimelik anlamsız bir metin yazıyor

ChatGPT ve diğer büyük dil modelleri (LLM’ler), genel olarak “AI” olarak anılan bu araçlar giderek daha popüler hale gelmiştir. En yaygın kullanım alanları, kullanıcının dil modeliyle doğrudan sohbet edebileceği bir asistan işlevi görmeleridir. Bununla birlikte, LLM’ler giderek daha fazla “slop” oluşturmak için kullanılmaktadır; bu terim, istenmeyen veya özen gösterilmeden üretilmiş AI içeriğini ifade eder. AI slop'a bir örnek, tamamen ChatGPT tarafından yazılan ve arama trafiğini artırmak amacıyla internete yayınlanan bir blog yazısıdır. AI slop'a bir başka örnek ise, AI'yı kullanarak uzun ve övgü dolu birkaç yorum yazarak puanlarını yükseltmeye çalışan bir işletmedir.

Pangram Labs, yapay zeka tarafından üretilen metinleri sınıflandırmak üzere yüksek doğruluk oranına sahip bir makine öğrenimi modeli eğitmiştir. Eğitim süreci sonunda model, insanlar tarafından yazılmış ve yapay zeka tarafından üretilmiş yüz milyonlarca metin örneğini incelemiştir. Bu yazı, ideal olarak daha az örnekle de olsa, yapay zeka metinlerini tespit etme konusunda kendi sezgilerinizi geliştirmenize yardımcı olacaktır.

Geçtiğimiz yıl yapay zeka kullanımındaki muazzam artış nedeniyle bu beceriyi öğrenmek zorunda kalan eğitimciler, öğrenci kabul danışmanları ve yayıncılarla görüştüm. Bu makale, onlardan öğrendiğim bilgilerin yanı sıra, Pangram’da yeni çalışanları hızlı bir şekilde işin içine alabilmek için kullandığımız tekniklerin bir birleşimidir. Ne de olsa, görevin kendisiyle aşina değilseniz iyi bir makine öğrenimi modeli eğitemezsiniz.

Özetle

• Yaygın olarak kullanılan yapay zeka terimlerini arayın.
• ChatGPT'den, tespit etmeye çalıştığınız belge türünün benzerlerini oluşturmasını isteyin ve benzerlikleri arayın.
• Yapay zeka ile yazılmış metinleri insan tarafından yazılmış gibi göstermeye çalışın ve göze çarpan unsurları belirleyin.
• Sezgilerinizi geliştirmek için bir intihal kontrol aracı kullanın.

Yazının bileşenleri

Konu

Genel olarak, yapay zeka kendi konusunu kendisi seçemez; belirli bir konu hakkında yazması istenir. Buna rağmen, yapay zeka kendi seçtiği alt konulara karşı bir eğilim gösterecektir. Örneğin, ChatGPT'ye Moby Dick'teki sembolizm hakkında bir deneme yazmasını istersem, muhtemelen en bariz konular arasından aynı konuları seçecektir. Ancak, herhangi bir öğrenci ChatGPT'ye kitapta belirli bir sembolizm biçimi hakkında yazmasını isteyebilir ve ChatGPT bu konuda yazabilir. Bu nedenle, bir metnin AI tarafından yazılmış olup olmadığını değerlendirirken konuya çok fazla önem vermem.

Yapı

Tam metinler yazması istendiğinde, yapay zeka genellikle varsayılan olarak belirli bir yapıya başvurur. Ondan bir blog yazısı yazmasını isterseniz, bir giriş, 3-4 paragraf, bazı madde işaretleri ve yazıyı özetleyen bir sonuç ile başlayacaktır. Benzer şekilde, AI'dan bir restoran yorumu yazmasını istersem, genellikle "Kısa bir süre önce ____'da yemek yeme keyfini yaşadım" diyerek başlayacak, yemekler, ortam ve hizmet hakkında konuşacak ve coşkulu bir "Kesinlikle tavsiye ederim" ifadesiyle sonlandıracaktır. Varsayılan yapı, komutlarla değiştirilebilir ("Bana 20 paragraflık bir blog yazısı yaz", "Yorum kısa olsun, restoran adını belirtme."), ancak bu, birçok kullanıcının harcamak istemediği bir çaba gerektirir. Yazı, diğer AI yazıları ile benzer bir yapıya sahipse, bu daha derinlemesine araştırma yapmak için güçlü bir ilk işarettir.

Stil

Pokerde "tell" kelimesi, bir kişinin blöf yaparken farkında olmadan verdiği ipuçlarını ifade eder. Örneğin, bir kişi gergin olduğunda gözlüğünü kurcalayarak bahisleriyle ilgili bilgi sızdırabilir. Benzer şekilde, Pangram'da belirli kelimeleri veya ifadeleri "AI tell'leri" olarak adlandırıyoruz; bunlar, ChatGPT veya diğer dil modellerinin orantısız bir şekilde tercih ettiği kelimeler veya ifadelerdir ve bunları fark etmeye başladığınızda yapay zeka kaynaklı olduklarına dair çok güçlü bir işaret oluştururlar.

"Delve", bir yapay zeka ipucunun en uç örneğidir; zira ChatGPT, bu kelimeyi normal Amerikan İngilizcesinde kullanıldığından çok daha sık kullanmaktadır.

Ayrıca, restoran yorumlarında "Son zamanlarda şerefine" ifadesinin sıkça kullanıldığını fark ettim ve ChatGPT'den bir kapak mektubu yazmasını istediğinizde her zaman "hevesli" kelimesini eklemeyi başarıyor. Yoğun yönlendirmelere rağmen, büyük dil modelleri büyük ölçüde içsel üslup eğilimleri tarafından yönlendiriliyor. Bu nedenle üslup, benim için büyük önem taşıyan güçlü bir göstergedir.

İşte başlangıç noktası olarak kullanabileceğiniz yaygın AI ifadelerinin bir listesi. (Kaynaklar: reddit, aiphrasefinder.com)

• "Şunu belirtmek önemlidir"
• "Keşfedin"
• "Goblen"
• "Canlı"
• "Hareketli"
• "Özetle" veya "Sonuç olarak"
• "Şunu unutma..."
• "Kendinizi şuraya bırakın"
• "Yol bulmak", yani "ortamda yolunu bulmak", "karmaşıklıkların içinden yolunu bulmak"
• "Manzara", yani "…'nın manzarası", özellikle "sürekli değişen manzara"
• "Vasiyet", yani "…'nin bir kanıtı"
• "Şu dünyada"
• "Dünya"
• "Yola çık"
• "Senfoni"
• "Kucakla"
• "X ya da Y olsan da"
• "Konu ne olursa olsun"

Sezgilerinizi geliştirmeye yönelik teknikler

İfadeler iyi bir başlangıç noktasıdır, ancak yapay zeka genellikle açıkça yapay zeka tarafından yazılmış olduğu belli olan, ancak bu ifadelerin hiçbirini içermeyen metinler üretir. Bu beceriyi geliştirmek için, yapay zekanın yazım tarzını gerçekten incelemek için biraz zaman ayırmamız gerekecek.

Yapay zeka ile yazma üzerine araştırma

Bazıları için itici, bazıları içinse heyecan verici olabilir; ancak yapay zekayı ayırt etmek istiyorsanız, yapay zeka tarafından yazılmış metinlerin nasıl göründüğünü bilmeniz gerekir. Ayırt etmek istediğiniz belirli bir metin türü varsa bu işinize yarayacaktır. Diyelim ki AI e-postalarını tanımlamada gerçekten iyi olmak istiyorum. Yapılacak ilk şey, ChatGPT'den soğuk bir tanıtım e-postası yazmasını istemektir. Bir teşekkür e-postası. Bir pazarlama e-postası. Bunu birkaç kez tekrarlayın, komutu değiştirin ve her yinelemedeki benzerlikleri not alın. Ardından, Claude ve Gemini ile tekrar deneyin ve kalıpları aramaya devam edin.

Konu: OpenAI ile İşbirliği Fırsatlarının Keşfedilmesi

Sayın [Kurucunun Adı],

Umarım bu mesaj size iyi bir zamanda ulaşır. Benim adım [Adınız] ve [Şirketiniz/Kuruluşunuz]'da [Unvanınız] olarak görev yapıyorum. Şirketimiz [alanınızı veya uzmanlığınızı kısaca açıklayın] konusunda uzmanlaşmıştır. OpenAI'nin yapay zeka alanındaki çığır açan gelişmelerini yakından takip ediyorum ve etik yapay zeka geliştirmeye olan bağlılığınız ile projelerinizin dönüştürücü etkisinden gerçekten çok etkilendim.

Kuruluşlarımız arasında olası işbirliği fırsatlarını değerlendirmek amacıyla sizinle iletişime geçiyorum. OpenAI’nin yapay zeka yetkinliklerini [belirli alanınız veya teknolojiniz] konusundaki uzmanlığımızla birleştirmenin, bu alandaki ilerlemeyi daha da artıracak ve önemli bir değer yaratacak yenilikçi çözümler ortaya çıkarabileceğine inanıyorum.

Bu konuyu daha ayrıntılı olarak görüşme ve ortak hedeflerimize ulaşmak için nasıl işbirliği yapabileceğimizi değerlendirme fırsatı bulabilirsek çok memnun olurum. Size uygun bir zamanda kısa bir telefon görüşmesi veya toplantı ayarlayabilir miyiz? Zaman konusunda esnekim ve sizin programınıza uyum sağlamaktan memnuniyet duyarım.

Bu fırsatı değerlendirdiğiniz için teşekkür ederim. Birlikte çalışma ve OpenAI’deki heyecan verici gelişmelere katkıda bulunma imkânını sabırsızlıkla bekliyorum.

Saygılarımla,

[Tam Adınız]

[Pozisyonunuz]

[Şirketiniz/Kuruluşunuz]

[İletişim Bilgileri]

[LinkedIn Profili veya Web Sitesi] (isteğe bağlı)

Karşıt takımlı oyunlar oyna

Pangram Labs’ı kurarken, “İnsan Referans Noktası” adını verdiğimiz bir dizi çalışma yaptık. Kuralları basit. Bir konu seçiyorsunuz. İlk insan referans noktamız üniversite giriş denemeleriydi. A kişisi, insanlar tarafından yazılmış beş üniversite giriş denemesi temin ediyor. Ardından A kişisi, ChatGPT veya başka bir büyük dil modelini (LLM) kullanarak yapay zeka tarafından yazılmış beş deneme oluşturuyor. Bunları karıştırıp on denemeyi B kişisine sunuyor; B kişisi ise hangilerinin yapay zeka tarafından yazıldığını sınıflandırıyor. B kişisi testi yapar ve gerekçesini belirtir. Bu, bu deneme yazılarının ne kadar tespit edilebilir olduğuna dair bir temel oluşturur ve sezgisel yöntemlerin geliştirilmesine yardımcı olur.

Bir adım daha ileri giderek, B kişisi elde ettiği bulguları kullanarak daha zor bir insan referans noktası oluşturabilir; bunu, LLM’ye daha fazla girdi sunarak ya da onu bariz kılan ifadelerden kaçınmasını isteyerek yapabilir. Bu karşılıklı etkileşimler, sezgilerinizi daha da geliştirebilir ve hangi AI ipuçlarının sürekli olarak ortaya çıktığını öğrenmenize yardımcı olabilir.

İnsan tarafından yazılmış bir referans örneği için şu iki yoruma bir göz atın. Biri Yelp'ten, diğeri ise GPT-4'ten.

Belki ilk bakışta anlaşılmayabilir, ama ilk örnek yapay zeka tarafından yazılmış, ikincisi ise insan tarafından. Hem konuyu (Brooklyn'dekiTextbook Cafe ) hem de yapıyı (tek paragraf) belirttim, ancak ChatGPT'nin kendine özgü üslubu o kadar belirgin ki, yine de fark edilebiliyor. Siz de kendiniz bir tane yazıp bir arkadaşınızla paylaşın!

Yapay zeka tespiti için geliştirilmiş araçları kullanın

Pangram Labs, yapay zeka ve insan tarafından yazılmış içerikleri en iyi şekilde ayırt edebilmek için yüz milyonlarca belgeden öğrenen makine öğrenimi modellerini eğitmek için sayısız saat harcadı. Bu durumda ben de kendimi biraz övmekten çekinmeyeceğim. Kontrol panelimiz, metin yapıştırmanıza veya belge yüklemenize olanak tanır; bu sayede, emin değilseniz ve sezginizden daha somut bir dayanağa ihtiyaç duyuyorsanız, bu araç size bir sınıflandırma ve güvenilirlik puanı verecektir. Kontrol paneli ayrıca, sınıflandırmada en belirgin sinyali veren kelimelerin veya kelime öbeklerinin hangileri olduğunu gösteren daha derinlemesine bir analiz de içerir. İnternette beni endişelendiren bir şey gördüğümde bu aracı sürekli kullanıyorum ve umarım size de faydalı olur.

Sorularınız mı var? Yorumlarınız mı var? Yapay zeka ile ilgili bariz bir hatayla mı karşılaştınız ve bunu paylaşmak mı istiyorsunuz? Twitter/X'te @max_spero_ adresinden bana ulaşabilirsiniz.

Sezgilerinizi sınamak ister misiniz? Pangram'ın yapay zeka tespit aracını kullanarak herhangi bir metni yapay zeka tarafından üretilmiş içerik açısından tarayın.