AI yazısını nasıl tespit edebilirim?

ChatGPT, birkaç saniye içinde 2000 kelimelik saçma sapan bir metin yazıyor.

ChatGPT ve diğer büyük dil modelleri (LLM'ler), genellikle topluca "AI" olarak anılır ve giderek daha popüler hale gelen araçlardır. En yaygın kullanım alanları, kullanıcının dil modeliyle doğrudan sohbet edebildiği asistanlık hizmetleridir. Ancak LLM'ler, istenmeyen veya tembelce üretilmiş AI içeriği anlamına gelen "slop" oluşturmak için giderek daha fazla kullanılmaktadır. AI slop'a bir örnek, tamamen ChatGPT tarafından yazılan ve arama trafiğini artırmak amacıyla internette yayınlanan bir blog yazısıdır. AI slop'a bir başka örnek ise, AI kullanarak birkaç uzun ve övgü dolu yorum yazarak derecelendirmelerini artırmaya çalışan bir işletmedir.

Pangram Labs, AI tarafından üretilen metinleri sınıflandırmak için yüksek doğruluklu bir makine öğrenimi modeli eğitmiştir. Eğitimin sonunda, model insan tarafından yazılmış ve AI tarafından üretilmiş yüz milyonlarca metin örneğini incelemiştir. Bu yazı, ideal olarak daha az örnekle AI metinlerini tespit etmek için kendi sezgilerinizi geliştirmenize yardımcı olacaktır.

Geçtiğimiz yıl, yapay zeka kullanımındaki büyük artış nedeniyle bu beceriyi öğrenmek zorunda kalan eğitimciler, kabul danışmanları ve yayıncılarla konuştum. Bu makale, onlardan öğrendiğim bilgilerle Pangram'da yeni çalışanları hızla işe alıştırmak için kullandığımız teknikleri bir araya getiriyor. Sonuçta, görevin kendisiyle aşina değilseniz, iyi bir makine öğrenimi modeli eğitemezsiniz.

TL;DR

• Yaygın AI ifadeleri arayın.
• ChatGPT'den, tespit etmeye çalıştığınız belge türünün çoğaltmalarını oluşturmasını isteyin ve benzerlikleri arayın.
• AI yazımını tespit edilemez hale getirmeye çalışın ve göze çarpan şeyleri arayın.
• Sezgilerinizi geliştirmek için bir AI yazım denetleyicisi kullanın.

Yazmanın bileşenleri

Konu

Genel olarak, AI kendi konusunu seçemez - belirli bir konu hakkında yazması istenir. Buna rağmen, AI kendisi için seçtiği alt konulara karşı önyargılı davranır. Örneğin, ChatGPT'ye Moby Dick'teki sembolizm hakkında bir makale yazmasını söylersem, muhtemelen en bariz konuların aynı kümesini seçecektir. Ancak, herhangi bir öğrenci ChatGPT'ye kitapta belirli bir sembolizm biçimi hakkında yazmasını söyleyebilir ve ChatGPT bunu yazabilir. Bu nedenle, bir metnin AI olup olmadığını değerlendirirken konuya çok fazla önem vermiyorum.

Yapı

Tam metinler yazması istendiğinde, AI genellikle varsayılan olarak belirli bir yapıya sahiptir. Bir blog yazısı yazmasını istediğinizde, giriş, 3-4 paragraf, bazı madde işaretleri ve yazıyı özetleyen bir sonuç bölümüyle başlar. Benzer şekilde, AI'dan bir restoran yorumu yazmasını istediğimde, genellikle "Kısa bir süre önce ____'da yemek yeme zevkini yaşadım" diyerek başlar, yemekler, ortam ve hizmet hakkında konuşur ve coşkulu bir "Kesinlikle tavsiye ederim" ifadesiyle bitirir. Varsayılan yapı da değiştirilebilir ("Bana 20 paragraflık bir blog yazısı yaz", "Yorumunu kısa tut, restoran adını belirtme."), ancak bu, birçok yazarın harcamak istemediği bir çaba gerektirir. Yazı, diğer AI yazıları ile benzer bir yapıya sahipse, bu, daha derinlemesine araştırma yapmanın güçlü bir ilk göstergesidir.

Stil

Pokerde "tell" kelimesi, birinin blöf yaparken farkında olmadan verdiği ipucunu ifade eder. Örneğin, birisi gergin olduğunda gözlükleriyle oynayarak bahisleri hakkında bilgi verebilir. Benzer şekilde, Pangram'da belirli kelimeleri veya kelime öbeklerini "AI tell" olarak adlandırıyoruz. Bunlar, ChatGPT veya diğer dil modellerinin orantısız bir şekilde tercih ettiği kelimeler veya kelime öbekleridir ve bunları fark etmeye başladığınızda, AI kökenli olduklarının çok güçlü bir işaretidir.

"Delve" (derinlemesine araştırmak), ChatGPT'nin normal Amerikan İngilizcesinde olduğundan çok daha sık kullandığı için, yapay zeka ifadesinin aşırı bir örneğidir.

Ayrıca, "Son zamanlarda büyük bir zevkle" ifadesinin restoran yorumlarında sıkça kullanılan bir ifade olduğunu ve ChatGPT'ye kapak mektubu yazmasını istediğinizde her zaman "hevesli" kelimesini eklediğini fark ettim. Yoğun bir şekilde yönlendirilse bile, LLM'ler büyük ölçüde içsel stil eğilimlerinden etkilenir. Bu nedenle, stil benim için çok önemli bir göstergedir.

İşte başlangıç noktası olarak kullanabileceğiniz yaygın AI ifadeleri listesi. (Kaynaklar: reddit, aiphrasefinder.com)

• "Dikkat edilmesi gereken önemli bir nokta"
• "Derinlemesine araştırmak"
• "Goblen"
• "Canlı"
• "Hareketli"
• "Özetle" veya "Sonuç olarak"
• "Unutma ki..."
• "Daldırın"
• "Navigating" yani "Manzarada gezinmek" "Karmaşıklıkların içinde gezinmek"
• "Manzara", yani "....'nın manzarası", özellikle "sürekli değişen manzara"
• "Vasiyet", yani "bir vasiyet..."
• "Dünyada"
• "Alemi"
• "Yola çıkmak"
• "Senfoni"
• "Kucakla"
• "X ya da Y olsanız da"
• "Konu"

Sezgilerinizi geliştirmek için teknikler

İfadeler iyi bir başlangıç noktasıdır, ancak çoğu zaman AI, açıkça AI tarafından yazılmış ancak bu ifadelerin hiçbirini kullanmayan metinler üretir. Bu beceriyi geliştirmek için, AI yazımını gerçekten incelemek için biraz zaman harcamamız gerekecek.

AI yazımını inceleyin

Bazıları için tatsız, bazıları için heyecan verici olabilir, ancak AI'yı tanımlamak istiyorsanız, AI yazısının nasıl göründüğünü bilmeniz gerekir. Tanımlamak istediğiniz belirli bir metin türü varsa, bu yardımcı olabilir. Diyelim ki AI e-postalarını tanımada gerçekten iyi olmak istiyorum. Yapılacak ilk şey, ChatGPT'den soğuk bir tanıtım e-postası yazmasını istemektir. Bir teşekkür e-postası. Bir pazarlama e-postası. Bunu birkaç kez tekrarlayın, komutu değiştirin ve her yineleme arasındaki benzerlikleri yazın. Ardından, Claude ve Gemini ile tekrar deneyin ve kalıpları aramaya devam edin.

Konu: OpenAI ile İşbirliği Fırsatlarını Keşfetmek

Sayın [Kurucunun Adı],

Umarım bu mesaj sizi iyi bulmuştur. Benim adım [Adınız] ve [Şirketiniz/Kuruluşunuz]'da [Unvanınız] olarak çalışıyorum. Şirketimiz [alanınızı veya uzmanlığınızı kısaca açıklayın] konusunda uzmanlaşmıştır. OpenAI'nin yapay zeka alanındaki çığır açan gelişmelerini takip ediyorum ve etik yapay zeka geliştirmeye olan bağlılığınız ve projelerinizin dönüştürücü etkisinden gerçekten çok etkilendim.

Organizasyonlarımız arasında olası işbirliği fırsatlarını araştırmak için sizinle iletişime geçiyorum. OpenAI'nin yapay zeka yeteneklerini [sizin özel alanınız veya teknolojiniz] konusundaki uzmanlığımızla birleştirmenin, bu alanı daha da ilerletecek ve önemli bir değer yaratacak yenilikçi çözümler ortaya çıkaracağına inanıyorum.

Bu konuyu daha ayrıntılı olarak görüşme ve ortak hedeflerimize ulaşmak için birlikte çalışabileceğimiz yolları araştırma fırsatı bulursak çok sevinirim. Size uygun bir zamanda kısa bir telefon görüşmesi veya toplantı ayarlayabilir miyiz? Zaman konusunda esnekim ve sizin programınıza uyum sağlamaktan memnuniyet duyarım.

Bu fırsatı değerlendirdiğiniz için teşekkür ederim. Birlikte çalışma ve OpenAI'deki heyecan verici gelişmelere katkıda bulunma olasılığını sabırsızlıkla bekliyorum.

Saygılarımla,

[Tam Adınız]

[Pozisyonunuz]

[Şirketiniz/Kuruluşunuz]

[İletişim Bilgileri]

[LinkedIn Profili veya Web Sitesi] (isteğe bağlı)

Rakip oyunları oynayın

Pangram Labs'ı kurduğumuzda, "İnsan Temel Çizgisi" adını verdiğimiz bir dizi çalışma yaptık. Kurallar çok basit. Bir konu seçiyorsunuz. İlk insan temel çizgimiz, üniversiteye giriş makaleleriydi. Kişi A, insanlar tarafından yazılmış beş üniversiteye giriş makalesi temin ediyor. Ardından, Kişi A, ChatGPT veya başka bir LLM kullanarak beş AI tarafından yazılmış makale oluşturuyor. Bunları karıştırıp, on makaleyi Kişi B'ye test olarak sunuyor ve hangilerinin AI tarafından yazıldığını sınıflandırmasını istiyor. Kişi B testi yapar ve gerekçelerini sunar. Bu, bu deneme yazılarının ne kadar tespit edilebilir olduğuna dair bir temel oluşturur ve sezgisel yöntemlerin geliştirilmesine yardımcı olur.

Bir adım daha ileri gitmek gerekirse, Kişi B bulgularını kullanarak daha zor bir insan referans noktası oluşturabilir, LLM'ye daha fazla girdi sağlayabilir veya onu bariz hale getiren ifadeleri kullanmamasını isteyebilir. Bu karşılıklı etkileşimler sezgilerinizi daha da geliştirebilir ve hangi AI hikayelerinin sürekli ortaya çıktığını öğrenmenize yardımcı olabilir.

İnsan referans noktası olarak, şu iki yoruma bir göz atın. Biri Yelp'ten, diğeri GPT-4'ten.

Eğer açık değilse, ilk örnek AI ve ikincisi insan. Hem konuyu (Brooklyn'dekiTextbook Cafe ) hem de yapıyı (tek paragraf) belirttim, ancak ChatGPT'nin stili o kadar güçlü ki yine de açıkça anlaşılıyor. Kendi örneğinizi yapın ve bir arkadaşınızla paylaşın!

AI algılama için geliştirilmiş araçları kullanın

Pangram Labs, yapay zeka ve insan tarafından yazılmış içeriği en iyi şekilde ayırt etmek için yüz milyonlarca belgeden öğrenen makine öğrenimi modellerini eğitmek için sayısız saatler harcadı. Bu yüzden biraz kendimi tanıtayım. Kontrol panelimiz, metin yapıştırmanıza veya belge yüklemenize olanak tanır. Dolayısıyla, emin değilseniz ve sezgilerinizden daha somut bir şey arıyorsanız, bu panel size bir sınıflandırma ve güven puanı verecektir. Kontrol paneli ayrıca, sınıflandırmada en fazla sinyal veren kelimeleri veya kelime öbeklerini gösteren daha derin bir analiz de içerir. Ben şahsen, internette alarm zilleri çaldıran bir şey gördüğümde bu aracımızı her zaman kullanıyorum ve umarım size de faydalı olur.

Sorularınız mı var? Yorumlarınız mı var? AI ile ilgili ciddi bir hata mı buldunuz ve paylaşmak mı istiyorsunuz? Twitter/X'te @max_spero_ adresinden bize ulaşın.