Yüksek Hassasiyetli Yapay Zeka Tarafından Oluşturulan Metin Algılama Konusunda Teknik Rapor

Pangram Labs'ın yapay zeka tarafından üretilen metin sınıflandırıcısının eğitim süreci

Giriş

Pangram Labs olarak, interneti sahte, aldatıcı ve düşük kaliteli içeriklerin istilasına karşı korumak için en iyi yapay zeka metin algılama modelini geliştiriyoruz. Büyük dil modellerinin (LLM) şekillendirdiği bir dünyada, insanların gerçeği tespit edebilmek için en iyi araçlara sahip olması gerektiğine inanıyoruz ve bu ihtiyacı karşılamak üzere doğru teknolojiyi sunmak istiyoruz.

Pangram Labs, spam veya dolandırıcılık amaçlı içeriklerde yaygın olarak kullanılabilecek yapay zeka tarafından üretilmiş metinleri tespit etmek için kapsamlı bir sınıflandırıcı geliştirdi. Modelimiz piyasadaki diğer alternatiflerden ne kadar daha iyi? Bu blog yazısında, modelimizin performansına dair kapsamlı bir analiz sunuyoruz; buna ilk kez kamuoyuna sunduğumuz teknik teknik raporumuz da eşlik ediyor.

Bu blog yazısı birkaç konuyu ele alacak:

• Yapay zeka tarafından üretilen metinlerin tespiti neden önemli bir sorundur?
• Hangi yapay zeka tarafından üretilen içerik tespit aracı en iyisidir?
• Yüksek doğruluk neden önemlidir?
• Pangram Labs hangi tür içerikleri tespit edebilir?
• Pangram Labs bu sorunu çözmek için nasıl bir yaklaşım benimsedi?

Metodolojiyi de içeren daha teknik bir inceleme için, Pangram Yapay Zeka Tarafından Oluşturulan Metin Sınıflandırıcısı hakkındaki Teknik Raporumuzu inceleyebilirsiniz.

Özetle

Genel doğruluk, yanlış pozitif örnekler ve yanlış negatif örnekler gibi temel doğruluk ölçütlerini belirlemek amacıyla yaklaşık 2000 belgeyi kullanarak rekabetçi bir karşılaştırmalı değerlendirme gerçekleştirdik.

Our text classifier outperforms academic methods and shows significantly lower error rates in a comprehensive benchmark against other available AI text detection methods. Our model demonstrates 99.85% accuracy with 0.19% false positive rate across thousands of examples across ten different categories of writing and eight commonly used large language models. Other methods fail on more capable LLMs such as GPT-4 (<=75% accuracy) while Pangram Labs sustains 99-100% accuracy across all language models tested.

Genel doğruluk karşılaştırması

Yapay Zeka Tarafından Oluşturulan Metinlere Giriş

ChatGPT gibi büyük dil modelleri (LLM'ler), yapay zeka yeteneklerinin bir dönüm noktasına ulaşmasıyla 2023 yılında büyük bir popülerlik patlaması yaşadı. Yapay zeka asistanlarını destekleyen LLM'ler, soruları yanıtlayabiliyor, beyin fırtınası yapabiliyor ve içerik yazabiliyor; üstelik tüm bunları ikna edici bir şekilde insan gibi konuşarak gerçekleştiriyor. Bu durum bazı olumlu sonuçlar doğurdu: bilgiye her zamankinden daha kolay erişilebiliyor ve asistanlar, rutin işleri hallederek bize zaman kazandırabiliyor. Ancak, herkes neredeyse hiç çaba harcamadan ikna edici bir şekilde insan gibi metinler üretebiliyor ve bunun da kendine özgü dezavantajları var. Spam gönderenler, filtrelenmesi daha zor e-postalar yazabilir. Çevrimiçi pazar yeri satıcıları, dakikalar içinde binlerce gerçek gibi görünen yorum üretebilir. Kötü niyetli kişiler, sosyal medyaya girip binlerce LLM destekli botla kamuoyunu etkileyebilir.

Ne yazık ki bu toplumsal riskler büyük dil modelleri düzeyinde azaltılamaz; dil modelleri, bir talebin meşru mu yoksa bir spam göndericisi tarafından oluşturulan binlerce talepten biri mi olduğunu anlayamaz. Bu nedenle, insan alanlarını insanlara ait tutmak için uygulama katmanında içerik filtrelerine ihtiyacımız var.

Pangram Labs neden doğruluğa bu kadar önem veriyor?

Bu alanda pek çok şüpheci görüş duyduk. Sorunun çözülemeyeceği, yapay zeka dedektörlerinin "işe yaramadığının" kanıtlandığı ya da bu sorunu basitçe bir komutla aşabileceğiniz gibi iddialar var. Hatta şu anda mümkün olsa bile, gelecek yıl daha zorlaşacak ve genel yapay zeka (AGI) ortaya çıktığında imkansız hale gelecektir.

Bizim görüşümüz biraz farklı. Bu sorunun çözülmesinin sadece mümkün değil, aynı zamanda zorunlu olduğuna yürekten inanıyoruz. Ne kadar zor olursa olsun, kullanıcıların kullanabileceği ve güvenebileceği bir şey geliştirmek için kaç saat harcamamız gerektiği önemli değil. Bizim çabalarımız olmazsa, internetin yapay zeka spamcıları tarafından istila edilmesi an meselesi. İnsan sesleri gürültünün içinde kaybolup gidecek.

Bizim için sorunun çözüldüğünden emin olmak, değerlendirme setlerimizin zorluk derecesini sürekli artırmayı gerektiriyor. İlk değerlendirmelerde %100 doğruluk oranına ulaşmak kolaydı, ancak bunun gerçek dünyadaki doğruluğu yansıtmadığı kısa sürede ortaya çıktı. Daha zorlu değerlendirmeler oluşturarak, kaydettiğimiz ilerlemeyi objektif bir şekilde ölçebiliyoruz. Mevcut benchmark'ımızın gerçek dünyadaki spam göndericilerin yaptıklarından biraz daha zor olduğuna inanıyoruz ve bu benchmark neredeyse maksimum seviyeye ulaşmış durumda. Yeni rakamlarla geri döndüğümüzde, diğer yöntemlerin daha da kötüleştiği izlenimi verebilir, ancak gerçekte daha zor bir değerlendirme setiyle geri döneceğiz ve en yetenekli yapay zekalar, gerçekçi görünen metinler oluşturmak için sınırlarına kadar zorlanacak. Hedefimiz ise bunu %99 doğrulukla yakalayabilmek.

Bu sorun hiçbir zaman tam anlamıyla çözülmeyecek, ancak büyük dil modellerinin yetenekleri giderek artarken geride kalmamak için istikrarlı bir şekilde ilerlememiz gerekiyor. Biz bu iş için buradayız ve sonuna kadar bu yolda ilerlemeye devam edeceğiz.

Yapay zeka tabanlı algılama araçlarının karşılaştırması

Teknik raporumuzda, Pangram Labs'ı önde gelen iki yapay zeka tespit aracıyla ve ayrıca 2023 yılına ait en gelişmiş akademik yapay zeka tespit yöntemiyle karşılaştırdık.

Şunları karşılaştırıyoruz:

• Pangram Laboratuvarları
• GPTZero
• Originality.ai
• DetectGPT

Karşılaştırma çalışmamız 1.976 belgeyi kapsamaktadır; bunların yarısı insanlar tarafından yazılmış, diğer yarısı ise ChatGPT ve GPT-4 dahil olmak üzere en popüler sekiz büyük dil modelinin (LLM) ürettiği metinlerdir.

Genel doğruluk karşılaştırması

Bu rakamların ne anlama geldiğine dair kısa bir açıklama:

• Doğruluk: Araç, toplam belgelerin yüzde kaçını doğru bir şekilde sınıflandırdı?
• Yanlış pozitif oranı: Tüm insan kaynaklı belgelerden kaç tanesi yanlışlıkla yapay zeka kaynaklı olarak sınıflandırıldı?
• Yanlış negatif oranı: Tüm AI belgeleri arasında, kaç tanesi yanlışlıkla insan tarafından yazılmış olarak sınıflandırıldı?

Yanlış pozitif oranını somut bir şekilde açıklamak gerekirse: %9, her 11 insan tarafından yazılmış belgeden birinin yapay zeka tarafından yazılmış olarak işaretleneceği anlamına gelir. %2'lik bir yanlış pozitif oranı ise her 50 insan tarafından yazılmış belgeden birinin yapay zeka tarafından yazılmış olarak işaretleneceği anlamına gelir. Ve %0,67 ise her 150 insan tarafından yazılmış belgeden birinin yapay zeka tarafından yazılmış olarak işaretleneceği anlamına gelir.

Benzer şekilde, %10'luk yanlış negatif oranı, her on yapay zeka belgesinden birinin tespit edilmeden geçip gittiği anlamına gelirken, %1,4'lük yanlış negatif oranı ise her yetmiş yapay zeka belgesinden birinin tespit edilmeden geçip gittiği anlamına gelir.

Bu sonuçların doğurduğu sonuçları bir düşünün. Yüzde 9 oranında yanlış pozitif sonuç veren bir tespit modeline güvenilemez; aksi takdirde asılsız suçlamalar yaygınlaşır. Yüzde 10 oranında yanlış negatif sonuç veren bir tespit modeli ise o kadar çok yapay zeka kaynaklı spam'in geçmesine izin verir ki, herhangi bir saldırı durumunda kullanıcılar yine de spam bombardımanına maruz kalır.

Sonuçları daha ayrıntılı olarak incelemek

Karşılaştırma ölçütümüz iki farklı eksene ayrılmıştır: metin alanı ve kaynak LLM. "Metin alanı" ya da kısaca "alan", belirli bir yazı türünü ifade etmek için kullanılan bir terimdir. Örneğin, bir ortaokul kompozisyonu bilimsel bir makaleden çok farklıdır; bilimsel makale de bir e-postadan çok farklıdır. Sonuçları farklı alanlara ayırarak, hangi alanlarda başarılı olduğumuzu ve gelişmek için çabalarımızı hangi alanlara yoğunlaştırmamız gerektiğini daha kapsamlı bir şekilde görebiliriz.

Metin alanına göre doğruluk

Sonuçlar, Pangram Labs'ın değerlendirilen on alanın hepsinde GPTZero ve Originality'yi geride bıraktığını gösteriyor.

E-posta, bu alanlardan biri olarak özellikle dikkat çekici bir sonuç ortaya koyuyor; zira Pangram Labs, eğitim verilerinde hiçbir e-posta örneği kullanmıyor. E-posta alanındaki performansımız, tamamen bir LLM’nin üretebileceği yazı türlerinin çoğuna genelleme yapabilen sağlam bir modelin eğitilmesinden kaynaklanıyor.

LLM tarafından kaynağına göre doğru şekilde sınıflandırılmış AI belgeleri

Kaynaklara göre yapılan ayrıştırma, rakip yapay zeka algılama modellerinin daha düşük kapasiteli açık kaynaklı modellerde daha iyi performans gösterdiğini, ancak ChatGPT (gpt-3.5-turbo) üzerinde daha kötü sonuçlar verdiğini ve OpenAI’nin en yetenekli büyük dil modeli olan GPT-4’te ise ciddi zorluklar yaşadığını ortaya koyuyor. GPT-3.5 Turbo ve GPT-4 modellerinin çeşitli sürümlerini değerlendirdik, zira bunlar pratikte en yaygın olarak kullanılanlar.

Gördüğümüz kadarıyla, GPT-4 metinlerini güvenilir bir şekilde tespit edebilen tek model biziz ve test ettiğimiz diğer tüm modellerden de daha iyi performans gösteriyoruz.

İlginç bir gözlem, rakiplerimizin kapalı kaynaklı GPT ve Gemini modellerine kıyasla açık kaynaklı modellerde çok daha iyi performans gösterdiği yönündedir. Bunun nedeninin, perplexity ve burstiness özelliklerine aşırı güvenilmesinden kaynaklandığını varsayıyoruz. Bu özellikler değerli olmakla birlikte, perplexity ve burstiness değerleri yalnızca açık kaynaklı modellerde kesin olarak hesaplanabilir; kapalı kaynaklı modellerde ise yalnızca yaklaşık bir tahmin yapılabilir. Bu durum, derin öğrenme tabanlı yaklaşımımızın değerini ortaya koymaktadır; bu yaklaşım, perplexity gibi kırılgan özelliklere dayanmaz ve daha ince altta yatan kalıpları öğrenebilir.

Dayanıklılık

Sıkça sorulan bir soru şudur: Yeni bir dil modeli piyasaya sürüldüğünde ne olur? Çıktılarını tespit etmek için her yeni model üzerinde ayrı ayrı eğitim yapmanız gerekir mi? Kısaca cevap: hayır. OpenAI, geçtiğimiz haftalarda büyük dil modellerinin (LLM) iki yeni sürümünü piyasaya sürdü. Bu yeni LLM’ler üzerinde hiç eğitim yapmadan modelimizi değerlendirdik ve yine de oldukça iyi sonuçlar elde ettiğimizi gördük!

• GPT-3.5-Turbo-0125: %99,66 doğruluk oranı
• GPT-4-0125-Önizleme: %99,18 doğruluk

Bu yeni sürümler, OpenAI tarafından daha önce yayınlanan sürümlerle benzerlik gösteriyor. Dolayısıyla bir sonraki sorumuz şu: Tamamen farklı model ailelerinde nasıl bir performans sergiliyoruz? Buna yanıt bulmak için, sınıflandırıcımızın daha önce hiç görmediği bir dizi açık kaynaklı model üzerinde modelimizi değerlendirdik.

Pangram Labs'ın eğitim sırasında görmediği, açık kaynaklı büyük dil modelinin performansı.

Gerçekten harika! Bunun büyük bir kısmı, pek çok açık kaynaklı modelin ya Llama ailesinden yola çıkması ya da benzer açık kaynaklı eğitim kümelerini kullanmasıyla ilgili; ancak bu durum, her bir açık kaynaklı model üzerinde ayrı ayrı eğitim yapmamıza gerek kalmadan genelleme yapabileceğimizden emin olmamızı sağlıyor.

Bununla birlikte, veri işleme sürecimiz, bir LLM API'sının yayınlanmasından birkaç saat içinde yeni bir eğitim kümesi oluşturabileceğimiz şekilde tasarlanmıştır; bu süreçte tek engel API'nın kullanım sınırlamasıdır. Büyük dil modellerinin (LLM'ler) giderek daha iyi hale geldiğinin farkındayız ve genel yapay zekaya (AGI) yaklaştıkça, güncel kalmak ve en gelişmiş yapay zeka ajanlarını bile yakalayabildiğimizden emin olmak giderek daha önemli hale gelecektir.

İkinci Dil Olarak İngilizce

Daha önceki araştırmalar, ticari büyük dil modelleri (LLM) tespit araçlarının ana dili İngilizce olmayan konuşmacılara (ESL, yani İkinci Dil Olarak İngilizce) karşı tutarlı bir şekilde önyargılı olduğunu ortaya koymuştur. Bunu doğrulamak amacıyla araştırmacılar, çeşitli tespit araçlarını test etmek için TOEFL (Yabancı Dil Olarak İngilizce Testi) kaynaklı 91 deneme metninden oluşan bir karşılaştırma seti kullanmıştır.

Eğitim kümesinden 91 adet TOEFL kompozisyonunu ayırdık ve Pangram Labs’ı bu test seti üzerinde değerlendirdik. ESL için yanlış pozitif oranlarını en aza indirmeye yönelik çalışmalarımız sayesinde, TOEFL test setinde %0’lık bir yanlış pozitif oranı elde ettik; bu da, bu test setindeki hiçbir insan tarafından yazılmış kompozisyonun yapay zeka tarafından yazılmış olarak yanlış sınıflandırılmadığı anlamına geliyor.

TOEFL referans puanlarının karşılaştırılması

Pangram Labs'ın yapay zeka algılama yaklaşımı

Yapay zeka tarafından üretilen içeriği tespit etmek kolay bir iş değildir. Modelimizin doğruluğunu bir üst seviyeye çıkarmak için, transformers tabanlı bir mimariye sahip derin öğrenme modelimizi iki temel yöntem kullanarak eğitiyoruz.

Sentetik Aynalar

Eğitim kümesindeki her belge, ya "İnsan" ya da "AI" olarak etiketlenmiştir. Makine öğreniminde bu belgelere "örnek" diyoruz.

Kamuya açık veri kümelerinden eğitim için kullanabileceğimiz milyonlarca insan kaynaklı örnek mevcut, ancak buna eşdeğer bir yapay zeka veri kümesi yok. Bu sorunu, her insan örneğini bir "sentetik ayna" ile eşleştirerek çözüyoruz. "Sentetik ayna", insan tarafından oluşturulan bir belgeyi temel alan, yapay zeka tarafından üretilen bir belgeyi tanımlamak için kullandığımız bir terimdir. Aynı konudaki ve aynı uzunluktaki bir belge talep ederek LLM'yi harekete geçiriyoruz. Örneklerin bir kısmında, yapay zeka belgelerini daha çeşitlilikli hale getirmek için LLM'nin insan belgesinin ilk cümlesiyle başlamasını sağlıyoruz.

Sert Negatif Madencilik

Başlangıçta, modelimizi eğitirken bir sınıra ulaştık. Daha fazla örnek eklemeyi denedik, ancak sonunda modelin "doymuş" olduğunu fark ettik; daha fazla eğitim örneği, modeli daha da iyileştirmiyordu.

Ölçekleme yasaları deneyi

Bu ilk modelin performansı tatmin edici değildi; birçok alanda hâlâ %1'in üzerinde bir yanlış pozitif oranı sergiliyordu. Anladığımız şey, sadece daha fazla örneğe değil, daha zor örneklerine de ihtiyacımız olduğuydu.

İlk modelimizi kullanarak açık veri kümelerindeki on milyonlarca insan tarafından yazılmış örneği taradık ve modelimizin yanlış sınıflandırdığı en zor belgeleri belirledik. Ardından bu belgeler için sentetik kopyalar oluşturduk ve bunları eğitim kümesine ekledik. Son olarak, modeli yeniden eğittik ve süreci tekrarladık.

Pangram Labs'ın yapay zeka tarafından üretilen metin sınıflandırıcısının eğitim süreci

Bu eğitim yöntemi sayesinde, yanlış pozitif oranlarımızı 100 kat azaltmayı başardık ve gurur duyduğumuz bir model ortaya çıkardık.

Etki alanına göre yanlış pozitif oranları tablosu

Bu yönteme "sentetik aynalarla sert negatif madenciliği" adını veriyoruz ve teknik raporumuzda bu süreci daha ayrıntılı olarak ele alıyoruz.

Pangram Labs'ın bundan sonraki planları neler?

Elbette bu, yolculuğumuzun sonu değil. Performansı bir üst seviyeye taşımak için pek çok yeni fikrimiz var. Yanlış pozitif oranını yüzde birinin yüzde biri düzeyine kadar daha iyi takip edebilmek için değerlendirme kümelerimizi geliştirmeye devam edeceğiz. Modelimizi İngilizce dışındaki dillerde de çalışacak şekilde genişletmeyi planlıyoruz ve hata durumlarımızı anlamak ve tespit etmek için çalışıyoruz. Bundan sonraki adımlarımızı takipte kalın!

Sorularınız veya görüşleriniz mi var? info@pangram.com adresinden bize ulaşın!