Open Pangram'ı Tanıtıyoruz

🤗 Modeller ve Veri Kümeleri

Kaynak Kodu

2026 ICLR makalemizde önerdiğimiz EditLens teknolojisine dayanan iki Pangram versiyonunu sizlerle paylaşmaktan gurur ve heyecan duyuyoruz. CC BY-NC-SA 4.0 lisansı kapsamında ticari olmayan kullanım için sunulan bu iki hafif model, bir MacBook üzerinde çalıştırılabilir.

Neden Pangram'ın açık kaynaklı bir sürümünü yayınlıyoruz?

Yapay zeka tespitindeki gelişmelere her zaman büyük önem verdik ve diğer araştırmacıların da bu alanda ilerleme kaydetmelerini sağlamak istiyoruz. Daha önce, AI tarafından üretilen içeriği analiz etmek ve sınıflandırmak için yeni yöntemler sunan EditLens makalemizi yayınlayarak, akran değerlendirmeleri ve Amerikan gazeteleri üzerinde büyük ölçekli analizler gerçekleştirerek ve araştırmacılara API hibeleri sunarak topluluğa katkıda bulunduk. EditLens model kontrol noktalarını, eğitim veri setini ve kaynak kodunu yayınlayarak, araştırmacıların çalışmalarımızı temel alarak ilerlemeye devam etmelerini umuyoruz.

EditLens ve Yapay Zeka Destekli Algılama

Üretken yapay zeka kullanımının gelişmesiyle birlikte yapay zeka algılama teknolojisi de gelişmelidir. OpenAI’nin yakın zamanda yaptığı bir araştırmaya göre, ChatGPT’ye gelen yazma ile ilgili taleplerin üçte ikisi, metni sıfırdan üretmek yerine kullanıcının sağladığı metni düzenlemeyi içeriyor. İnsanlar ve yapay zekanın ortaklaşa metin yazdığı bu yeni paradigma ışığında, bir metne yapay zekanın ne kadar katkıda bulunduğunu dikkate alan yeni bir algılama çerçevesi geliştirdik. Pangram kullanıcıları, modelimizin "Hafif Yapay Zeka Destekli" veya "Orta Derecede Yapay Zeka Destekli" gibi sonuçlar verdiğini fark etmiş olabilir. Bu sınıflandırmalar, ICLR 2026 araştırma makalemiz "EditLens: Metinde AI Düzenlemesinin Kapsamını Ölçmek"te sunulan teknoloji sayesinde mümkün hale geldi. Bu makale, 0 ile 1 arasında bir puan veren bir AI algılama modelini tanıtıyor; burada 0, tamamen insan tarafından yazılmış metni, 1 ise tamamen AI tarafından üretilmiş metni gösteriyor. Veri setimizin ve kaynak kodumuzun yayınlanmasıyla artık herkes kendi EditLens modelini eğitebilir.

Veri kümeleri

60.000 eğitim, 2.400 doğrulama ve 6.000 test örneğinden oluşan EditLens veri setini yayınlıyoruz. Her bir bölüm, 4 farklı alandan tamamen insan tarafından yazılmış, tamamen yapay zeka tarafından üretilmiş ve yapay zeka tarafından düzenlenmiş metinlerden oluşmaktadır. AI tarafından düzenlenmiş metinler, 5 alandan birinden insan tarafından yazılmış bir kaynak metne düzenleme komutu uygulanarak oluşturulmuştur: haberler (Narayan et al., 2018 ve See et al., 2017), yaratıcı yazım (Fan et al., 2018), Amazon yorumları (Zhang et al., 2015), Google yorumları (Li ve ark., 2022) ve eğitimle ilgili web içeriği (Lozhkov ve ark., 2024).

AI tarafından üretilen ve AI tarafından düzenlenmiş metinleri oluşturmak için kullanılan modeller, OpenAI’nin gpt-4.1-2025-14 Nisan , Anthropic’in claude-sonnet-4-20250514 ve Google’ıngemini-2.5-flash.

EditLens veri kümesi ayrıca iki adet alan dışı değerlendirme bölümü içerir: ayrılmış bir kaynak metin alanından (e-postalar) alınan 6 bin örnek ve Meta tarafından oluşturulan bir test bölümü versiyonu Llama-3.3-70B-Instruct-Turbo .

Ayrıca, Grammarly kullanılarak düzenlenmiş yaklaşık 1.800 metinden oluşan bir veri setini yayınlıyoruz. Bu veri seti, insan tarafından yazılmış 200 kaynak metnin 9 farklı düzenlemesinden oluşmaktadır. Düzenlemelerin her biri (ör. “Bunu basitleştir”), Grammarly’nin kendi kelime işlemcisinden gelen bir düzenleme önerisidir. İnsanlar tarafından yazılmış 200 kaynak metin, Persuade 2.0 (Crossley et al., 2024), ELLIPSE (Crossley et al., 2023), BAWE (Nesi et al., 2004), ICNALE (Ishikawa et al., 2007), CLASSE (Crossley et al., 2024) veya PIILO (Holmes et al., 2023) veri setlerinden alınmıştır.

Her iki veri setini de HuggingFace'te inceleyebilirsiniz.

Modeller

pangram/editlens_Llama-3.2-3B QLoRA kullanılarak, maksimum 1024 tokenlik dizi uzunluğu ile ince ayarlandı. Temel model 3 milyar parametreye sahiptir.

pangram/editlens_roberta-large355 milyon parametreli bir model, maksimum 512 tokenlik dizi uzunluğu ile ince ayarlandı.

Her iki model de EditLens makalesinde açıklanan yönteme göre 1 epok boyunca eğitildi. Her iki model için ek hiperparametreler ve eğitim kodu, EditLens’in GitHub deposunda bulunabilir. Model kontrol noktalarını HuggingFace’ten indirebilirsiniz.

Değerlendirmeler

Hem ikili hem de üçlü sınıflandırma için, ayrılmış doğrulama kümesinde kalibrasyon yoluyla eşik değerleri belirliyoruz.

İkili değerlendirmelerde, tamamen insan tarafından yazılmış metinleri tamamen yapay zeka tarafından üretilmiş metinlerden ayırt etmek için F1 puanını en üst düzeye çıkaran eşik değerini belirliyoruz. İkili değerlendirmelerde yapay zeka tarafından düzenlenmiş metin bulunmamaktadır.

Üçlü değerlendirmeler için iki eşik değeri belirliyoruz. İlk olarak, değerlendirme verilerini üç kategoriye ayırıyoruz: insan, yapay zeka ve yapay zeka tarafından düzenlenmiş. Ardından, insan sınıfını [yapay zeka, yapay zeka tarafından düzenlenmiş] verilerinin birleşiminden ayıran bir alt eşik değeri ve yapay zeka sınıfını [insan, yapay zeka tarafından düzenlenmiş] verilerinin birleşiminden ayıran bir üst eşik değeri belirliyoruz. Her iki eşik değeri de F1 puanını en üst düzeye çıkararak belirlenir.

Aynı etki alanı içindeki test kümesi

İkili sınıflandırma sonuçları

2.038 insan tarafından yazılmış ve 2.046 yapay zeka tarafından üretilmiş metin

Üçlü sınıflandırma sonuçları

2.038 insan tarafından yazılmış, 2.046 yapay zeka tarafından yazılmış ve 2.031 yapay zeka tarafından düzenlenmiş metin

Gizlenen alan adı (Enron e-postaları)

İkili sınıflandırma sonuçları

1.992 insan tarafından yazılmış ve 1.847 yapay zeka tarafından üretilmiş metin

Üçlü sınıflandırma sonuçları

1.992 insan tarafından yazılmış, 1.847 yapay zeka tarafından yazılmış ve 2.308 yapay zeka tarafından düzenlenmiş metin

Hazırlanan model (Llama 3.3 70B Instruct)

İkili sınıflandırma sonuçları

2.038 insan tarafından yazılmış ve 2.038 yapay zeka tarafından üretilmiş metin

Üçlü sınıflandırma sonuçları

2.038 insan tarafından yazılmış, 2.038 yapay zeka tarafından yazılmış ve 1.881 yapay zeka tarafından düzenlenmiş metin

Üçüncü taraf performans testleri

Ana dili İngilizce olmayanlar (Liang ve ark., 2023)

91 insan metni

İnsan Algılayıcıları (Russell ve ark., 2024)

150 insan tarafından yazılmış metin ve 150 yapay zeka tarafından yazılmış metin

RAID, rastgele 10.000 örneklem (Dugan ve ark., 2024)

2.058 insan tarafından yazılmış ve 7.942 yapay zeka tarafından üretilmiş metin

Grammarly Veri Kümesi

Bu kutu-çubuk grafiklerinde, topladığımız Grammarly veri setindeki puan dağılımını, uygulanan düzenlemeye göre gruplandırarak gösteriyoruz. EditLens'in, gramer ve imla ile ilgili küçük düzeltmelere karşılık gelen "Hataları düzelt" gibi düzenlemelere insan puanlarına yakın, oldukça düşük puanlar verirken, "Daha ayrıntılı hale getir" gibi daha "eklemeli" düzenlemelere ise daha yüksek puanlar verdiğini görüyoruz.

Pangram OSS için düzenleme talimatına göre puan dağılımı: editlens_Llama-3.2-3B

Pangram OSS için düzenleme talimatına göre puan dağılımı: editlens_roberta-large

Open Pangram ne için kullanılmalıdır?

Araştırmacıları, yapay zeka tabanlı algılama araştırmalarında Open Pangram modellerini referans olarak kullanmaya teşvik ediyoruz. Veri kümelerinin ve kaynak kodunun, araştırmacıların çalışmalarımızı daha da genişletmelerine olanak sağlayacağını umuyoruz.

Open Pangram hangi amaçlarla KULLANILMAMALIDIR?

Open Pangram'ın ticari kullanımı yasaktır. Open Pangram modelleri, eğitim veya profesyonel ortamlarda herhangi bir tür yapay zeka kullanım politikasını uygulamak amacıyla KULLANILMAMALIDIR. Sektörün en düşük yanlış pozitif oranına sahip daha hassas bir model için, kurumsal çözümler veya araştırma API hibeleri hakkında bilgi almak üzere bizimle iletişime geçin.