Open Pangram'ı Tanıtıyoruz

😊 Modeller ve Veri Kümeleri

Kaynak Kodu

2026 ICLR makalemizde önerdiğimiz EditLens teknolojisine dayanan iki Pangram versiyonunu sizlerle paylaşmaktan gurur ve heyecan duyuyoruz. CC BY-NC-SA 4.0 lisansı kapsamında ticari olmayan kullanım için sunulan bu iki hafif model, bir MacBook üzerinde çalıştırılabilir.

Neden Pangram'ın açık kaynaklı bir sürümünü yayınlıyoruz?

Yapay zeka tespitindeki gelişmelere her zaman büyük önem verdik ve diğer araştırmacıların da bu alanda ilerleme kaydetmelerini sağlamak istiyoruz. Daha önce, AI tarafından üretilen içeriği analiz etmek ve sınıflandırmak için yeni yöntemler sunan EditLens makalemizi yayınlayarak, akran değerlendirmeleri ve Amerikan gazeteleri üzerinde büyük ölçekli analizler gerçekleştirerek ve araştırmacılara API hibeleri sunarak topluluğa katkıda bulunduk. EditLens model kontrol noktalarını, eğitim veri setini ve kaynak kodunu yayınlayarak, araştırmacıların çalışmalarımızı temel alarak ilerlemelerini umuyoruz.

EditLens ve Yapay Zeka Destekli Algılama

Üretken yapay zeka kullanımının gelişmesiyle birlikte yapay zeka tespit yöntemleri de gelişmelidir. OpenAI’nin yakın zamanda yaptığı bir araştırmaya göre, ChatGPT’ye gelen yazma ile ilgili taleplerin üçte ikisi, metni sıfırdan üretmek yerine kullanıcının sağladığı metni düzenlemeyi içeriyor. İnsanların ve yapay zekanın ortaklaşa metin yazdığı bu yeni paradigma ışığında, bir metne yapay zekanın ne kadar katkıda bulunduğunu dikkate alan yeni bir tespit çerçevesi geliştirdik. Pangram kullanıcıları, modelimizin "Hafif Yapay Zeka Destekli" veya "Orta Derecede Yapay Zeka Destekli" gibi sonuçlar verdiğini fark etmiş olabilir. Bu sınıflandırmalar, ICLR 2026 araştırma makalemiz "EditLens: Metinde AI Düzenlemesinin Kapsamını Ölçmek"te sunulan teknoloji sayesinde mümkün hale geldi. Bu makale, 0 ile 1 arasında bir puan veren bir AI algılama modelini tanıtıyor; burada 0, tamamen insan tarafından yazılmış metni, 1 ise tamamen AI tarafından üretilmiş metni gösteriyor. Veri setimizin ve kaynak kodumuzun yayınlanmasıyla artık herkes kendi EditLens modelini eğitebilir.

Veri kümeleri

60.000 eğitim, 2.400 doğrulama ve 6.000 test örneğinden oluşan EditLens veri setini yayınlıyoruz. Her bir alt küme, 4 farklı alandan tamamen insan tarafından yazılmış, tamamen yapay zeka tarafından üretilmiş ve yapay zeka tarafından düzenlenmiş metinlerden oluşmaktadır. AI tarafından düzenlenmiş metinler, 5 alandan birine ait insan tarafından yazılmış kaynak metne bir düzenleme komutu uygulanarak oluşturulmuştur: haberler (Narayan et al., 2018 ve See et al., 2017), yaratıcı yazım (Fan et al., 2018), Amazon yorumları (Zhang et al., 2015), Google yorumları (Li ve ark., 2022) ve eğitimle ilgili web içeriği (Lozhkov ve ark., 2024).

AI tarafından üretilen ve AI tarafından düzenlenmiş metinleri oluşturmak için kullanılan modeller, OpenAI’nin gpt-4.1-2025-04-14 , Anthropic’in claude-sonnet-4-20250514 ve Google’ıngemini-2.5-flash.

EditLens veri kümesi ayrıca iki adet alan dışı değerlendirme bölümü içerir: ayrılmış bir kaynak metin alanından (e-postalar) alınan 6 bin örnek ve Meta tarafından oluşturulan bir test bölümü versiyonu Llama-3.3-70B-Instruct-Turbo .

Ayrıca, Grammarly kullanılarak düzenlenmiş yaklaşık 1.800 metinden oluşan bir veri setini yayınlıyoruz. Bu veri seti, insanlar tarafından yazılmış 200 kaynak metnin 9 farklı düzenlemesinden oluşmaktadır. Her bir düzenleme (ör. “Bunu basitleştir”), Grammarly’nin kendi kelime işlemcisinden gelen bir düzenleme önerisidir. İnsanlar tarafından yazılmış 200 kaynak metin, Persuade 2.0 (Crossley et al., 2024), ELLIPSE (Crossley et al., 2023), BAWE (Nesi et al., 2004), ICNALE (Ishikawa ve ark., 2007), CLASSE (Crossley ve ark., 2024) veya PIILO (Holmes ve ark., 2023) veri setlerinden alınmıştır.

Her iki veri setini de HuggingFace'te inceleyebilirsiniz.

Modeller

pangram/editlens_Llama-3.2-3B QLoRA kullanılarak, maksimum 1024 tokenlik dizi uzunluğuyla ince ayarlandı. Temel model 3 milyar parametreye sahiptir.

pangram/editlens_roberta-large355 milyon parametreli model, maksimum 512 tokenlik dizi uzunluğu ile ince ayarlandı.

Her iki model de EditLens makalesinde açıklanan yönteme göre 1 epok boyunca eğitildi. Her iki model için ek hiperparametreler ve eğitim kodu, EditLens’in GitHub deposunda bulunabilir. Model kontrol noktalarını HuggingFace’ten indirebilirsiniz.

Değerlendirmeler

Hem ikili hem de üçlü sınıflandırma için, ayrılmış doğrulama kümesinde kalibrasyon yoluyla eşik değerleri belirliyoruz.

İkili değerlendirmelerde, tamamen insan tarafından yazılmış metinleri tamamen yapay zeka tarafından üretilmiş metinlerden ayırt etmek için F1 puanını en üst düzeye çıkaran eşik değerini belirliyoruz. İkili değerlendirmelerde yapay zeka tarafından düzenlenmiş metin bulunmamaktadır.

Üçlü değerlendirmeler için iki eşik değeri belirliyoruz. İlk olarak, değerlendirme verilerini üç kategoriye ayırıyoruz: insan, yapay zeka ve yapay zeka tarafından düzenlenmiş. Ardından, insan sınıfını [yapay zeka, yapay zeka tarafından düzenlenmiş] verilerinin birleşiminden ayıran bir alt eşik değeri ve yapay zeka sınıfını [insan, yapay zeka tarafından düzenlenmiş] verilerinin birleşiminden ayıran bir üst eşik değeri belirliyoruz. Her iki eşik değeri de F1 puanını en üst düzeye çıkararak belirleniyor.

Aynı etki alanı içindeki test kümesi

İkili sınıflandırma sonuçları

2.038 insan tarafından yazılmış ve 2.046 yapay zeka tarafından üretilmiş metin

Algılayıcı	Makro F1	FPR	FNR
Pangram 3.2 (Mevcut Üretim Modeli)	1.000	0.000	0.000
Pangram OSS: editlens_Llama-3.2-3B	1.000	0.000	0.000
Pangram OSS: editlens_roberta-large	0.997	0.002	0.003
Hızlı Algılama GPT	0.895	0.121	0.088
Dürbün	0.886	0.128	0.101

Üçlü sınıflandırma sonuçları

2.038 insan tarafından yazılmış, 2.046 yapay zeka tarafından yazılmış ve 2.031 yapay zeka tarafından düzenlenmiş metin

Algılayıcı	Doğruluk	Makro F1	İnsan F1	AI F1	AI ile Düzenlenmiş F1
Pangram 3.2 (Mevcut Üretim Modeli)	0.920	0.920	0.926	0.957	0.876
Pangram OSS: editlens_Llama-3.2-3B	0.895	0.895	0.895	0.948	0.842
Pangram OSS: editlens_roberta-large	0.881	0.881	0.900	0.923	0.819
Hızlı Algılama GPT	0.585	0.545	0.246	0.831	0.558
Dürbün	0.569	0.523	0.213	0.811	0.545

Gizlenen alan adı (Enron e-postaları)

İkili sınıflandırma sonuçları

1.992 insan tarafından yazılmış ve 1.847 yapay zeka tarafından üretilmiş metin

Algılayıcı	Makro F1	FPR	FNR
Pangram 3.2 (Mevcut Üretim Modeli)	0.999	0.001	0.001
Pangram OSS: editlens_Llama-3.2-3B	0.998	0.001	0.004
Pangram OSS: editlens_roberta-large	0.966	0.001	0.068
Hızlı Algılama GPT	0.941	0.079	0.036
Dürbün	0.914	0.155	0.011

Üçlü sınıflandırma sonuçları

1.992 insan tarafından yazılmış, 1.847 yapay zeka tarafından yazılmış ve 2.308 yapay zeka tarafından düzenlenmiş metin

Algılayıcı	Doğruluk	Makro F1	İnsan F1	AI F1	AI ile Düzenlenmiş F1
Pangram 3.2 (Mevcut Üretim Modeli)	0.905	0.909	0.898	0.956	0.872
Pangram OSS: editlens_Llama-3.2-3B	0.863	0.868	0.855	0.936	0.812
Pangram OSS: editlens_roberta-large	0.695	0.673	0.847	0.515	0.657
Hızlı Algılama GPT	0.625	0.589	0.261	0.886	0.619
Dürbün	0.618	0.575	0.266	0.857	0.601

Uygulanan model (Llama 3.3 70B Instruct)

İkili sınıflandırma sonuçları

2.038 insan tarafından yazılmış metin ve 2.038 yapay zeka tarafından yazılmış metin

Algılayıcı	Makro F1	FPR	FNR
Pangram 3.2 (Mevcut Üretim Modeli)	1.000	0.000	0.000
Pangram OSS: editlens_Llama-3.2-3B	1.000	0.000	0.000
Pangram OSS: editlens_roberta-large	0.987	0.002	0.025
Hızlı Algılama GPT	0.939	0.121	0.000
Dürbün	0.936	0.128	0.000

Üçlü sınıflandırma sonuçları

2.038 insan tarafından yazılmış, 2.038 yapay zeka tarafından yazılmış ve 1.881 yapay zeka tarafından düzenlenmiş metin

Algılayıcı	Doğruluk	Makro F1	İnsan F1	AI F1	AI ile Düzenlenmiş F1
Pangram 3.2 (Mevcut Üretim Modeli)	0.952	0.951	0.946	0.985	0.923
Pangram OSS: editlens_Llama-3.2-3B	0.921	0.920	0.918	0.965	0.877
Pangram OSS: editlens_roberta-large	0.860	0.859	0.908	0.879	0.791
Hızlı Algılama GPT	0.562	0.506	0.262	0.817	0.440
Dürbün	0.540	0.478	0.227	0.796	0.411

Üçüncü taraf performans testleri

Ana dili İngilizce olmayanlar (Liang ve ark., 2023)

91 insan metni

Algılayıcı	FPR
Pangram 3.2 (Mevcut Üretim Modeli)	0.000
Pangram OSS: editlens_Llama-3.2-3B	0.055
Pangram OSS: editlens_roberta-large	0.099
Dürbün	0.560
Hızlı Algılama GPT	0.670

İnsan Algılayıcıları (Russell ve ark., 2024)

150 insan tarafından yazılmış metin ve 150 yapay zeka tarafından üretilmiş metin

Algılayıcı	Makro F1	FPR	FNR
Pangram 3.2 (Mevcut Üretim Modeli)	1.000	0.000	0.000
Pangram OSS: editlens_Llama-3.2-3B	0.987	0.027	0.000
Pangram OSS: editlens_roberta-large	0.960	0.020	0.060
Dürbün	0.846	0.087	0.220
Hızlı Algılama GPT	0.735	0.487	0.013

RAID, rastgele 10.000 örneklem (Dugan ve ark., 2024)

2.058 insan tarafından yazılmış ve 7.942 yapay zeka tarafından üretilmiş metin

Detectorc	Makro F1	FPR	FNR
Pangram 3.2 (Mevcut Üretim Modeli)	0.992	0.002	0.007
Hızlı Algılama GPT	0.941	0.078	0.028
Dürbün	0.939	0.100	0.024
Pangram OSS: editlens_Llama-3.2-3B	0.930	0.003	0.062
Pangram OSS: editlens_roberta-large	0.736	0.007	0.288

Grammarly Veri Kümesi

Bu kutu-çubuk grafiklerinde, topladığımız Grammarly veri setindeki puanların dağılımını, uygulanan düzenlemeye göre gruplandırılmış olarak gösteriyoruz. EditLens'in, gramer ve imla ile ilgili küçük düzeltmelere karşılık gelen "Hataları düzelt" gibi düzenlemelere insan puanlarına yakın, oldukça düşük puanlar verirken, "Daha ayrıntılı hale getir" gibi daha "eklemeli" düzenlemelere ise daha yüksek puanlar verdiğini belirtmek isteriz.

Pangram OSS için düzenleme talimatına göre puan dağılımı: editlens_Llama-3.2-3B

Pangram OSS için düzenleme talimatına göre puan dağılımı: editlens_roberta-large

Open Pangram ne için kullanılmalıdır?

Araştırmacıları, yapay zeka tabanlı algılama araştırmalarında Open Pangram modellerini referans olarak kullanmaya teşvik ediyoruz. Veri kümelerinin ve kaynak kodunun, araştırmacıların çalışmalarımızı daha da ileriye götürmelerine olanak sağlayacağını umuyoruz.

Open Pangram hangi amaçlarla KULLANILMAMALIDIR?

Open Pangram'ın ticari kullanımı yasaktır. Open Pangram modelleri, eğitim veya profesyonel ortamlarda herhangi bir tür yapay zeka kullanım politikasını uygulamak amacıyla KULLANILMAMALIDIR. Sektörün en düşük yanlış pozitif oranına sahip daha hassas bir model için, kurumsal çözümler veya araştırma API hibeleri hakkında bilgi almak üzere bizimle iletişime geçin.