Open Pangram'ı Tanıtıyoruz
Open Pangram, ICLR 2026 makalemizde tanıtılan EditLens teknolojisi üzerine inşa edilmiş, açık ağırlık ve açık kaynaklı bir yapay zeka algılama çözümü sunar.
İçindekiler
- 🤗 Modeller ve Veri Kümeleri
- Kaynak Kodu
- Neden Pangram'ın açık kaynaklı bir sürümünü yayınlıyoruz?
- EditLens ve Yapay Zeka Destekli Algılama
- Veri kümeleri
- Modeller
- Değerlendirmeler
- Aynı etki alanı içindeki test kümesi
- İkili sınıflandırma sonuçları
- Üçlü sınıflandırma sonuçları
- Gizlenen alan adı (Enron e-postaları)
- İkili sınıflandırma sonuçları
- Üçlü sınıflandırma sonuçları
- Hazırlanan model (Llama 3.3 70B Instruct)
- İkili sınıflandırma sonuçları
- Üçlü sınıflandırma sonuçları
- Üçüncü taraf performans testleri
- Ana dili İngilizce olmayanlar (Liang ve ark., 2023)
- İnsan Algılayıcıları (Russell ve ark., 2024)
- RAID, rastgele 10.000 örneklem (Dugan ve ark., 2024)
- Grammarly Veri Kümesi
- Open Pangram ne için kullanılmalıdır?
- Open Pangram hangi amaçlarla KULLANILMAMALIDIR?
🤗 Modeller ve Veri Kümeleri
Kaynak Kodu
2026 ICLR makalemizde önerdiğimiz EditLens teknolojisine dayanan iki Pangram versiyonunu sizlerle paylaşmaktan gurur ve heyecan duyuyoruz. CC BY-NC-SA 4.0 lisansı kapsamında ticari olmayan kullanım için sunulan bu iki hafif model, bir MacBook üzerinde çalıştırılabilir.
Neden Pangram'ın açık kaynaklı bir sürümünü yayınlıyoruz?
Yapay zeka tespitindeki gelişmelere her zaman büyük önem verdik ve diğer araştırmacıların da bu alanda ilerleme kaydetmelerini sağlamak istiyoruz. Daha önce, AI tarafından üretilen içeriği analiz etmek ve sınıflandırmak için yeni yöntemler sunan EditLens makalemizi yayınlayarak, akran değerlendirmeleri ve Amerikan gazeteleri üzerinde büyük ölçekli analizler gerçekleştirerek ve araştırmacılara API hibeleri sunarak topluluğa katkıda bulunduk. EditLens model kontrol noktalarını, eğitim veri setini ve kaynak kodunu yayınlayarak, araştırmacıların çalışmalarımızı temel alarak ilerlemeye devam etmelerini umuyoruz.
EditLens ve Yapay Zeka Destekli Algılama
Üretken yapay zeka kullanımının gelişmesiyle birlikte yapay zeka algılama teknolojisi de gelişmelidir. OpenAI’nin yakın zamanda yaptığı bir araştırmaya göre, ChatGPT’ye gelen yazma ile ilgili taleplerin üçte ikisi, metni sıfırdan üretmek yerine kullanıcının sağladığı metni düzenlemeyi içeriyor. İnsanlar ve yapay zekanın ortaklaşa metin yazdığı bu yeni paradigma ışığında, bir metne yapay zekanın ne kadar katkıda bulunduğunu değerlendiren yeni bir algılama çerçevesi geliştirdik. Pangram kullanıcıları, modelimizin "Hafif Yapay Zeka Destekli" veya "Orta Derecede Yapay Zeka Destekli" gibi sonuçlar verdiğini fark etmiş olabilir. Bu sınıflandırmalar, ICLR 2026 araştırma makalemiz "EditLens: Metinde AI Düzenlemesinin Kapsamını Ölçmek"te sunulan teknoloji sayesinde mümkün oluyor. Bu makale, 0 ile 1 arasında bir puan veren bir AI algılama modelini tanıtıyor; burada 0 tamamen insan tarafından yazılmış metni, 1 ise tamamen AI tarafından üretilmiş metni gösteriyor. Veri setimizin ve kaynak kodumuzun yayınlanmasıyla artık herkes kendi EditLens modelini eğitebilir.
Veri kümeleri
60.000 eğitim, 2.400 doğrulama ve 6.000 test örneğinden oluşan EditLens veri setini yayınlıyoruz. Her bir bölüm, 4 farklı alandan tamamen insan tarafından yazılmış, tamamen yapay zeka tarafından üretilmiş ve yapay zeka tarafından düzenlenmiş metinlerden oluşmaktadır. AI tarafından düzenlenmiş metinler, 5 alandan birinden insan tarafından yazılmış bir kaynak metne düzenleme komutu uygulanarak oluşturulmuştur: haberler (Narayan et al., 2018 ve See et al., 2017), yaratıcı yazım (Fan et al., 2018), Amazon yorumları (Zhang et al., 2015), Google yorumları (Li ve ark., 2022) ve eğitimle ilgili web içeriği (Lozhkov ve ark., 2024).
AI tarafından üretilen ve AI tarafından düzenlenmiş metinleri oluşturmak için kullanılan modeller, OpenAI’nin gpt-4.1-2025-14 Nisan , Anthropic’in claude-sonnet-4-20250514 ve Google’ıngemini-2.5-flash.
EditLens veri kümesi ayrıca iki adet alan dışı değerlendirme bölümü içerir: ayrılmış bir kaynak metin alanından (e-postalar) alınan 6 bin örnek ve Meta tarafından oluşturulan bir test bölümü versiyonu Llama-3.3-70B-Instruct-Turbo .
Ayrıca, Grammarly kullanılarak düzenlenmiş yaklaşık 1.800 metinden oluşan bir veri setini yayınlıyoruz. Bu veri seti, insan tarafından yazılmış 200 kaynak metnin 9 farklı düzenlemesinden oluşmaktadır. Düzenlemelerin her biri (ör. “Bunu basitleştir”), Grammarly’nin kendi kelime işlemcisinden gelen bir düzenleme önerisidir. İnsanlar tarafından yazılmış 200 kaynak metin, Persuade 2.0 (Crossley et al., 2024), ELLIPSE (Crossley et al., 2023), BAWE (Nesi et al., 2004), ICNALE (Ishikawa et al., 2007), CLASSE (Crossley et al., 2024) veya PIILO (Holmes et al., 2023) veri setlerinden alınmıştır.
Her iki veri setini de HuggingFace'te inceleyebilirsiniz.
Modeller
pangram/editlens_Llama-3.2-3B QLoRA kullanılarak, maksimum 1024 tokenlik dizi uzunluğu ile ince ayarlandı. Temel model 3 milyar parametreye sahiptir.
pangram/editlens_roberta-large355 milyon parametreli bir model, maksimum 512 tokenlik dizi uzunluğu ile ince ayarlandı.
Her iki model de EditLens makalesinde açıklanan yönteme göre 1 epok boyunca eğitildi. Her iki model için ek hiperparametreler ve eğitim kodu, EditLens’in GitHub deposunda bulunabilir. Model kontrol noktalarını HuggingFace’ten indirebilirsiniz.
Değerlendirmeler
Hem ikili hem de üçlü sınıflandırma için, ayrılmış doğrulama kümesinde kalibrasyon yoluyla eşik değerleri belirliyoruz.
İkili değerlendirmelerde, tamamen insan tarafından yazılmış metinleri tamamen yapay zeka tarafından üretilmiş metinlerden ayırt etmek için F1 puanını en üst düzeye çıkaran eşik değerini belirliyoruz. İkili değerlendirmelerde yapay zeka tarafından düzenlenmiş metin bulunmamaktadır.
Üçlü değerlendirmeler için iki eşik değeri belirliyoruz. İlk olarak, değerlendirme verilerini üç kategoriye ayırıyoruz: insan, yapay zeka ve yapay zeka tarafından düzenlenmiş. Ardından, insan sınıfını [yapay zeka, yapay zeka tarafından düzenlenmiş] verilerinin birleşiminden ayıran bir alt eşik değeri ve yapay zeka sınıfını [insan, yapay zeka tarafından düzenlenmiş] verilerinin birleşiminden ayıran bir üst eşik değeri belirliyoruz. Her iki eşik değeri de F1 puanını en üst düzeye çıkararak belirlenir.
Aynı etki alanı içindeki test kümesi
İkili sınıflandırma sonuçları
2.038 insan tarafından yazılmış ve 2.046 yapay zeka tarafından üretilmiş metin
| Algılayıcı | Makro F1 | FPR | FNR |
|---|---|---|---|
| Pangram 3.2 (Mevcut Üretim Modeli) | 1.000 | 0.000 | 0.000 |
| Pangram OSS: editlens_Llama-3.2-3B | 1.000 | 0.000 | 0.000 |
| Pangram OSS: editlens_roberta-large | 0.997 | 0.002 | 0.003 |
| Hızlı Algılama GPT | 0.895 | 0.121 | 0.088 |
| Dürbün | 0.886 | 0.128 | 0.101 |
Üçlü sınıflandırma sonuçları
2.038 insan tarafından yazılmış, 2.046 yapay zeka tarafından yazılmış ve 2.031 yapay zeka tarafından düzenlenmiş metin
| Algılayıcı | Doğruluk | Makro F1 | İnsan F1 | AI F1 | AI ile Düzenlenmiş F1 |
|---|---|---|---|---|---|
| Pangram 3.2 (Mevcut Üretim Modeli) | 0.920 | 0.920 | 0.926 | 0.957 | 0.876 |
| Pangram OSS: editlens_Llama-3.2-3B | 0.895 | 0.895 | 0.895 | 0.948 | 0.842 |
| Pangram OSS: editlens_roberta-large | 0.881 | 0.881 | 0.900 | 0.923 | 0.819 |
| Hızlı Algılama GPT | 0.585 | 0.545 | 0.246 | 0.831 | 0.558 |
| Dürbün | 0.569 | 0.523 | 0.213 | 0.811 | 0.545 |
Gizlenen alan adı (Enron e-postaları)
İkili sınıflandırma sonuçları
1.992 insan tarafından yazılmış ve 1.847 yapay zeka tarafından üretilmiş metin
| Algılayıcı | Makro F1 | FPR | FNR |
|---|---|---|---|
| Pangram 3.2 (Mevcut Üretim Modeli) | 0.999 | 0.001 | 0.001 |
| Pangram OSS: editlens_Llama-3.2-3B | 0.998 | 0.001 | 0.004 |
| Pangram OSS: editlens_roberta-large | 0.966 | 0.001 | 0.068 |
| Hızlı Algılama GPT | 0.941 | 0.079 | 0.036 |
| Dürbün | 0.914 | 0.155 | 0.011 |
Üçlü sınıflandırma sonuçları
1.992 insan tarafından yazılmış, 1.847 yapay zeka tarafından yazılmış ve 2.308 yapay zeka tarafından düzenlenmiş metin
| Algılayıcı | Doğruluk | Makro F1 | İnsan F1 | AI F1 | AI ile Düzenlenmiş F1 |
|---|---|---|---|---|---|
| Pangram 3.2 (Mevcut Üretim Modeli) | 0.905 | 0.909 | 0.898 | 0.956 | 0.872 |
| Pangram OSS: editlens_Llama-3.2-3B | 0.863 | 0.868 | 0.855 | 0.936 | 0.812 |
| Pangram OSS: editlens_roberta-large | 0.695 | 0.673 | 0.847 | 0.515 | 0.657 |
| Hızlı Algılama GPT | 0.625 | 0.589 | 0.261 | 0.886 | 0.619 |
| Dürbün | 0.618 | 0.575 | 0.266 | 0.857 | 0.601 |
Hazırlanan model (Llama 3.3 70B Instruct)
İkili sınıflandırma sonuçları
2.038 insan tarafından yazılmış ve 2.038 yapay zeka tarafından üretilmiş metin
| Algılayıcı | Makro F1 | FPR | FNR |
|---|---|---|---|
| Pangram 3.2 (Mevcut Üretim Modeli) | 1.000 | 0.000 | 0.000 |
| Pangram OSS: editlens_Llama-3.2-3B | 1.000 | 0.000 | 0.000 |
| Pangram OSS: editlens_roberta-large | 0.987 | 0.002 | 0.025 |
| Hızlı Algılama GPT | 0.939 | 0.121 | 0.000 |
| Dürbün | 0.936 | 0.128 | 0.000 |
Üçlü sınıflandırma sonuçları
2.038 insan tarafından yazılmış, 2.038 yapay zeka tarafından yazılmış ve 1.881 yapay zeka tarafından düzenlenmiş metin
| Algılayıcı | Doğruluk | Makro F1 | İnsan F1 | AI F1 | AI ile Düzenlenmiş F1 |
|---|---|---|---|---|---|
| Pangram 3.2 (Mevcut Üretim Modeli) | 0.952 | 0.951 | 0.946 | 0.985 | 0.923 |
| Pangram OSS: editlens_Llama-3.2-3B | 0.921 | 0.920 | 0.918 | 0.965 | 0.877 |
| Pangram OSS: editlens_roberta-large | 0.860 | 0.859 | 0.908 | 0.879 | 0.791 |
| Hızlı Algılama GPT | 0.562 | 0.506 | 0.262 | 0.817 | 0.440 |
| Dürbün | 0.540 | 0.478 | 0.227 | 0.796 | 0.411 |
Üçüncü taraf performans testleri
Ana dili İngilizce olmayanlar (Liang ve ark., 2023)
91 insan metni
| Algılayıcı | FPR |
|---|---|
| Pangram 3.2 (Mevcut Üretim Modeli) | 0.000 |
| Pangram OSS: editlens_Llama-3.2-3B | 0.055 |
| Pangram OSS: editlens_roberta-large | 0.099 |
| Dürbün | 0.560 |
| Hızlı Algılama GPT | 0.670 |
İnsan Algılayıcıları (Russell ve ark., 2024)
150 insan tarafından yazılmış metin ve 150 yapay zeka tarafından yazılmış metin
| Algılayıcı | Makro F1 | FPR | FNR |
|---|---|---|---|
| Pangram 3.2 (Mevcut Üretim Modeli) | 1.000 | 0.000 | 0.000 |
| Pangram OSS: editlens_Llama-3.2-3B | 0.987 | 0.027 | 0.000 |
| Pangram OSS: editlens_roberta-large | 0.960 | 0.020 | 0.060 |
| Dürbün | 0.846 | 0.087 | 0.220 |
| Hızlı Algılama GPT | 0.735 | 0.487 | 0.013 |
RAID, rastgele 10.000 örneklem (Dugan ve ark., 2024)
2.058 insan tarafından yazılmış ve 7.942 yapay zeka tarafından üretilmiş metin
| Algılayıcı | Makro F1 | FPR | FNR |
|---|---|---|---|
| Pangram 3.2 (Mevcut Üretim Modeli) | 0.992 | 0.002 | 0.007 |
| Hızlı Algılama GPT | 0.941 | 0.078 | 0.028 |
| Dürbün | 0.939 | 0.100 | 0.024 |
| Pangram OSS: editlens_Llama-3.2-3B | 0.930 | 0.003 | 0.062 |
| Pangram OSS: editlens_roberta-large | 0.736 | 0.007 | 0.288 |
Grammarly Veri Kümesi
Bu kutu-çubuk grafiklerinde, topladığımız Grammarly veri setindeki puan dağılımını, uygulanan düzenlemeye göre gruplandırarak gösteriyoruz. EditLens'in, gramer ve imla ile ilgili küçük düzeltmelere karşılık gelen "Hataları düzelt" gibi düzenlemelere insan puanlarına yakın, oldukça düşük puanlar verirken, "Daha ayrıntılı hale getir" gibi daha "eklemeli" düzenlemelere ise daha yüksek puanlar verdiğini görüyoruz.
Pangram OSS için düzenleme talimatına göre puan dağılımı: editlens_Llama-3.2-3B
Pangram OSS için düzenleme talimatına göre puan dağılımı: editlens_roberta-large
Open Pangram ne için kullanılmalıdır?
Araştırmacıları, yapay zeka tabanlı algılama araştırmalarında Open Pangram modellerini referans olarak kullanmaya teşvik ediyoruz. Veri kümelerinin ve kaynak kodunun, araştırmacıların çalışmalarımızı daha da genişletmelerine olanak sağlayacağını umuyoruz.
Open Pangram hangi amaçlarla KULLANILMAMALIDIR?
Open Pangram'ın ticari kullanımı yasaktır. Open Pangram modelleri, eğitim veya profesyonel ortamlarda herhangi bir tür yapay zeka kullanım politikasını uygulamak amacıyla KULLANILMAMALIDIR. Sektörün en düşük yanlış pozitif oranına sahip daha hassas bir model için, kurumsal çözümler veya araştırma API hibeleri hakkında bilgi almak üzere bizimle iletişime geçin.

Katherine Thai, yapay zeka tabanlı tespit alanında faaliyet gösteren bir girişim olan Pangram Labs’ın kurucu yapay zeka araştırma bilim insanıdır. Aralık 2025’te Massachusetts Amherst Üniversitesi’nde Mohit Iyyer’in danışmanlığında Bilgisayar Bilimleri alanında doktora derecesini tamamlamıştır; buradaki çalışmaları, edebi analizle ilgili görevlerde büyük dil modellerinin (LLM’ler) değerlendirilmesine odaklanmıştı.
İlgili makaleler

Alışverişe Doyana Kadar: Yapay zeka, ürünlere ve pazarlama stratejilerine sızıyor

AB'nin Yeni Yapay Zeka Yasasını Anlamak

Yeni Pangram değerlendirmeleri için çağrı

Biden'ın Yapay Zeka Güvenliği Konulu Yürütme Kararnamesi Hakkında Açıklama

Pangram Space: Etkileşimli Bir Araştırma Projesi
