Yapay Zeka Algılayıcılarındaki Yanlış Pozitif Sonuçlar Hakkında Her Şey

Pangram'daki çalışmalarımızın en önemli yönlerinden biri, yanlış pozitif oranımızı en aza indirmektir. Bu, insan tarafından yazılmış metinlerin yapay zeka tarafından üretilmiş olarak işaretlenme olasılığını mümkün olduğunca azaltmak anlamına gelir. Bugün, birçok farklı yazı türünde Pangram'ın yanlış pozitif oranlarını, yanlış pozitif oranını mümkün olduğunca düşük tutmak için modellerimizi nasıl ölçüp değerlendirdiğimizi ve son olarak, sektördeki en düşük yanlış pozitif oranına sahip AI algılama yazılımını geliştirmek için kullandığımız bazı teknikleri açıklayacağız.

Önemli Noktalar

• Yanlış pozitif, bir algılayıcının insan tarafından üretilmiş bir çalışmayı yanlışlıkla yapay zeka tarafından üretilmiş olarak işaretlemesi durumunda ortaya çıkar. Bu tür bir hata, yapay zeka algılama sürecinde daha ciddi sonuçlar doğurur; zira bir kişinin çalışmasının kendisine ait olmadığını iddia etmek, o kişinin itibarını veya akademik konumunu zedeleyebilir.
• Pangram, hem yanlış pozitifleri hem de yanlış negatifleri ciddiye almaktadır ve sektörde öncü konumda olan 10.000’de 1’lik bir yanlış pozitif oranına sahiptir
• Alanlara göre bakıldığında, Pangram’ın yaratıcı yazım (%0,01), akademik yazım (%0,02), biyomedikal yazım (%0,01) ve film senaryoları (%0) gibi en yaygın kullanım senaryolarının hepsinde son derece düşük bir yanlış pozitif oranı vardır.
• Pangram, şiir veya yemek tarifleri gibi bazı daha niş kullanım durumlarında beklenen kadar iyi performans göstermez

Yanlış pozitif nedir?

Yapay zeka algılama bağlamında, yanlış pozitif, bir algılayıcının insan tarafından üretilmiş bir örneği yanlışlıkla yapay zeka tarafından üretilmiş olarak tahmin etmesidir. Buna karşılık, yanlış negatif, yapay zeka tarafından üretilmiş bir örneğin yanlışlıkla insan tarafından üretilmiş olarak tahmin edilmesidir.

Yapay zeka tespitinde yanlış pozitifler ve yanlış negatifler

Yukarıdaki şemada iki tür hata gösterilmektedir. Kırmızı renk negatif sınıfı, yeşil renk ise pozitif sınıfı temsil ediyorsa, yeşil olarak tahmin edilen kırmızı bir X yanlış pozitif, kırmızı olarak tahmin edilen yeşil bir O ise yanlış negatif olur.

İstatistikte, Tip I hata ve Tip II hata terimleri kullanılır: bu terimler tam olarak aynı anlama gelir. Tip I hata, yanlış pozitif; Tip II hata ise yanlış negatiftir. İstatistikçiler ve özellikle tıp bilimleri alanında çalışanlar, bu iki hata oranını ayırt etmek için duyarlılık ve özgüllük terimlerini de kullanır. Makine öğrenimi bilimcileri ise kesinlik ve geri çağırma terimlerini kullanır. Bu terimler arasında bazı küçük teknik farklılıklar olsa da, eğitim amaçlı olarak bu yazıda sadece "yanlış pozitifler" ve "yanlış negatifler" terimlerini kullanacağız, çünkü bu iki tür hata için en açıklayıcı terimlerin bunlar olduğunu düşünüyorum.

Yapay zeka taranmasında, yanlış pozitif sonuç, yanlış negatif sonuçtan çok daha kötüdür. Yapay zeka yardımı almadan ödevlerini kendi başlarına yazan öğrencileri sürekli olarak yapay zeka intihaliyle suçlamak, öğrenci ile öğretmen arasındaki güveni büyük ölçüde sarsar ve öğrencide ciddi kaygı ve strese yol açabilir. Öte yandan, yanlış negatif sonuç, ara sıra bir kopya çeken öğrencinin yakalanmadan geçebileceği anlamına gelebilir; bu da bir yapay zeka taranma aracı için o kadar da kötü bir sonuç değildir.

Diğer tarama sorunlarında, yanlış negatif sonucun yanlış pozitif sonuçtan çok daha fazla zarara yol açabileceğini belirtmek gerekir: örneğin, bir kanser tarama testinde, testin hastanın kanser olduğunu yanlışlıkla belirtmesi, hastanın gerçek kanserini tamamen gözden kaçırmasından çok daha iyidir. Test, hastanın kanser olduğunu yanlış bir şekilde söylerse, hastanın takip muayeneleri, ek işlemler ve testler için tekrar hastaneye gitmesi rahatsız edici olabilir, ancak bu, hastanın hayatını tehdit eden bir kanser teşhisini gözden kaçırmaktan çok daha iyidir.

Yapay zeka algılamasına geri dönersek, yanlış pozitif sonuçlar yanlış negatif sonuçlardan daha fazla zarara yol açar, ancak her ikisi de önemlidir: Yapay zeka tarafından üretilen metinleri sürekli gözden kaçırmak ve bunları yanlışlıkla insan tarafından yazılmış olarak değerlendirmek de aracın değerini zedeler. Bu nedenle Pangram’da genel yaklaşımımız, hem yanlış negatifleri hem de yanlış pozitifleri mümkün olduğunca en aza indirmek, ancak yanlış pozitiflere daha yüksek öncelik vermektir.

Pangram'ın yanlış pozitif oranı nedir?

Cevap şu ki: duruma göre değişir!

Genel olarak, yanlış pozitif oranımızı yaklaşık 10.000'de 1 olarak ölçüyoruz: yazının türüne ve diğer değişkenlere bağlı olarak bazen biraz daha yüksek, bazen de biraz daha düşük olabiliyor.

Pangram'ın yanlış pozitif oranını çok çeşitli metin türleri üzerinde ölçüyoruz: bunlara "alanlar" diyoruz. Aşağıda, her bir alanda şirket içinde ölçtüğümüz en güncel yanlış pozitif oranları bulabilirsiniz; ancak bu liste her şeyi kapsamamaktadır:

Pangram'ın yanlış pozitif sonuçlara yatkınlığını hangi faktörler belirler?

Genel olarak, Pangram aşağıdaki koşullar sağlandığında en iyi performansı gösterir:

• Metin yeterince uzun (iki yüz kelimeden fazla)
• Metin tam cümlelerle yazılmıştır
• Bu alan, yaygın çevrimiçi eğitim kümelerinde geniş bir şekilde temsil edilmektedir
• Metin daha yaratıcı unsurlar içeriyor ve daha az kalıplaşmış

Bu faktörlerin, Pangram’ın deneme, yaratıcı yazım ve eleştiri türlerinde en iyi performansı sergilemesinin nedeni olduğuna inanıyoruz. Haber makaleleri, bilimsel makaleler ve Wikipedia maddeleri daha kalıplaşmış ve teknik olsa da, bu alanlarda veri bol miktarda mevcut olduğundan Pangram, metinlerdeki en ince kalıpları bile tanımada oldukça başarılı hale gelmiştir. Son olarak, tarifler ve şiir gibi alanlar en zayıf alanlardır, çünkü metinler genellikle kısadır, tam cümlelerle yazılmamıştır (bu da LLM'nin metne kendine özgü stilini katma şansını azaltır) ve genellikle diğer alanlara göre çevrimiçi ortamda daha nadir bulunurlar.

Pratik olarak bu ne anlama geliyor? Pangram tüm alanlarda hâlâ nispeten güvenilir olsa da, metin uzun, tam cümlelerden oluşuyorsa ve yazardan daha fazla özgün katkı gerektiriyorsa, Pangram’ın doğruluğuna daha fazla güvenebilirsiniz. Bu nedenle, kısa madde işaretli listeler ve ana hatlar, matematik, çok kısa (ör. tek cümlelik) yanıtlar ve uzun veri listeleri, elektronik tablolar, şablon tabanlı yazılar ve kullanım kılavuzları gibi son derece kalıplaşmış metinleri taramamanızı öneririz.

Pangram'ın yanlış pozitif oranı rakiplerine kıyasla nasıl?

Rakiplerimiz üzerinde aynı kapsamlı karşılaştırma testini yapamıyoruz; çünkü bunun maliyeti son derece yüksek olacaktır. Bununla birlikte, rakiplerimizin kendi yanlış pozitif oranlarının ne olduğunu belirttiklerine bakabiliriz.

Turnitin

Turnitin'in web sitesinde bildirilen yanlış pozitif oranı

Turnitin’in en son teknik raporunda, akademik yazılarda belge düzeyinde %0,51’lik bir yanlış pozitif oranı, yani yaklaşık 200’de 1 oranında bir sonuç bildiriliyor. Bu, öğrencilerin gönderdiği her 200 ödevden 1’inin yanlışlıkla yapay zeka tarafından yazılmış olarak işaretleneceği anlamına geliyor.

Akademik makalelerden oluşan benzer bir veri seti üzerinde ölçülen yanlış pozitif oranımız %0,004’tür; bu da 25.000’de 1’e denk gelmektedir.

Bu önemli bir fark. Büyük bir araştırma üniversitesinde yılda 100.000 makale gönderilebilir. Bu, Turnitin için 500 yanlış uyarı ile Pangram için sadece 4 uyarı arasındaki farktır.

GPTZero

GPTZero'nun web sitesinde bildirilen yanlış pozitif oranı

GPTZero, %1'lik bir yanlış pozitif oranına sahip olduğunu iddia ediyor; bu oran, Turnitin'den 2 kat, Pangram'dan ise 250 kat daha kötü.

Adil bir karşılaştırma yapabilmek için, genel VIP veri kümesinden daha küçük bir belge grubu üzerinde GPTZero ile Pangram'ı şirket içinde karşılaştırdık. Yanlış pozitif oranının bildirilen değerden daha yüksek olduğunu, yani %2,01 olduğunu tespit ettik.

Copyleaks

Copyleaks'in web sitesinde bildirilen yanlış pozitif oranı

Copyleaks, %0,2'lik bir yanlış pozitif oranı, yani 500'de 1 oranını iddia ediyor; bu, doğruysa Pangram'dan 50 kat daha kötü bir sonuç olur.

Üstelik, tek başına ele alındığında böyle bir rakamın tek başına tüm gerçeği yansıtmadığını biliyoruz. Verilerin nereden geldiğini ve değerlendirmede ne tür olası önyargılar olabileceğini bilmiyoruz. Bu nedenle kapsamlı bir karşılaştırmalı değerlendirme yapıyoruz ve modelimizi değerlendirme sürecimizi ayrıntılı olarak anlatan bu makaleyi yayınlıyoruz.

RAID performans testi

Geçen yıl Liam Dugan ve ortak yazarları tarafından yayınlanan ve bizim yayınladığımız araştırma özetindeki 2. çalışma olan RAID araştırmasına göz attığımızda, aşağıdaki grafiğe dikkat çekmek istiyoruz.

RAID çalışmasında dedektörler arası yanlış pozitif oranları

Çoğu dedektör bir "eşik değeri" sunar; bu, çizginin üstünde modelin metnin yapay zeka tarafından yazıldığını, çizginin altında ise insan tarafından yazıldığını belirlediği güven aralığının yüzdesidir. Eşik değerini değiştirerek, yanlış pozitifler ile yanlış negatifler arasında bir denge kurulabilir.

Bu grafikte x ekseninde eşik değerinin değiştirilmesinden kaynaklanan yanlış pozitif oranı, y ekseninde ise geri çağırma oranı gösterilmektedir: bu oran, söz konusu eşik değerinde değerlendirildiğinde yapay zeka belgesi olarak sınıflandırılabilen yapay zeka belgelerinin oranını ifade eder.

Kısacası, rakiplerimizin dedektörleri, yanlış pozitif oranı yüzde 1'in altında tutulmaya zorlandığında çalışmaz; başka bir deyişle, eşik değeri yüzde 1'lik bir yanlış pozitif oranı verecek kadar düşük olduğunda, herhangi bir yapay zekayı tespit edemezler.

Pangram'ın yanlış pozitif oranını nasıl değerlendiririz?

Pangram, herhangi bir yeni modelin kontrol panelimize ve API'mize eklenmesine izin verilmeden önce son derece titiz bir onay ve test sürecinden geçer.

Kalite güvencesi sürecimizde, yanlış pozitif sonuçlara yönelik üç tür testimiz bulunmaktadır ve bunların her biri nicel ve nitel değerlendirme arasında bir denge kurmaktadır. Değerlendirmelerimiz şunları içermektedir:

1. Büyük ölçekli test kümeleri. Her küme yaklaşık 10.000 ila 10.000.000 örnek içermektedir. Bunlar, ChatGPT'den önceki döneme (2022) ait, herkese açık büyük ölçekli internet veritabanlarıdır; bu veritabanlarından, modelin eğitilmediği ve yalnızca değerlendirme amacıyla ayrılmış bir test kümesi seçtik.

2. Orta ölçekli VIP veri kümeleri. Her veri kümesinde yaklaşık 1.000 örnek bulunmaktadır. Bu veri kümeleri, mühendisler veya etiketleyiciler tarafından güvenilir kaynaklardan elle toplanmış, gözle incelenmiş ve insan tarafından yazıldığına dair kişisel olarak doğrulanmış verilerdir. Eğitimli uzmanlar, yapay zeka tarafından üretilen içeriği gözle tespit etmede başarılı olsalar da, zaman zaman hatalar yapabilirler; bu nedenle verileri düzenli olarak denetliyor ve doğruluğunu sağlamak için temizliyoruz.

3. Zorlu örnek kümeleri. Her küme yaklaşık 10-100 örnek içerir. Bunlar, daha önce bildirilmiş yanlış pozitifler, arkadaşlarımızın bize gönderdiği zor vakalar ve genel olarak, sistemimizin bu örnekler üzerinde nasıl bir performans sergilediğini görmek istediğimiz ilginç örneklerdir. Ayrıca, büyük dil modeli eğitim setlerinde yeterince temsil edilmeyen tarifler, şiirler, film senaryoları ve diğer yazılı formlar gibi sıra dışı metin örneklerini de topluyoruz ve bunları da zorlu setler olarak değerlendiriyoruz. Bunlar, modelimizin "dağılım dışı" durumlarda ne kadar iyi performans gösterdiğine dair genel bir ölçüt görevi görüyor.

Bu üç tür kalite kontrolün yanı sıra, birim testlerimiz de bulunmaktadır. Bu birim testleri, basitçe ifade etmek gerekirse, modelimizi "utanç verici hatalar" olarak adlandırabileceğimiz durumlara karşı test etmektedir. Mevcut birim test paketimiz, Bağımsızlık Bildirgesi, edebiyattan ünlü alıntılar, kendi web sitemizdeki metinler ve blog yazıları gibi belgeler için "insan" sonucunu tahmin etmemizi gerektirmektedir. Bu birim testlerinden herhangi biri başarısız olursa, yeni modelin devreye alınmasını engeller ve sıfırdan başlıyoruz. Değerlendirme konusunda bizi yönlendiren felsefelerden biri, yeni bir model piyasaya sürüldüğünde bu "utanç verici hataların" asla tekrarlanmaması için bunları takip ve izleme konusunda son derece dikkatli olmaktır.

Pangram'da kullanılan üç tür değerlendirme kümesini gösteren şema: büyük ölçekli test kümesi (10 milyondan fazla örnek), orta ölçekli VIP kümesi (1000'den fazla örnek) ve zorlu küme (10-100 örnek)

Matematik ve bilime yatkın kişiler şunu sorabilir: Nitel değerlendirmeye neden ihtiyaç duyulur? Daha fazla örnek her zaman daha iyi değil midir?

Buna vereceğim cevap şudur: Daha fazla örnek her zaman daha iyi değildir. Bilge bir peygamberin bir zamanlar dediği gibi, yalanlar, lanet olası yalanlar ve istatistikler vardır. Ama ciddiyetle söylemek gerekirse, büyük ölçekli bir veri kümesi oluşturduğunuzda, her zaman bir tür önyargı katmış olacağınıza inanıyoruz. Ve her örneği inceleyemeyecek kadar büyük bir veri setiniz olduğunda, modelinizin veri setindeki bir önyargıya aşırı uyum sağlayıp sağlamadığını bilemezsiniz; bu da modelin testte iyi performans göstermesine, ancak gerçek dünyada kötü performans göstermesine neden olabilir. (Bu arada, bizce bu yüzden "%99 doğruluk" bildiren ancak gerçekte test ettiğinizde buna yakın bile olmayan birçok çevrimiçi AI dedektörü var).

Test takımlarının bu farklı çeşitlerinin önemini gösteren komik bir örnek, Pangram’ın ilk günlerinde, eğitim kümesine ilk kez Wikipedia’yı dahil ettiğimizde yaşandı. İlk başarısız denemelerimizden biri, test kümesinde harika sonuçlar verirken, elle derlenmiş Wikipedia makalelerinden oluşan VIP kümesinde çok kötü sonuçlar verdi. Sonunda, kullandığımız Huggingface veri setinde, insan tarafında, Uluslararası Fonetik Alfabe ile ifade edilen isim telaffuzunun, modelin aşırı uyum sağladığı gerçekten garip bir şekilde yeniden biçimlendirildiğini fark ettik: model sadece ismin biçimlendirmesine bakıyor ve ardından bu biçimlendirmeye dayanarak belgenin AI mi yoksa insan mı olduğunu belirliyordu. Holdout setinde harika, ancak modelin bu özel ipucuna sahip olmadığı gerçek dünyada berbat! İşte bu yüzden, Pangram'ın gerçek dünyada ne tür metinlerle karşılaşacağını doğru bir şekilde yansıtan bir test setine sahip olmak çok önemlidir.

Pangram'da bir modeli müşterilere göndermeden önce, hem nicel hem de nitel değerlendirmeleri içeren titiz bir onay sürecinden geçiriyoruz; bu süreçte modeli zorlu koşullarda test ediyor ve mevcut modele kıyasla performansını ayrıntılı bir şekilde inceliyoruz.

1. Nicel değerlendirme: Tüm test dışı örnekler, VIP kümeleri ve karşılaştırma örnekleri üzerindeki yanlış pozitif oran ölçütlerinin regresyon analizine tabi tutulmaması gerektiği anlamına gelir.

2. Nitel değerlendirme: Çoğu durumda, bazı örnekler iyileştirilirken bazıları ise gerileme gösterir. Mümkün olduğunda, gerileme gösteren belirli örnekleri gözle inceler ve başarısızlıkların açıklanabilir olduğundan emin oluruz. Bu süreç genellikle incelikli bir süreçtir ve test ettiğimiz belirli hipotezlere özgüdür; ancak genel olarak, başarısızlık durumlarının, uygulamaya geçtikten sonra gerçek dünyada da yaygınlaşabilecek belirli bir kalıp sergilemediğinden emin olmak isteriz.

3. Kullanıcı deneyimi değerlendirmesi / kırmızı takım testi: Son olarak, nicel ve nitel değerlendirmeler tamamlandıktan sonra, modeli ekibe gönderip bir süre denemelerini isteyerek basitçe bir "kullanıcı deneyimi değerlendirmesi" yapıyoruz. Bazı güncellemelerde, modeli geniş kitlelere sunmadan önce şirket içi test kullanıcıları veya beta müşterilerimizin de modeli test etmesini isteyebiliriz (genellikle onlardan modeli bozan durumları bulmaya çalışmalarını teşvik ederiz!)

4. Geriye dönük A/B testi: Eski tahminlerimiz üzerinde çevrimdışı çıkarımlar yapıyoruz ve eski model ile yeni model arasındaki farkları inceliyoruz. Daha önce çıkarımda bulunduğumuz veriler için her zaman kesin doğruluk bilgisine sahip olmayabiliriz, ancak yine de gerçek hayattaki hata durumlarını ortaya çıkarabilecek tutarlı kalıpları arıyoruz.

Özetle, modelimizin performansını ölçümler ve istatistikler aracılığıyla son derece titiz ve bilimsel bir şekilde değerlendiriyor olsak da, hikayenin tamamını anlamak için sadece rakamlara güvenmiyoruz. Modeli detaylı bir şekilde incelemek ve ölçümlerimizin gözden kaçırmış olabileceği hata kalıplarını tespit etmek için gözlerimize, sezgilerimize ve örüntü tanıma becerilerimize de güveniyoruz. Ayrıca, ekibimizin gözden kaçırmış olabileceği açıkları tespit etmek için test ekibimize, kırmızı takım üyelerimize ve beta müşterilerimize de güveniyoruz.

Bu kadar düşük bir yanlış pozitif oranına ulaşmak için hangi teknikleri kullanıyoruz?

Yanlış pozitif oranını düşük tutmak, araştırma misyonumuzun temelini oluşturmaktadır. İşte, sektörün en iyi hata oranını elde etmek için bugüne kadar kullandığımız bazı teknikler.

Eğitim verilerinin kapsamlı bir şekilde ele alınması

Rakip yapay zeka algılayıcıları "akademi, okullar, sınıf ortamı ve eğitimciler için tasarlanmış" olsa da, bunun gerçekte ifade ettiği şey, eğitim verilerinin yalnızca akademik yazılardan oluşması olabilir.

Öte yandan, Pangram'ı "Acı Ders"ten yararlanmak üzere geliştirdik: Çok çeşitli kaynaklardan gelen büyük hacimli verilerle eğitilen genel öğrenme algoritmaları, alana özgü verilerle eğitilen özel modellerden daha etkilidir.

Bu, yapay zeka dedektörümüzü çok çeşitli metin türleri üzerinde eğittiğimiz anlamına gelir: yaratıcı, teknik, bilimsel, ansiklopedik metinler, incelemeler, web siteleri, blog yazıları... Liste uzayıp gider. Bunun nedeni, kapsamlı bir beşeri bilimler eğitimi gibi; birçok disipline ve yazım stiline maruz kalmak, modelin yeni durumlarla karşılaştığında daha iyi anlamasına ve genelleme yapmasına yardımcı olur. AI eğitimindeki genel eğilime uygun olarak, ChatGPT ve diğer büyük dil modelleri belirli kullanım durumları için özel verilerle eğitilmez; genel zekaya sahip olabilmeleri için genel, büyük ölçekli metin verileriyle eğitilirler: LLM'nin üretebileceği tüm farklı genel metin türlerine karşı dayanıklı AI dedektörlerini eğitmek için de aynı stratejiye inanıyoruz.

Sert negatif madencilik / Aktif öğrenme

"Sert negatif madenciliği" olarak adlandırılan bir tekniği kullanan aktif öğrenme algoritmamız hakkında ayrıntılı olarak yazdık ve yanlış pozitif oranımızı neredeyse sıfıra indirebilmemizin temel nedeninin bu olduğuna inanıyoruz.

Esas olarak, bunun işe yaramasının nedeni, gerçek hayattaki örneklerin çoğunun "kolay örnekler" olmasıdır; model, neyin insan neyin yapay zeka olduğuna dair temel kalıpları öğrendikten sonra, veri setinin büyük çoğunluğunda hangisinin hangisi olduğunu ayırt etmek çok kolay hale gelir. Ancak bu, yalnızca %99 civarında bir doğruluk oranına ulaşmanızı sağlar. Doğruluğun son birkaç yüzde 9'unu elde etmek için, modeli eğitmek üzere en zor vakaları bulmalıyız: Bu vakaları, bir insanın yapay zeka dil modeline çok benzer bir şekilde yazmaya karar verdiği, ancak aslında tesadüfen öyle yazdığı vakalar olarak düşünebiliriz. Bu zor negatif örnekleri bulmak için, LLM'leri eğitmek için kullanılanlar gibi internet ölçeğindeki veri kümeleri üzerinde büyük ölçekli bir arama gerçekleştiririz ve ardından benzer sesli AI örnekleri oluşturmak için sentetik yansıtma yaparız. Daha fazla ayrıntı, nasıl çalışır sayfamızda bulunabilir.

Kayıp Ağırlıklandırma ve Aşırı Örnekleme

Optimizasyon hedefimizi, modelin eğitim sürecinin kendisi sırasında da yanlış negatif sonuçlara kıyasla yanlış pozitif sonuçlara öncelik verecek şekilde formüle ediyoruz. Model bir insan tarafından yazılmış belgeyi yanlış tanımladığında, bir yapay zeka belgesi yanlış tanımladığından çok daha ağır bir ceza alır. Bu durum, modeli ihtiyatlı davranmaya zorlar ve yalnızca tam olarak emin olduğu durumlarda bir belgenin yapay zeka tarafından yazıldığını öngörmesini sağlar.

Kalibrasyon

Bu, RAID bölümünde açıklanan eşik seçimi ile ilgilidir. Yanlış pozitif ve yanlış negatif oranları arasında uygun bir denge kurmak amacıyla, değerlendirme kümelerimizdeki milyonlarca belgeyi inceleyerek eşiğimizi belirliyoruz. Eşik seçimimizle, yanlış pozitif oranından ödün vermeden yanlış negatif oranını makul bir seviyede tutmaya çalışıyoruz.

Önemli noktalar

• Pangram, rakiplerine kıyasla önemli ölçüde daha düşük bir yanlış pozitif oranına sahiptir.
• Pangram'ın son derece düşük yanlış pozitif oranı, ölçek, eğitim ve arama yöntemlerinin birleşiminden kaynaklanmaktadır.
• Yapay zeka tabanlı algılamada yanlış pozitif oranı son derece önemli olduğundan, son derece kapsamlı bir test ve kalite güvence paketi oluşturduk ve titiz istatistiksel değerlendirmeleri, daha karmaşık niteliksel insan yargıları ve genel izlenim değerlendirmeleriyle birleştiren kapsamlı bir onay süreci geliştirdik.

Yazılımımızın genel doğruluğunu artırmak için araştırmacılarla çalışmayı çok seviyoruz ve yapay zeka tabanlı algılama alanında açık karşılaştırma ve şeffaflığa büyük önem veriyoruz. Bizimle çalışma veya işbirliği yapma konusunda sorularınız ya da Pangram'ın doğruluğuna ilişkin diğer sorularınız için lütfen info@pangram.com adresinden bize ulaşın.