Pangram, yapay zeka kodlarında ne kadar etkili?

Her geçen gün daha fazla kod yapay zeka tarafından yazılıyor. Google CEO’su Sundar Pichai’ye göre, 2024 sonu itibarıyla Google’ın kodlarının %25’inden fazlası yapay zeka tarafından yazılmıştı. Robinhood'un CEO'su, Robinhood'da yayınlanan kodların çoğunun artık yapay zeka tarafından yazıldığını söylüyor. "Vibe coding" ( Andrej Karpathy'nin bir tweetiyle popüler hale gelen) terimi, kamuoyunun sözlüğüne girmiştir: bu terim, kodlamanın "vibes"ine tamamen teslim olup, yapay zekanın kontrolü ele almasına ve sizin için kodu yazmasına izin vermeniz anlamına gelir.

Cursor, Lovable ve Replit gibi girişimleri, kodlamaya giriş engellerini ortadan kaldırmaya çalışıyor: yani programlamaya başlamak o kadar kolay ki, şirketteki herhangi bir kişi Python veya React bilgisi olmadan kod yazabilir, hatta tam teşekküllü bir web sitesi veya uygulama geliştirebilir.

2025 StackOverflow Geliştirici Anketi, bu eğilimin ne kadar yaygınlaştığını ortaya koyuyor. Geliştiricilerin %84’ü geliştirme iş akışlarında yapay zeka araçlarını kullanıyor ya da kullanmayı planlıyor; profesyonel geliştiricilerin ise %51’i bu araçları günlük olarak kullanıyor. Bu durum, sektör genelinde kod yazma biçiminde önemli bir dönüşümü yansıtıyor.

Bununla birlikte, anket bu yapay zeka destekli geliştirme çağındaki büyüme sancılarını da ortaya koyuyor. Geliştiricilerin %52’si yapay zeka araçlarının üretkenliklerini olumlu etkilediğini belirtse de, yapay zeka araçlarına yönelik olumlu algı 2025 yılında %70’in üzerindeyken %60’a geriledi. Bu yapay zeka tarafından üretilen araçlarla geçirdikleri ilk keşif döneminin ardından, geliştiricilerin artık bu araçlara karşı daha tarafsız bir tutum sergilediği görülüyor.

Bu durumun nedenleri oldukça açıklayıcı: Geliştiricilerin %66'sı "neredeyse doğru ama tam olarak değil" olan yapay zeka çözümlerinden rahatsızlık duyuyor ve %45'i yapay zeka tarafından üretilen kodların hata ayıklamasının beklenenden daha fazla zaman aldığını düşünüyor. Geliştiricilerin yalnızca %3'ü yapay zeka araçlarının çıktısına "büyük ölçüde güveniyor", %46'sı ise bu araçların doğruluğuna aktif olarak şüpheyle yaklaşıyor.

Bu durum ilginç bir çelişki yaratıyor: Geliştiriciler kod yazmak için giderek daha fazla yapay zekaya güveniyor, ancak yapay zekanın ürettiklerine tam olarak güvenmiyorlar. Anketin de belirttiği gibi, geliştiricilerin %75’i “yapay zekanın cevaplarına güvenmediklerinde” yine de bir insandan yardım istiyor ve kendilerini “kalite ve doğruluğun nihai hakemleri” olarak konumlandırıyor. Simon Willison'a göre, "her satırı gözden geçirmedikçe, piyasaya sürmeyi planladığı projeler için yapay zeka tarafından üretilen kodu kullanmazdı. Sadece halüsinasyon riski olmakla kalmaz, aynı zamanda sohbet robotunun hoşgörülü olma isteği, kullanılamaz bir fikrin işe yaradığını söylemesine neden olabilir. Bu, kodu nasıl düzenleyeceğini bilmeyenler için özel bir sorundur. İçinde sorunlar barındıran yazılımlar oluşturma riskiyle karşı karşıyayız."

Yapay zeka tarafından üretilen kodun tespit edilmesinin önemi

AI tarafından üretilen kod artık hayatımızın bir parçası olsa da, kodun insan elinden çıktığını doğrulamanın hâlâ mantıklı olduğu bazı durumlar kesinlikle mevcuttur.

1. İşe alım sürecinde, bir yazılım geliştiricisi işe alırken, programcının yapay zeka yardımı olmadan da yüksek kaliteli kod yazabilme becerisine sahip olup olmadığını değerlendirmek önemlidir. Ayrıca, işlerinde yapay zeka tarafından üretilen veya yapay zeka destekli hatalı kodları başarılı bir şekilde hata ayıklayabilmeleri ve teşhis edebilmeleri için kod konusundaki kavrayışlarını değerlendirmek de önemlidir.

2. Eğitimde, öğrencilere yapay zeka yardımı olmadan programlamayı öğretmek önemlidir. AI yardımı çok fazla olursa, öğrenciler temel kavramları kaçırabilir ve başarılı yazılım mühendisleri olmak için ihtiyaç duydukları becerileri öğrenmeyi atlayabilirler. StackOverflow geliştirici anketinde de belirtildiği gibi, bu öğrencilerin iş hayatlarında AI yardımına erişimi olması muhtemel olsa da, sağlam bir temele sahip olmadan öğrenciler, AI tarafından üretilen hatalı kodları düzeltemeyecek, hatta neyin yanlış olduğunu anlayamayacaklardır.

3. Uyum ve güvenlik. Birçok uyum çerçevesi, olası hatalı çıktılar ve yazılım hataları nedeniyle yapay zeka tarafından üretilen kodun daha yüksek risk taşıdığını kabul etmektedir. Ayrıca, lisans ve telif hakkı konusunda dikkate alınması gereken önemli hususlar da bulunmaktadır; yapay zeka modelleri, istemeden uyumsuz lisanslara sahip kodları kopyalayabilir ve bu da uyum ihlallerine yol açabilir. Bunun yanı sıra, yapay zeka tarafından üretilen kodun tescilli veya telif hakkı ile korunabilir olup olmadığı konusunda henüz netleşmemiş sorular bulunmaktadır.

4. Kaynak ve kod izleme. Yapay zeka ortaya çıkmadan önce, git blame gibi araçlar her bir kod satırını kimin yazdığını ve değişikliklerin neden yapıldığını kolayca takip etmeyi sağlıyordu. Yapay zekanın büyük miktarda kod üretmesiyle birlikte, geliştiricilerin her satırın arkasındaki bağlamı ve gerekçeyi hatırlaması daha zor hale geliyor. AI tarafından üretilen kodu tespit edip takip edebilmek, kod bakımı, hata ayıklama ve kaynak yönetimine yardımcı olur. CTO'lar ve mühendislik liderleri bu bilgileri kullanarak farklı AI modellerinin etkinliğini değerlendirebilir ve ekiplerinin mevcut en iyi araçları kullandığından emin olabilirler.

Pangram'ın Yapay Zeka Tarafından Oluşturulan Kodu Tespit Etme Yeteneği

Genel olarak, Pangram, özellikle kodun uzunluğu 40 satırı aştığında, yapay zeka tarafından üretilen kodların çoğunu ihtiyatlı bir şekilde tespit edebilmektedir. Pangram ihtiyatlı bir yaklaşım sergiler; çünkü insan tarafından yazılmış kodları nadiren yapay zeka tarafından üretilmiş olarak işaretler, ancak yapay zeka tarafından üretilen kodların yaklaşık %8’ini gözden kaçırarak bunları yanlış bir şekilde insan tarafından yazılmış olarak değerlendirir.

Tüm kod parçacıkları incelendiğinde, Pangram'ın yapay zeka tarafından üretilen kodların yaklaşık %20'sini gözden kaçırdığı görülmektedir; zira kısa yapay zeka kod parçacıklarının çoğu, insan tarafından yazılmış koddan ayırt edilemeyen şablon kodlardan oluşmakta ya da tespit edilebilmesi için yeterli belirginlik içermemektedir.

40 satırdan uzun kodlarda doğruluk

Tüm kod parçacıklarında doğruluk

Veri kümesi

Bu analizi gerçekleştirmek için GitHub veri setini kullanıyoruz. Yapay zeka kodu için, basit iki aşamalı bir sentetik yansıtma aşaması kullanıyoruz:

1. LLM'den kodun ne hakkında olduğuna dair kısa bir özet vermesini isteyin.
2. LLM'den, döndürülen özet doğrultusunda bir kod örneği yazmasını isteyin.

Veri setini oluşturmak için GPT-4o, Claude Sonnet, Llama 405b, Mistral 7B, Gemini 1.5 Flash ve Gemini 1.5 Pro kullanıyoruz.

Yapay Zeka Tarafından Oluşturulan Kodları Tespit Etmeye Yönelik Öneriler

AI tarafından üretilen kod, AI tarafından üretilen metinlere kıyasla tespit edilmesi daha zordur; çünkü burada özgürlük derecesi önemli ölçüde daha azdır: Bir programcının yaptığı keyfi stil seçimleri, bir yazara kıyasla daha azdır. Gözlemlediğimiz yanlış negatiflerde, birçok dosyanın yaratıcılık veya esneklik için fazla bir alan bırakmadığını fark ediyoruz; örneğin, otomatik olarak üretilen standart kodlar veya yapılandırma dosyaları gibi. C, Assembly ve derleyici kodu gibi düşük seviyeli diller de sözdizimi açısından çok daha katıdır ve bu nedenle kodun AI tarafından üretildiğini anlayabileceğimiz sinyaller daha azdır.

Yapay zeka tarafından üretilmiş kodun belirtilerini arıyorsanız, şunları öneririz:

• Yorumlar: Yapay zeka tarafından üretilen kodlarda yorumların yazılma şekli genellikle oldukça belirgindir. Ayrıca, yapay zeka tarafından üretilen kodlarda, bir insanın normalde yazdığından çok daha fazla yorum bulunduğunu da fark ediyoruz.
• İç benzerlik: Yapay zeka tarafından üretilen kodlar, özellikle programlama derslerindeki bireysel ödevlerde, genellikle birbirine benzer. Stanford Üniversitesi’nde geliştirilen Yazılım Benzerlik Ölçütü ( MOSS), ticari olmayan kullanım için erişime açıktır; kod benzerliğini tespit etmede etkilidir ve çoğu zaman birbirine benzeyen birçok yapay zeka tarafından üretilmiş kod ödevini tespit edebilir.
• Pangram, yanlış pozitif sonuçlar vermeden yapay zeka tarafından üretilen kodların büyük bir kısmını tespit edebilmektedir, ancak yanlış negatif sonuçlar sıkça görülmektedir. Pangram, yapay zeka kaynaklı kod intihalinin tamamını değil, bir kısmını ilk aşamada tespit etmek için güvenilir bir tarama aracı olarak kullanılabilir.