AI Code Detector: So überprüfen Sie, ob Code von ChatGPT, Copilot oder Claude geschrieben wurde

GitHub, Copilot, ChatGPT und Claude sind KI-gestützte Programmierassistenten. Sie ermöglichen es Softwareentwicklern, Code schneller zu erstellen. Dies hat die Produktivität von Entwicklern revolutioniert. Allerdings birgt diese gesteigerte Geschwindigkeit auch versteckte Risiken. Die Sicherheit der Software-Lieferkette, urheberrechtliche Fragen und die Integrität bei der Personalbeschaffung sind davon betroffen.

Das MOSS-System von Stanford kann in der Regel feststellen, ob ein Skript von einer KI generiert wurde, doch ein versierter Entwickler kann die Reihenfolge der Methoden anpassen und Variablen ändern, um unentdeckt zu bleiben. Außerdem ist es nur für die nichtkommerzielle Nutzung verfügbar. Um tatsächlich festzustellen, ob Code von einer KI generiert wurde, ist eine spezielle Infrastruktur erforderlich. Unternehmensplattformen wie Pangram treten nun auf den Plan, um spezielle Lösungen zur Erkennung von KI-Code anzubieten.

Wenn Sie sich fragen:„Lässt sich von KI generierter Code erkennen?“, lautet die Antwort: „Ja.“ Das Erkennen von KI-Code unterscheidet sich grundlegend vom Erkennen von KI-Text – und ist schwieriger. Dieser Leitfaden behandelt die folgenden Punkte:

• Die Muster maschinengenerierten Codes.
• Anwendungsfälle für die Erkennung im Unternehmensbereich.
• Wie man eine „Human-in-the-Loop“-Governance-Strategie zur Erkennung von KI-generiertem Code umsetzt.

Pangram-KI-Erkennung für Entwickler

Warum ist es so schwierig, KI-Code zu erkennen? (Das Problem der „Freiheitsgrade“)

Von KI generierter Code ist schwerer zu erkennen als von Menschen geschriebener Code, da Programmiersprachen über weniger „Freiheitsgrade“ verfügen. Einem Entwickler stehen weniger stilistische und strukturelle Gestaltungsmöglichkeiten zur Verfügung. Dies gilt insbesondere im Vergleich zu den zahlreichen stilistischen und strukturellen Gestaltungsmöglichkeiten, die einem Autor offenstehen.

Sprachen wie C und Assembler stellen sehr strenge Anforderungen an die Syntax. Wenn ein Mensch versucht, ein Problem zu lösen, entwickelt er möglicherweise die effizienteste Funktion für dieses Problem. Eine KI könnte denselben Code ebenfalls entwickeln, da es sich um die effizienteste Funktion handelt. Sowohl ein Mensch als auch eine KI können mathematisch identischen Code erzeugen.

Standard-Boilerplate-Code enthält kaum statistische Merkmale. Ein KI-Detektor ist nicht in der Lage, diese Art von Code zuverlässig als KI-generiert oder von Menschen geschrieben zu kennzeichnen. Dies gilt auch für einfache Konfigurationsdateien.

Anwendungsfall 1: Softwaresicherheit und IP-Governance

CTOs und Legal-Ops-Teams nutzen KI-Code-Detektoren, um die Herkunft ihres Quellcodes zu überprüfen. Damit wollen sie sicherstellen, dass ihre Entwickler kein urheberrechtsunfähiges KI-Eigentumsrecht veröffentlichen. Oder halluzinierte, anfällige Logik.

In den USA können vollständig durch KI erzeugte Inhalte nicht urheberrechtlich geschützt werden. Wenn das Kernprodukt eines Start-ups vollständig von Copilot ohne menschliche Aufsicht erstellt wurde, kann dieses Start-up dieses Produkt möglicherweise nicht urheberrechtlich schützen lassen.

Ein KI-Code-Detektor ist ein entscheidender erster Schritt in Sicherheitsabläufen. Wird ein Codeabschnitt als zu 100 % KI-generiert markiert, muss er einer gründlichen manuellen Sicherheitsprüfung unterzogen werden. Diese Prüfung muss erfolgen, bevor der Code integriert wird.

Anwendungsfall 2: Technische Personalbeschaffung und Entwicklerbewertungen

Personalverantwortliche setzen bei technischen Hausaufgaben einen KI-Code-Detektor ein. Sie nutzen diesen Detektor, um sicherzustellen, dass die Bewerber die Logik hinter dem von ihnen eingereichten Code verstehen. Personalverantwortliche wollen keine Bewerber, die ChatGPT-Ausgaben einfach kopieren und einfügen. Sie wollen Bewerber, die die Logik hinter diesen Ausgaben verstehen.

Ein Entwickler, der sich beim Bestehen eines Programmiertests vollständig auf ein LLM verlässt, wird wahrscheinlich scheitern, wenn er komplexe, undokumentierte Altsysteme debuggen soll. Code ist komplex. Ein Entwickler, der diese Komplexitäten ohne ChatGPT nicht bewältigen kann, ist möglicherweise nicht in der Lage, seine Aufgaben zu erfüllen.

Anstatt KI pauschal zu verbieten, nutzen Personalvermittler Erkennungswerkzeuge, um Fragen für Vorstellungsgespräche zu formulieren. Hier ein Beispiel: „Ich sehe, dass diese Funktion stark auf KI-Unterstützung setzt. Können Sie mir erklären, warum das Modell genau diese Schleifenstruktur gewählt hat?“

Muster, auf die man achten sollte: So erkennt man KI-Code manuell

Für eine hohe Erkennungsgenauigkeit bei großen Datenmengen ist Software erforderlich. Bei kleineren Datenmengen können manuelle Prüfer KI-Code jedoch erkennen, indem sie auf Folgendes achten:

• Äußerst spezifische Arten der Kommentierung.
• Überdokumentation.
• Extreme interne Ähnlichkeit.

KI-Modelle wie Claude/ChatGPT sind darauf trainiert, hilfreich zu sein. Das führt dazu, dass sie zu jeder Codezeile ausführliche, unnatürliche Kommentare einfügen. Menschliche Entwickler tun dies selten, weshalb Kommentare dieser Art ein typisches Merkmal von KI sind.

Im akademischen Umfeld oder bei Einstellungsverfahren sieht KI-Code in verschiedenen eingereichten Arbeiten oft identisch aus. MOSS kann diese Ähnlichkeit aufzeigen. Dadurch kann MOSS als sekundäres Indiz für eine KI-Generierung dienen. Auch andere Tools sind dazu in der Lage.

So funktioniert der KI-Code-Detektor von Pangram

Um zu überprüfen, ob Code von einer KI generiert wurde, nutzt Pangram Deep Learning. Deep Learning wird eingesetzt, um den statistischen Fingerabdruck von KI-Modellen zu identifizieren.

Pangram weist eine Genauigkeitsrate von 96,2 % auf. Außerdem liegt die Falsch-Positiv-Rate mit 0,3 % nahezu bei Null. Dies ist vor allem dem Deep Learning zu verdanken.

Die Genauigkeit von Pangram bei Codes mit mehr als 40 Zeilen

Im Gegensatz zu anderen KI-Code-Detektoren ist Pangram bewusst konservativ ausgelegt. Es ist so konzipiert, dass es manche KI-Standardcodes nicht erkennt – Pangram weist bei langen Codeausschnitten eine Falsch-Negativ-Rate von 8,5 % auf. Damit soll sichergestellt werden, dass niemals fälschlicherweise ein menschlicher Entwickler beschuldigt wird.

Entwicklungs- und Rekrutierungsteams können Pangram nahtlos in ihre Unternehmensabläufe integrieren. Dies ist über das Python-SDK zur KI-Codeerkennung von Pangram möglich. Alternativ können sie die API von Pangram nutzen. Beide Optionen ermöglichen eine automatisierte KI-Codeprüfung innerhalb bestehender Git- oder ATS-Workflows.

Überprüfung der Code-Integrität

KI-Programmierassistenten sind leistungsstarke Werkzeuge, die die Softwareentwicklung in allen Bereichen beschleunigen. Man darf sich jedoch nicht blind darauf verlassen, dass sie sichere, proprietäre Infrastrukturen erstellen.

Durch die Integration eines präzisen KI-Code-Detektors in ihren Arbeitsablauf können Entwicklungs- und Rekrutierungsteams:

• Sichern Sie ihre Software-Lieferkette.
• Ihr geistiges Eigentum schützen.
• Stellen Sie sicher, dass sie erstklassige Mitarbeiter einstellen.

Überprüfen Sie die Herkunft und Originalität Ihres Quellcodes mit der branchenweit genauesten KI-Erkennungsplattform.

Entdecken Sie Pangram für Entwickler