Wie gut funktioniert Pangram bei KI-Code?

Jeden Tag wird mehr und mehr Code mithilfe von KI geschrieben. Laut Sundar Pichai, dem CEO von Google, wurden Ende 2024 bereits über 25 % des Codes bei Google von KI geschrieben. Der CEO von Robinhood sagt, dass der Großteil des bei Robinhood ausgelieferten Codes mittlerweile von KI geschrieben wird. Der Begriff „Vibe Coding“ (bekannt geworden durch einen Tweet von Andrej Karpathy) hat Einzug in den öffentlichen Sprachgebrauch gehalten: Er bedeutet, dass man sich voll und ganz den „Vibes“ des Programmierens hingibt und die KI das Ruder übernehmen und den Code für einen schreiben lässt.

Start-ups wie Cursor, Lovable und Replit versuchen, die Einstiegshürden für das Programmieren abzubauen: Das bedeutet, dass der Einstieg in die Programmierung so einfach ist, dass jeder im Unternehmen Code erstellen oder sogar eine vollwertige Website oder App entwickeln kann, ohne über Kenntnisse in Python oder React zu verfügen.

Die StackOverflow-Entwicklerumfrage 2025 zeigt, wie weit verbreitet dieser Trend mittlerweile ist. 84 % der Entwickler nutzen KI-Tools bereits in ihrem Entwicklungsworkflow oder planen deren Einsatz, wobei 51 % der professionellen Entwickler KI-Tools täglich nutzen. Dies stellt einen bedeutenden Wandel in der Art und Weise dar, wie branchenweit Code geschrieben wird.

Die Umfrage zeigt jedoch auch, dass diese Ära der KI-gestützten Entwicklung mit Anlaufschwierigkeiten verbunden ist. Zwar geben 52 % der Entwickler an, dass KI-Tools ihre Produktivität positiv beeinflusst haben, doch ist die positive Einstellung gegenüber KI-Tools von über 70 % auf 60 % im Jahr 2025 gesunken. Nach einer anfänglichen Phase der Begeisterung und des Ausprobierens dieser KI-generierten Tools scheinen die Entwickler ihnen nun eher neutral gegenüberzustehen.

Die Ursache für die Frustration ist bezeichnend: 66 % der Entwickler sind frustriert über „KI-Lösungen, die fast richtig, aber nicht ganz richtig sind“, und 45 % empfinden das Debuggen von KI-generiertem Code als zeitaufwändiger als erwartet. Nur 3 % der Entwickler „vertrauen voll und ganz“ den Ergebnissen von KI-Tools, während 46 % der Genauigkeit von KI-Tools aktiv misstrauen.

Dies führt zu einem interessanten Paradoxon: Entwickler verlassen sich beim Schreiben von Code zunehmend auf KI, vertrauen aber nicht voll und ganz auf das, was diese produziert. Wie die Umfrage zeigt, würden 75 % der Entwickler immer noch einen Menschen um Hilfe bitten, wenn sie „den Antworten der KI nicht trauen“, und positionieren sich damit als „letzte Instanz für Qualität und Korrektheit“. Simon Willison erklärt, er „würde keinen KI-generierten Code für Projekte verwenden, die er veröffentlichen will, es sei denn, er hätte jede Zeile überprüft. Es besteht nicht nur das Risiko von Halluzinationen, sondern der Wunsch des Chatbots, zu gefallen, bedeutet auch, dass er eine unbrauchbare Idee als funktionsfähig ausgeben könnte. Das ist ein besonderes Problem für diejenigen unter uns, die nicht wissen, wie man den Code bearbeitet. Wir riskieren, Software mit eingebauten Problemen zu erstellen.“

Die Bedeutung der Erkennung von KI-generiertem Code

Auch wenn KI-generierter Code nicht mehr wegzudenken ist, gibt es durchaus Bereiche, in denen es nach wie vor sinnvoll ist, zu überprüfen, ob der Code von Menschen geschrieben wurde.

1. Bei der Einstellung eines Softwareentwicklers ist es wichtig zu prüfen, ob der Programmierer in der Lage ist, ohne Unterstützung durch KI qualitativ hochwertigen Code zu schreiben. Darüber hinaus ist es wichtig, sein Verständnis des Codes zu beurteilen, damit er in der Lage ist, fehlerhaften, von KI generierten oder KI-unterstützten Code im Rahmen seiner Tätigkeit erfolgreich zu debuggen und zu diagnostizieren.

2. Im Bildungsbereich ist es wichtig, den Studierenden beizubringen, wie man ohne KI-Unterstützung programmiert. Bei zu viel KI-Unterstützung können Schüler grundlegende Konzepte verpassen und das Erlernen der Fähigkeiten umgehen, die sie benötigen, um erfolgreiche Softwareentwickler zu werden. Obwohl es wahrscheinlich ist, dass diese Schüler während ihrer Arbeit Zugang zu KI-Unterstützung haben werden, wie die StackOverflow-Entwicklerumfrage andeutet, werden sie ohne eine solide Grundlage nicht in der Lage sein, fehlerhaften, von KI generierten Code zu korrigieren oder überhaupt zu verstehen, was daran falsch ist.

3. Compliance und Sicherheit. Viele Compliance-Rahmenwerke stufen KI-generierten Code aufgrund potenzieller Fehlinterpretationen und Fehler als risikoreicher ein. Zudem gibt es wichtige lizenz- und urheberrechtliche Aspekte zu beachten – KI-Modelle können unbeabsichtigt Code mit inkompatiblen Lizenzen reproduzieren, was zu Compliance-Verstößen führen kann. Darüber hinaus ist noch ungeklärt, ob KI-generierter Code als urheberrechtlich geschützt oder als geistiges Eigentum angesehen werden kann.

4. Herkunft und Code-Nachverfolgung. Vor dem Zeitalter der KI ermöglichten Tools wie „git blame“ eine einfache Nachverfolgung, wer welche Codezeile geschrieben hat und warum Änderungen vorgenommen wurden. Da KI mittlerweile große Mengen an Code generiert, wird es für Entwickler immer schwieriger, sich den Kontext und die Gründe hinter jeder einzelnen Zeile zu merken. Die Fähigkeit, KI-generierten Code zu erkennen und nachzuverfolgen, hilft bei der Code-Wartung, der Fehlerbehebung und dem Ressourcenmanagement. CTOs und technische Führungskräfte können diese Informationen nutzen, um die Effektivität verschiedener KI-Modelle zu bewerten und sicherzustellen, dass ihre Teams die besten verfügbaren Tools einsetzen.

Pangrams Fähigkeit, von KI generierten Code zu erkennen

Insgesamt ist Pangram in der Lage, den Großteil des von KI generierten Codes konservativ zu erkennen, insbesondere wenn der Code mehr als 40 Zeilen umfasst. Pangram arbeitet konservativ, da es von Menschen geschriebenen Code nur selten als KI-generiert einstuft, jedoch etwa 8 % des KI-generierten Codes übersieht und diesen fälschlicherweise als von Menschen erstellt einstuft.

Betrachtet man alle Codeausschnitte, so übersieht Pangram etwa 20 % des KI-generierten Codes, da es sich bei den meisten kurzen KI-Codeausschnitten um Standardcode handelt, der sich nicht von menschlich geschriebenem Code unterscheiden lässt, oder weil sie einfach nicht genügend Merkmale aufweisen, um erkannt zu werden.

Korrektheit des Codes bei einer Länge von über 40 Zeilen

Korrekte Darstellung aller Codeausschnitte

Datensatz

Für diese Analyse verwenden wir den GitHub-Datensatz. Für den KI-Code nutzen wir einen einfachen zweistufigen synthetischen Spiegelungsprozess:

1. Bitten Sie den LLM, eine kurze Zusammenfassung des Inhalts des Kodex zu erstellen.
2. Bitten Sie den LLM, anhand der zurückgegebenen Zusammenfassung ein Code-Beispiel zu erstellen.

Zur Erstellung des Datensatzes verwenden wir GPT-4o, Claude Sonnet, Llama 405b, Mistral 7B, Gemini 1.5 Flash und Gemini 1.5 Pro.

Empfehlungen zur Erkennung von KI-generiertem Code

Von KI generierter Code ist schwieriger zu erkennen als von KI generierte Texte, da es deutlich weniger Gestaltungsspielraum gibt: Im Vergleich zu einem Autor trifft ein Programmierer weniger willkürliche stilistische Entscheidungen. Wir stellen bei den von uns beobachteten Falsch-Negativen fest, dass viele Dateien einfach nicht viel Raum für Kreativität oder Flexibilität bieten, wie beispielsweise automatisch generierter Standardcode oder Konfigurationsdateien. Low-Level-Sprachen wie C, Assembler und Compiler-Code sind zudem in ihrer Syntax viel strenger, sodass es weniger Anhaltspunkte gibt, um zu erkennen, wann Code KI-generiert ist.

Wenn Sie nach Anzeichen für KI-generierten Code suchen, empfehlen wir Folgendes:

• Anmerkungen: Oftmals weist KI-generierter Code eine ganz bestimmte Art der Kommentierung auf. Uns fällt außerdem auf, dass KI-generierter Code deutlich mehr Kommentare enthält, als dies bei menschlich geschriebenem Code üblicherweise der Fall ist.
• Interne Ähnlichkeit: Von KI generierter Code ähnelt oft anderem von KI generierten Code, insbesondere bei individuellen Aufgaben in einem Programmierkurs. MOSS(Measure of Software Similarity), ein an der Stanford University entwickeltes Tool, steht für nichtkommerzielle Zwecke zur Verfügung. Es ist ein wirksames Mittel zur Erkennung von Code-Ähnlichkeiten und kann häufig viele ähnlich aussehende, von KI generierte Programmieraufgaben identifizieren.
• Pangram ist in der Lage, einen Großteil des KI-generierten Codes ohne Fehlalarme zu erkennen, doch es kommt häufig zu Fehlentscheidungen. Pangram kann als Screening-Tool genutzt werden, um zunächst einen Teil, jedoch nicht den gesamten, KI-generierten Code-Plagiaten aufzuspüren.