¿Qué tal funciona Pangram con el código de IA?

Cada día se escribe más código con ayuda de la IA. Según Sundar Pichai, director ejecutivo de Google, a finales de 2024 más del 25 % del código de Google había sido escrito por la IA. El director ejecutivo de Robinhood afirma que la mayor parte del código que se lanza en Robinhood ahora lo escribe la IA. El término «vibe coding» (popularizado en un tuit de Andrej Karpathy) ha pasado a formar parte del léxico público: significa cuando te dejas llevar por completo por las «vibraciones» de la programación y dejas que la IA tome el control y escriba el código por ti.

Startups como Cursor, Lovable y Replit están tratando de eliminar las barreras de acceso a la programación: es decir, que iniciarse en la programación es tan fácil que cualquier persona de la empresa puede escribir código, o incluso crear una página web o una aplicación completa sin necesidad de tener conocimientos de Python o React.

La encuesta StackOverflow para desarrolladores de 2025 pone de manifiesto lo extendida que está esta tendencia. El 84 % de los desarrolladores utiliza o tiene previsto utilizar herramientas de IA en su flujo de trabajo de desarrollo, y el 51 % de los desarrolladores profesionales las utiliza a diario. Esto supone un cambio significativo en la forma en que se escribe el código en todo el sector.

Sin embargo, la encuesta también pone de manifiesto las dificultades propias de esta era del desarrollo asistido por IA. Aunque el 52 % de los desarrolladores afirma que las herramientas de IA han influido positivamente en su productividad, la opinión favorable hacia estas herramientas ha descendido de más del 70 % al 60 % en 2025. Tras un periodo inicial de exploración con estas herramientas generadas por IA, parece que los desarrolladores ahora se muestran más neutrales al respecto.

El motivo de la frustración es revelador: el 66 % de los desarrolladores se siente frustrado por «soluciones de IA que están casi bien, pero no del todo», y el 45 % considera que depurar el código generado por la IA lleva más tiempo de lo esperado. Solo el 3 % de los desarrolladores «confía plenamente» en los resultados de las herramientas de IA, mientras que el 46 % desconfía abiertamente de su precisión.

Esto genera una paradoja interesante: los desarrolladores recurren cada vez más a la IA para escribir código, pero no confían plenamente en lo que esta genera. Tal y como señala la encuesta, el 75 % de los desarrolladores seguiría pidiendo ayuda a una persona cuando «no confía en las respuestas de la IA», posicionándose a sí mismos como los «árbitros definitivos de la calidad y la corrección». Según Simon Willison, él «no utilizaría código generado por IA para proyectos que tuviera previsto lanzar a menos que hubiera revisado cada línea. No solo existe el riesgo de alucinaciones, sino que el deseo del chatbot de ser complaciente implica que puede afirmar que una idea inutilizable funciona. Eso supone un problema concreto para quienes no sabemos cómo editar el código. Corremos el riesgo de crear software con problemas incorporados».

La importancia de detectar el código generado por IA

Aunque el código generado por IA ha llegado para quedarse, sin duda hay algunos casos en los que sigue siendo conveniente comprobar que el código ha sido escrito por personas.

1. En el proceso de selección, a la hora de contratar a un desarrollador de software, es importante evaluar si el programador es plenamente capaz de escribir código de alta calidad sin la ayuda de la IA. Además, también es importante evaluar su comprensión del código, de modo que pueda depurar y diagnosticar con éxito el código defectuoso generado o asistido por la IA en el desempeño de su trabajo.

2. En el ámbito educativo, es importante enseñar a los estudiantes a programar sin ayuda de la IA. Con demasiada ayuda de la IA, los estudiantes pueden pasar por alto conceptos fundamentales y eludir el aprendizaje de las habilidades que necesitan para convertirse en ingenieros de software de éxito. Aunque es probable que estos estudiantes tengan acceso a la ayuda de la IA en sus trabajos, tal y como se insinúa en la encuesta a desarrolladores de StackOverflow, sin una base sólida, los estudiantes no serán capaces de corregir el código incorrecto generado por la IA ni siquiera de entender qué es lo que falla en primer lugar.

3. Cumplimiento normativo y seguridad. Muchos marcos de cumplimiento normativo consideran que el código generado por IA entraña un mayor riesgo debido a posibles «alucinaciones» y errores. También hay que tener en cuenta importantes cuestiones relacionadas con las licencias y los derechos de autor: los modelos de IA pueden reproducir inadvertidamente código con licencias incompatibles, lo que daría lugar a incumplimientos normativos. Además, sigue sin estar claro si el código generado por IA puede considerarse propiedad exclusiva o susceptible de ser protegido por derechos de autor.

4. Procedencia y seguimiento del código. Antes de la IA, herramientas como «git blame» facilitaban el seguimiento de quién había escrito cada línea de código y por qué se habían realizado los cambios. Ahora que la IA genera grandes cantidades de código, a los desarrolladores les resulta más difícil recordar el contexto y el razonamiento que hay detrás de cada línea. La capacidad de detectar y rastrear el código generado por IA ayuda al mantenimiento del código, la depuración y la gestión de recursos. Los directores técnicos y los responsables de ingeniería pueden utilizar esta información para evaluar la eficacia de los diferentes modelos de IA y garantizar que sus equipos utilicen las mejores herramientas disponibles.

La capacidad de Pangram para detectar código generado por IA

En general, Pangram es capaz de detectar de forma conservadora la mayor parte del código generado por IA, especialmente cuando el código tiene más de 40 líneas. Pangram es conservador porque rara vez marca el código escrito por humanos como generado por IA, pero pasa por alto alrededor del 8 % del código generado por IA, al clasificarlo erróneamente como humano.

Al analizar todos los fragmentos de código, Pangram pasa por alto aproximadamente el 20 % del código generado por IA, ya que la mayoría de los fragmentos cortos de código de IA son código repetitivo que resulta indistinguible del código humano o que, sencillamente, no presenta suficientes indicios para ser detectado.

Precisión en el código de más de 40 líneas

Exactitud en todos los fragmentos de código

Conjunto de datos

Para realizar este análisis utilizamos el conjunto de datos de GitHub. En cuanto al código de IA, empleamos una etapa de replicación sintética sencilla de dos fases:

1. Pide al LLM que te haga un breve resumen del contenido del código.
2. Pide al LLM que escriba un ejemplo de código según el resumen proporcionado.

Para crear el conjunto de datos utilizamos GPT-4o, Claude Sonnet, Llama 405b, Mistral 7B, Gemini 1.5 Flash y Gemini 1.5 Pro.

Recomendaciones para detectar código generado por IA

El código generado por IA es más difícil de detectar que los textos generados por IA, ya que ofrece muchos menos grados de libertad: un programador tiene menos opciones estilísticas arbitrarias que un escritor. Nos damos cuenta, al observar los falsos negativos, de que muchos archivos simplemente no ofrecen mucho margen para la creatividad o la flexibilidad, como es el caso del código genérico generado automáticamente o los archivos de configuración. Los lenguajes de bajo nivel, como C, ensamblador y el código de compiladores, también son mucho más estrictos en su sintaxis, por lo que hay menos indicios que permitan determinar cuándo el código ha sido generado por IA.

Si estás buscando indicios de código generado por IA, te recomendamos lo siguiente:

• Comentarios: a menudo, el código generado por IA tiene una forma muy concreta de escribir comentarios. También observamos que el código generado por IA incluye muchos más comentarios que los que suele incluir un ser humano.
• Similitud interna: el código generado por IA suele ser similar a otro código generado por IA, sobre todo en el caso de los trabajos individuales de una asignatura de programación. MOSS, la «Medida de Similitud de Software» desarrollada en Stanford, está disponible para uso no comercial, resulta eficaz a la hora de detectar similitudes en el código y, a menudo, es capaz de identificar muchos trabajos de programación generados por IA que parecen similares.
• Pangram es capaz de detectar una gran parte del código generado por IA sin falsos positivos, pero los falsos negativos son habituales. Se puede confiar en Pangram como herramienta de cribado para detectar inicialmente algunos casos de plagio de código generado por IA, aunque no todos.