← Volver a Conocimiento
IA aplicada · Revisión de evidencia

Las fábricas de software con IA optimizan el paso que ya era barato

Las plataformas de “AI software factory” prometen llevar una solicitud hasta un pull request revisado, con aprobaciones humanas en puntos definidos. La pregunta que las diferencia es dónde aprueba una persona: al final, en el spec, o antes de que exista código. La evidencia independiente sugiere que el problema está en otro lugar.

Dónde se mueve el cuello de botella

  1. Solicitudticket · prompt · spec
  2. Generacióncommodity · casi gratis
  3. Pull requestvolumen creciente
  4. Revisióncuello de botella real
  5. Cumplimientopolíticas del repositorio
  6. Mantenimientodonde aparece el costo

Los estudios controlados no coinciden con la percepción

El ensayo aleatorizado más riguroso midió 16 desarrolladores experimentados en 246 tareas reales sobre repositorios propios y maduros: con asistencia de IA tardaron 19 % más, mientras ellos estimaban una mejora del 20 %. El propio equipo retiró después ese resultado y declaró el signo poco fiable, porque entre un 30 % y un 50 % de los participantes evitaba enviar tareas que tendrían que resolver sin IA.

  • La retractación importa tanto como el dato: hoy no existe una cifra única defendible.
  • Las mediciones con mayor aceleración —55,8 % y 21 %— provienen de GitHub y Google sobre sus propias herramientas.
  • El estudio de mejor diseño, con 151 participantes, midió 30,7 % menos tiempo al escribir y ninguna diferencia significativa cuando otra persona debía evolucionar ese código.
  • Un seguimiento de dos años sobre 26.317 commits no encontró cambio estadísticamente significativo tras adoptar un asistente.

La revisión es el costo que nadie publica

Un análisis de 33.707 pull requests generados por agentes describe un régimen bimodal: un 28,3 % se integra de inmediato y el resto queda en una cola larga que se abandona cuando aparece feedback subjetivo. El esfuerzo de revisión resulta predecible antes de abrir el diff, lo que lo convierte en la variable económica central del sistema.

  • En 22.953 pull requests, los autores con menos experiencia generaron 4,52 veces más comentarios de revisión y un 31 % menos de aceptación.
  • Sobre 23.247 pull requests agénticos, el defecto más común de descripción es afirmar cambios que no se implementaron.
  • Un estudio sobre 3,52 millones de cambios en producción reporta mayor esfuerzo de revisión y entre 5 % y 8 % más consumo de cómputo.
  • No existe ningún estudio que cronometre minutos de revisión de código generado frente a escrito, con el mismo revisor y tareas equivalentes.

La supervisión declarada no es la que ocurre

Aquí está el hallazgo con mayor consecuencia práctica. En repositorios públicos, la mayoría de los pull requests con coautoría de IA se integran sin revisión explícita, y provienen en más del 67 % de contribuyentes sin propiedad previa sobre ese código. Eso invierte el patrón humano, donde un contribuyente externo recibe más escrutinio, no menos.

  • Cuando hay revisión, suele estar dominada por otros agentes; la participación humana se limita a reconducir al agente.
  • Las métricas de revisión dejan de ser un indicador de supervisión humana.
  • Un benchmark con 823 políticas extraídas de 12 repositorios encontró que los agentes incumplen un 43,1 % de las reglas aplicables aunque el parche sea funcionalmente correcto.
  • Cerca de la mitad de esos incumplimientos ocurre en pasos intermedios, no en el entregable final.

La deuda se acumula en lugar de resolverse

Un estudio sobre 302.600 commits atribuidos a IA en 6.299 repositorios identificó 484.366 problemas, de los cuales un 89,3 % son code smells. Más del 15 % de los commits de cada asistente introduce al menos un problema, y un 22,7 % de los problemas introducidos nunca se corrigió. El hallazgo no es que la herramienta genere defectos, sino que casi un cuarto de ellos permanece.

  • Un análisis causal observa ganancias de velocidad iniciales que se diluyen, con advertencias de análisis estático 18 % mayores y complejidad cognitiva 39 % mayor.
  • El resultado no es uniforme: un agente mostró 6,1 % de reversiones tras integrar frente a 11,5 % en cambios humanos, y otro 14,5 %.
  • La diferencia relevante está entre agentes y entre tipos de tarea, no entre “IA” y “personas”.
  • La literatura propone separar la deuda del código de la deuda cognitiva del equipo y de la ausencia de intención documentada.

Lo que queda por comprar es el control, no la generación

Escribir código dejó de ser el paso costoso: los orquestadores de agentes más usados son software libre con cientos de miles de estrellas. Ninguna de las plataformas comerciales de fábrica aparece en los repositorios públicos de la comunidad, porque lo que venden es el proceso alrededor del agente. Ese desplazamiento define qué conviene exigir en una evaluación.

  • Qué etapas requieren una decisión humana explícita y cuáles se ejecutan sin ella.
  • Qué ocurre con las aprobaciones posteriores cuando cambia un artefacto anterior.
  • Qué porcentaje de pull requests generados se descarta, y cuánto tiempo humano consume revisarlos.
  • Cómo se verifica el cumplimiento de las reglas del repositorio, y no solo que las pruebas pasen.

Fuentes oficiales