Noticias

La IA aún no puede con el trabajo real: un benchmark revela sus límites

Un nuevo estudio de Scale AI y CAIS, el Remote Labor Index (RLI), puso a prueba a las mejores IA del mundo en 240 proyectos laborales reales. Los resultados, de hace nueve meses, fueron contundentes: el mejor modelo apenas completó el 2,5% de las tareas, evidenciando que la capacidad agéntica de la IA sigue siendo extremadamente limitada.

Retrato de Juan José Do Olmo

Juan José Do Olmo

Docente

Imagen de portada: La IA aún no puede con el trabajo real: un benchmark revela sus límites

Promesas vacías. La realidad golpea.Hace nueve meses, en noviembre de 2025, el debate sobre la automatización masiva por IA recibió un baño de realidad contundente. La empresa Scale AI, líder en datos para IA, en colaboración con el prestigioso Center for AI Safety (CAIS), lanzó el Remote Labor Index (RLI). Este benchmark, pionero en su tipo, fue diseñado específicamente para medir la capacidad real de los modelos de inteligencia artificial para completar proyectos laborales complejos de principio a fin, simulando un entorno de trabajo remoto auténtico.### La dura verdad del trabajo autónomo con IAEl RLI no es un test teórico ni una simulación simplificada. Representa un desafío práctico sin precedentes, poniendo a prueba a las mejores IA del mundo en 240 proyectos reales. Estos proyectos cubrían un espectro amplio y exigente: desde el desarrollo de software y el diseño gráfico hasta el análisis de datos complejos y la producción multimedia. Cada tarea venía con descripciones detalladas, archivos específicos y entregables precisos, replicando fielmente las condiciones de un encargo profesional.¿El resultado? Desalentador para los entusiastas de la automatización total y para quienes preveían una inminente sustitución laboral. El mejor modelo evaluado, Manus, logró completar satisfactoriamente apenas el 2,5% de los proyectos. Otros gigantes de la IA como Grok 4 y Claude Sonnet 4.5 se quedaron en un discreto 2,08%, mientras que el esperado GPT-5 apenas alcanzó el 1,67%. Este bajo rendimiento sorprendió a muchos expertos del sector, evidenciando que la capacidad agéntica de las IA, es decir, su habilidad para realizar tareas complejas de forma autónoma y con iniciativa, sigue siendo extremadamente limitada.### Un examen de realidad para los modelos punterosLa evaluación de estos proyectos no fue automática. Se realizó mediante revisiones humanas expertas, profesionales cualificados que examinaron los entregables completos con criterios de calidad y funcionalidad estrictamente profesionales. El principal motivo de rechazo, que representó un abrumador 45,6% de los casos, fue la baja calidad profesional de los resultados. Esto significa que, aunque las IA intentaban las tareas, el producto final no cumplía los estándares mínimos requeridos en un entorno laboral real. Otros problemas frecuentes incluyeron archivos incompletos o corruptos, fallos técnicos inesperados y una notable falta de coherencia en tareas que requerían múltiples pasos o una comprensión contextual profunda.Scale AI destacó que los modelos mostraron fortalezas puntuales, especialmente en tareas creativas como la generación de logos o audios desde cero, donde la originalidad prima sobre la precisión. Sin embargo, fracasaron estrepitosamente en proyectos que demandaban edición precisa, coordinación de múltiples herramientas o una atención detallada a instrucciones complejas y matizadas. La promesa de una IA que gestione proyectos de principio a fin, con la autonomía y fiabilidad de un humano, por ahora, es solo eso: una promesa lejana.### El futuro de la evaluación de la inteligencia artificialEste benchmark, que se suma al previamente lanzado Humanity’s Last Exam (HLE) también creado por CAIS y Scale, plantea una pregunta fundamental para el futuro de la tecnología: ¿qué tan lejos estamos realmente de que estas herramientas puedan competir con humanos promedio en un entorno laboral complejo y dinámico? La respuesta, según los datos recopilados en noviembre de 2025, era muy lejos.No obstante, el RLI marca un punto de partida crucial y un avance significativo en la metodología de evaluación. Proporciona un método riguroso y estandarizado para medir el avance real en la automatización basada en IA, alejándose de métricas superficiales. Según sus autores, el RLI se convertirá en uno de los principales estándares que las futuras inteligencias artificiales generales (AGI) tendrán que superar para demostrar su utilidad práctica, su robustez y su verdadera capacidad de integración en el mercado laboral global.Fuente:Remote Labor Index (RLI) | Scale AI¿Es este tipo de evaluación el termómetro definitivo para calibrar el verdadero impacto de la IA en el futuro del trabajo?