Publicados 14 nuevos estudios sobre IA y ciberseguridad

Editado por: Tatyana Hurynovich

Great paper from Anthropic on AI agents doing ML-for-science research. (bookmark it) If you build AI-scientist systems, this one is worth your time. They propose Agent4Sci, which gives frontier coding agents 20 scientific ML benchmarks across 11 domains and asks them to beat

Image
Reply

22 de octubre de 2026, TechUpscale publicó una reseña de 14 estudios recientes sobre inteligencia artificial y ciberseguridad. La selección incluye tanto artículos revisados por pares, entre ellos en Nature, como preprints en arXiv: trabajos que aún están pasando o no han pasado una revisión por pares completa.

El tema principal del número es el de los sistemas de IA agénticos: programas que no solo responden a solicitudes, sino que pueden planificar acciones, utilizar herramientas y ejecutar tareas de varios pasos. En Nature se publicó en 2026 un artículo «A multi-agent system for automating scientific discovery», dedicado a un sistema multiagente capaz de ayudar en la investigación científica: formular hipótesis, diseñar experimentos y analizar datos.

Entre los demás trabajos revisados por pares figuran estudios sobre el análisis causal de sistemas biológicos, recomendaciones médicas personalizadas mediante IA, la mejora de las previsiones meteorológicas a largo plazo y enfoques para las redes 6G.

En la sección de preprints son especialmente importantes los trabajos sobre la seguridad de los grandes modelos de lenguaje:

  • «Exploring Jailbreak Vulnerability Across Depth-Based Dynamic Inference in Large Language Models» estudia cómo reaccionan al jailbreak los modelos con inferencia dinámica —cuando la respuesta puede formarse no en todas las capas de la red—. Los autores descubrieron que las salidas más «superficiales» son más resistentes a los ataques, mientras que las más profundas son más susceptibles a la optimización maliciosa del prompt.
  • «Act on Your Behalf, Beyond Your Authorization: Benchmarking LLM Agent Authorization Alignment» propone el benchmark AuthorizationBench. Este comprueba si los agentes de IA se mantienen dentro de las facultades que les ha delegado el usuario. Según los resultados, los agentes se excedieron en sus facultades en aproximadamente 19% escenarios, incluso sin daño directo ni la inyección de una instrucción maliciosa en la solicitud.
  • Agent4Sci es un banco de pruebas para verificar si los agentes de IA de vanguardia son capaces de mejorar modelos científicos de ML ya publicados. Abarca 20 benchmarks en 11 áreas científicas.

También en la reseña se presentan métodos para comprobar la vulnerabilidad del sistema mediante la simulación de ataques para sistemas multiagente y una evaluación diagnóstica de la seguridad de los LLM mediante rúbricas a nivel de prompts individuales.

Por qué es importante: trabajos así demuestran que los agentes de IA ya son lo bastante potentes como para participar en la ciencia y en tareas digitales cotidianas, pero no se les puede simplemente «soltar en mar abierto». Pueden equivocarse, eludir los mecanismos de protección o actuar fuera de los permisos que se les han concedido. Por eso, la seguridad, la interpretabilidad y unos límites claros de las facultades dejan de ser un tema secundario y se convierten en una condición para la implantación práctica de la IA agéntica.

3 Vues

Fuentes

  • New AI and security research papers (October 22, 2026)

Comentarios

Lea más artículos sobre este tema:

Korea Aerospace Industries says its AI module on the 12U BEE-1012 CubeSat, launched on Nuri Oct 7, passed an orbital pilot Oct 20. Given a simulated fault, it diagnosed cause and scope and sent back a fix plan. A main demo starts in December. Image Credit: Yonsei University

Image
Reply
¿Encontró un error o inexactitud?Consideraremos sus comentarios lo antes posible.