已发布14项关于人工智能与网络安全的新研究

编辑者: Tatyana Hurynovich

Great paper from Anthropic on AI agents doing ML-for-science research. (bookmark it) If you build AI-scientist systems, this one is worth your time. They propose Agent4Sci, which gives frontier coding agents 20 scientific ML benchmarks across 11 domains and asks them to beat

Image
Reply

22月2026日,TechUpscale 发布了一篇关于人工智能与网络安全最新研究的综述,共收录14项。 该汇编既收录了经过同行评审的文章,其中包括发表在 Nature上的文章,也收录了 arXiv 上的预印本——即仍在接受或尚未接受完整同行评审的论文。

本期的主要议题是 智能体式人工智能系统:这类程序不仅能回应请求,还能规划行动、使用工具并执行多步骤任务。在 Nature 上,2026年发表了一篇文章 《A multi-agent system for automating scientific discovery》,探讨一种多智能体系统,它能够协助科学研究:提出假设、设计实验并分析数据。

其他经过同行评审的研究还包括:生物系统的因果分析、借助人工智能提供个性化医疗建议、改进长期天气预报,以及面向 6G 网络的方法。

在预印本部分,关于大型语言模型安全性的研究尤为重要:

  • 《Exploring Jailbreak Vulnerability Across Depth-Based Dynamic Inference in Large Language Models》 研究了采用动态推理的模型——即回答可能并非在网络的每一层都生成——如何应对模型防护被攻破的情况。作者发现,较“浅层”的输出对攻击更具抵抗力,而较深层的输出则更容易受到恶意提示优化的影响。
  • 《Act on Your Behalf, Beyond Your Authorization: Benchmarking LLM Agent Authorization Alignment》 提出了一个名为 AuthorizationBench 的基准测试。它检验人工智能智能体是否始终处于用户所委托的权限范围之内。结果显示,智能体在约19%个场景中超出了权限范围——甚至在没有直接危害、也没有在请求中注入恶意指令的情况下也是如此。
  • Agent4Sci 是一个测试平台,用于检验前沿人工智能智能体能否改进已发表的机器学习科学模型。它涵盖11个科学领域的20项基准测试。

该综述还介绍了针对多智能体系统通过模拟攻击来检验系统漏洞的方法,以及借助逐条提示词层面的评分标准对 LLM 安全性进行的诊断性评估。

为什么这很重要: 这类研究表明,AI 智能体已经足够强大,能够参与科学研究和日常数字任务,但不能简单地将它们“放归自由”。它们可能出错、绕过防护机制,或超出被授予的权限行事。因此,安全性、可解释性以及明确的权限边界不再是次要话题,而是智能体式 AI 实际落地应用的前提条件。

3 查看

来源

  • New AI and security research papers (October 22, 2026)

评论

阅读更多关于此主题的文章:

Korea Aerospace Industries says its AI module on the 12U BEE-1012 CubeSat, launched on Nuri Oct 7, passed an orbital pilot Oct 20. Given a simulated fault, it diagnosed cause and scope and sent back a fix plan. A main demo starts in December. Image Credit: Yonsei University

Image
Reply
你发现了错误或不准确的地方吗?我们会尽快考虑您的意见。