AIとサイバーセキュリティに関する14件の新研究が公開

編集者: Tatyana Hurynovich

Great paper from Anthropic on AI agents doing ML-for-science research. (bookmark it) If you build AI-scientist systems, this one is worth your time. They propose Agent4Sci, which gives frontier coding agents 20 scientific ML benchmarks across 11 domains and asks them to beat

Image
Reply

22月2026日、TechUpscaleは人工知能とサイバーセキュリティに関する14件の最新研究のレビューを公開した。 この特集には、査読済み論文とともに Nature、arXiv上のプレプリント、すなわち現在査読中であるか、本格的な査読を経ていない研究も収録されている。

今号の主なテーマは エージェント型AIシステムである。すなわち、単に問い合わせに答えるだけでなく、行動を計画し、ツールを使用し、多段階のタスクを実行できるプログラムである。 Nature では2026年に論文 「A multi-agent system for automating scientific discovery」が掲載され、科学研究の支援、すなわち仮説の立案、実験の設計、データの分析を行えるマルチエージェントシステムについて論じている。

他の査読済み研究には、生物学的システムの因果分析、AIによる個別化された医療推薦、長期天気予報の改善、6Gネットワークへのアプローチに関する研究が含まれている。

プレプリントのセクションでは、大規模言語モデルの安全性に関する研究が特に重要である。

  • 「Exploring Jailbreak Vulnerability Across Depth-Based Dynamic Inference in Large Language Models」 は、動的推論を備えたモデル、すなわち回答がネットワークのすべての層で形成されるとは限らないモデルが、モデルの保護機能へのハッキングにどう反応するかを研究している。著者らは、より「浅い」出力の方が攻撃に対して堅牢であり、より深い出力の方がプロンプトの悪意ある最適化に対して脆弱であることを明らかにした。
  • 「Act on Your Behalf, Beyond Your Authorization: Benchmarking LLM Agent Authorization Alignment」 は、ベンチマークAuthorizationBenchを提案している。これは、AIエージェントがユーザーから委任された権限の範囲内にとどまっているかどうかを検証するものである。その結果、エージェントは約19%のシナリオで権限の範囲を超えていた。しかも、直接的な害やリクエストへの悪意ある指示の注入がなくてもそうなっていた。
  • Agent4Sci は、最先端のAIエージェントが既に公開されている科学分野のMLモデルを改善できるかどうかを検証するためのテストベッドである。これは11の科学分野にわたる20のベンチマークを対象としている。

また、このレビューでは、マルチエージェントシステム向けに攻撃を模倣してシステムの脆弱性を検査する手法や、個々のプロンプトのレベルでルーブリックを用いてLLMの安全性を診断的に評価する手法も紹介されている。

なぜこれが重要か: こうした研究は、AIエージェントがすでに科学や日常的なデジタルタスクに参加できるほど強力になっている一方で、単に「自由に泳がせる」わけにはいかないことを示している。エージェントは誤りを犯したり、防御機構を回避したり、付与された権限の範囲外で行動したりする可能性がある。そのため、安全性、解釈可能性、そして明確な権限の境界は、副次的なテーマではなく、エージェント型AIの実用的な導入の条件となっている。

3 ビュー

ソース元

  • New AI and security research papers (October 22, 2026)

コメント

このトピックに関するその他の記事を読む:

Korea Aerospace Industries says its AI module on the 12U BEE-1012 CubeSat, launched on Nuri Oct 7, passed an orbital pilot Oct 20. Given a simulated fault, it diagnosed cause and scope and sent back a fix plan. A main demo starts in December. Image Credit: Yonsei University

Image
Reply
エラーや不正確な情報を見つけましたか?できるだけ早くコメントを考慮します。