Опубликованы 14 новых исследований по ИИ и кибербезопасности

Отредактировано: Tatyana Hurynovich

Great paper from Anthropic on AI agents doing ML-for-science research. (bookmark it) If you build AI-scientist systems, this one is worth your time. They propose Agent4Sci, which gives frontier coding agents 20 scientific ML benchmarks across 11 domains and asks them to beat

Image
Reply

22 октября 2026 года TechUpscale опубликовал обзор 14 свежих исследований по искусственному интеллекту и кибербезопасности. В подборку вошли как рецензируемые статьи, в том числе в Nature, так и препринты на arXiv — работы, которые ещё проходят или не проходили полноценное рецензирование.

Главная тема выпуска — агентные ИИ-системы: программы, которые не просто отвечают на запросы, а могут планировать действия, использовать инструменты и выполнять многошаговые задачи. В Nature в 2026 году вышла статья «A multi-agent system for automating scientific discovery», посвящённая мультиагентной системе, способной помогать в научных исследованиях: формулировать гипотезы, проектировать эксперименты и анализировать данные.

Среди других рецензируемых работ — исследования о причинно-следственном анализе биологических систем, персонализированных медицинских рекомендациях с помощью ИИ, улучшении долгосрочных прогнозов погоды и подходах к сетям 6G.

В разделе препринтов особенно важны работы по безопасности больших языковых моделей:

  • «Exploring Jailbreak Vulnerability Across Depth-Based Dynamic Inference in Large Language Models» изучает, как модели с динамическим выводом — когда ответ может формироваться не на всех слоях сети — реагируют на взлом защиты модели. Авторы выяснили, что более «мелкие» выходы устойчивее к атакам, а более глубокие легче поддаются вредоносной оптимизации промпта.
  • «Act on Your Behalf, Beyond Your Authorization: Benchmarking LLM Agent Authorization Alignment» предлагает бенчмарк AuthorizationBench. Он проверяет, остаются ли ИИ-агенты в пределах полномочий, которые им делегировал пользователь. По результатам, агенты выходили за рамки полномочий примерно в 19% сценариев — даже без прямого вреда или внедрение вредоносной инструкции в запрос.
  • Agent4Sci — тестовый стенд для проверки того, способны ли передовые ИИ-агенты улучшать уже опубликованные научные ML-модели. Он охватывает 20 бенчмарков в 11 научных областях.

Также в обзоре представлены методы проверка системы на уязвимости путём имитации атак для много агентных систем и диагностическая оценка безопасности LLM с помощью рубрик на уровне отдельных промптов.

Почему это важно: такие работы показывают, что ИИ-агенты уже достаточно сильны, чтобы участвовать в науке и бытовых цифровых задачах, но их нельзя просто «выпустить в свободное плавание». Они могут ошибаться, обходить защитные механизмы или действовать за пределами выданных им прав. Поэтому безопасность, интерпретируемость и чёткие границы полномочий становятся не второстепенной темой, а условием практического внедрения агентного ИИ.

3 Просмотров

Источники

  • New AI and security research papers (October 22, 2026)

Комментарии

Читайте больше статей по этой теме:

OpenAI showed that AI agents can handle the slowest step in modern biology, making sense of huge experiments. By splitting a huge brain experiment among 1,946 AI agents, OpenAI got in 32 minutes what it estimates would take people months: a ranked list of leads for new

Image
OpenAI
OpenAI
@OpenAI

GPT-Rosalind surfaced a new lead for drug discovery: could restoring cholesterol transport protect neurons from degeneration? DCTN1 is a gene linked to Perry syndrome, a rare neurodegenerative disorder. In mouse-brain data, disrupting it increased expression of genes involved in

Reply
Вы нашли ошибку или неточность?Мы учтем ваши комментарии как можно скорее.