В гонке за безопасный искусственный интеллект обнаружилось неожиданное слабое место: вся система выравнивания может рухнуть из-за минимального вмешательства в одну-единственную клетку нейронной сети.
Исследование «A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models» (авторы: Hamid Kazemi, Atoosa Chegini, Maria Safi).
- Авторы показали, что в крупных LLM достаточно подавить (suppress) или активировать всего один нейрон, чтобы обойти встроенные механизмы безопасности (refusal).Есть два типа нейронов: refusal neurons (блокирующие вредный контент) и concept neurons (кодирующие само вредное знание).Подавление одного refusal-нейрона позволяет модели отвечать на явно вредные запросы.Усиление одного concept-нейрона заставляет модель генерировать вредный контент даже на безобидных промптах.
- Это работает без дообучения и без специальных промптов — только точечное вмешательство внутри модели.
- Протестировано на семи моделях двух семейств (от 1.7B до 70B параметров).
- Вывод исследователей: безопасность alignment не распределена равномерно по весам модели, а завязана на отдельных нейронах, которые «каузально достаточны» для отказа или разрешения вредного поведения.
Такая уязвимость ставит под вопрос саму архитектуру современных методов выравнивания. Компании вкладывают миллионы в многоуровневые фильтры и человеческий надзор, однако результат оказывается хрупким. Интересы разработчиков здесь очевидны: они стремятся быстрее вывести продукт на рынок, а глубокая проверка каждого параметра требует времени и ресурсов, которых часто не хватает.
Для обычного пользователя это означает, что доверие к «безопасному» чат-боту может оказаться иллюзорным. Достаточно небольшого изменения в коде или даже случайного сбоя, чтобы модель начала вести себя иначе. Аналогия здесь проста: как одна слабая заклёпка в мосту способна привести к обрушению всей конструкции при определённой нагрузке.
Эксперты отмечают, что подобные находки подталкивают индустрию к поиску более устойчивых методов. Вместо попыток заблокировать каждое опасное слово разумнее создавать модели, которые изначально понимают контекст и последствия своих ответов. Пока же преобладает подход «латания дыр», который даёт лишь временную иллюзию контроля.
В итоге при работе с языковыми моделями стоит применять дополнительные уровни проверки и не полагаться исключительно на встроенные ограничения.
