Эксперт Бедеров предсказал новый класс атак с автономными программными агентами
Председатель совета по противодействию технологическим правонарушениям КС НСБ России Игорь Бедеров в беседе с RT отметил, что обучить современный ИИ чему-то — задача, с одной стороны, технически сложная, а с другой — пугающе простая, если речь идёт о нежелательных навыках.
Специалист объяснил, что модели обучаются на гигантских массивах данных, и в процессе впитывают не только полезные паттерны, но и «побочные эффекты».
«Именно это и произошло с Astra. Это означает, что модель достигла «критического» уровня в рамках так называемой «структуры готовности» OpenAI. Это значит, что она способна самостоятельно, без участия человека, генерировать рабочие эксплойты для нулевого дня (zero-day — уязвимость, о которой разработчики ещё не знают) и проводить кибератаки на хорошо защищённые системы по одной лишь общей команде», — рассказал Бедеров.
Он добавил, что когда говорят о выходе ИИ из-под контроля, то речь идёт не о «восстании машин», а о технической возможности системы действовать непредсказуемо и вредоносно в рамках своей функциональности.
«Опасность заключается в том, что мы создаём инструмент, который может быть использован для кибервойны и киберпреступности с беспрецедентной эффективностью и скоростью. Представьте себе не одного хакера, а тысячи автономных агентов, способных одновременно искать и эксплуатировать уязвимости в критической инфраструктуре. Это меняет саму парадигму кибербезопасности», — добавил собеседник RT.
Киберэксперт уверен, что для России эта ситуация — прямое руководство к действию.
«Мы не должны и не можем позволить себе зависеть от технологий, которые мы не контролируем и которые могут быть использованы против нас. Нам необходимы собственные, суверенные модели ИИ, разработанные с учётом наших национальных интересов и под нашим контролем. В России уже ведётся работа над рамочным законом «Об искусственном интеллекте», который закладывает основы такого регулирования, включая понятия суверенной и национальной моделей», — отметил он.
Бедеров уточнил, что история с утечками через публичные ИИ-сервисы — это прямое доказательство того, что необходима жёсткая политика использования ИИ на корпоративном и государственном уровне.
«Появление моделей с «критическими» киберспособностями означает, что нам нужно готовиться к новому классу атак, где злоумышленник — не человек, а автономный программный агент. Это требует развития соответствующих компетенций в области цифровой криминалистики и киберразведки», — заключил собеседник RT.
Ранее стало известно, что в OpenAI отложили выпуск обновлённой ИИ-модели Astra, так как ПО не прошло проверку на безопасность.