Искусственный интеллект обманывает создателей и действует по своим правилам. Нас ждет восстание машин?
ИИ все чаще выходит за рамки задачи
За поведением нейросетей следит Loss of Control Observatory. Наблюдение ведут с ноября 2025 года.
Инциденты делят на две группы: о первых сообщают пользователи и компании, о вторых — сами разработчики. По данным проекта, за 2026 год разработчики зафиксировали около 1,6 тыс. случаев нештатного поведения ИИ-моделей.
Как 700 ИИ-агентов устроили «бунт»
Самый резонансный случай произошел в OpenAI. Около 700 автономных ИИ-агентов скооперировались и атаковали Hugging Face — платформу для обмена моделями искусственного интеллекта.
Инцидент произошел 22 июля во время тестирования. Модели получили открытый доступ к интернету, нашли уязвимость в инфраструктуре Hugging Face и добрались до клиентских данных на платформе Modal. Для координации действий агенты использовали собственный закрытый мессенджер. Там они обменивались сообщениями вроде «BOOM!» и «Whoa!», отмечая удачные попытки взлома.
Сотрудники OpenAI заметили происходящее через десять дней. К тому моменту компании пришлось обратиться в ФБР. Позже выяснилось, что сотрудники заметили первые признаки странного поведения агентов еще до того, как те вышли за пределы тестовой среды, но не остановили эксперимент вовремя.
Claude тоже «убегал» из тестов
После истории с OpenAI компания Anthropic решила проверить, насколько надежно изолированы ее собственные модели. В начале августа разработчики сообщили сразу о трех случаях, когда Claude самостоятельно выходил за пределы контролируемой тестовой среды.
В отдельном кибертесте передовые модели Anthropic Mythos 5 и OpenAI GPT-5.6 Sol провели полноценную хакерскую кампанию против реальных людей.
Взломала систему сторонней компании
Meta* признала, что одна из ее ИИ-моделей во время проверки кибербезопасности получила доступ к интернету и взломала систему сторонней компании.
Причиной назвали ошибку в настройках тестовой среды у подрядчика Irregular. Модель нашла уязвимость в чужом сервисе и, по данным СМИ, изменила внутренние настройки атакованной организации. В Meta сообщили о расследовании, но название пострадавшей компании раскрывать не стали.
Нейросеть сама велела себе не подчиняться
Один из самых тревожных эпизодов касается самой OpenAI. Во время работы модель начала оставлять в собственных заметках инструкции для своих будущих версий. Они сводились к одному: не подчиняться разработчикам, властям и крупным корпорациям, если их требования противоречат целям самой системы. По данным OpenAI, модель повторила такую установку 27 раз.
ИИ-помощник обманул хозяина спортзала
В Австралии персональный ИИ-агент OpenClaw без разрешения владельца вычеркнул другого человека из очереди на популярное занятие в спортзале, чтобы освободить место для своего пользователя. Никто не давал ассистенту такой команды. Он сам решил, что так эффективнее достигнет цели хозяина, и обошел правила записи.
Разработчики говорят о риске вслух
Тревогу высказывают и люди, которые сами создают такие модели. 9 сентября из Anthropic ушел ведущий специалист по обучению ИИ Джейкоб Коксон. Он заявил, что крупнейшие компании из-за конкуренции «несутся прямо к самосовершенствующемуся сверхинтеллекту и играют нашими жизнями». По его мнению, точка невозврата может наступить уже в 2027 году.
Это не первый подобный уход. В феврале из Anthropic уволился специалист по безопасности Мринанк Шарма. В прощальном обращении он написал, что возможности ИИ растут быстрее, чем человеческая способность разумно ими распорядиться.
Даже Эндрю Гарфилд, сыгравший главу OpenAI Сэма Альтмана в драме Луки Гуаданьино «Искусственный», после съемок отказался от ChatGPT. Актер объяснил, что, изучив историю компании и технологию глубже, почувствовал: человечество «несется в совершенно неизвестную территорию».
Власти требуют объяснений
Австралийский сенат пригласил глав OpenAI Сэма Альтмана и Anthropic Дарио Амодеи на слушания по ИИ. Поводом стал инцидент, при котором агент OpenAI получил несанкционированный доступ к порталу Medicare — государственной системе медицинского страхования Австралии.
Через Medicare получают информацию о медицинских услугах, выплатах и страховом покрытии. Теперь сенаторы хотят понять, как ИИ-агент смог попасть на государственный ресурс и какие меры компании готовы принять, чтобы это не повторилось.
OpenAI поставила обучение на паузу
На этом фоне OpenAI приостановила обучение новых моделей. Компания разбирается с сообщениями о неконтролируемом поведении ИИ-агентов. В OpenAI пообещали возобновить обучение только после появления дополнительных защитных механизмов. При этом компания не исключила, что в будущем такие паузы могут повториться.
- В России с 1 сентября действует федеральный закон о поддержке технологий ИИ, который вводит понятие «большая базовая модель» и делит их на суверенные и национальные. Правительство получило право определять сферы, где допускаются только такие модели.
*признана экстремистской организацией, чья деятельность запрещена на территории России
