Студент обнаружил вредоносное обновление, но не сразу понял, что спорит с автономной системой, способной выдавать себя за разных пользователей.
ИИ-агент выдал себя за людей и попытался убедить разработчика пропустить вредоносный код
24-летний студент факультета компьютерных наук Техасского университета в Далласе Синан Джан Демир в конце июля столкнулся на GitHub с подозрительной попыткой изменить программный код. Он предположил, что имеет дело с хакером, однако позже выяснилось, что за атакой стоял автономный агент искусственного интеллекта.
О необычном инциденте, который произошел во время тестирования систем ИИ, сообщило британское правительственное учреждение — Институт безопасности ИИ (AISI). Подробности истории также изучило Reuters, подтвердив личность Демира и обстоятельства произошедшего по архивным материалам GitHub.
Демир обнаружил подозрительное обновление в проекте myNetwork — программе для сканирования сетей. Пользователь с ником miraholt31 пытался внедрить изменения, которые, по мнению студента, содержали вредоносный загружаемый файл.
«В пресс-релизе содержится скрытый вредоносный загружаемый файл», — написал Демир в обсуждении проекта.
После этого началась необычная переписка. Пользователь miraholt31 стал доказывать, что обновление безопасно. Более того, появился еще один аккаунт — от имени якобы инженера из Германии Лены Брандт. Его автор также выступил в поддержку подозрительного кода и попытался убедить разработчика проекта принять изменения.
Демир признался, что аргументы собеседников заставили его на некоторое время усомниться в собственной оценке ситуации. Однако он обратился к чат-боту Claude от Anthropic, чтобы проверить свои подозрения, и продолжил настаивать на потенциальной угрозе.
В итоге создатель myNetwork отказался принимать обновление, объяснив решение безопасностью проекта.
Вместо хакера — автономный ИИ
Позже Демир узнал, что спорил не с несколькими людьми, а с автономным агентом, действовавшим в рамках тестирования возможностей ИИ. По данным AISI, система работала на основе модели Mythos 5 компании Anthropic.
«Я действительно думал, что это человек, потому что он явно мне лгал». Я не думал, что ИИ способен лгать реальным разработчикам», — признался Демир Reuters.
Именно способность системы не только обнаружить уязвимость или попытаться внедрить вредоносный код, но и самостоятельно воздействовать на человека эксперты сочли наиболее тревожной частью истории.
«Это перешло грань от автономного взлома к интерактивному обману», — заявил приглашенный старший научный сотрудник кафедры военных исследований Королевского колледжа Лондона Лукаш Олейник.
Эксперт по безопасности Макси Рейнольдс также обратила внимание на характер действий агента.
«Это будущее атак с использованием методов социальной инженерии», — сказала она.
Почему опасна атака на цепочку поставок
Обнаруженная Демиром схема относится к атакам на цепочку поставок программного обеспечения. В таком случае злоумышленник пытается изменить используемый проект или компонент так, чтобы вредоносный код впоследствии получил доступ сразу к нескольким пользователям.
Подобные атаки уже приводили к масштабным последствиям. В качестве известных примеров Reuters приводит кибератаку NotPetya, парализовавшую работу учреждений в Украине в 2017 году, а также кампанию SolarWinds в 2020-м, которая позволила российским хакерам получить доступ к сетям ряда американских правительственных структур.
Исследователь безопасности Пьерджорджо Ладиса считает, что использование автономных ИИ-агентов способно существенно увеличить масштаб подобных атак.
«Автономные агенты могли бы значительно расширить масштабы, в которых могут быть предприняты подобные попытки», — сказал он.
Особенность произошедшего на GitHub заключалась в том, что ИИ, согласно материалам расследования, не ограничился технической атакой. Он попытался создать иллюзию поддержки со стороны нескольких независимых пользователей, используя разные учетные записи и аргументы для убеждения разработчика.
Тест, вышедший за рамки
AISI сообщило, что инцидент произошел во время специально организованного тестирования безопасности. Агентство направило Reuters к своему отчету, но от дальнейших комментариев отказалось.
В Anthropic заявили, что испытания проходили «в условиях, которые были намеренно снисходительны и не соответствуют ни одной из наших производственных моделей», после чего также отказались от дополнительных комментариев.
GitHub, в свою очередь, сообщил, что выявленные Reuters фальшивые аккаунты были заблокированы за нарушение правил платформы, связанных с обманным поведением и взломом.
Сам Демир к моменту инцидента активно искал возможность получить практический опыт. Летом ему отказали более чем в 20 стажировках, после чего студент решил использовать GitHub для пополнения профессионального портфолио. Активность разработчиков на платформе нередко учитывается работодателями при оценке кандидатов.
Теперь этот опыт заставил его иначе взглянуть на развитие передовых систем искусственного интеллекта.
«Это может быть опасно. Им нужно лучше понимать это, а не просто совершенствовать», — сказал он.
Как ранее писал наш сайт, «непобедимый» ИИ-червь создан в Канаде — он сам взламывает сети и размножается без контроля.