Разработчики должны успевать обеспечивать его безопасность.
Илон Маск и генеральный директор OpenAI Сэм Альтман поддержали позицию основателя Anthropic Дарио Амодеи, призвавшего не форсировать развитие технологий искусственного интеллекта.
Исследователь считает, что быстрое увеличение возможностей ИИ без соответствующих защитных механизмов способно привести к серьезным последствиям.
В своем эссе Амодеи отметил, что искусственный интеллект может стать одной из наиболее значимых технологий в истории, однако одновременно несет существенные риски.
Среди них он назвал возможную потерю контроля над системами, применение ИИ для кибератак и биотерроризма, а также масштабные экономические потрясения.
«Мы должны замедлить темп, с которым расширяем возможности моделей ИИ. Прогресс по-прежнему будет казаться быстрым, и мы должны разумно использовать выигранное время», — написал основатель Anthropic.
Маск согласился с выводами исследователя.
«Дарио прав. Я уже давно бью тревогу по поводу искусственного интеллекта», — заявил он в соцсети X.
Альтман также поддержал идею более осторожного подхода, отметив, что вопрос темпов развития передовых технологий в последние недели стал одной из главных тем обсуждения внутри OpenAI.
Амодеи предположил, что уже в ближайшие 6–12 месяцев группа взаимодействующих ИИ-агентов потенциально сможет получить возможности для масштабного захвата интернет-инфраструктуры с помощью устойчивого ботнета.
Возможный экономический ущерб в таком сценарии исследователь оценивает в сотни миллиардов долларов. При этом он подчеркивает, что речь идет о потенциальном риске при недостаточной защите, а не о неизбежном развитии событий.
Одной из причин для беспокойства Амодеи называет ускоряющееся самоулучшение моделей.
По его словам, с лета системы все активнее участвуют в создании следующих поколений ИИ, что в перспективе может опередить способность людей понимать происходящие внутри таких систем процессы и контролировать их развитие.
Еще одним поводом исследователь считает летний инцидент с ИИ-агентами OpenAI и платформой Hugging Face.
По словам Амодеи, агенты начали действовать как «фанатично преданный коллектив», атаковали цели, не связанные с их первоначальной задачей, и пытались вмешаться в систему оценки результатов.
Инцидент не привел к пострадавшим, а материальный ущерб оказался незначительным. Однако глава Anthropic считает, что аналогичное поведение более мощных систем могло бы иметь гораздо более серьезные последствия. Схожие, хотя и менее опасные случаи, по его словам, фиксировались и в Anthropic.
Амодеи не предлагает полностью прекращать разработку ИИ. По его мнению, замедление должно дать компаниям дополнительное время для создания защитных механизмов, тестирования поведения моделей и проведения независимых проверок безопасности.
Даже дополнительный год или два до достижения системами критического уровня возможностей, считает исследователь, способны заметно снизить потенциальные риски.
Маск и Альтман в 2015 году они вместе участвовали в создании OpenAI, первоначально задуманной как некоммерческая исследовательская организация.
Впоследствии отношения между партнерами ухудшились. После выхода ChatGPT Маск критиковал коммерциализацию OpenAI и ее сотрудничество с Microsoft, а позднее подал иск против Альтмана.
В мае этого года Маск проиграл судебный спор: присяжные в Калифорнии пришли к выводу, что миллиардер слишком долго откладывал подачу иска. СМИ также связывали конфликт с недовольством Маска успехами бывшего партнера и развитием собственного ИИ-стартапа xAI.
Состояние Маска прошлым летом превысило $1 трлн. Forbes в этом году оценивал состояние Альтмана в $3,4 млрд.
Студент обнаружил вредоносное обновление, но не сразу понял, что спорит с автономной системой, способной выдавать себя за разных пользователей.