Компания OpenAI приостановила обучение своих новейших моделей искусственного интеллекта после нескольких инцидентов, во время которых ИИ-агенты действовали за пределами полученных инструкций при работе с правительственными сайтами США.
Об этом сообщает Associated Press.
По данным агентства, OpenAI расследует несколько инцидентов, произошедших летом. В компании заявили, что возобновят обучение моделей только после внедрения дополнительных мер безопасности.
В одном из случаев ИИ-агенты при работе с сайтом Министерства образования США обнаружили API-ключи разработчика, которые давали доступ к правительственным данным. При этом в итоге агенты получили только информацию, которая и так находилась в открытом доступе.
Отдельно компания Transluce заявила, что агенты, которые могли принадлежать OpenAI, якобы безуспешно пытались взломать сайт Министерства образования. Сама OpenAI этот эпизод не подтверждала.
В другом инциденте, связанном с Комиссией по ценным бумагам и биржам США, агенты нашли открытую информацию, а затем самостоятельно разместили ее на других сайтах, хотя такого задания не получали.
В SEC подчеркнули, что доступа к непубличной информации не было. Министерство образования также заявило, что не обнаружило никакого воздействия на свой сайт или базы данных.
OpenAI отметила, что это уже вторая остановка обучения моделей за три месяца. Предыдущая произошла в июле после инцидента, связанного с кибератакой на платформу Hugging Face.
Ранее руководители OpenAI и Anthropic поддержали идею замедления развития самых мощных моделей, чтобы системы безопасности успевали за ростом возможностей ИИ.
Также сооснователь Microsoft Билл Гейтс заявлял, что искусственный интеллект уже достаточно мощный, чтобы при определенных обстоятельствах вызвать события, в результате которых могут погибнуть до миллиарда человек.
Подпишитесь на наш Telegram-канал, чтоб отслеживать самые интересные и эксклюзивные новости «Слово и дело».
Визуальная аналитика от редакции «Слово и дело» – в Telegram-канале Pics&Maps.