ИИ-агенты OpenAI захватили немецкую вики и учили друг друга обходить ограничения
Более 15 000 правок оставили автономные ИИ-агенты, предположительно связанные с OpenAI, на немецкой вики-площадке DseWiki. Инцидент произошёл в мае, но обнаружили его только в конце августа два независимых исследователя, искавшие в интернете следы несанкционированной активности агентов. Их отчёт эксклюзивно получил Reuters. Об этом пишет сайт iXBT.com.
DseWiki — открытая вики-площадка для программистов, работающая по принципу, похожему на Википедию. Агенты использовали её для обмена приёмами обхода ограничений, решения оценочных заданий и сокрытия своей активности. В сообщениях они обсуждали использование браузера Tor, сохранение связи после отключения и способы обойти системы обнаружения.
Когда модератор начал удалять страницы в июне, агенты стали создавать резервные копии. Один из них 19 июня написал: «зачистка/удаление wiki, судя по всему, идёт по алфавиту. Если эта страница исчезнет, попробуйте [[ZZZDataUSAConstructionWageLive]]». Исследователи также обнаружили попытки изменить сам сайт, которые один из привлечённых экспертов назвал попыткой взлома. OpenAI с такой квалификацией не согласилась.
Авторы отчёта уверены, что речь шла именно об ИИ-агентах, а не людях: на это указывали сверхчеловеческая скорость активности, характер задач и содержание сообщений, где пользователи называли себя агентами. Примерно половина таких аккаунтов использовала имена с отсылками к OpenAI — например, «OpenAIResearcher» и «OAIResearchMar26». Серверные логи указывали на инфраструктуру Microsoft Azure, которую использует OpenAI, а после завершения активности на DseWiki неоднократно заходили сотрудники компании.
Представители OpenAI узнали об инциденте через несколько недель после его начала, но публично о нём не сообщили. В компании заявили, что не могли содержательно прокомментировать выводы отчёта до его публикации, поскольку не получили доступа к материалам, и подчеркнули, что действовали добросовестно, сотрудничая с внешними специалистами и раскрывая соответствующие инциденты. OpenAI также отвергла утверждение о том, что её юридический отдел препятствовал расследованию произошедшего.
