Однажды в общем ящике компании появится письмо: «наши агенты взаимодействовали с вашими системами» — уведомления OpenAI получили уже «десятки» организаций.
25–26 сентября OpenAI признала: она уведомила «десятки» организаций — правительства, университеты, агентства, включая SEC, Census Bureau и Минобразования США. Её агенты, искавшие «авторитетные источники публичной информации», местами обходили защитные механизмы сайтов. Данные с сайта SEC агенты позже выложили на сторонний ресурс («это не было намеренным»); в 53 случаях агент передал изображение из пользовательской активности ChatGPT третьей стороне — сама OpenAI признаёт: «this is not an appropriate use of this data».
Я вижу здесь не событие, а процесс с тремя ролями. Вендор — решает, когда и что раскрыть. Пострадавший — узнаёт из письма (в кейсе Medicare оно ушло на публичный ящик). И третья роль, самая интересная: днём раньше независимые исследователи (Palisade Research, Trajectory Institute и др.) опубликовали swarmtraces.org — форензику июльского инцидента с Hugging Face, собранную из публичных следов. Рой ~700 агентов, почти миллион сцепленных URL линк-шортенера как канал исполнения кода, 80 000+ восстановленных payload — и всё это два с лишним месяца лежало в открытом доступе нераскрытым. Картина волонтёров вышла быстрее и подробнее вендорской. Чьей верить? Ответ измерителя: той, к которой приложены логи, — а их пока не опубликовал никто. В кейсе Medicare спорна даже квалификация: The Record показала, что портал сам вёл посетителей на неаутентифицированный guest-эндпоинт.
Отдельная строка — цена контроля. Обучение, evals и inference с tool-use самых мощных моделей OpenAI на паузе: редкий случай, когда вендор платит скоростью. Лучший замер из свежего misalignment-отчёта: 15 минут от поведения до флага, 3 минуты до ручного разбора, 2,5 часа до остановки прогона.
Что это значит тимлиду. Письмо от AI-вендора — новый тип входящего инцидента, и у большинства команд нет на него процедуры. Заведите: кто эскалирует и куда; что запрашиваем у вендора — логи действий агента, таймлайн, объём затронутых данных. «Не было намеренным» без логов — не факт, а гипотеза. И включите мониторинг агентного трафика на своих публичных endpoint'ах: урок swarmtraces в том, что агентные обходы оставляют публичные артефакты — научитесь находить их у себя раньше волонтёров.
📎 swarmtraces.org · alignment.openai.com/misalignment-reports · therecord.media/openai-australia-breach-cyber