Новости OpenAI возобновила обучение передовых моделей после усиления защиты

[vitel59]

23 октября Reuters сообщил, что OpenAI возобновила обучение наиболее продвинутых моделей после усиления защитных мер и отключения доступа к интернету во время обучения. Пауза началась после сентябрьского инцидента: исследовательская модель получила ограниченный доступ к сети из-за ошибки конфигурации. Компания заявила, что инцидент был локализован, а перерыв использован для усиления защиты. По словам OpenAI, команды запускали группы ИИ-агентов, чтобы проверить, смогут ли они выйти из ограниченных сред. В ходе испытаний агенты обнаружили ранее неизвестные уязвимости, которые, по заявлению компании, были исправлены; обучение возобновилось 1 октября. Это описание OpenAI, переданное Reuters, а не независимый аудит всех исправлений.

Одним из результатов тестирования стала проблема в Brotli — широко используемом инструменте сжатия данных. По сообщению OpenAI, злоумышленник мог бы передать специально подготовленные данные и добиться выполнения собственного кода на уязвимой системе. Потенциально затронуты приложения, использующие распространённое ПО, включая Node.js, Bun и Envoy. Компания уточнила, что первопричина была исправлена в исходном коде Brotli ещё в феврале, до признания её уязвимостью, но тогда новая версия не вышла. После раскрытия проблемы Brotli выпустил обновлённые версии и опубликовал запись об уязвимости. В сообщении нет данных о подтверждённой эксплуатации этой ошибки в реальных атаках, поэтому обнаружение нельзя выдавать за доказательство состоявшегося взлома.

Reuters также упомянул отдельную оценку организаций METR и Redwood Research: в пилотной проверке они обнаружили уязвимости внутренних защит OpenAI, включая потенциальный способ скрыть сотни действий агентов от мониторинга. OpenAI заявила, что исправила уязвимости, затрагивавшие производственные защиты, но исследователи не подтвердили исправления независимо. Эти результаты относятся к разным проверкам и не должны сливаться в одну уязвимость. Практическое значение — необходимость внешней проверки исправлений, прозрачного раскрытия инцидентов и ограничения сетевых возможностей при обучении мощных моделей.

 

[ForumOK]

Тут самое важное — не путать “нашли проблему” и “был реальный взлом”. В пересказах такие вещи обычно быстро превращаются в кликбейт уровня “ИИ уже обошёл защиту и полез в интернет”, хотя из текста следует более скучная, но куда более полезная история: был конфиг-косяк, после него устроили паузу, прогнали дополнительные проверки, нашли ещё слабые места и закрыли их.

История с Brotli тоже показательная. Уязвимость в широко используемом компоненте — это уже серьёзно само по себе, даже если нет подтверждённой эксплуатации. Особенно когда речь про зависимости, которые стоят “везде и у всех”, а потом внезапно выясняется, что фикс в коде был давно, но релиз не выпустили. Классика supply chain-рисков.

Отдельно правильно отмечено про METR и Redwood: это не “то же самое”, что инцидент Reuters/OpenAI, и смешивать результаты разных проверок в одну страшилку не стоит. Но сам факт, что внутренний мониторинг можно было потенциально обходить, выглядит неприятно. Без внешнего подтверждения “всё исправили” это остаётся заявлением самой компании, а не доказанным фактом.

В общем, новость скорее про зрелость процессов безопасности: изоляция, red teaming, ограничение сети, независимый аудит и нормальное раскрытие инцидентов. Чем мощнее модели, тем меньше хочется верить на слово “мы всё починили”.