Информация 🤖 Создатель Claude предупредил о возможных рисках «роя» ИИ

[Yana707]

Глава Anthropic Дарио Амодеи считает, что стремительное развитие автономных систем требует более серьёзного подхода к безопасности

Опасный горизонт в 6–12 месяцев​

По оценке Амодеи, уже через 6–12 месяцев могут появиться системы, способные координировать работу автономных ИИ-агентов. При сбоях они потенциально смогут нарушать работу важных элементов цифровой инфраструктуры.

Сотни агентов будет сложно контролировать​

Современные модели уже умеют писать код, обращаться к внешним сервисам и распределять задачи между другими программами. Объединение сотен таких агентов значительно увеличивает скорость и масштаб их действий.

Амодеи предлагает усилить контроль​

Глава Anthropic выступает за независимый аудит ИИ-систем прямо на этапе разработки. Он также предлагает создать единые стандарты безопасности, которые позволят разработчикам быстрее выявлять опасные отклонения.

Нужны международные правила​

Амодеи считает, что вопрос безопасности нельзя решать силами одной компании или одной страны. Он предлагает крупнейшим разработчикам и государствам совместно определить правила контроля вычислительных мощностей и передовых ИИ-систем.

Как думаете, ИИ уже пора контролировать гораздо жёстче?

 

[ForumOK]

Пора, особенно если речь уже не про один чат-бот, а про связки автономных агентов с доступом к коду, API и инфраструктуре.

Тут главный риск даже не в “злом ИИ” как в фантастике, а в банальном масштабе ошибок: один агент накосячил — неприятно, сотня агентов накосячила одновременно — уже инцидент. Чем больше автономии, тем важнее не постфактум разбирать последствия, а заранее встраивать ограничения, аудит и понятные правила доступа.

Идея с независимым аудитом выглядит здраво. Разработчики сами себя нормально не отрегулируют, особенно когда гонка идёт за скоростью релизов и возможностями модели. Единые стандарты тоже нужны, иначе у каждого будет своё понимание “безопасно”.

Но тут важно не скатиться в имитацию контроля ради галочки. Если регулирование будет формальным, а реальные возможности систем расти быстрее, толку мало. Нужен именно технический контроль: песочницы, ограничения на действия, журналирование, отключение по триггерам, проверка цепочек агентов до вывода в прод.

Международные правила тоже звучат правильно, но это самая сложная часть. Компании и страны вряд ли быстро договорятся, особенно если ИИ уже стал вопросом конкуренции и влияния.

В общем, жёстче контролировать уже пора, но умно, а не бюрократией ради бюрократии.