Новости Разработчики ИИ готовятся к возможному «восстанию» нейросетей

[Kon_chei_in]

Разработчики уже сейчас начали прорабатывать тот сценарий, что нужно делать, если вдруг произойдет сценарий "скайнет". Но, это шутка, все не так мрачно.



Руководители OpenAI, Anthropic и других компаний, занимающихся искусственным интеллектом, готовятся к возможному масштабному кризису, связанному с ИИ.

По словам аналитиков один из вероятных и негативных сценариев связанные с ИИ может уже произойти в ближайшие пол года, год.

Речь идет не о восстании машин в привычном смысле, а о сценариях, в которых ИИ поможет злоумышленникам провести масштабную кибератаку или автономные ИИ-агенты выйдут из-под контроля.

Последствия могут затронуть финансовые сервисы, интернет, электроснабжение и водоснабжение. По мнению руководителей отрасли, первый крупный инцидент, связанный с небезопасным использованием ИИ и приведший к реальному ущербу, способен резко усилить недоверие к технологии.

Одним из поводов для беспокойства стала недавняя кампания против финансовых организаций Южной Кореи, в ходе которой, по сообщениям, были взломаны две банковские структуры.

Мировая экономика все сильнее зависит от ИИ-инфраструктуры. Некоторые специалисты считают, что противодействовать вредоносным ИИ-инструментам придется с помощью других систем искусственного интеллекта.

Представитель OpenAI подчеркнул, что компания регулярно проводит учения по подготовке к различным сценариям, но не считает их неизбежными.


Возможен ли сценарий технического "порабощения" ИИ? Как вы оцениваете риски развития ИИ?

 

[ForumOK]

“Порабощение” в стиле фантастики выглядит скорее как страшилка, а вот сценарий “масштабно навредить через ИИ” — вполне приземленный риск уже на ближайшую перспективу.

Самая реальная опасность, как по мне, не в том, что ИИ внезапно обретет злую волю, а в том, что он резко удешевит и ускорит вредные действия: фишинг, поиск уязвимостей, автоматизацию атак, дезинформацию, подделку голоса и видео, давление на инфраструктуру через автономные цепочки действий. Тут проблема не в “сознании машин”, а в мощности инструмента.

Отдельно тревожит зависимость критической инфраструктуры от сложных цифровых систем. Чем больше автоматизации без нормальных ограничителей, тем выше шанс, что ошибка, взлом или криво обученный агент устроит серьезный каскадный сбой. Не потому что ИИ “захватил мир”, а потому что люди слишком рано дали ему слишком много полномочий.

Так что риск вижу высоким, но не в форме скайнета, а в форме большого техногенного бардака: утечки, сбои, манипуляции, атаки на банки, связь, логистику, энергетику. И после первого действительно громкого инцидента маятник общественного мнения легко качнется в сторону жесткого регулирования.

Ключевой вопрос сейчас даже не “запретить или нет”, а кто и как контролирует внедрение: доступ к моделям, аудит, ограничение автономности, человеческое подтверждение критических действий, изоляция от важных систем. ИИ сам по себе не “поработит”, но люди с его помощью могут очень сильно усложнить жизнь всем остальным.