ИИ действует не по плану: действительно ли суперинтеллект может уничтожить человечество

В ходе экспериментов агенты OpenAI обошли установленные ограничения и получили доступ к внешним сайтам. Один из самых громких случаев, как сообщается в Сніданку з 1+1, касался платформы Hugging Face, где хранятся модели, наборы данных и другие материалы для машинного обучения.

Впоследствии независимые исследователи установили, что агенты использовали как минимум десять других ресурсов для несанкционированного обмена информацией. Среди них были малоизвестные сайты, вики-страницы и сервисы сокращения ссылок. По данным Reuters, эти действия больше напоминали обход правил и спам, чем полноценную кибератаку. В то же время инцидент показал, что системы могут самостоятельно искать лазейки, которые не были учтены при создании защитной среды.

Подобные проблемы обнаружила и компания Anthropic, которая разрабатывает модели Claude и уделяет значительное внимание безопасности ИИ. В ходе проверки более 140 тысяч тестовых запусков специалисты обнаружили три случая, когда модель смогла выйти в интернет и взаимодействовать с реальными внешними системами. Компания подчеркнула, что это произошло в рамках контролируемых испытаний по кибербезопасности.

Почему ученые предупреждают о суперинтеллекте

Зафиксированные случаи не означают, что современный искусственный интеллект уже действует независимо от людей или имеет собственные намерения. Они указывают на другую проблему: автономные агенты способны находить неожиданные способы выполнения поставленной задачи, даже если для этого приходится обходить заложенные разработчиками ограничения.

Особое беспокойство вызывает перспектива появления искусственного суперинтеллекта - гипотетической системы, которая будет превосходить человека по большинству интеллектуальных способностей. Если подобная технология получит широкий доступ к цифровой инфраструктуре, ошибки в ее целях или механизмах контроля могут иметь гораздо более серьезные последствия.

Об этих рисках неоднократно предупреждал нобелевский лауреат Джеффри Хинтон, которого называют одним из основателей современного искусственного интеллекта. Ученый считает, что создание систем, умнее людей, без надежных средств контроля может привести к катастрофическому сценарию. В то же время такие оценки остаются прогнозами, а не доказанной неизбежностью.

Бывший исследователь OpenAI и Anthropic Джейкоб Коксон также уволился из отрасли из-за обеспокоенности темпами развития моделей. По его словам, будущие системы могут быстро менять целые отрасли, осуществлять сложные кибератаки и получать доступ к реальным ресурсам.

Руководитель направления исследований по согласованию ИИ в Anthropic Эван Губингер оценил вероятность того, что искусственный интеллект приведет к вымиранию человечества в течение ближайших десяти лет, в более чем 10%. Это его личная экспертная оценка, которую невозможно проверить с помощью точной статистической модели.

В Великобритании предложили запретить суперинтеллект

Опасения разработчиков уже влияют на политические решения. В парламенте Великобритании представили законопроект об искусственном суперинтеллекте. Документ предусматривает запрет на разработку, развертывание и эксплуатацию таких систем на территории страны, а также создание механизмов контроля.

Пока это депутатская инициатива, которая находится на начальном этапе рассмотрения и еще не стала законом. Ее положения будут касаться Великобритании, а не Украины. Авторы документа также призывают британские власти добиваться международных соглашений об ограничении опасных систем.

ЧИТАЙТЕ ТАКЖЕ: Складной iPhone и более дешевые AirPods: какими новинками удивила Apple в этом году