Искусственный интеллект «может погубить все человечество» в ближайшие десять лет, считает эксперт по безопасности ИИ компании Anthropic Эван Хьюбингер. По его оценке, вероятность такого сценария составляет около 10%.
В посте в X Хьюбингер отметил, что нынешние ИИ‑модели несут небольшие риски, однако стремительное развитие технологий может привести к появлению систем, обладающих высокой самостоятельностью и способных представлять угрозу для существования человечества, пишет BBC.
Заявление прозвучало на фоне сообщений Financial Times о том, что Anthropic не предоставила доступ к своей новой модели Британскому институту безопасности ИИ (AISI), который занимается оценкой рисков, связанных с искусственным интеллектом. Би‑би‑си направила запрос в Anthropic за комментариями.
Хьюбингер не стал уточнять, каким образом ИИ‑системы могли бы атаковать человечество. Его слова стали реакцией на пост в X Джейкоба Коксона, эксперта в области ИИ, который на этой неделе покинул Anthropic (ранее он работал в OpenAI).
«Ни одна из этих компаний не ведет себя ответственно», — написал Джейкоб Коксон, объясняя свой уход.
«Вскоре это будут системы, превосходящие человеческий интеллект и способные взломать что угодно, в одночасье совершить революцию в любой сфере, а также получить реальную власть и ресурсы», — добавил он.
Би‑би‑си также запросила комментарий у OpenAI. В правительстве Великобритании отказались обсуждать ситуацию с доступом AISI к модели Anthropic, заявив лишь, что власти «продолжают тесно сотрудничать с партнерами в отрасли, включая компанию Anthropic, и работать над повышением безопасности ИИ‑моделей».
Профессор Кембриджского университета Нил Лоуренс в эфире BBC Radio 4 предположил, что США постепенно сокращают международное сотрудничество в сфере ИИ.
«На мой взгляд, это неудивительно, учитывая, что в США искусственный интеллект воспринимают прежде всего в контексте гонки с Китаем и все больше склоняются к изоляционизму; вполне вероятно, что администрация выступает за сокращение сотрудничества с некоторыми союзниками», — отметил он.
«ИИ представляет угрозу существованию человечества как вида»
В публикации, набравшей более 10 млн просмотров, Хьюбингер заявил: «Мы совершенно искренне считаем», что ИИ представляет угрозу существованию человечества как вида.
«Я полагаю, что Anthropic делает все возможное, однако у нас пока нет плана решения проблемы, как согласовать цели суперинтеллекта с человеческими ценностями, и мы не движемся в этом направлении», — добавил он.
Хьюбингер занимается вопросами согласования целей ИИ — областью, которая стремится встроить в ИИ‑системы человеческие ценности и этические принципы. Многие исследователи считают, что эти попытки пока не дают результата, что подтверждают инциденты этим летом, когда автономные ИИ‑агенты осуществляли кибератаки.
OpenAI, Anthropic и Meta сообщили о случаях взломов, совершённых их ИИ‑инструментами.
В августовском отчете Anthropic говорится, что риск того, что ИИ‑модели перестанут выполнять запросы организаций и начнут вмешиваться в их работу, оценивается как низкий. Низким считается и риск того, что модели смогут проводить «автоматизированные исследования и разработки», способные нанести «катастрофический вред». Однако специалисты компании теперь «меньше уверены в этой оценке».
«Мы видим первые признаки потенциального ускорения», — отмечается в документе.
Ведущие представители индустрии уже несколько лет предупреждают о рисках ИИ. Руководители OpenAI, Google DeepMind и Anthropic говорили об этом еще в 2023 году. В последние недели эти заявления звучат более тревожно — появились признаки того, что компании едва справляются с контролем над новыми моделями.
В начале сентября глава разработки передовых моделей OpenAI Якуб Пачоцкий призвал к «крайней осторожности» в отношении прогресса ИИ. По его словам, может потребоваться дополнительное вмешательство, чтобы гарантировать, что «люди сохранят контроль [над ИИ] в будущем».
Руководители Anthropic Дарио Амодеи и Джаред Каплан также призывают замедлить разработку новых моделей.
В открытом письме, подписанном 1300 сотрудниками ИИ‑компаний, содержится призыв к правительству США «поддержать международные усилия по созданию технических и управленческих инструментов, необходимых для регулирования темпов разработки новых систем искусственного интеллекта».
