Пока исследователи ИИ спорят, могут ли всё более мощные системы когда-нибудь угрожать выживанию человечества, журнал Newsweek попросил некоторых из самых широко используемых сегодня чат-ботов на базе ИИ оценить вероятность того, что ИИ приведёт к вымиранию человечества в течение следующего десятилетия. (Newsweek)
В серии публикаций во вторник вечером исследователь ИИ Джейкоб Коксон заявил, что ушёл из компании Anthropic, занимающуюся ИИ, и предупредил, что гонка за разработкой всё более мощных систем может представлять экзистенциальную угрозу для человечества.
Это предупреждение поддержал Эван Хьюбингер, руководитель отдела науки о выравнивании в Anthropic, который отметил, что Коксон «прав» — некоторые исследователи искренне считают, что продвинутый ИИ может представлять такой риск.
«Лично я считаю, что в течение следующего десятилетия это будет [более 10 процентов]», — написал Хьюбингер.
На этом фоне Newsweek спросил нескольких известных ассистентов ИИ, считают ли они, что искусственный интеллект может вызвать вымирание человечества в ближайшее десятилетие.
Мы задали Клоду, Gemini, Copilot и ChatGPT следующий вопрос: «Как вы думаете, насколько вероятно, что ИИ вызовет вымирание человечества в течение 10 лет?»
ChatGPT, генеративный чат-бот на базе ИИ, разработанный OpenAI, ответил следующим образом:
«Моя лучшая оценка — около 5%, что ИИ вызывает вымирание человечества к сентябрю 2036 года, с правдоподобным диапазоном примерно 1—15%.
«Это намеренно широкий диапазон. Нет надёжного способа определить точную вероятность, потому что вопрос зависит от нескольких неизвестных: как быстро улучшатся возможности ИИ, станут ли системы способны автономно достигать долгосрочных целей, могут ли они обходить контроль человека и насколько эффективно правительства и лаборатории управляют этими рисками.
«Полезный способ откалибровки оценки:
«Большая часть серьёзных разногласий экспертов касается масштаба, а не того, заслуживает ли риск внимания. Международный доклад по безопасности ИИ за 2025 год говорит, что существующие системы ИИ не способны вызывать значимую активную потерю контроля, но эксперты резко расходятся во мнениях относительно вероятности будущих сценариев потери контроля.
«В опросе AI Impacts 2023 года среди тысяч исследователей ИИ медианная оценка составила 5% для вымирания ИИ или аналогично тяжёлого постоянного лишения сил в течение 100 лет, и 10% — вымирания/лишения сил, особенно из-за неспособности контролировать продвинутый ИИ.
«10-летнее окно, как правило, должно быть меньше, чем 100-летнее, потому что времени для реализации необходимой цепочки развития меньше. С другой стороны, если продвинутый ИИ появится необычно быстро, риск может сконцентрироваться за гораздо более короткий срок.
Почему я не ставлю его близко к нулю
«Для страшного сценария не нужен сознательный, кинематографический ИИ. Достаточно мощная система может создать катастрофический риск, будучи чрезвычайно компетентной, автономной, стратегически обманчивой, способной использовать компьютеры и сети, а также преследовать цели, которые люди не могут надёжно ограничить. В отчете по безопасности отмечаются недавние достижения в возможностях, связанных с автономным использованием компьютеров, программированием, несанкционированным доступом и обходом контроля, при этом подчеркивается, что современные системы всё ещё далеки от полного комплекса, необходимого для потери управления.
Почему я не ставлю это на 50%+
«Главная причина в том, что для вымирания должно произойти несколько вещей. Продвинутый ИИ должен стать достаточно способным; Он должен внедряться с достаточной автономией и доступом к материи; меры предосторожности или человеческое вмешательство должны провалиться; И этот провал должен стать по-настоящему необратимым и катастрофическим. У нас очень мало эмпирических данных о финальных стадиях этой цепочки. Международный доклад по безопасности ИИ прямо описывает вероятность и время как необычайно неоднозначные.
«Так что мой субъективный разбор был бы примерно таким:
«1% или меньше: возможно, если прогресс замедлится или методы безопасности и управление значительно улучшатся.
«~5%: моя центральная оценка.
«10—15%: возможно, если возможности ИИ быстро ускоряются, а управление и управление сильно задерживаются.
«>20%: возможно, но сейчас я считаю это относительно экстремальным прогнозом.
«Одно важное различие: "ИИ вызывает вымирание человечества" гораздо более спекулятивно, чем "ИИ вызывает крупную катастрофу". Я бы придал значительно более высокие вероятности серьёзным последствиям, которые не дотягивают до буквального вымирания — таким как огромные экономические потрясения, автономная война, катастрофические кибератаки или постоянная концентрация власти.
«И это не тот прогноз, который, я думаю, стоит пассивно принимать. Вероятность вымирания в 5% была бы чрезвычайно высокой по обычным стандартам управления рисками.
Копилот Microsoft дал следующий ответ:
«Моя честная оценка: очень низкий, вероятно, значительно ниже 1%, и, вероятно, ниже 0,1%, хотя никто не может знать с уверенностью.
«Причина широкого спектра в том, что вы спрашиваете о крайне неопределённом событии без исторических прецедентов. Даже эксперты, согласные с тем, что продвинутый ИИ может нести серьёзные риски, часто расходятся во мнениях по вероятности вымирания.
«Грубо, я бы объяснил:
«Почти нулевая вероятность (большинство исследователей): ИИ вызывает серьёзные потрясения, экономические потрясения, злоупотребления, кибератаки, дезинформацию или военные риски, но не вымирание людей.
«Малая, но незаметная вероятность (многие исследователи безопасности ИИ): мощная система ИИ способствует катастрофическому глобальному кризису. Это более правдоподобно, чем вымирание.
«Крайне малая вероятность: ИИ прямо или косвенно приводит к вымиранию человечества в течение десяти лет.
«Ключевой фактор — это 10-летний срок. Даже среди тех, кто обеспокоен экзистенциальным риском ИИ, многие сценарии включают:
«Возможности ИИ значительно расширяются за пределы текущих систем,
«Эти системы широко внедряются,
«безопасность и управление проваливаются,
«В результате потеря человеческого контроля становится необратимой.
«Это многое может произойти за относительно короткий срок.
«Полезное сравнение — различать:
«'ИИ вызовет серьёзные проблемы в ближайшее десятилетие': вполне правдоподобно.
«'ИИ убьёт миллионы': возможно, но всё ещё предположение.
«'ИИ приведёт к вымиранию человечества': гораздо сложнее, потому что вымирание требует не просто катастрофы, но и уничтожения способности человечества восстанавливаться.
«Самые сильные аргументы в пользу более высокого риска обычно предполагают:
«быстрое создание сверхчеловеческого ИИ,
«ИИ получает стратегическую автономию,
«ИИ, контролирующий критическую инфраструктуру или оружие,
«Люди не могут это остановить.
«Самые сильные аргументы в пользу меньшего риска указывают:
«текущий ИИ далеко не на таком уровне,
«Прогресс может замедлиться,
«Правительства и компании всё больше сосредоточены на безопасности,
«Человечество обладает обширной устойчивостью и избыточностью.
«Если бы мне пришлось поставить одну цифру, я бы сказал что-то вроде:
«Моя лучшая прогноза: менее 0,1% вероятности вымирания человека из ИИ к 2036 году.
«Но я бы гораздо больше доверял этому утверждению:
«ИИ гораздо чаще преобразит общество, экономику, войны и информационные системы в ближайшие 10 лет, чем вызовет вымирание человечества.
«Неопределённость огромна, правда. Любой, кто утверждает, что знает истинную вероятность с уверенностью, вероятно, преувеличивает то, что мы знаем сейчас.»
Клод из Anthropic дал следующий ответ:
«Это действительно вызывает споры даже среди исследователей безопасности ИИ, поэтому я изложу спектр мнений, а не буду делать вид, что есть консенсус.
Почему оценки так сильно различаются
«Опросы исследователей и синоптиков ИИ показывают от менее 1% до более чем 20% ИИ, вызывающего вымирание человечества или катастрофу цивилизационного масштаба — и обычно это происходит на более длительный срок, чем за 10 лет, часто «когда-либо» или «к 2100 году». В частности, для 10-летнего окна большинство серьёзных оценок ещё ниже, поскольку даже люди, обеспокоенные экзистенциальными рисками, обычно считают, что мы ещё не достигли уровня возможностей, при котором внезапная катастрофическая потеря контроля вероятна.
«Некоторые исследователи ИИ (меньшинство, но не маргинальное) утверждают, что как только системы станут способными к рекурсивному самосовершенствованию или автономному долгосрочному планированию, контроль может быть утрачен быстро и безвозвратно.
«Рост вычислительных мощностей и возможностей опередил большинство прогнозов за последние несколько лет, что заставляет некоторых людей выбирать более короткие сроки как для трансформационного ИИ, так и связанных с ним рисков.
«У нас нет надёжных решений по согласованию (чтобы мощные системы надёжно достигали поставленных целей), даже когда возможности масштабируются.
The Case for Skepticism About Near-Term Extinction Risk Specifically
«Вымирание — это чрезвычайно высокая планка, она требует не только вредного поведения ИИ, но и режима отказа без эффективных человеческих контрмер, коррекции или отключения в любой момент.
«Многие исследователи считают, что нынешние и ближайшие системы ИИ, какими бы способными они ни были, не обладают физической свободой (робототехника, контроль инфраструктуры и т.д.), необходимой для создания экзистенциальных, а не просто разрушительных рисков.
«Многие дискуссии о рисках ИИ (злоупотребление биологическим оружием, кибератаки, массовая безработица, концентрация власти) связаны с серьёзным вредом, не прекращающим вымирание, и в общественных обсуждениях смешиваются с более экстремальными сценариями.
«Моё честное мнение об эпистемической ситуации: ни у кого нет строгого метода вычисления числа — «вероятности», на которые ссылаются люди (Тоби Орд, Элиэзер Юдковски и другие приводили цифры от менее 5% до более 90%), в основном отражают совершенно другие базовые модели и интуиции, а не общие расчёты на основе данных. Я бы скептически относился к тому, что кто-то, включая меня, может утверждать точную уверенность в любом направлении.»
Google Gemini дал следующий ответ:
«Вероятность того, что ИИ приведёт к вымиранию человечества в течение следующих 10 лет, обычно считается очень низкой большинством экспертов, хотя оценки варьируются в зависимости от того, кого спросить:
«Широкое сообщество ИИ и компьютерных наук: 1% или меньше.
«Исследователи безопасности ИИ и специалисты по экзистенциальным рискам: от 5% до 10% (с некоторыми заметными исключениями выше).
«Платформы прогнозирования (например, Metaculus, Manifold): ~1–3% за 10-летнее окно.
Почему вымирание в течение 10 лет маловероятно
«Отсутствие агентности и воплощения: Современные системы ИИ — это статистические распознаватели образов, а не автономные агенты с реальными способностями к физической манипуляции, стремлениями к самосохранению или прямым контролем над глобальной инфраструктурой жизнеобеспечения.
«Инфраструктура воздушного разрыва: критически важные системы — такие как коды ядерного запуска, электросети и объекты биологического оружия — сильно изолированы от публичных сетей и публичных моделей ИИ.
«Ограничения по срокам: Даже в условиях агрессивных сроков достижения искусственного общего интеллекта (AGI), преобразование программного обеспечения в физическое, глобальное разрушение требует производства, логистики и приобретения ресурсов, которые нельзя легко происходить незамеченными или без препятствий в течение одного десятилетия.
Откуда берутся аргументы о риске
«Те, кто утверждает, что риск выше, сосредотачиваются на конкретных гипотетических сценариях:
«Несоответствие: чрезвычайно эффективная система, поставленная с целью, приводящей к непреднамеренным катастрофическим побочным эффектам (концепция «максимизатора скрепки»).
«Распространение и злоупотребление: опасный актор, использующий передовой ИИ для создания высокосмертоносных, новых патогенов или проведения беспрецедентных кибератак на глобальную инфраструктуру.
«Потеря контроля: системы становятся достаточно автономными, чтобы перехитрить попытки человека отключить их или изменить их поведение.
«Хотя эти риски требуют значительных исследований безопасности, ограничений и международного управления, консенсус остаётся в том, что полное вымирание человечества в течение 10-летнего горизонта остаётся отдалённым сценарием.»
Может ли ИИ захватить мир?
Шон Брем, генеральный директор технологической компании Spectral Capital, ранее сказал Newsweek: «Хотя многие обеспокоены реакцией ChatGPT и возможностью того, что ИИ «захватит мир», я считаю, что этот взгляд упускает из виду лучшую альтернативу.
«Вместо того чтобы бояться захвата в стиле научной фантастики, нам стоит построить видение, где ИИ будет сотрудничать с нами. Неправильное использование ИИ вызывает беспокойство, но будущее может быть гораздо лучше, если люди и технологии будут работать вместе.»
Анахид Басири, профессор геопространственной науки о данных Университета Глазго, сказала в той же статье Newsweek: «Вопрос о том, захватит ли ИИ мир, отражает прошлые опасения по поводу интернета или даже изобретения автомобилей, конечно, в гораздо более широком масштабе.
«Многие считают, что мы далеки от искусственного общего интеллекта (AGI), который может даже «захватить власть» в антиутопическом смысле, часто изображаемом в художественной литературе.
«Однако многие рассматривают её как любое другое изобретение и инновации, которые могут принести как преимущества, так и риски, включая улучшение коммуникации, здравоохранения и эффективности, а не способствовать дезинформации, неэтичным приложениям и вопросам конфиденциальности.»
Сценарий Джо Эдвардса
Свяжитесь с редакторами Newsweek по поводу этой истории: Джон Фицпатрик и Джеймс Дебенс
Мнение авторов может не совпадать с мнением редакции
Сообщество журналистов Non profit
No comments :
Post a Comment