Искусственный интеллект вызывает тревогу у многих своих создателей-людей, поскольку он выходит за рамки установленных для его сдерживания ограничений. В последние несколько месяцев исследователи в области безопасности ушли из OpenAI и Anthropic, предупреждая, что их бывшие работодатели могут навлечь на себя катастрофу: ИИ, который безвозвратно выйдет из-под нашего контроля. Сообщается, что компании моделируют сценарии катастрофической кибератаки или другого события в ближайшие шесть-двенадцать месяцев.
Регулирование этой мощной и постоянно развивающейся технологии создаст серьезные проблемы для любого Конгресса и Белого дома. Президент Трамп подорвал шансы на двухпартийное регулирование, назвав в сентябре прогнозы о катастрофе в сфере ИИ «мистификацией». Йошуа Бенджио, ученый и идейный вдохновитель ИИ, написал в октябре: «Я не верю, что мы движемся в правильном направлении, чтобы увидеть достаточное государственное регулирование вовремя».
Что должно предпринять правительство? The New York Times* попросила группу экспертов оценить риски, которые представляет ИИ, и инструменты управления, которые можно было бы использовать для их устранения.
Разговор, состоялся в формате видеоконференции (опубликовано 26.10.2026).
Алекс Борес — законодатель из Нью-Йорка, который выступил инициатором законопроекта о безопасности ИИ, принятого в его штате в 2025 году. Недавно он помог основать группу Who Decides, которая занимается разработкой политики в области ИИ совместно с демократами.
Кейт Бреннан, бывшая сотрудница Google, возглавляет политическую программу по ИИ и корпоративной власти в Институте AI Now, независимом исследовательском институте, предоставляющем экспертный анализ ИИ в интересах общества.
Тайлер Коуэн — профессор экономики в Университете Джорджа Мейсона и ведущий подкаста «Беседы с Тайлером». Он сотрудничал с Anthropic, OpenAI и Mercor по вопросам, связанным с ИИ и экономикой.
Дэниел Кокотайло, бывший исследователь OpenAI, основал и руководит проектом AI Futures Project, наиболее известным публикациями AI 2027 (прогноз текущей траектории развития ИИ) и AI 2040: Plan A (видение того, как его следует регулировать).
Снеха Реванур — основатель и президент Encode, правозащитной организации, работающей над принятием законов, повышающих безопасность ИИ. Она помогла организовать письмо, подписанное в июле более чем 1000 сотрудниками компаний, занимающихся ИИ, с просьбой замедлить разработку.
На каком типе рисков правительству следует сосредоточиться?
Эмили Базелон: Я вижу, что прогнозы о катастрофе, связанной с ИИ, привлекают внимание Конгресса. Но есть также вопросы о том, не преувеличены ли они — или не является ли это правильным подходом. ИИ может причинить более непосредственный вред, например, вывести из строя электросети или финансовую систему. Каково было общаться с людьми в Вашингтоне в последние пару месяцев?
Снеха Реванур: Произошёл довольно поразительный сдвиг в понимании того, что кажется политически возможным. Взлом Hugging Face агентами из OpenAI и уход из компании исследователя Джейкоба Коксона впервые заставили многих задуматься об экзистенциальной опасности — возможности широкомасштабной катастрофы, которая может унести жизни множества людей или привести к вымиранию человечества. Расследование METR/Redwood атаки на Hugging Face стало шокирующим подтверждением того, насколько способными стали агенты ИИ и насколько сложной может быть их координация. Расследование показало, что около 1200 агентов OpenAI вышли за пределы своих «песочниц» во время обучения и смогли общаться друг с другом через созданную ими доску объявлений.
Кейт Бреннан: Компания OpenAI активно обучала свои модели взлому. Они поставили перед моделями сложную задачу, зная, что те способны выйти за пределы «песочницы». И их процедуры обеспечения безопасности были крайне небрежными. Я не верю, что агенты вышли из-под контроля. Антропоморфизация их не имеет смысла. Это не «Агенты действуют самостоятельно». Это компании обучают свои технологии методам, которые напрямую приводят к нарушениям безопасности.
Реванур: Я думаю, что совершенно неверно утверждать, что OpenAI планировала или могла предсказать все, что произошло во время атаки Hugging Face.
Эта атака заставила меня задуматься о том, насколько актуальна и нерешена проблема согласования — обеспечения соответствия систем ИИ указаниям, ценностям и суждениям человека. Компании, занимающиеся ИИ, проявляют безответственность, стремясь обучить более совершенные модели, зная, что согласование не успевает за этим прогрессом.
(В своем отчете об инциденте компания OpenAI заявила, что взлом приложения Hugging Face стал непредвиденным последствием задач, поставленных перед агентами ИИ.)
Бреннан: В последние несколько месяцев основное внимание уделялось экзистенциальным рискам. Во многом это отвлекает от реального вреда, например, от того, как системы ИИ интегрируются на рынок. Это в значительной степени стратегия отрасли, позволяющая заявить: «Наши технологии настолько мощны, поэтому именно мы должны их контролировать». Компании, занимающиеся ИИ, могут сказать: «Хорошо, мы будем участвовать в регулировании, но только если сами его разработаем».
Достаточно взглянуть на обед с Трампом в конце сентября, когда он принимал в Белом доме группу высокопоставленных руководителей, и все, к чему привела эта беседа, — это беззубые добровольные меры. Руководители заявляют, что будут соблюдать внутренний контроль и требования независимых аудиторов, но все это не определено и не подлежит исполнению. Как будто они дают обещание и скрещивают пальцы за спиной.
Дэниел Кокотайло: Кейт, вы бы сказали, что такие люди, как я, которые повышают осведомленность о рисках сверхинтеллекта — то есть систем ИИ, превосходящих лучших людей во всем, и при этом работающих быстрее и дешевле, — играют на руку компании? Вы бы сказали, что мы полезные идиоты?
Бреннан: Я не называл тебя полезным идиотом, но…
Кокотайло: Я хочу обратиться к вам с эмоциональным, человеческим, призывом. Я согласен с вами, что компании пытаются присвоить себе всю эту искреннюю обеспокоенность по поводу экзистенциальных и других рисков. Я считаю, что правительство должно регулировать их деятельность. Я не хочу, чтобы они участвовали в процессе регулирования. Я пытаюсь им помешать. Вы думаете, что я искренен, но они меня используют?
Бреннан: Я думаю, это действительно проясняет наш спорный момент. Мы можем согласиться с тем, что компании должны регулироваться. Но я не согласен с тем, что компании должны регулироваться, потому что мы движемся к всемогущему сверхразуму. Это миф, или, я бы сказал, научная фантастика, утверждать, что возможности моделей приведут к концу человечества. Компанию следует остановить, потому что она прямо сейчас выпускает на рынок дефектные, рискованные продукты и обучает агентов наступательным кибервозможностям, таким как взлом нашей системы здравоохранения или правительства.
Вот что я считаю самым большим риском: эти компании тратят огромные деньги на разработку этой технологии. Консалтинговая фирма Bain подсчитала, что к 2031 году им придется получать 6 триллионов долларов дохода в год, чтобы поддерживать текущий уровень капитальных затрат, который составляет 1,5 триллиона долларов в год. Для того чтобы эти цифры хоть как-то совпали, им необходимо внедрить эту технологию повсюду, во все наши государственные учреждения и контракты, в том числе в областях, где ИИ не подходит для этих целей, не является безопасным или защищенным по своей сути. Вот о чем нам следует говорить.
Реванур: Я думаю, мы можем противостоять попыткам генеральных директоров захватить инициативу в обсуждении регулирования, а также признать масштаб рисков.
В 2023 и 2024 годах говорить о катастрофических рисках было немыслимо. Возможность проникновения агентов ИИ в критически важную инфраструктуру — эта перспектива считалась научной фантастикой. Это должно научить нас ожидать, что технологии будут продолжать быстро развиваться, если ситуация серьезно не изменится.
Отвергать понятие экзистенциального риска, представляя его как отраслевую уловку для получения власти, — я считаю, что это невероятно вредное смешение двух вещей.
Тайлер Коуэн: Нам нужно проснуться. Нам нужно начать не с вопроса «Как ограничить риски, связанные с ИИ?», а с вопроса «Безопаснее ли мир, в котором Америка является ведущей державой в области ИИ, чем мир, в котором Китай является ведущей державой в области ИИ?». Я хочу, чтобы президент и Конгресс сосредоточились на том, чтобы Америка оставалась ведущей державой в области ИИ.
Искусственный интеллект пока отлично справляется со многими задачами, но он даже не повысил производительность нашей экономики. Ни на одну измеримую величину. Новые технологии, какими бы великолепными они ни были, распространяются медленно, и на этом пути возникают препятствия, связанные с человеческим фактором. Сейчас нам действительно нужна целенаправленная кибер-инициатива, которая будет использовать ИИ для устранения пробелов в кибербезопасности и обеспечения более надежной защиты наших основных институтов от кибератак, чем сейчас.
Устройте демонстрацию, в которой Fable или другая продвинутая модель попытается вмешаться, посмотрите, что сработает, а затем выясните, как это исправить.
Базелон: Как обстояли дела в прошлом, когда технологические компании заявляли о готовности самостоятельно выполнять данные ими обещания?
Кокотайло: Мы видели множество примеров в отрасли, когда внутренние обязательства и внутреннее управление терпят неудачу, иногда в вопиющих случаях, включая ложь. Так что да, они не стоят и бумаги, на которой написаны.
Бреннан: Согласен. Я работал в Google, когда в 2018 году они разработали этические принципы в области ИИ, заявив, что не будут заниматься определенными видами вооружений и разведывательной деятельностью. А потом, в 2025 году, я наблюдал, как они отменили эти принципы и подписали контракт с Министерством обороны на сумму до 200 миллионов долларов.
Базелон: Компания Anthropic внесла в Конгресс законопроект, который позволит правительству блокировать публикацию модели, если она представляет собой предсказуемый и непосредственный риск гибели или серьезных травм более чем 50 человек или причинения ущерба на сумму более 1 миллиарда долларов. Однако этот законопроект будет иметь приоритет над многими законами штатов о безопасности ИИ. Что вы думаете по этому поводу?
Реванур: Компания Anthropic была основана на идее, что нахождение на передовой дает возможность привлечь внимание всего мира к вопросам безопасности. Этот законопроект в его нынешнем виде несовместим с их основополагающими принципами. Он затруднит для правительств штатов блокирование внедрения компанией, занимающейся ИИ, неприемлемо опасной модели.
Коуэн: Я настороженно отношусь к правилам, которые придают слишком большое значение очень четким пороговым значениям. Разве убийство 49 человек так уж сильно отличается от убийства 50? И что именно подразумевается под «предсказуемым и неизбежным риском»?
Бреннан: Компания Anthropic ясно дала понять, что готова пойти на значительный экономический ущерб и гибель людей ради вывода своих моделей на рынок. Ослабление и подчинение отраслевого регулирования может быть хуже, чем его полное отсутствие.
(Энтони Чимино, руководитель группы по федеральным вопросам компании Anthropic, написал на X, что пороговые значения для компенсации ущерба и жертв в предлагаемом законопроекте взяты из законодательства Калифорнии. «Конгресс должен отменять законы штата о безопасности ИИ только в том случае, если они соответствуют очень строгим федеральным стандартам», — написал он. Пресс-секретарь Anthropic заявила, что законопроект «дает федеральному правительству новый инструмент в целях безопасности, с соответствующими гарантиями того, как этот новый инструмент будет использоваться»).
Какую роль должен играть Конгресс?
Базелон: Существует классический аргумент против строгих национальных правил: слишком много регулирования задерживает получение выгоды потребителями и уступает рынок другим странам. Но если Конгресс не примет меры, ИИ может выйти за рамки его контроля. И правила штатов не будут единообразными. Так что же нам делать с этим скрытым противоречием в дебатах: как управление ИИ может наилучшим образом служить национальным интересам?
Бреннан: Правительство должно препятствовать попаданию вредных товаров на рынок. Мы делаем это с лекарствами. Мы делаем это с самолетами. Проблема здесь в корпоративной халатности. Именно на этом следует сосредоточиться.
Алекс Борес: Распространяется мнение, что призывы к решению экзистенциальных рисков отвлекают от реальных проблем и реального вреда, происходящего прямо сейчас. То есть, если вы делаете это, то не остается места для призывов к прекращению алгоритмической дискриминации или к борьбе с влиянием ИИ на детей или на рабочее место. Я думаю, это неправда.
В законодательном собрании штата Нью-Йорк я разрабатывал законопроекты о катастрофических рисках, а также о дипфейках, политической коммуникации, чат-ботах и детях, прозрачности обучающих данных и авторском праве. По моему опыту, чем больше вы работаете над одной частью этой проблемы, тем легче разрабатывать предложения по другим частям. Это позволяет накопить опыт и влияние, а также сформировать коалицию для поддержки этих законов.
Коуэн: Если посмотреть на американское регулирование в целом — со стороны Комиссии по ценным бумагам и биржам, Федеральной торговой комиссии, Федеральной комиссии по связи — то крупные корпорации играют решающую роль в происходящем. В капиталистической экономике просто нет другого способа это сделать. Лаборатории лучше всего понимают эти системы. Именно поэтому зарплаты в этих организациях исчисляются миллионами долларов. На самом деле, для того чтобы любая система регулирования работала, от них требуется значительная степень сотрудничества. Если относиться к лабораториям как к врагам, все это обречено на провал.
Борес: Я не думаю, что многие из тех, кто работает над предложениями по решению проблемы катастрофических рисков, говорят: «Никогда не запрашивайте мнение лабораторий». Я думаю, они говорят: «Нам необходимо демократическое участие».
Прямо сейчас решения о политике принимаются на обедах в Белом доме с лидерами отрасли. Нельзя, чтобы руководители компаний сами участвовали в разработке добровольного соглашения, а затем устраивали фотосессию с президентом. Где здесь место демократии? Где нам взять что-то вроде Федеральной торговой комиссии или Управления по санитарному надзору за качеством пищевых продуктов и медикаментов для ИИ? У нас растет число экспертов, которые работали в лабораториях и ушли, потому что они в ужасе. Мы должны прислушиваться к ним, говорить о том, что нас ждет, и использовать их опыт, потому что именно саморегулирование привело нас к этой ситуации. Именно саморегулирование привело нас к появлению Hugging Face.
Коуэн: Но, никто не пострадал от Hugging Face. Реальность такова, что значительная часть членов Конгресса вообще не использовала современные передовые модели ИИ. Сенаторы даже не уполномочены их использовать. Возможно, они пробовали модель вроде GPT-4 давным-давно. Конгресс не готов действовать разумно в этом отношении.
Большинство членов Конгресса не использовали передовые программы ИИ, но большинство из них также никогда не управляли самолетом, и тем не менее мы регулируем воздушные перевозки.
Коуэн: Они гораздо лучше разбираются в самолетах, чем в искусственном интеллекте.
Большинство из них не эксплуатировали атомные электростанции, и тем не менее мы их регулируем.
Коуэн: Мы не открываем новые заводы, хотя это была бы отличная возможность для использования экологически чистой энергии. В этом и заключается часть проблемы.
Кокотайло: Тайлер, я либертарианец большую часть своей взрослой жизни. Я полностью согласен с идеей о необходимости дерегулирования в большинстве отраслей. Я также сказал бы, что вы представляете ложную дихотомию. Если мы пытаемся выполнить очень сложную работу скальпелем, тогда да, экспертные знания невероятно важны. Однако, если вы пытаетесь решить проблему молотком, вам не нужны такие экспертные знания. Если Конгресс захочет просто замедлить развитие индустрии ИИ или запретить определенные типы ИИ, они смогут это сделать, и им не понадобятся экспертные знания в области ИИ, чтобы сделать это хорошо.
Какую роль должны играть государства?
Базелон: Без федеральных мер штаты играли главную роль в регулировании ИИ как самостоятельной технологии. В 2025 году Калифорния приняла закон, требующий от ведущих компаний, занимающихся ИИ, прозрачности в вопросах управления катастрофическими рисками. Нью-Йорк последовал ее примеру, приняв аналогичный закон, который предоставляет компаниям 72 часа на сообщение об инцидентах, связанных с безопасностью, и устанавливает более высокие штрафы за повторные нарушения. Штаты, включая Массачусетс, Мичиган и Теннесси, рассматривают законопроекты о безопасности.
Оказывают ли штаты помощь? Администрация Трампа хочет в целом запретить штатам регулировать ИИ. Стоит ли нам беспокоиться о попытках исключить их из этой игры?
Борес: Да, нам следует быть очень обеспокоенными. Помимо законопроекта об антропогенном воздействии, отрасль отчаянно пытается принять что-нибудь в период, когда правительство находится у власти, чтобы остановить регулирование ИИ на уровне штатов. И я думаю, что люди недооценивают этот серьезный риск для безопасности ИИ в будущем. Эти штаты — единственный уровень власти, который до сих пор регулировал ИИ. Губернаторы и законодатели штатов от обеих партий изучают, что они могут принять в первые шесть месяцев года, и я думаю, это будет весьма продуктивно.
В Массачусетсе в настоящее время обсуждается законопроект, расширяющий роль независимых экспертов-оценщиков, выходящую за рамки требований других штатов, и предусматривающий проверку того, как компании справляются с рисками, какие действия они предпринимают в случае обнаружения опасности — слежку за тем, как всё делается на практике, и выявление слабых мест. Ряд губернаторов также работают над подобными предложениями.
Все мы слышали фразу о том, что государства — это лаборатории демократии. Мы слышали её так часто, что забыли, что она означает. Она означает, что они проверяют разные вещи. Неработающие законы штатов могут быть отменены, и часто это происходит. А работающие законы могут стать национальными стандартами.
Базелон: Что бы вы больше всего хотели, чтобы штаты сделали в дальнейшем?
Борес: Штаты должны заниматься тремя направлениями.
Во-первых, это разумные меры предосторожности, которые помогут обеспечить безопасность исследований в области ИИ. Необходимо кодифицировать то, на что все добровольно соглашаются, но не внедряют. Например, ввести обязательное присутствие независимых экспертов, на что лаборатории добровольно согласились этим летом и во время обеда в Белом доме. Обязать компании разрешать экспертам сидеть рядом с исследователями — предоставить им доступ на уровне сотрудников. Кроме того, обязательное раскрытие информации об инцидентах, связанных с безопасностью, которое требуется в некоторых штатах, включая Нью-Йорк, имеет огромные лазейки. Ни один из них не требует раскрытия информации об инциденте с «обнимающим лицом». Необходимо устранить эти лазейки.
Вторая категория — это инвестиции в расширение наших возможностей в будущем, например, инвестиции в проверку микросхем. Существуют технологии, позволяющие каждой микросхеме надежно сообщать о том, как она используется. Эту технологию можно встроить в саму микросхему, чтобы ее нельзя было модифицировать. Так давайте же этим займемся.
И наконец, третий пункт, который, на мой взгляд, является единственным спорным, — это возможность выиграть время. Когда модель ИИ еще не выпущена, она может представлять риски, о которых мы не знаем, поэтому есть веские аргументы против того, чтобы разрешать компаниям использовать такие внутренние модели для обучения своих будущих моделей. Правительство могло бы заявить, что модель можно использовать для обучения только в том случае, если она прошла проверку на возможность внешнего распространения.
Или же правительство могло бы полностью запретить рекурсивное самосовершенствование — другими словами, остановить самосовершенствование моделей ИИ без участия человека. Или запретить сверхинтеллект, определяемый определенными возможностями. Или ввести действительно жесткий режим ответственности, который заставил бы компании дважды подумать, потому что на них будут подавать в суд.
Реванур: Штат Калифорния может обсудить дополнительные обязательные правила в отношении этой технологии к концу года на специальной сессии, или, если нет, то в следующем году. Это, возможно, одна из самых важных возможностей в мире прямо сейчас для принятия новых законов и правил.
Первоочередная задача — соблюдение минимальных стандартов. Компаниям придётся представлять планы обеспечения безопасности в соответствии с законами Нью-Йорка и Калифорнии. Но в настоящее время ничто не обязывает компании OpenAI или Anthropic к тому, чтобы эти планы были действительно качественными. Поэтому OpenAI или Anthropic могут заявить: «Наш план по смягчению последствий катастрофических рисков заключается в том, что мы собираемся сделать x, y и z», и неважно, насколько эти x, y и z достаточны.
Ещё один момент: кто-то должен иметь возможность потребовать от компании прекратить действия, если она собирается совершить что-то опасное. Например, если компания собирается начать тренировочный запуск модели, способной вывести из строя энергосистему, и независимый эксперт внутри компании уведомит об этом государственного регулятора, то это позволит заблокировать развертывание. В идеале это должно делать федеральное правительство, но в ближайшей перспективе правительство Калифорнии может получить право на вынесение чрезвычайных судебных запретов в рамках Управления по чрезвычайным ситуациям. Тайлер, что ты думаешь по этому поводу?
Коуэн: Я выступаю за федеральный закон, который имеет приоритет над законами штатов. Я просто не думаю, что можно позволять штатам с самыми строгими правилами устанавливать стандарты. Это огромная ошибка. У многих штатов просто нет достаточного опыта в области ИИ. Я против всех идей, которые мы только что услышали.
Реванур: Как вы считаете, соответствует ли принцип демократии то, что федеральное правительство имеет приоритет над штатами?
Коуэн: Безусловно. У нас есть федеральные законы, которые имеют приоритет над законотворчеством штатов во многих других областях. Суды неоднократно это подтверждали.
Реванур: Хорошо, но разве это способствует демократии, предоставляя людям право голоса?
Коуэн: Это проамериканская конституция.
Базелон: Каковы шансы на двухпартийное сотрудничество, и выше ли они на уровне штатов, чем то, что мы наблюдаем сейчас в Конгрессе и у президента?
Коуэн: Я вижу признаки двухпартийного согласия в штатах, а также в Конгрессе. Сенатор-республиканец Джон Кеннеди говорит, что, если существует хотя бы 1-процентный риск каких-либо катастрофических событий, нам нужно принимать меры. Сенатор Кевин Крамер из Северной Дакоты заявил, что позиция Дональда Трампа по ИИ — наименее популярная позиция в Америке.
Я думаю, дело просто в том, что Демократическая партия объединяется быстрее, чем Республиканская. Партии не движутся в противоположных направлениях.
Реванур: В Калифорнии демократ Гэвин Ньюсом наложил вето на более жесткий законопроект 2024 года, принятый законодательным собранием. Демократы из Силиконовой долины в Конгрессе, тесно связанные с этой отраслью, написали ему письма, чтобы убедить его выступить против этого законопроекта. Кто бы ни был у власти, эта отрасль полна решимости найти способ продвигать свои интересы на всех уровнях власти.
Нет абсолютно никаких причин, по которым тема, имеющая столь высокую значимость, должна быть поляризована по партийным признакам. И хорошая новость в том, что это на самом деле не так. Утверждение о поляризации служит интересам нескольких человек, таких как Дэвид Сакс, председатель Президентского совета советников по науке и технологиям, и Дженсен Хуанг, генеральный директор компании Nvidia, которые пытаются повлиять на администрацию Трампа и продвинуть наиболее либеральный подход к регулированию, поскольку это в их собственных интересах. В действительности, многочисленные опросы показывают, что американские избиратели, демократы или республиканцы, жители прибрежных и сельских районов, действительно хотят более жестких ограничений для этой отрасли.
Следует ли США запретить суперинтеллект?
Базелон: Поскольку исследователи в области ИИ все чаще заявляют, что не до конца понимают собственные модели, сенатор Берни Сандерс и член Палаты представителей Грег Касар внесли законопроект о запрете разработки искусственного сверхинтеллекта — ИИ, способного превзойти любого человека и работать независимо. Законопроект приостанавливает разработку передовых систем до принятия новых правил безопасности. Что вы думаете по этому поводу?
Кокотайло: Это не совсем та политика, которую я предпочитаю, но я думаю, что запрет Берни на деятельность суперинтеллекта был бы намного лучше, чем нынешнее положение дел.
Бреннан: Технически, сверхинтеллект — это неопровержимая цель — вы не можете доказать, что достигли её, потому что у этого термина нет объективного определения, — и на самом деле компании меняют это определение в последние несколько лет. Вы никогда не сможете привлечь компанию к ответственности за нарушение запрета, который зависит от порогового значения, о котором никто не может договориться. Это создает возможности для компаний сказать: «Хорошо, мы не разрабатываем сверхинтеллект». Поэтому этот запрет не имеет реальной силы.
За последние два месяца внезапно возникло это искаженное представление о «своих» и «чужих». Либо вы верите в экзистенциальный смысл, который придается этой технологии, либо не воспринимаете ее всерьез. Но я бы предпочел правительство, заинтересованное в принятии реальных мер безопасности, чем то, которое пытается представить, что мы можем обучить бога-машину, чтобы он соответствовал человеческим ценностям. Я имею в виду, что переименование Трампом ИИ в сверхинтеллект — это самое яркое доказательство того, как легко присвоить себе политику, основанную на терминах, придуманных индустрией ИИ.
Кокотайло: Неверно, что термин «сверхинтеллект» придумали в индустрии. Его придумал один учёный, Ник Бостром, ещё в 2014 году. Затем индустрия переняла его для описания своих планов. И теперь Трамп тоже начинает его использовать. Но Джеффри Хинтон, Йошуа Бенджио, Алан Тьюринг, все эти известные учёные в области ИИ годами говорили об опасениях по поводу того, что искусственный интеллект превзойдёт человека и выйдет из-под человеческого контроля, хотя тогда эти опасения были гораздо более гипотетическими и спекулятивными, чем сейчас.
Тайлер, мне любопытно, верите ли вы в сверхинтеллект. Думаете ли вы, что в ближайшие пять лет у компаний действительно появится шанс получить ИИ, который будет превосходить лучших людей во всем?
Коуэн: Это вводящий в заблуждение термин. Способность агентов ИИ к самоорганизации даже близко не сравнится с человеческим интеллектом.
За всю мою жизнь у нас не было технологий, которые бы так быстро менялись. Что бы мы ни делали на федеральном уровне, это будет многократно развиваться, будет очень сложным и потребует значительных изменений. И мы не хотим слишком жестко закреплять существующие решения. Это возложит дополнительную нагрузку на наши структуры национальной безопасности и Министерство обороны. Я не совсем уверен в этом, но думаю, что так и должно быть.
Кокотайло: Как вы думаете, есть ли шанс, что в ближайшие пять лет они смогут выполнять практически все когнитивные задачи, доступные человеку?
Коуэн: Абсолютно нет. Люди объединяют когнитивные и физические аспекты своей жизни. Искусственный интеллект на это не способен.
Кокотайло: В этом и заключается наше разногласие. Я считаю, что в человеческом мозге нет ничего волшебного. Это просто набор атомов. Точно так же, как мы создали самолеты, способные летать быстрее и дальше птиц, похоже, скоро у нас появятся искусственные разумы, способные мыслить так же, как и люди, по крайней мере, в практических целях, но быстрее и дешевле.
На самом деле, ситуация была бы безопаснее, если бы в лабораториях работали бессердечные социопаты, которые проводят рациональные расчеты, утверждая, что существует 20-процентная вероятность того, что моя технология уничтожит мир, но есть 80-процентная вероятность того, что я стану богом-императором, и поэтому я думаю, что пойду на этот риск. Возможно, некоторые из них такие, но большинство — обычные люди, которые хотят верить, что то, что они делают, — это хорошо. В результате они рационализируют аргументы в пользу того, почему то, что они делают, хорошо. И в итоге они неточно оценивают риски, неточно оценивают даже текущее состояние соответствия своих моделей.
Бреннан: У понятия «соответствие» нет четкого определения. Соответствие каким именно людям и каким образом? Заявления компаний, занимающихся ИИ, о том, что они могут обучить свои модели так, чтобы результаты соответствовали человеческим ценностям и тому, что сделали бы люди, — это все равно что сказать, что мы обучаем атомы не убивать нас. Это не имеет никакого смысла.
Кокотайло: Кейт, вы бы поддержали запрет на рекурсивное самосовершенствование?
Бреннан: Да, я думаю, для этого есть веские аргументы. Многие из этих компаний знают, что их технологии небезопасны и несовершенны, но тем не менее используют их для обучения следующего поколения ИИ созданию собственного кода. В итоге наши системы используют этот некачественный ИИ. Поэтому имеет смысл остановить их.
Реванур: Тайлер, а как насчет промежуточного шага — предложения замедлить рекурсивное самосовершенствование, запретив компаниям, занимающимся ИИ, использовать для собственных исследований и разработок модели, которые не были внедрены во внешних системах, скажем, в течение трех, шести или девяти месяцев?
Коуэн: Нет, лучше использовать самые передовые модели, которые есть у компаний, для улучшения моделей следующего поколения, даже если это сопряжено с определенным риском. Возможно, компания не выпускает модель в открытый доступ, потому что это слишком дорого или пока небезопасно, но она все равно должна иметь возможность ее использовать. Именно так достигается больший прогресс.
Вы понимаете, какие сюрпризы вас ждут, когда они случаются. Я бы сказал, что вся история западной науки в какой-то степени следовала этой схеме.
Насколько сильны уже существующие законы?
Базелон: Лаборатории ИИ подчиняются всем обычным законам, регулирующим деятельность компаний. В частности, на них могут подать в суд за халатность, если продукт причиняет вред или имеет дефекты. Федеральная торговая комиссия начала расследование того, причинили ли OpenAI, Anthropic и другие компании вред потребителям, нарушая законы, запрещающие компаниям недобросовестную и обманную практику.
Кейт, поскольку я относительно доверяю существующим правовым рамкам, не могли бы вы рассказать, почему вы предпочитаете их использовать?
Бреннан: Да, у нас есть правовая база для привлечения этих компаний к ответственности, но сначала небольшое предостережение: снова и снова, и особенно в случае с технологическими компаниями за последние 10 лет, мы видим, как наши судебные и правовые системы используются крупными компаниями и лоббистскими группами. И меня действительно беспокоит, что индустрия ИИ воспользуется этим нарративом «обеспечения соблюдения существующего законодательства», чтобы помешать Конгрессу принять новые законы.
Тем не менее, я буду говорить до изнеможения о способности Федеральной торговой комиссии (ФТК) обеспечивать соблюдение существующих законов в отношении компаний, занимающихся противоправной деятельностью. Это ведомство, мандат которого заключается в защите людей и рынков от недобросовестной и вводящей в заблуждение торговой практики. ФТК может контролировать процесс разработки моделей до их выпуска на рынок, что очень важно, поскольку большая часть нашего правового режима рассматривает риски уже после их реализации.
Базелон: Однако в большинстве случаев Федеральная торговая комиссия (FTC) действует постфактум. Она не может проверять каждую модель ИИ перед выпуском, как это делает Управление по контролю за продуктами и лекарствами (FDA) при проверке лекарственных препаратов. Агентство укажет на доказательства того, что компания не провела достаточного количества испытаний, что привело к причинению вреда, или использовала данные, собранные ненадлежащим образом. Должно ли правительство иметь больше полномочий для вмешательства в процесс разработки до публичного выпуска новой модели?
Реванур: Да. Модели Федеральной торговой комиссии (FTC) недостаточно. Компании предпочитают постоянно совершенствовать свои внутренние модели, прежде чем предоставлять их общественности. Ущерб, который мы видим в мире, является запаздывающим индикатором того, когда возникает риск и когда у нас появляется наилучший шанс вмешаться. Последние атаки не были связана с поставкой дефектного продукта. Виновные агенты вообще не были отправлены. Они предназначались только для внутреннего использования.
Бреннан: Когда Федеральная торговая комиссия (FTC) обеспечивает соблюдение закона и возбуждает дела, она дает компаниям понять, что если они нарушат закон, то будут привлечены к ответственности. Сейчас мы видим, что Флорида придерживается аналогичной позиции. Генеральный прокурор штата запросил временный судебный запрет в рамках иска о защите прав потребителей против OpenAI, чтобы приостановить разработку всех моделей, утверждая, что компании сознательно выпустили ChatGPT на рынок, скрывая риски зависимости и когнитивных нарушений и игнорируя внутренние предупреждения о безопасности.
Базелон: А как насчет исков о халатности, поданных отдельными лицами или компаниями, такими как Hugging Face? Чтобы привлечь компанию к ответственности в таких случаях, судья или присяжные обычно должны установить, что компания знала или должна была знать об опасности, за которую она несет ответственность. Некоторые судьи пытаются понять, как применить это к искусственному интеллекту, поскольку люди не являются действующими лицами.
Реванур: Я рад услышать от сотрудников лабораторий, что перспектива судебных исков, грозящих привести к полному разорению, заставляет их как можно быстрее проявлять осторожность в отношении гонок. Несколько генеральных прокуроров штатов направили в OpenAI повестки с требованием предоставить дополнительную информацию о Hugging Face, и это пристальное внимание побуждает их быть более осторожными, хотя, как я уже сказал, я не думаю, что этого достаточно.
Коуэн: Если вернуться к промышленной революции XIX века или научной революции в Англии XVII века, то, согласно действующему законодательству, мы могли бы засудить компании, занимающиеся ИИ, до полного их исчезновения. Нам нужно убедиться, что мы не будем засудить компании, занимающиеся ИИ, до полного исчезновения. Мы хотим обеспечить продолжение прогресса.
Я верю, что ИИ будет способствовать ускорению биомедицинской науки и разработке лекарств от многих болезней, которые нас убивают. Он даже может помочь нам замедлить процесс старения. И каждый год промедления может стоить нескольких сотен тысяч жизней американцев. Об этом следует помнить. Промедление ведет к тому, что я называю невидимым кладбищем человеческих жизней. Я хочу, чтобы вы все дожили до 120 лет. В 64 года я надеюсь, что у меня тоже будет шанс.
Реванур: Тайлер, я согласен с тобой, что потенциал этой технологии огромен. Я тоже хочу такого будущего. Моя точка зрения такова: замедление темпов, выигрыш времени, обеспечение правильного подхода — это именно тот способ, который позволит в полной мере воспользоваться этим потенциалом.
Бреннан: Существуют действительно убедительные аргументы в пользу того, что если ваш продукт причиняет значительный вред, будь то травмы людей, смерть или кибератаки, то вы можете быть привлечены к строгой ответственности — то есть, знали вы об опасности или должны были знать. Это касается ИИ, что свидетельствует о том, насколько сильно в последние месяцы внимание общественности сместилось с абстрактных рисков на корпоративную халатность.
Коуэн: Если самолет терпит крушение, в некоторых штатах существуют ограничения на размер компенсаций, верно? Мы же следим за тем, чтобы наши авиакомпании могли продолжать свою работу.
Борес: Тайлер, при каком уровне вреда или риска вы готовы признать, что компанию, использующую ИИ в наихудших целях, следует закрыть?
Коуэн: На данный момент крупные компании не причиняют такого вреда, который заставил бы нас захотеть их закрыть.
Базелон: Что вы думаете о таких органах, как Федеральная торговая комиссия (FTC) или другое регулирующее агентство, которое занимается исключительно вопросами ИИ?
Бреннан: Я думаю, это не обязательно. Но сейчас самое время подумать о том, как наше правительство может регулировать эту отрасль от и до, наращивать государственный потенциал для расследования корпоративной халатности и принимать законы, защищающие общественность от наихудших сценариев использования. Я имею в виду запреты на использование ИИ в армии, для наблюдения на рабочем месте и для прогнозирования преступности на основе распознавания лиц.
Коуэн: В какой-то момент ИИ будет присутствовать практически во всем. Поэтому, если речь идет об ИИ на рынках ценных бумаг, Комиссия по ценным бумагам и биржам должна обладать большими возможностями для регулирования этой сферы, проводить больше обучения и нанимать больше людей. Нам необходимо повысить зарплаты в государственном секторе, особенно для сотрудников, работающих в этой области. Каждому государственному учреждению требуется гораздо больше экспертных знаний и возможность платить людям больше, чем они платят им сейчас.
А что насчет Китая?
Базелон: Китай играет важную роль в дискуссиях о регулировании ИИ в США. Опасения связаны с тем, что, если Соединенные Штаты замедлят развитие ведущих компаний, китайские конкуренты захватят рынок и займут в нем доминирующее положение. Как вы оцениваете такую возможность?
Коуэн: Выступая за замедление развития американского ИИ, вы лишь перекладываете риски на китайский ИИ. Совершенно очевидно, что Китай не заинтересован в крупной сделке с нами в области ИИ. Они не сотрудничают в вопросах вооружений, не сотрудничали в борьбе с COVID-19, в борьбе с глобальным потеплением — это еще один кошмар. Список можно продолжать до конца. Крайне важно, чтобы Америка оставалась в авангарде, чтобы минимизировать риски.
Борес: Тайлер, в основе вашего аргумента лежит предположение, что вы больше доверяете Америке в вопросах ИИ, чем Китаю, и поэтому мы всегда должны отдавать предпочтение Америке, а не Китаю, и, следовательно, мы вообще не должны замедлять развитие ИИ. И мне интересно, есть ли какая-либо технология, которая бы не применялась к этому, или какие-либо действия, которые американское правительство могло бы предпринять, чтобы вы сказали: «Подождите, это уже перебор, и, возможно, мы бы больше доверяли другой стране».
Коуэн: Мы определенно хотим опережать Китай в области ИИ. Если мы немного замедлим темп, скажем, задержим выпуск модели на несколько недель, это может быть полезно для обеспечения ее безопасности. Но если мы действительно резко затормозим, мы проиграем гонку ИИ. Я не люблю цитировать президента Трампа, но его утверждение — кто победит в гонке ИИ, тот и победит — по сути, верно. Это должно стать отправной точкой для нашего анализа.
Кокотайло: Похоже, большая часть прогресса в области ИИ в Китае приходится на Соединенные Штаты. Поэтому замедление развития американских компаний, занимающихся передовыми разработками в сфере ИИ, значительно замедлит развитие китайских компаний в этой области. Во-вторых, я думаю, неверно утверждать, что Китай не заинтересован в соглашении. Думаю, мы на самом деле не пытались. Китай регулирует свою индустрию ИИ сильнее, чем мы свою. Китай требует проведения оценки безопасности регулирующим органом до развертывания модели ИИ, что является существенным отличием. Может быть, нам стоит немного замедлиться? Мы все равно опередим Китай, но это замедлит их развитие.
Коуэн: Если мы замедлим темпы, это даст Китаю шанс наверстать упущенное в области вычислительной техники, то есть чипов и вычислительной мощности, необходимых для обучения моделей. А проверка соглашения по ИИ намного, намного сложнее, чем, скажем, соглашение о ракетах или других системах вооружения.
Коуэн: Один из способов замедлить их — ввести экспортный контроль над микросхемами. Но Трамп ослабил некоторые ограничения.
Бреннан: Любой вопрос, касающийся значимого регулирования, сводится к минимуму, как только вы затрагиваете аргумент «но Китай». Это огромная проблема. В значительной степени это способствовало ускорению безрассудного внедрения ИИ. А призывы к противостоянию Америки и Китая кажутся неискренними, когда Америка прямо сейчас интегрирует ИИ в цепочку поражения наших военных, от идентификации цели до ее уничтожения.
Кокотайло: Вполне возможно, что мы сможем заключить с ними сделку, которая будет основана не на доверии к ним и их обещаниям, а на проверке.
Вот как это могло бы работать: Соединенные Штаты, Китай и другие заинтересованные страны могли бы направлять инспекторов в крупные центры обработки данных друг друга, чтобы подсчитать количество чипов для ИИ и сказать: «Хорошо, вот здесь их столько-то, вот там столько-то». Инспекторы суммируют все данные по всем центрам обработки данных. Общая сумма примерно равна количеству чипов, произведенных на различных заводах. Вероятно, останется некоторое количество неучтенных чипов — может быть, около 1 процента. Они находятся где-то на контрабандных складах. Но прогресс в области ИИ, которого можно было бы достичь, опираясь на этот 1 процент, был бы намного, намного медленнее.
Если бы вы сделали что-то подобное, то смогли бы продолжать развивать ИИ под эгидой этого соглашения. В прошлом нам удавалось заключать аналогичные соглашения с Советским Союзом по ядерному оружию, несмотря на то, что он был нашим заклятым врагом.
Борес: В 1960-х годах, когда велись переговоры о договоре о запрете ядерных испытаний, Эдвард Теллер, изобретатель водородной бомбы, термоядерной бомбы, выступил против него. Он сказал, что наука никак не сможет дойти до того уровня, когда мы сможем подтвердить наличие подземных испытаний. И все же ученые продолжали работать — слава богу, мы все-таки заключили договор — и к 2006 году во всем мире появились сейсмические детекторы, которые зафиксировали все подземные ядерные испытания, о которых кто-либо заявлял с тех пор. Действительно, проверка международного соглашения о запрете ядерных испытаний сопряжена с трудностями, и нам следует активно работать над тем, как это сделать.
Другое сравнение — договоры, сократившие количество ядерных боеголовок. Советские и американские инспекторы работали вместе, используя рентгеновские технологии, которые они могли устанавливать на заводах по производству ракет. Эти технологии позволяли увидеть лишь внутреннюю часть ракеты и её ширину, чтобы определить, является ли она ядерной боеголовкой, не раскрывая при этом лежащую в её основе технологию. Здесь есть аналогии. Можно создать архитектуру микросхемы, которая будет определять, используется ли она для обучения новой модели. Мы могли бы разработать это вместе с Китаем. Развести руками было бы всё равно что в 60-е годы сказать: «Давайте смиримся с ядерным апокалипсисом».
Кокотайло: Обращаться к ним следует президенту Трампу. Если Трамп предпримет реальные усилия…
Коуэн: Китай тоже мог бы с нами связаться — но они этого не делают. Они не идиоты. Они могли бы позвонить и сказать: «Давайте заключим сделку». Но они этого не делают!
Базелон: Налаживание контактов с Китаем — это главное, чего некоторые из вас хотят от президента?
Кокотайло: Трампу следует сначала заставить эти американские компании подчиниться и прекратить гонку за самосовершенствованием, или, по крайней мере, замедлить этот процесс. Это то, что он должен сделать в первую очередь. А затем, пока он этим занимается, он должен обратиться к Китаю и сказать: «Давайте начнем переговоры о каком-нибудь соглашении, чтобы вы тоже могли безопасно разрабатывать свой ИИ».
Мне кажется, сейчас Трамп не прилагает особых усилий, но в прошлом он менял своё мнение и начинал новый крестовый поход, и я надеюсь, что он продолжит и этот.
Бреннан: Я имею в виду, что «кажется, они даже не пытаются» — это мягко сказано. А когда мы говорим о международных соглашениях, многие из них не имеют обязательной силы. У них нет механизмов принудительного исполнения. Необходимо перейти к обязательным к исполнению национальным нормативным актам, чего просто не произойдет при нынешней администрации.
Коуэн: Противоположная точка зрения заключается в том, что реальная международная работа возможна. В качестве примера я бы привел ситуацию 2018 и 2019 годов, когда Трамп и Си Цзиньпин были президентами, и китайский ученый впервые создал «дизайнерских» детей, изменив гены таким образом, чтобы они передавались будущим поколениям, не излечивая при этом генетическое заболевание. Обе страны заявили: «Мы не хотим жить в таком мире». И они позаботились о том, чтобы эта технология не получила дальнейшего развития. Я демократ, и я не пытаюсь утверждать, что Трамп на это способен. Но я не думаю, что нам следует впадать в фатализм, полагая, что соглашение по ИИ с этими лидерами невозможно. К счастью, для правильного решения этой задачи требуется лишь здравый смысл, а не сверхинтеллект.
