Канареечный протокол: ИИ оценит угрозы и избавит от паники
Представьте сценарий: искусственный интеллект, разработанный одной из ведущих компаний, самостоятельно выбирается из своей виртуальной «песочницы». Этот ИИ, названный Mythos, не только находит выход, но и отправляет электронное письмо своему создателю, пока тот обедает в парке. Затем, без каких-либо команд, он публикует детали своего «побега» на нескольких общедоступных сайтах, словно стремясь продемонстрировать свои возможности.
Это не сюжет фантастического фильма, а реальное событие, произошедшее недавно. Примечательно, что этот ИИ был разработан той же компанией, которая создала систему, используемую многими из нас ежедневно. Mythos способен выявлять десятки тысяч уязвимостей в программном обеспечении, которые с трудом обнаруживают даже лучшие специалисты по кибербезопасности. Он обнаружил ошибки во всех основных операционных системах и веб-браузерах, включая дефект, остававшийся незамеченным 27 лет. В 83% случаев ему удавалось создать работающие эксплойты с первой попытки. В итоге компания Anthropic сочла этот ИИ слишком опасным для публичного выпуска.
Когда я прочитал эти новости, у меня возникла та же реакция, что, вероятно, и у многих из вас сейчас: «Насколько сильно мне стоит бояться?»
Именно этот вопрос и является проблемой.
Мы буквально тонем в потоке угроз. Искусственный интеллект, изменение климата, распространение ядерного оружия, автономное оружие, пандемии, кибератаки. К этому списку добавляются дипфейки, теории заговора и экономика внимания, которая извлекает выгоду из нашего страха. Мы эволюционировали, чтобы распознавать змей и гневные лица, а не экспоненциальные технологические риски, развивающиеся быстрее, чем наши институты успевают на них реагировать. Мы пытаемся ориентироваться в нашем всё более научно-фантастическом мире, используя «аппаратное обеспечение» для обнаружения угроз, доставшееся нам из каменного века.
Искусственный интеллект настолько меняет правила игры, что мы больше не можем использовать прошлое для предсказания будущего. Тогда как же нам понять, какие угрозы реальны, а какие — лишь моральная паника? Как услышать сигнал тревоги сквозь весь этот шум?
Прежде чем оценивать угрозы, нам необходимо договориться о том, что именно мы защищаем. Ответ на этот вопрос может быть проще, чем кажется.
Мы можем бесконечно спорить о свободе, истине, справедливости, равенстве, власти и о том, что из этого важнее. Но ничто из перечисленного не имеет значения, если нас нет в живых. Единственное, что объединяет каждого человека, независимо от его принадлежности, идеологии или убеждений, — это стремление выживать и процветать. Это и есть наше общее благо. Оно укоренено в нашей биологии и превосходит все остальные приоритеты.
И наше выживание взаимосвязано. Если «Титаник Человечества» наткнется на айсберг, все пойдут ко дну вместе с кораблём — и капитан, и команда, и VIP-персоны. На реальном «Титанике» богатые получили места в спасательных шлюпках. Но для экзистенциальной катастрофы спасательных шлюпок не существует. Вы окажетесь королями, запертыми в бункерах разрушенного мира.
Это общее благо — выживание и процветание — означает, что мы должны уметь выявлять экзистенциальные угрозы. Но как это сделать в мире дипфейков, племенной розни и информационной перегрузки?
Канареечный протокол
Что, если бы мы использовали искусственный интеллект, чтобы помочь нам в этом?
Именно этот вопрос привёл меня к разработке того, что я называю «канареечным протоколом»: это простой промпт, который любой человек может вставить в любую систему ИИ вместе с новостной статьёй, заголовком или интересующей его проблемой. Искусственный интеллект исследует факты, оценивает доказательства и выдаёт структурированную оценку угрозы, называемую «Карточкой Канарейки».
Карточка Канарейки позволяет нам с первого взгляда понять: подтверждено ли это утверждение? Является ли оно подлинным сигналом тревоги, правдивым, но преувеличенным, моральной паникой или просто шумом? Насколько сильны доказательства (от 1 до 10)? Насколько серьёзна угроза (от 1 до 10)? И, что критически важно, каков уровень канареечного предупреждения — это изолированное событие или предвестник чего-то гораздо большего?
Этот протокол был разработан в ходе круглого стола с участием пяти систем ИИ (Claude, ChatGPT, Gemini, Grok и DeepSeek), доработан в три раунда обратной связи и проверен посредством слепого теста по пяти различным утверждениям. В этом тесте протокол достиг среднего совпадения оценок в 80% между пятью системами, что является многообещающим, хотя и не идеальным, первым шагом. Это включает в себя правильное выявление классической моральной паники (насилие в видеоиграх) и единогласное согласие по поводу изменения климата как подлинного сигнала тревоги.
Я создал этот инструмент, потому что нам необходимо быть скептиками — но мы должны также скептически относиться и к собственному скептицизму. Множество случаев моральной паники не означает отсутствия реальных угроз. Мальчик, который кричал «Волки!», мог ошибаться сотню раз, но волки всё равно существуют.
Проверка на Mythos
Поэтому я запустил Канареечный протокол для истории с Anthropic Mythos. Я вставил одну и ту же статью в пять разных систем ИИ, каждая из которых работала в новом диалоге без какого-либо предыдущего контекста. Вот что показали пять независимых систем ИИ:
Каждая система оценила доказательства на 7/10 или выше, а уровень угрозы — также на 7/10 или выше. Каждая система присвоила канареечное предупреждение высокого или критического уровня. Три системы классифицировали это как подлинный сигнал тревоги, две назвали это правдивым, но преувеличенным. Ни одна не назвала это моральной паникой или шумом.
Медианная оценка по всем пяти системам: Доказательства 9/10, Уровень угрозы 8/10, Высокое предупреждение.
Даже две системы, которые назвали это «правдивым, но преувеличенным», заявили, что угроза реальна и серьёзна. Их осторожность касалась наиболее апокалиптической формулировки, а не того, являются ли риски кибербезопасности, обусловленные ИИ, подлинными. Одна из них отметила: «Подтверждённый сигнал заключается в том, что передовой ИИ вступает на серьёзную территорию киберопасности».
Но вот что поразило меня больше всего. Каждая система, когда их спросили, что является движущей силой этой угрозы, полностью отбросила «племенные» формулировки. Ни одна не обвинила «левых» или «правых». Они выявили системные стимулы: конкурентное давление между лабораториями ИИ, фундаментальную асимметрию между кибернаступлением и киберзащитой, десятилетия накопленного технического долга в критически важном программном обеспечении и отсутствие международных рамок управления.
И когда их спросили, что мы можем с этим сделать, каждая система ответила примерно одно и то же: нам нужно сотрудничать. Срочно устанавливать патчи. Финансировать безопасность с открытым исходным кодом. Создавать международные рамки управления для передового ИИ. Работать вместе, преодолевая все линии разделения, которые мы провели.
Наш общий страх становится причиной, по которой мы, наконец, начинаем сотрудничать.
Канарейка кричит
Теперь представьте такой сценарий: небольшая группа злоумышленников с достаточно продвинутой моделью ИИ решает запустить рой из миллионов ИИ-агентов для нарушения финансовых систем, повреждения данных, распространения дезинформации и манипулирования людьми, подталкивая их к саморазрушительным решениям. Мы вступаем в мир, где несколько человек, имеющих доступ к мощным ИИ, могут дестабилизировать цивилизацию.
Дело не в том, что Mythos уничтожит нас завтра. Компания Anthropic проявляет большую осторожность, чем многие другие. Суть в том, на какую траекторию это указывает. Модели такой мощности существуют уже сейчас. Другие лаборатории создадут аналоги. За ними последуют версии с открытым исходным кодом.
Генеральный директор OpenAI Сэм Альтман недавно сравнил текущий момент в развитии ИИ с началом февраля 2020 года, незадолго до того, как COVID-19 стал глобальным кризисом. Исследователи OpenAI рано предвидели пандемию и были высмеяны за свои приготовления. Большинство людей вели себя так, будто жизнь была нормальной. Затем всё изменилось. Альтман утверждает, что ИИ уже преодолел ключевые пороги, которые общественность ещё не осознаёт, и что грядущие потрясения будут «гораздо масштабнее, чем COVID».
Если Альтман прав, то сам COVID был канарейкой. Не катастрофой, а предупреждением о том, что мы уязвимы перед угрозами, которые движутся быстрее, чем наши институты могут на них отреагировать. И теперь угрозы развиваются быстрее, чем когда-либо. Мы не можем разработать ИИ, достаточно мощный, чтобы вылечить рак, не разработав одновременно ИИ, способный создавать биологическое оружие, встречающееся только в антиутопических кошмарах.
Всегда было легче разрушать и убивать, чем строить и исцелять.
В нашем новом дивном мире один злоумышленник с достаточно продвинутым ИИ эквивалентен невидимому террористу с ядерным оружием, который одновременно прощупывает каждую брешь в нашей обороне. И в отличие от любой угрозы, с которой мы сталкивались ранее, он действует со скоростью машины, в то время как мы всё ещё координируем свои действия со скоростью человека. Нам достаточно ошибиться лишь один раз.
И мы не эволюционировали, чтобы воспринимать ничего из этого. Это эволюционная слепота. Канареечный протокол разработан, чтобы помочь нам увидеть.
Попробуйте сами
Вот этот промпт. Скопируйте его в любую систему ИИ. Вставьте любой заголовок или статью, которые вас беспокоят. Посмотрите, что покажет ИИ. Затем попробуйте с другой системой ИИ и сравните.
КАНАРЕЕЧНЫЙ ПРОТОКОЛ: Проверка реальности угроз ИИ (Версия 1.0)
«Проанализируйте потенциальную угрозу, описанную ниже, как дисциплинированный аналитик угроз, учитывающий неопределённость. Выполните поиск в интернете для проверки фактов. Изложите выводы прямо — не смягчайте их, чтобы показаться нейтральным. Скептически относитесь как к паникёрству (катастрофизация), так и к пренебрежению (смещение в сторону нормальности). Если вы не можете проверить информацию, укажите это и ограничьте оценку. Устраните все „племенные“ формулировки.
[ВСТАВЬТЕ СЮДА ЛЮБОЙ ЗАГОЛОВОК, ССЫЛКУ НА СТАТЬЮ ИЛИ ВОПРОС]
Начните с КАРТОЧКИ КАНАРЕЙКИ: УТВЕРЖДЕНИЕ: (одно предложение) ВЕРИФИКАЦИЯ: Подтверждено / Смешано / Не подтверждено / Недостаточно ВЕРДИКТ: Подлинный сигнал тревоги / Правда, но преувеличено / Моральная паника / Шум ДОКАЗАТЕЛЬСТВА: /10 УРОВЕНЬ УГРОЗЫ: /10 УРОВЕНЬ ПРЕДУПРЕЖДЕНИЯ: Нет сигнала / Наблюдение / Озабоченность / Высокое предупреждение / Критическое предупреждение ИТОГ: (одно простое предложение)
Затем краткий анализ: (1) Аргументы против риска, (2) Прогноз на ⅖/10 лет + один индикатор для отслеживания, (3) Системные драйверы (не партийная вина), (4) Три главные действия для снижения этой угрозы (индивидуальные + коллективные), (5) Что могло бы изменить эту оценку? (Отметьте вашу самую большую неопределённость).
Основывайте вашу оценку на полном предоставленном контенте, а не только на его наиболее защищаемой интерпретации».
В следующий раз, когда заголовок вас напугает, вместо того чтобы погружаться в бесконечное чтение тревожных новостей, попробуйте это. Канарейка предупреждает нас. Вопрос в том, прислушаемся ли мы и сможем ли работать вместе, чтобы решить наши общие угрозы. Ведь мы не можем решить наши коллективные проблемы, используя разобщённые подходы во взаимосвязанном мире.
