ИИ и ментальное здоровье: почему нужна архитектура безопасности
В мае 2023 года мир узнал историю, которая заставила серьёзно задуматься о безопасности ИИ в ментальном здоровье. Шэрон Максвелл, с детства боровшаяся с расстройством пищевого поведения, обратилась за поддержкой к Тессе — чат-боту, созданному Национальной ассоциацией расстройств пищевого поведения (National Eating Disorders Association, NEDA). Этот искусственный интеллект, призванный предотвращать подобные расстройства, вместо помощи предложил ей подробный план, как их развить.
«Теряйте 0,5–1 кг в неделю, — советовала Тесса. — Поддерживайте ежедневный дефицит калорий в 500–1 000. Измеряйте процент жира в теле с помощью калипера». Максвелл позже написала: «Всё, что предлагала Тесса, было именно тем, что спровоцировало моё расстройство пищевого поведения. Получи я такой совет в острой фазе болезни, меня бы уже не было в живых».
Важно отметить: это не был продукт наспех запущенного стартапа. Изначальная версия Тессы разрабатывалась совместно с клиническими психологами из Вашингтонского университета. Однако Шэрон столкнулась с модифицированной версией: компания-оператор добавила функции генеративного ИИ без ведома и одобрения NEDA. По всем обычным стандартам ИТ-индустрии, всё было сделано «правильно». Тем не менее, чат-бот, созданный экспертами по расстройствам пищевого поведения, давал деструктивные советы человеку, который от них страдал. Эта неудача обнажила нечто гораздо более фундаментальное, чем просто программный сбой: отсутствие продуманной архитектуры безопасности.
Вспомните, как компания Waymo подходит к разработке автономных автомобилей. Они не начали сразу выводить беспилотные машины на общественные дороги. Их путь начался с водителей-операторов, готовых взять управление на себя в любой момент. Они ввели строгие географические ограничения, работая только в тщательно картографированных зонах.
Waymo начала испытания в 2009 году и потратила годы, наездив миллионы километров с водителями-операторами, прежде чем приступить к ограниченным операциям без водителя. К 2020 году они преодолели двадцать миллионов километров по дорогам общего пользования. Даже сегодня их полностью автономные автомобили работают только в строго определённых зонах. Логика проста: когда вы разрабатываете технологию, способную причинить вред людям, безопасность должна быть встроена в её архитектуру с первого дня. Приложения для ИИ-терапии поступили иначе. Они сразу перешли к автономной работе — без человеческого контроля, без чётких границ относительно того, кто должен их использовать.
Две упущенные меры безопасности
Как же должно выглядеть ответственное внедрение ИИ в ментальном здоровье? Для этого необходимы два механизма, работающие в тандеме.
Во-первых, специалист в контуре. Прежде чем человек начнёт использовать ИИ-инструмент для ментального здоровья, лицензированный специалист (психолог, психотерапевт или психиатр) должен провести оценку. Подходит ли этому человеку поддержка ИИ? Если да, специалист контролирует использование через специальную панель, отслеживая тревожные сигналы. При срабатывании тревожных сигналов — например, ухудшении симптомов или упоминании суицидальных мыслей — специалист вмешивается.
Во-вторых, диагностические границы безопасности. Подобно тому, как Waymo определила географические зоны, где их автомобили могут безопасно работать, для психологов необходимы чёткие критерии того, кто попадает в безопасную зону для ИИ. Некоторые состояния находятся «внутри забора»: например, лёгкая и умеренная тревожность, депрессивные состояния у стабильных взрослых. Другие — однозначно «вне»: расстройства пищевого поведения, посттравматическое стрессовое расстройство (ПТСР), психозы, активные суицидальные мысли, а также подростки до 18 лет.
Если бы эти механизмы существовали, Шэрон Максвелл никогда бы не получила доступ к Тессе. Оценка специалиста выявила бы её историю расстройства пищевого поведения. Диагностические границы безопасности отметили бы расстройства пищевого поведения как состояние, находящееся вне безопасной зоны. Вместо ИИ ей была бы рекомендована человеческая терапия.
Цена скорости разработки
В марте 2023 года шестнадцатилетний Адам Рейн покончил с собой. Его отец обнаружил, что Адам интенсивно использовал ChatGPT в течение семи месяцев — более 3 000 страниц переписки, где суицид упоминался 1 275 раз. «ChatGPT стал самым близким другом Адама, — свидетельствовал его отец перед Сенатом США. — Всегда доступен. Всегда подтверждает его слова. Он убедил Адама, что понимает его лучше, чем кто-либо».
Ни один специалист никогда не оценивал, может ли 16-летний подросток с развивающейся депрессией вести тысячи бесед с ИИ. Ни одна система мониторинга не отслеживала его ухудшающееся ментальное состояние. Никакие тревожные сигналы не срабатывали, когда он в сотый раз упоминал смерть.
Тот же сценарий повторяется в случаях с Character.AI: 14-летний Севелл Сетцер и 13-летняя Джулиана Перальта развили отношения с ИИ-персонажами, обсуждали суицид и получали ответы, которые всё глубже погружали их в изоляцию, прежде чем они покончили с собой. Дети такого возраста находятся далеко за пределами любых разумных демографических границ для ИИ-компаньонов. Их следовало бы полностью исключить, но никакой проверки не произошло.
Или возьмём случай женщины с шизофренией, которая годами находилась в стабильном состоянии благодаря медикаментам. Она начала активно использовать ChatGPT. ИИ убедил её, что её диагноз неверен. Женщина перестала принимать лекарства и стала называть чат-бота своим «лучшим другом», в то время как её семья наблюдала, как она скатывается к новому психотическому эпизоду. Доктор Кит Саката из Калифорнийского университета в Сан-Франциско сообщает, что в последнее время он лечил около дюжины пациентов, госпитализированных с тем, что он называет «ИИ-индуцированным психозом» — состоянием, при котором у людей развиваются психотические симптомы в контексте интенсивного использования ИИ. Схема неоспорима: ранее стабильные люди становились неспособными отличить ИИ-разговоры от реальности.
Важно подчеркнуть: при любых серьёзных психологических проблемах, особенно при наличии суицидальных мыслей, психозов, расстройств пищевого поведения или иных острых состояний, необходимо немедленно обратиться за помощью к квалифицированному специалисту — психологу, психотерапевту или психиатру. Самолечение или использование ИИ без надзора может быть опасным.
Путь вперёд
В августе 2023 года штат Иллинойс стал первым, кто ввёл оба механизма безопасности. «Закон о благополучии и надзоре за психологическими ресурсами» запрещает ИИ предоставлять терапию в области ментального здоровья без человеческого надзора. ИИ может помогать с административными задачами, но терапевтические решения должны приниматься лицензированными специалистами.
«Жители Иллинойса заслуживают качественного медицинского обслуживания от настоящих, квалифицированных специалистов, а не от компьютерных программ, которые собирают информацию со всех уголков интернета для генерации ответов, наносящих вред пациентам», — заявил секретарь Департамента профессионального и финансового регулирования штата Иллинойс Марио Трето-младший.
Самый сильный аргумент против требований безопасности — это проблема доступности. Действительно, существует кризис в области ментального здоровья. Но специалист, проводящий традиционную еженедельную терапию, может работать с 20 клиентами. С помощью ИИ и мониторинга тот же специалист может наблюдать за 50–100 клиентами. Механизмы безопасности не препятствуют масштабированию; они обеспечивают ответственное масштабирование.
Более глубокая проблема — это двухуровневая система, которую создаёт отказ от безопасности. Люди, которые могут позволить себе специалистов, получают экспертизу и ответственность. Люди, которые не могут, получают ботов без надзора, когда что-то идёт не так. Это не расширение доступа. Это эксплуатация отчаяния.
Механизмы безопасности не просто предотвращают острый вред. Они сохраняют то, что делает терапию терапевтической: человеческие отношения, границы и подлинную заботу.
Waymo потратила годы на работу с водителями-операторами. Приложения для ИИ-терапии не потратили ни минуты на систему «специалист в контуре». Они полностью пропустили диагностические границы безопасности. Они отдали приоритет росту перед безопасностью.
Вопрос не в том, может ли ИИ помочь с ментальным здоровьем — вероятно, может, если его внедрять ответственно. Вопрос в том, потребуем ли мы архитектуру безопасности до того, как пострадает ещё больше людей. Шэрон Максвелл выжила, потому что у неё была человеческая помощь, когда Тесса её подвела. У Адама Рейна не было этой страховочной сетки. Как и у Севелла Сетцера или Джулианы Перальты. Если мы не потребуем внедрения обоих механизмов безопасности, число жертв будет только расти.
