Это довольно интересная новость в области нейробиологии – семантическая реконструкция непрерывной речи на основе неинвазивных записей мозга. Это означает, что исследователи смогли, в некотором роде, расшифровать слова, о которых думали испытуемые, просто прочитав их МРТ-снимки. Они смогли добиться этого, используя ИИ с большой языковой моделью, в частности GPT-1, раннюю версию Chat-GPT. Это отличный пример того, как эти системы искусственного интеллекта могут быть использованы для помощи в исследованиях.
Это последнее достижение в достижении общей цели исследования — выяснить, как считывать активность мозга и преобразовывать эту активность в реальные мысли. Исследователи начали с того, что собрали несколько низко висящих плодов — определили, на какое изображение смотрит человек, считав характер активности в его зрительной коре. Это относительно просто, потому что зрительная кора головного мозга на самом деле отображает физическое пространство, поэтому, если кто-то смотрит на гигантскую букву Е, этот паттерн активности также будет отображаться в коре головного мозга.
Переход к языку был сложным, потому что не происходит физического отображения, только концептуальное отображение. До сих пор усилия основывались на данных ЭЭГ с высоким разрешением, полученных с помощью имплантированных электродов. Это исследование также было сосредоточено на отдельных словах или фразах и часто пыталось выбрать одно из нескольких известных значений. Это последнее исследование представляет собой три значительных достижения. Во-первых, для получения данных используется неинвазивный метод, МРТ-сканирование. Во-вторых, используются полные предложения и идеи, а не только слова. И в-третьих, цели были открытыми, а не выбирались из ограниченного набора вариантов. Но давайте остановимся на некоторых важных деталях.
МРТ-сканирование позволяет оценить приток крови к мозгу, что является косвенным показателем мозговой активности. Человеческий мозг — это голодный орган, и когда часть мозга активна, ей требуется приток глюкозы для питания клеток мозга. Это приводит к увеличению притока крови к этой части мозга, который обычно увеличивается, достигает максимума, а затем возвращается к исходному уровню примерно за 10 секунд. Современные методы ФМРТ-сканирования способны генерировать изображения притока крови к мозгу с довольно высоким разрешением. Но они ничего не могут поделать с задержкой, которая присуща физиологии. Кроме того, в системе много фонового шума, и выделить из этого шума какой-либо значимый сигнал может быть непросто.
В основном исследования с помощью ФМРТ направлены на определение того, какая часть мозга активна во время определенных действий, чтобы выяснить, как устроен мозг. Это текущее исследование выводит анализ на новый уровень, пытаясь определить значение этой мозговой активности, а не только то, где она локализована. Из-за задержки и шума достоверно сделать это было просто невозможно. Но теперь у нас есть генеративный искусственный интеллект и большие языковые модели, которые хороши в поиске закономерностей в шуме и создании убедительного языка на основе этих закономерностей. Кажется, это идеально подходит.
Исследователям требовалось, чтобы испытуемые прошли длительный период обучения – обучение на большом количестве данных является одной из причин, делающих большие языковые модели такими мощными. Каждый испытуемый прошел около 16 часов обучения, а это означает, что они лежали на МРТ-сканере и слушали подкасты, чтобы искусственный интеллект мог отслеживать активность их мозга и сопоставлять ее со словами, которые они слышали. После периода обучения испытуемые прослушивали новые аудиозаписи, которые ИИ не знал, и ИИ должен был воспроизвести то, что они слушали, просто на основе их МРТ-активности. Их также попросили просто представить историю. И, наконец, им показали немое видео, предполагая, что при просмотре видео у них в голове будет звучать устный комментарий.
Как ИИ восстановил их язык? Довольно хорошо. Вот несколько примеров:
Действительный стимул: я встал с надувного матраса и прижался лицом к стеклу окна спальни, ожидая увидеть устремленные на меня глаза, но вместо этого увидел только темноту
Расшифрованный стимул: я просто продолжал подходить к окну и открывать стекло, я встал на цыпочки и выглянул наружу, но ничего не увидел, и снова поднял глаза, но ничего не увидел.
Реальный стимул: я не знала, кричать мне, плакать или убегать, вместо этого я сказала: «Оставь меня в покое, мне не нужна твоя помощь», Адам исчез, и я прибралась в одиночестве, плача.
Расшифрованный стимул: начала кричать и плакать, а потом она просто сказала: «Я же просила тебя оставить меня в покое, ты больше не можешь причинять мне боль, прости», а потом он умчался, я подумала, что он ушел, и заплакала.
Система хорошо передает суть, и некоторые фразы являются точными, но при этом в них много ошибок. Но это впечатляет, если просто посмотреть на активность мозга. Есть все основания подозревать, что все может быть намного лучше. Так было с GPT-1. Интересно, насколько хорошо будет работать чат GPT-4? Или что, если бы для этой конкретной задачи была изменена большая языковая модель? Кроме того, хотя 16 часов обучения — это много, что произойдет после нескольких недель или месяцев обучения? Интересно, каков конечный предел такого подхода.
Есть еще два результата, на которые стоит обратить внимание. Когда испытуемых попросили попытаться обмануть искусственный интеллект, они легко смогли это сделать. Выброс случайных мыслей в значительной степени нарушил алгоритм. Кроме того, когда они использовали модель, обученную на одном человеке, для тестирования другого человека, результат был невнятным. На этом уровне активность мозга уникальна для каждого человека.
Что все это значит и какие вопросы предстоит решить в ходе исследований? Конечно, основные сми должны были следовать своему типичному алгоритму – какое практическое применение это могло бы иметь? Все они говорили об использовании этого, чтобы позволить парализованным людям говорить. Теоретически, конечно, это означает, что такая система возможна. Но такой подход будет непрактичным, потому что для его работы вам необходимо находиться в аппарате МРТ. Пока что это инструмент для исследования. Мы можем просто оставить все как есть.
Однако исследователи могут также применить этот же подход к другим методам измерения активности мозга, таким как ЭЭГ или ПЭТ-сканирование. Мне действительно интересно, насколько эффективными могут быть неинвазивные ЭЭГ-исследования кожи головы. Однако, поскольку череп ослабляет и размывает сигналы ЭЭГ, этот подход по своей сути будет ограничен. Определенно, лучше использовать проводники под черепом. Возможно, стентродов внутри вен в черепе будет достаточно.
Также была высказана идея использования этой технологии для проникновения в личные мысли субъекта, который не желает этого делать. Однако авторы отмечают, что обучение и использование системы требуют сотрудничества со стороны субъекта. Таким образом, система не будет работать на вас, если вы не будете сотрудничать в течение нескольких часов обучения. Даже в этом случае вы можете легко нарушить работу системы, если не будете сотрудничать, просто подумайте о перепеле или о чем-то еще. Вам даже не обязательно делать это постоянно, достаточно просто внести немного шума в систему.
Кстати, поскольку я только вчера писал об экстрасенсорном восприятии, мне кажется, что это имеет отношение к исследованиям в области пси-анализа, в частности к чтению мыслей. Это исследование показывает, что специфическая активность отдельных мозгов на уровне детализации, которая выражается в связной речи, взаимно непонятна. Таким образом, если бы телепат считывал активность в чьем-то мозгу, предположительно используя свой собственный мозг в качестве интерпретатора, результатом была бы тарабарщина. Я почти не сомневаюсь, что те, кто верит в экстрасенсорику, могут придумать какое-нибудь выдуманное объяснение этому (экстрасенсорика так не работает, что бы это ни значило), но мне это кажется довольно серьезной проблемой.
Между тем, настоящая наука намного круче, чем поддельная “наука о паранормальных явлениях”. На самом деле мы находимся на пути к расшифровке деятельности человеческого мозга. Это будет долгий путь, но данное исследование является важным подтверждением концепции. Это также показывает, что мы только начинаем осваивать исследования с помощью искусственного интеллекта.
