Некоторые дети рождаются слепоглухими. Тем не менее их удаётся обучить языку, а выпускники Загорского экспериментального интерната даже оканчивали МГУ. Никто не мог показать им солнце или на словах передать его тепло так, чтобы они его услышали. Они узнавали мир исключительно через текст.
Специалист по искусственному интеллекту и создатель проекта DeepPavlov в МФТИ Михаил Бурцев вспоминает об этих детях, когда рассуждает о чат-ботах. Языковые модели находятся примерно в том же положении: у них нет ни глаз, ни ушей, ни кожи. На входе — только текст и одна-единственная задача: угадать следующее слово. Сам Бурцев прямо называет такую работу абсолютно дурацкой.
Казалось бы, столь примитивное задание должно порождать лишь бессмысленного попугая. Но на деле получается собеседник, у которого спрашивают советов, с которым спорят и в которого порой даже влюбляются. Когда нейросеть продолжает вашу фразу, что происходит по ту сторону экрана? Она просто перебирает заученные шаблоны или действительно собирает из текста модель окружающего мира? От ответа зависит, насколько вообще можно верить её суждениям.
Бурцев делает ставку на второй вариант. Текст — это не случайный набор знаков. В ходе эволюции люди создали язык именно для того, чтобы делиться информацией о внешней среде. Фраза «светит солнце» попадает в чужую голову звуковой волной и запускает там цепочку реакций, соответствующую солнечному дню. Предложение — это сжатый отчёт о ситуации.
А теперь представьте, что этот отчёт нужно продолжить. Чтобы точно предсказывать следующее слово, необходимо понимать саму ситуацию за текстом. По мнению исследователя, тренируясь на такой задаче, модель волей-неволей начинает выстраивать целостную картину происходящего. Ей приходится реконструировать мир по одним лишь словам — просто потому, что другого выхода у бедной нейросети нет.
Для того, чтобы эффективно предсказывать последовательность слов, нужно предсказывать это состояние среды, которая связана с этими словами.
— Михаил Бурцев, «Мыслить как ученый», 55:30
Учёные уже начали заглядывать внутрь архитектур, проверяя эту гипотезу. В препринте 2023 года на arXiv Уэс Гёрни показал, что внутри языковых моделей формируются линейные репрезентации пространства и времени, а также отдельные нейроны места и времени, чья активность отражает, где и когда что-то происходит. А в работе 2024 года в Nature Human Behaviour группа Джеймса Стракана проверила модели GPT-4 на способность понимать чужое психическое состояние (Theory of Mind). Нейросети не уступали людям, а иногда и превосходили их в распознавании ложных убеждений, скрытых просьб и манипуляций, хотя и спотыкались на чужих оговорках и бестактностях.
Бурцев возводит эту идею к самым истокам жизни — вплоть до амёбы. Его любимый философ Карл Поппер отмечал, что заблуждения амёбы погибают вместе с ней, тогда как Эйнштейн может отказаться от ошибочной теории и остаться в живых. Бурцев развивает эту мысль: любому организму приходится предугадывать изменения среды, чтобы выжить, и чем шире спектр предсказуемых условий, тем в большем числе мест он выживает. В такой оптике знание оказывается базовой эволюционной необходимостью. Обучение языковых моделей строится ровно на том же принципе: наблюдай, прогнозируй, корректируй ошибки.
Исследователь замечает, что биологии пока не хватает теории, связывающей эволюционную приспособленность со способностью прогнозировать будущее. Возможно, подобная рамка даже позволила бы провести более чёткую границу между живым и неживым, хотя пока это не более чем предположение.
Впрочем, здесь Бурцев делает паузу. Если способность прогнозировать слова порождает сообразительность человеческого уровня, означало бы это, что мышление сводится к генерации текста? Выдвигать столь смелую гипотезу он не берётся. Однако параллель кажется ему очевидной, а сам вопрос — вполне достойным как философии, так и науки.
Поле для проверки уже перед глазами. У людей есть цели, включая неосознанные. У языковой модели собственных устремлений нет: любые намёки на намерения задаются обучением и контекстом запроса. И главный вопрос, который оставляет концепция Бурцева: что останется от человека, если вычесть из него умение предсказывать?
