Спрячьте один-единственный факт в длинном документе и попросите языковую модель его найти. Михаил Бурцев, специалист по искусственному интеллекту и создатель проекта DeepPavlov в МФТИ, регулярно ставит такой эксперимент, постепенно увеличивая объем текста. На бумаге Gemini способна переварить миллион токенов. На деле она начинает спотыкаться и терять факт уже после 50 или 100 тысяч. Для подобных задач модель эффективно использует от силы 5–10% от заявленного контекстного окна.
Если усложнить вопрос, результаты падают еще сильнее. Попробуйте спросить модель о чем-то, что требует сопоставить два разрозненных факта в тексте, и полезная глубина памяти тут же сократится. А если фактов три, сеть с трудом удерживает связность уже на отрезке всего в пару тысяч слов.
Каждый из нас наверняка сталкивался с этим в чатах: рано или поздно приходится открывать новое окно диалога просто потому, что бот начинает путаться в собственных мыслях и теряет способность отличать важное от второстепенного. Но есть и скрытая цена, о которой пользователи редко задумываются. Механизм внимания сравнивает каждое слово текста с каждым другим, из-за чего вычислительная сложность растет пропорционально квадрату длины контекста. Длинный диалог оборачивается гигантскими счетами за электричество, перегрузкой видеопамяти и долгим ожиданием ответа.
У обеих проблем один и тот же корень. Механизм внимания служит трансформеру оперативной памятью, удерживающей то, что происходит в разговоре прямо сейчас. Если растянуть это внимание на миллион токенов, оно просто размазывается тонким слоем. Представьте, что вас заставили найти одно слово в толстенном томе: удержать книгу в голове целиком невозможно, а по мере чтения вы неминуемо забываете, что было в самом начале.
Решение пришло откуда не ждали. Команда Бурцева вовсе не пыталась искусственно растянуть контекст — ученых интересовало то, как устроено само мышление.
Трансформер размышляет внутри вектора — длинного набора чисел, значения которого пересчитываются по ходу вычислений. Это и есть его рабочая память. Бурцев хотел дать модели возможность одновременно удерживать несколько таких пространств рассуждений, чтобы проверять альтернативные гипотезы и переключаться между ними. Для этого на вход сети подали дополнительные токены, никак не связанные со смыслом самого текста, — своего рода чистый черновик, на котором модель могла делать любые пометки. Точность машинного перевода тогда немного выросла.
А затем исследователи догадались развить эту идею. Рекуррентная сеть умеет считывать собственное состояние с предыдущего шага. Если снабдить трансформер таким черновиком для заметок, он сможет делать ровно то же самое, но обрабатывая текст целыми блоками.
У нас есть контекст коротенький, например, 500 слов. И мы к нему добавили память. Когда трансформер обдумал этот контекст, он параллельно создал некоторое представление в памяти, которое ему соответствует.
— Михаил Бурцев, «Мыслить как ученый», 82:28
Полученный слепок памяти передается на вход следующему фрагменту. Модель берется за второй кусок текста, уже держа перед глазами собственные выводы о первом, обновляет эту память и передает ее дальше по цепочке.
В итоге миллион токенов больше не нужно втискивать в одно гигантское окно: его можно разрезать на тысячу аккуратных порций по тысяче токенов в каждой. Модели не требуется хранить в моменте больше одного фрагмента, поэтому объем задействованной памяти не растет с увеличением длины документа. Внимание всегда сфокусировано внутри диапазона от нуля до тысячи токенов и не распыляется. Если не жалеть времени на последовательную обработку, текст вообще может быть сколь угодно длинным.
Идею проверили на практике. Модель сумела находить ответы в тексте объемом 50 миллионов токенов — это в пять раз больше всей «Британской энциклопедии» и в пятьдесят раз превышает контекстное окно Gemini. В статье научной группы Бурцева, написанной Иваном Родкиным в июле 2024 года, приводятся впечатляющие цифры: на бенчмарке BABILong модель показала точность 79,9% при поиске одиночного факта на такой дистанции. А на отрезке в миллион токенов их решение, по словам Бурцева, удерживает 95% точности против 20% у Gemini.
Сам ученый, впрочем, призывает не обольщаться красивыми цифрами. Их модель узкоспециализирована, тогда как Gemini решает широчайший спектр задач, и при точной настройке она тоже показала бы высокий результат. Да и за компактную память приходится платить: модель физически не способна сжать в короткий слепок абсолютно все нюансы прочитанного, из-за чего теряет гибкость. Этот метод хорош именно под конкретные сценарии.
На момент записи подкаста, спустя два года после установления рекорда, ни одна нейросеть в мире не обрабатывала больше 50 миллионов токенов. Крупные технологические корпорации вполне могли бы растянуть обычный трансформер до таких масштабов за счет гигантских кластеров и сложных инженерных трюков. Но никто даже не пытался. По мнению Бурцева, в этом просто нет коммерческой необходимости: даже миллион токенов редко бывает востребован на практике.
По его собственному выражению, у команды получился молоток, для которого не было подходящих гвоздей. Тогда ученые стали искать задачи под свой инструмент — и нашли колоссальный текст, который записан в каждой клетке человеческого тела. Геном человека состоит примерно из трех миллиардов нуклеотидов. Если разбить ДНК на токены длиной около десяти букв, получится массив примерно в 300 миллионов токенов — против миллионного окна современных языковых моделей.
