Миллион токенов — примерно столько лучшие чат-боты могут удерживать в памяти одновременно. Один человеческий геном, нарезанный на слова по десять букв, — это 300 миллионов.
Михаил Бурцев, исследователь ИИ и основатель проекта DeepPavlov в МФТИ, как раз построил трансформер, который переносит память из одного фрагмента текста в другой. Модель отвечала на вопросы по 50 миллионам токенов — это пять «Британских энциклопедий». Дальше началось неловкое: молоток есть, а гвоздей в обработке языка не осталось. Приходится «бегать с этим молотком», пока не найдёшь, по чему стукнуть.
Гвоздь уже лежал в каждой клетке вашего тела. ДНК — это строка из четырёх букв, и эта строка определяет заметную долю риска болезней, от которых ежегодно умирают миллионы людей. Бурцев оценивает наследственную составляющую таких заболеваний в 30–80 процентов. Сегодняшние методы объясняют примерно половину.
Что даст модель, которая читает всю строку целиком? Он называет две вещи. Первая — дозировка. Люди расщепляют одно и то же лекарство с очень разной скоростью: у одного это занимает три часа, у другого десять. Препарат, рассчитанный на медленное высвобождение в течение десяти часов, обрушивает на «быстрого» человека дозу куда больше задуманной — и побочные эффекты не заставляют себя ждать. Скорость часто задана генами, так что модель, читающая геном человека, могла бы предсказывать дозу.
Вторая — генная терапия. Вирус доставляет полезный ген в клетку, и нужно, чтобы он включился в печени и молчал в мозге. Выключателем служит участок ДНК, поставленный перед геном. У вируса мало места для груза, поэтому участок должен быть коротким и точно подобранным. Модель, выучившая регуляторную логику генома, может искать такие последовательности.
Но сначала текст нужно нарезать на куски. Читать ДНК по одной букве — значит тратить контекстное окно впустую: чат-боты тоже можно обучать на отдельных буквах, но никто так не делает, потому что слова упаковывают больше текста в то же пространство. Поэтому языковые модели используют метод, который строит словарь из самых частых цепочек букв. Когда модель режет текст, она сначала пробует самые длинные словарные единицы, а промежутки заполняет более короткими. Размер словаря — это компромисс. Большой словарь сжимает текст сильнее, но на каждом шаге модели приходится выбирать из большего числа кандидатов.
Группа Бурцева взяла этот метод и направила его на ДНК.
Мы просто взяли этот подход, применили к ДНК. Мы хотели сделать, чтобы наша модель больше ДНК съедала. И мы задали там 30 тысяч токенов размер словаря.
— Михаил Бурцев, «Мыслить как ученый», 93:02
30 000 самых частых мотивов стали словарём, а средний токен получился длиной 9,5 буквы. В статье группы в Nucleic Acids Research за январь 2025 года, которую возглавил Вениамин Фишман, словарь насчитывал 32 000 единиц, медианный токен составлял 9 букв, и этого хватало для входа длиной до 36 000 пар оснований.
Теперь самое интересное. Значат ли эти токены что-то в биологии? Ответ Бурцева: пока никто не знает. Мотив, который постоянно повторяется, мог быть сохранён естественным отбором — значит, он должен быть важен. Но если прогнать тот же метод по геномам разных видов, словари получаются разные, хотя генетический код почти универсален: одни и те же триплеты кодируют одни и те же аминокислоты, одни и те же стоп-сигналы завершают гены. Его собственная реакция — «что за чёрт». При этом словарь, построенный на человеческом геноме, нормально обучается на других видах, без сильного падения результатов.
Причина длинного контекста столь же конкретна. Транскрипционный фактор может сидеть на другой хромосоме, нежели ген, которым он управляет. Если он мутирует и перестаёт работать в одном типе клеток, управляемый им ген тоже ломается. Модель способна выучить эту связь, только если оба участка ДНК находятся в одном контексте. Уберите повторы и отфильтруйте мусор — целый геном всё равно окажется намного длиннее того, что принимают сегодняшние чат-боты.
Другие группы читают ДНК вообще без токенов. В статье 2024 года в Science Эрик Нгуен с коллегами описывают Evo — модель на семь миллиардов параметров, обученную на 2,7 миллиона микробных и фаговых геномов, по 131 000 букв за раз, по одной букве на шаг. Она генерировала работающие синтетические комплексы CRISPR-Cas.
Так что одну и ту же задачу решают и десятибуквенными словами, и одиночными буквами. Открытый вопрос Бурцева стоит под обоими подходами: почему одному генетическому языку нужен разный словарь для каждого вида?
