Сергей Марков только что рассуждал о том, что искусственный интеллект — инструмент обоюдоострый, вроде молотка, которым можно построить дом, а можно проломить голову, как вдруг заговорил совсем о другом. Мы определенно живем в обучающей симуляции, заявил он ведущему. Какая-то цивилизация эпохи постсингулярности должна же как-то воспитывать своих детей и учить их решать сложные этические дилеммы — вот она и создала этот мир, в котором мы теперь «колбасимся».
Марков руководит управлением экспериментальных систем машинного обучения в SberDevices (входит в Сбер). Сам он назвал идею с обучающей симуляцией просто забавной байкой и заметил, что при желании можно придумать и другие. А затем сразу же набросал еще одну версию — уже из своей профессиональной практики.
Главная проблема современных разработчиков — тексты. Массивы данных для обучения моделей растут куда быстрее, чем объем написанного в интернете. Рано или поздно моделям перестанет хватать существующего материала, и этот дефицит почувствует каждый пользователь чат-ботов. В 2024 году исследователи из Epoch AI очертили конкретные сроки: если текущие темпы сохранятся, общедоступные тексты, созданные людьми, закончатся для обучения нейросетей где-то между 2026 и 2032 годами.
Заново написать весь интернет невозможно. Один из выходов, по словам Маркова, — создавать недостающие данные искусственно: запускать симуляции, генерировать синтетические примеры и дообучать модели на них.
А затем он развернул эту мысль и применил ее к нам самим:
Может быть, мы просто живем в мире, который генерирует синтетические данные для обучения какой-то модели.
— Сергей Марков, «Подкаст Глеба Соломина», 04:10
Обратите внимание, как меняется суть между двумя этими версиями. В первой мы выступаем учениками, а виртуальный мир создан для того, чтобы преподать нам урок. Во второй же нас никто ничему не учит: мы сами — те страницы текста, которые система непрерывно штампует, чтобы их прочитал кто-то другой.
Марков не стал развивать эту мысль дальше. Это была лишь реплика на полях, произнесенная на одном дыхании с первой историей и с тем же легким пожатием плеч — никаких доказательств ни для одной из версий он, конечно, не приводил. И беседа перешла к следующей теме.
Тем не менее нехватка данных — проблема вполне реальная, а у синтетики есть свои подводные камни. В июле 2024 года в журнале Nature вышла статья Ильи Шумайлова и его коллег, где показано, что бездумное обучение на контенте, созданном самими же моделями, ведет к необратимой деградации: модель теряет «хвосты» исходного распределения. Первыми исчезают редкие, странные и маловероятные примеры. Так что, какой бы колоссальный генератор данных ни стоял за созданием целого мира, модели в любом случае понадобятся эти редкие исключения, чтобы не сломаться.
Марков оставляет нас с двумя сюжетами на выбор. В одном мы — дети, которых учат быть порядочными. В другом — всего лишь сырой текст.
