Модель может вместить миллион токенов, но эффективно использует лишь 5–10%. Михаил Бурцев объяснил, почему размывается внимание нейросетей и почему новый чат часто надежнее бесконечного диалога.
Читать полностью →
Миллион мемристоров потребляют микроватты, а миллион синапсов — это примерно спинной мозг. Максим Таланов объясняет, почему это могло бы сделать реальными импланты для парализованных пациентов.
Читать полностью →
Физика жестко ограничивает скорость вычислений: машина на этом пределе, по мнению одного эксперта по ИИ, была бы похожа на черную дыру, и это могло бы объяснить молчание космоса.
Читать полностью →
Если нарезать геном человека на слова по десять букв, получится 300 миллионов токенов. Как языковые модели учатся читать ДНК и зачем это нужно медицине.
Читать полностью →
Языковая модель видит только текст, но чтобы угадывать следующее слово, ей, возможно, приходится воссоздавать стоящую за ним реальность — объясняет специалист по искусственному интеллекту.
Читать полностью →
В долгих беседах внимание нейросетей размывается. Токены рабочей памяти позволяют трансформеру читать текст небольшими частями и не терять мысль на дистанции в 50 млн токенов.
Читать полностью →