# Training Yandex's Alice Omnimodel to Integrate Text and Images

DevFeed: [Training Yandex's Alice Omnimodel to Integrate Text and Images](<https://devfeed.tech/articles/ai-vlm-llm-24891.md>)

Original publisher: [Read original article](<https://habr.com/ru/companies/yandex/articles/1077274/>)

Author: formica\_rufa (Яндекс)

Published: 2026-09-03T07:03:43Z

Content type: tutorial

Language: ru

Sources: [Яндекс - Как мы делаем Яндекс / Статьи](<https://devfeed.tech/sources/source.md>)

Topics: [Large Language Model](<https://devfeed.tech/topics/llm.md>), [vlm](<https://devfeed.tech/topics/vlm.md>), [Artificial Intelligence](<https://devfeed.tech/topics/ai.md>), [Mixture of Experts (MoE)](<https://devfeed.tech/topics/mixture-of-experts-moe.md>), [qwen](<https://devfeed.tech/topics/qwen.md>), [Mercury](<https://devfeed.tech/topics/mercury-lang.md>)

Tags: [ai](<https://devfeed.tech/tags/ai.md>), [llm](<https://devfeed.tech/tags/llm.md>), [ml](<https://devfeed.tech/tags/ml.md>), [moe](<https://devfeed.tech/tags/moe.md>), [qwen](<https://devfeed.tech/tags/qwen.md>), [tag-055aee430837](<https://devfeed.tech/tags/tag-055aee430837.md>), [tag-61cd5a476b1d](<https://devfeed.tech/tags/tag-61cd5a476b1d.md>), [tag-831b63de9433](<https://devfeed.tech/tags/tag-831b63de9433.md>), [tag-86b843454893](<https://devfeed.tech/tags/tag-86b843454893.md>), [tag-95a2c958e46b](<https://devfeed.tech/tags/tag-95a2c958e46b.md>), [tag-ef0b1bf200df](<https://devfeed.tech/tags/tag-ef0b1bf200df.md>), [vlm](<https://devfeed.tech/tags/vlm.md>)

## AI overview

Yandex describes its work on an Alice omnimodel that combines a text LLM and a visual VLM into one model for text and image interactions. The article focuses on lessons from training and alignment, including the role of MoE architecture and reinforcement learning.

## Source excerpt

Ещё недавно Алиса отвечала на текст и на картинку будто двумя разными голосами. Под капотом и правда жили две генеративные модели: текстовая LLM и визуальная VLM, а между ними -- стена из непрозрачного роутинга, разных форматов ответов и разной вёрстки. Почти год мы сводили их в одну омнимодель -- такую, которая воспринимает текст и изображения как единое целое, без переключений за кадром. Получилось не всё и не сразу, но путь вышел поучительным, и в этой статье я хочу поделиться тем, что мы поняли про обучение таких моделей. Попутно -- несколько неочевидных поворотов: почему за два года до этого та же затея разваливалась, что изменила MoE-архитектура, почему омнипретрейн пришлось собирать с конца и почему один вид RL переезжает на большую модель легко, а другой рассыпается прямо на глазах. Меня зовут Алексей Григорьев, я представляю большую команду разработки омнимодели Яндекса. Вместе с моим коллегой Данилой Кашиным я расскажу про все технические грабли не со стороны наблюдателя, а как их непосредственный собиратель. Но рассказывать я буду с акцентом не на красивом замысле, а на самой болезненной части -- алайнменте. Читать далее