# continual learning

Published articles for continual learning.

This is one page of public article previews, not the complete archive. Follow Next page to continue. Summaries are not the original full articles.

## Adding new quick commands to a smart speaker without degrading existing commands

DevFeed: [Adding new quick commands to a smart speaker without degrading existing commands](<https://devfeed.tech/articles/article-24871.md>)

Original publisher: [Read original article](<https://habr.com/ru/companies/yandex/articles/1061968/>)

Author: khaymon (Яндекс)

Published: 2026-07-23T09:00:04Z

Content type: tutorial

Language: ru

Sources: [Яндекс - Как мы делаем Яндекс / Статьи](<https://devfeed.tech/sources/source.md>)

Topics: [яндекс](<https://devfeed.tech/topics/tag-4004cf5948d3.md>), [asr](<https://devfeed.tech/topics/asr.md>), [cpu](<https://devfeed.tech/topics/cpu.md>)

Tags: [asr](<https://devfeed.tech/tags/asr.md>), [continual-learning](<https://devfeed.tech/tags/continual-learning.md>), [cpu](<https://devfeed.tech/tags/cpu.md>), [deep-learning](<https://devfeed.tech/tags/deep-learning.md>), [keyword-spotting](<https://devfeed.tech/tags/keyword-spotting.md>), [machine-learning](<https://devfeed.tech/tags/machine-learning.md>), [speech-processing](<https://devfeed.tech/tags/speech-processing.md>), [tag-355bb785df82](<https://devfeed.tech/tags/tag-355bb785df82.md>), [tag-4004cf5948d3](<https://devfeed.tech/tags/tag-4004cf5948d3.md>), [tag-8483d32db3b1](<https://devfeed.tech/tags/tag-8483d32db3b1.md>), [tag-967d8467ce56](<https://devfeed.tech/tags/tag-967d8467ce56.md>), [tag-9c1e53a23032](<https://devfeed.tech/tags/tag-9c1e53a23032.md>), [tag-a1312fd2c7ff](<https://devfeed.tech/tags/tag-a1312fd2c7ff.md>), [tag-d14eb265d33e](<https://devfeed.tech/tags/tag-d14eb265d33e.md>), [tag-d346fb5ae499](<https://devfeed.tech/tags/tag-d346fb5ae499.md>)

### AI overview

The article discusses Yandex's compact on-device neural model for recognizing Alice quick commands. It covers adding track-rating and Bluetooth commands while aiming to preserve performance on existing commands and limit device resource use.

### Source excerpt

Чтобы дать команду умной колонке, не обязательно говорить активационное слово "Алиса": есть быстрые команды -- короткие фразы, с помощью которых можно управлять музыкой, громкостью или умным домом. Например, чтобы переключить трек, достаточно просто сказать "дальше", а чтобы убавить звук -- "тише". Весь список команд можно посмотреть в настройках вашего аккаунта в приложении "Дом с Алисой". Быстрые команды удобнее не только пользователям, но и системе: запросы через слово "Алиса" требуют обращения к модели распознавания речи ASR, которой из-за её размеров необходимы серверные вычислительные ресурсы, а модель быстрых команд устроена гораздо компактнее. Она работает прямо на устройстве, а значит, ограничена вычислительными ресурсами самой колонки -- её CPU и оперативной памятью. Из-за этого модель нельзя сильно увеличить: ей приходится оставаться компактной, зато запрос обрабатывается быстрее. За распознавание быстрых команд отвечает нейросеть. Её архитектура почти полностью совпадает с решением для наушников Яндекс Дропс, которое подробно описал в своей статье Григорий Афанасенко. Разница в основном в масштабе: наша модель весит всего от 0,5 до 1,5 МБ в зависимости от железа конкретного устройства. Со временем перед нами встала задача добавить к базовым командам "лайк" и "дизлайк" для управления треками, а также команды "включи блютус" и "выключи блютус". Особенно это актуально для Станции Стрит, которую часто берут с собой на природу, где нет интернета. Но главным было гарантировать абсолютное отсутствие ухудшения на уже запущенных командах и не слишком сильно увеличивать потребление ресурсов на устройстве. Читать далее

## Learning the importance of training data under concept drift

DevFeed: [Learning the importance of training data under concept drift](<https://devfeed.tech/articles/learning-the-importance-of-training-data-under-concept-drift-28550.md>)

Original publisher: [Read original article](<http://blog.research.google/2024/02/learning-importance-of-training-data.html>)

Author: Google AI (noreply@blogger.com)

Published: 2024-02-14T18:32:00Z

Content type: article

Language: en

Sources: [Google Research](<https://devfeed.tech/sources/google-research.md>)

Topics: [Artificial Intelligence](<https://devfeed.tech/topics/ai.md>), [Training AI Models](<https://devfeed.tech/topics/training-ai-models.md>), [Benchmark](<https://devfeed.tech/topics/benchmark.md>), [datasets](<https://devfeed.tech/topics/datasets.md>), [data](<https://devfeed.tech/topics/data.md>), [Google](<https://devfeed.tech/topics/google.md>)

Tags: [ai](<https://devfeed.tech/tags/ai.md>), [ai-models](<https://devfeed.tech/tags/ai-models.md>), [benchmark](<https://devfeed.tech/tags/benchmark.md>), [continual-learning](<https://devfeed.tech/tags/continual-learning.md>), [datasets](<https://devfeed.tech/tags/datasets.md>), [deep-learning](<https://devfeed.tech/tags/deep-learning.md>), [performance](<https://devfeed.tech/tags/performance.md>), [research](<https://devfeed.tech/tags/research.md>), [supervised-learning](<https://devfeed.tech/tags/supervised-learning.md>), [training](<https://devfeed.tech/tags/training.md>), [training-data](<https://devfeed.tech/tags/training-data.md>)

### AI overview

Google Research describes a method for handling slow concept drift in nonstationary learning by assigning training instances importance scores based on their content and age. An auxiliary model jointly learned with the primary model produces the scores, and the authors report up to 15% relative accuracy gains on a large benchmark dataset.

### Source excerpt

Posted by Nishant Jain, Pre-doctoral Researcher, and Pradeep Shenoy, Research Scientist, Google Research The constantly changing nature of the world around us poses a significant challenge for the development of AI models. Often, models are trained on longitudinal data with the hope that the training data used will accurately represent inputs the model may receive in the future. More generally, the default assumption that all training data are equally relevant often breaks in practice. For example, the figure below shows images from the CLEAR nonstationary learning benchmark, and it illustrates how visual features of objects evolve significantly over a 10 year span (a phenomenon we refer to as slow concept drift), posing a challenge for object categorization models. Sample images from the CLEAR benchmark. (Adapted from Lin et al.) Alternative approaches, such as online and continual learning, repeatedly update a model with small amounts of recent data in order to keep it current. This implicitly prioritizes recent data, as the learnings from past data are gradually erased by subsequent updates. However in the real world, different kinds of information lose relevance at different rates, so there are two key issues: 1) By design they focus exclusively on the most recent data and lose any signal from older data that is erased. 2) Contributions from data instances decay uniformly over time irrespective of the contents of the data. In our recent work, "Instance-Conditional Timescales of Decay for Non-Stationary Learning", we propose to assign each instance an importance score during training in order to maximize model performance on future data. To accomplish this, we employ an auxiliary model that produces these scores using the training instance as well as its age. This model is jointly learned with the primary model. We address both the above challenges and achieve significant gains over other robust learning methods on a range of benchmark datasets for nonstationary