# Investigating Redis Client Failures After a Node Loss at hh.ru

DevFeed: [Investigating Redis Client Failures After a Node Loss at hh.ru](<https://devfeed.tech/articles/redis-30674.md>)

Original publisher: [Read original article](<https://habr.com/ru/companies/hh/articles/1074194/>)

Author: nicholasgribanov (hh.ru)

Published: 2026-08-26T05:30:49Z

Content type: article

Language: ru

Sources: [HeadHunter RU](<https://devfeed.tech/sources/headhunter-ru.md>)

Topics: [Redis](<https://devfeed.tech/topics/redis.md>)

Tags: [consul](<https://devfeed.tech/tags/consul.md>), [downtime](<https://devfeed.tech/tags/downtime.md>), [java](<https://devfeed.tech/tags/java.md>), [jedis](<https://devfeed.tech/tags/jedis.md>), [redis](<https://devfeed.tech/tags/redis.md>), [sre](<https://devfeed.tech/tags/sre.md>), [tag-1d4e49052118](<https://devfeed.tech/tags/tag-1d4e49052118.md>), [tag-68e701e78517](<https://devfeed.tech/tags/tag-68e701e78517.md>), [tag-b0a411324cb6](<https://devfeed.tech/tags/tag-b0a411324cb6.md>), [tag-b92bf5906bbd](<https://devfeed.tech/tags/tag-b92bf5906bbd.md>), [tag-dfac9042ce7b](<https://devfeed.tech/tags/tag-dfac9042ce7b.md>), [timeout](<https://devfeed.tech/tags/timeout.md>)

## AI overview

A Platform team at hh.ru investigates incidents in its internal Redis client, including a 57-minute outage after a Redis node was lost. The team used controlled-load testing, Jedis updates, timeout and pool experiments, new metrics, and logs to trace the failures to a code issue and improve client stability.

## Source excerpt

Пару лет назад мы устроили настоящее расследование серии инцидентов в поисках скрытого дефекта нашего Redis-клиента. Команда воспроизводила сбои под контролируемой нагрузкой, проверяла одну гипотезу за другой, обновляла Jedis, экспериментировала с таймаутами и размерами пулов -- но ничего не помогало. А помогли новые метрики и логи, настойчивость команды, ночные эксперименты и готовность разбирать поведение системы до последнего соединения. Получилась история с неожиданными поворотами, ложными следами и одной лишней строчкой кода в роли главного подозреваемого -- а её итогом стал Redis-клиент, который оказался устойчивее, чем был до начала расследования. Меня зовут Коля Грибанов, я тимлид команды "Платформа" в hh.ru. В статье расскажу, почему потеря одной ноды Redis вызывала шторм из десятков тысяч соединений, и как мы шаг за шагом искали причину инцидентов. Читать далее