# LLM-судья для нейроразбора резюме на hh

DevFeed: [LLM-судья для нейроразбора резюме на hh](<https://devfeed.tech/articles/llm-hh-30669.md>)

Original publisher: [Read original article](<https://habr.com/ru/companies/hh/articles/1050174/>)

Author: Mentalitet (hh.ru)

Published: 2026-06-22T05:31:17Z

Content type: article

Language: ru

Sources: [HeadHunter RU](<https://devfeed.tech/sources/headhunter-ru.md>)

Topics: [Large Language Model](<https://devfeed.tech/topics/llm.md>), [Machine learning](<https://devfeed.tech/topics/machine-learning.md>)

Tags: [ai](<https://devfeed.tech/tags/ai.md>), [ai-quality](<https://devfeed.tech/tags/ai-quality.md>), [eval](<https://devfeed.tech/tags/eval.md>), [hh-ru](<https://devfeed.tech/tags/hh-ru.md>), [hr](<https://devfeed.tech/tags/hr.md>), [llm](<https://devfeed.tech/tags/llm.md>), [llm-10b5a83db3c5](<https://devfeed.tech/tags/llm-10b5a83db3c5.md>), [llm-as-a-judge](<https://devfeed.tech/tags/llm-as-a-judge.md>), [llm-as-judge](<https://devfeed.tech/tags/llm-as-judge.md>), [quality-assurance](<https://devfeed.tech/tags/quality-assurance.md>), [tag-61cd5a476b1d](<https://devfeed.tech/tags/tag-61cd5a476b1d.md>), [tag-a939ae104bb0](<https://devfeed.tech/tags/tag-a939ae104bb0.md>), [tag-b6914c0b0244](<https://devfeed.tech/tags/tag-b6914c0b0244.md>), [tag-d96e238f1419](<https://devfeed.tech/tags/tag-d96e238f1419.md>), [tag-e7e38deac50c](<https://devfeed.tech/tags/tag-e7e38deac50c.md>)

## AI overview

This article describes how hh.ru designed an LLM judge for its resume-analysis feature in an AI assistant. It explains why reliable evaluation requires its own rubrics, datasets, quality metrics, operating-cost considerations, and controls for hallucinations and interpretation errors. The system assesses candidates against criteria relevant to a specific position, which may be extracted from a vacancy or defined by an employer.

## Source excerpt

Создать LLM-судью легко. Гораздо сложнее сделать так, чтобы его оценкам можно было доверять. Мы убедились в этом на практике при разработке нейроразбора резюме для ИИ-помощника hh.ru. Быстро выяснилось, что хороший LLM-судья -- это отдельный продукт со своими рубриками, датасетами, метриками качества и стоимостью эксплуатации. Меня зовут Женя Орлов, я LLM Eval Lead. В этой статье расскажу, как мы проектировали систему оценки для нейроразбора резюме, почему отказались от наивных подходов и какие выводы сделали по ходу разработки. Читать далее