# собеседование

Published articles for собеседование.

This is one page of public article previews, not the complete archive. Follow Next page to continue. Summaries are not the original full articles.

## LLM-судья для нейроразбора резюме на hh

DevFeed: [LLM-судья для нейроразбора резюме на hh](<https://devfeed.tech/articles/llm-hh-30669.md>)

Original publisher: [Read original article](<https://habr.com/ru/companies/hh/articles/1050174/>)

Author: Mentalitet (hh.ru)

Published: 2026-06-22T05:31:17Z

Content type: article

Language: ru

Sources: [HeadHunter RU](<https://devfeed.tech/sources/headhunter-ru.md>)

Topics: [Large Language Model](<https://devfeed.tech/topics/llm.md>), [Machine learning](<https://devfeed.tech/topics/machine-learning.md>)

Tags: [ai](<https://devfeed.tech/tags/ai.md>), [ai-quality](<https://devfeed.tech/tags/ai-quality.md>), [eval](<https://devfeed.tech/tags/eval.md>), [hh-ru](<https://devfeed.tech/tags/hh-ru.md>), [hr](<https://devfeed.tech/tags/hr.md>), [llm](<https://devfeed.tech/tags/llm.md>), [llm-10b5a83db3c5](<https://devfeed.tech/tags/llm-10b5a83db3c5.md>), [llm-as-a-judge](<https://devfeed.tech/tags/llm-as-a-judge.md>), [llm-as-judge](<https://devfeed.tech/tags/llm-as-judge.md>), [quality-assurance](<https://devfeed.tech/tags/quality-assurance.md>), [tag-61cd5a476b1d](<https://devfeed.tech/tags/tag-61cd5a476b1d.md>), [tag-a939ae104bb0](<https://devfeed.tech/tags/tag-a939ae104bb0.md>), [tag-b6914c0b0244](<https://devfeed.tech/tags/tag-b6914c0b0244.md>), [tag-d96e238f1419](<https://devfeed.tech/tags/tag-d96e238f1419.md>), [tag-e7e38deac50c](<https://devfeed.tech/tags/tag-e7e38deac50c.md>)

### AI overview

This article describes how hh.ru designed an LLM judge for its resume-analysis feature in an AI assistant. It explains why reliable evaluation requires its own rubrics, datasets, quality metrics, operating-cost considerations, and controls for hallucinations and interpretation errors. The system assesses candidates against criteria relevant to a specific position, which may be extracted from a vacancy or defined by an employer.

### Source excerpt

Создать LLM-судью легко. Гораздо сложнее сделать так, чтобы его оценкам можно было доверять. Мы убедились в этом на практике при разработке нейроразбора резюме для ИИ-помощника hh.ru. Быстро выяснилось, что хороший LLM-судья -- это отдельный продукт со своими рубриками, датасетами, метриками качества и стоимостью эксплуатации. Меня зовут Женя Орлов, я LLM Eval Lead. В этой статье расскажу, как мы проектировали систему оценки для нейроразбора резюме, почему отказались от наивных подходов и какие выводы сделали по ходу разработки. Читать далее

## Как мы собеседовали ChatGPT на позицию QA

DevFeed: [Как мы собеседовали ChatGPT на позицию QA](<https://devfeed.tech/articles/chatgpt-qa-30677.md>)

Original publisher: [Read original article](<https://habr.com/ru/companies/hh/articles/815143/>)

Author: Akrpchv (hh.ru)

Published: 2024-05-21T12:10:23Z

Content type: article

Language: ru

Sources: [HeadHunter RU](<https://devfeed.tech/sources/headhunter-ru.md>)

Topics: [ChatGPT](<https://devfeed.tech/topics/chatgpt.md>), [Artificial Intelligence](<https://devfeed.tech/topics/ai.md>)

Tags: [ai](<https://devfeed.tech/tags/ai.md>), [chatgpt](<https://devfeed.tech/tags/chatgpt.md>), [gpt](<https://devfeed.tech/tags/gpt.md>), [qa](<https://devfeed.tech/tags/qa.md>), [tag-13e2af703774](<https://devfeed.tech/tags/tag-13e2af703774.md>), [tag-95a52fc82d81](<https://devfeed.tech/tags/tag-95a52fc82d81.md>), [tag-a1312fd2c7ff](<https://devfeed.tech/tags/tag-a1312fd2c7ff.md>), [tag-e7e38deac50c](<https://devfeed.tech/tags/tag-e7e38deac50c.md>), [tag-e932065bc8da](<https://devfeed.tech/tags/tag-e932065bc8da.md>)

### AI overview

QA testers from hh.ru describe an experiment in which they asked ChatGPT technical and soft-skill questions that might arise in a tester job interview, then assessed how useful its answers would be in real life. The supplied text also presents ChatGPT as a preparation and self-assessment tool, while advising against using it to pass an interview.

### Source excerpt

Всем привет! Мы -- Аня, Оля и Дима, тестировщики в hh.ru. Не так давно мы прочитали про случай, где адвокат использовал ChatGPT для подготовки аргументации стороны обвинения в суде. Ситуация может показаться абсолютно дикой: это же очевидно, что нельзя доверить искусственному интеллекту свою карьеру. Но мы не были бы тестировщиками, если бы не решили проверить, а сможет ли ChatGPT помочь подготовить нас к собеседованию. Для этого мы решили задать ему вопросы, которые могут встретиться во время собеса на позицию тестировщика, и проанализировать, насколько его ответы были бы хороши в реальной жизни. Для полноты исследования мы выбрали вопросы для оценки как хард-скиллов (в том числе немного про автоматизацию тестирования и мобильную специфику), так и софт-скиллов. Читать далее