ИИ в подборе персонала: как проверить качество пилота
Проверьте ИИ в подборе персонала в теневом режиме. Рекрутер проводит обычный отбор, а модель параллельно проверяет те же резюме по согласованным критериям. До запуска сравните пропуски подходящих кандидатов, долю ошибочных рекомендаций и время на ручную перепроверку. Решение по кандидатам на пилоте принимает сотрудник.
Задайте модели ограниченную задачу
Начните с извлечения подтверждаемых фактов из резюме. Для аналитика это может быть опыт работы с SQL, для координатора — примеры самостоятельного ведения проектов. Для каждого критерия попросите указать фрагмент документа и отдельно отмечать нехватку сведений. По отметке «неясно» рекрутер может задать уточняющий вопрос.
Два специалиста независимо разметят примеры и согласуют расхождения. Уберите идентификаторы и лишние сведения из тестовых данных, ограничьте доступ к исходным резюме. Проверьте с ответственным за данные, какие материалы можно использовать и где их можно обрабатывать.
Рабочий пример на 80 резюме
Из 80 резюме рекрутеры отметили 30 подходящих. Модель рекомендовала 25 из них, пропустила 5 и добавила ещё 8 неподходящих. Она нашла 83% подходящих кандидатов, а 25 из её 33 рекомендаций, около 76%, совпали с разметкой. Для выбора сценария эти доли полезнее общей точности.
Команда изучила пять пропусков и обнаружила, что часть кандидатов описывала нужный опыт без привычного названия должности. Для спорных случаев ввели статус «на проверку». В условном замере ручная обработка занимала пять часов, а с моделью и перепроверкой — четыре часа. На пилоте экономия составила час. Перед расширением набора команда повторит тест на другой вакансии и измерит, сколько подходящих резюме модель пропустит после изменения.
Шаблон контроля качества
Фиксируйте ID резюме, вакансию, критерий, решение специалиста, предложение модели, цитату из резюме, тип расхождения и время проверки. Смотрите показатели отдельно по вакансиям. Один общий процент может скрыть проблему на роли, по которой у команды мало примеров.
Когда переходить к работе с реальными откликами
Согласуйте предел ошибок и порядок ручной проверки до теста. Сохраните набор контрольных примеров и версию модели. После обновления повторите прогон. Если качество снижается, верните ручной порядок и разберите расхождения. Кейсы внедрения можно сравнить на деловых мероприятиях для HR.
Конференции, форумы, нетворкинг и мастер-классы — с фильтрами по дате, формату и цене.
Открыть афишу →