Как проверять качество разметки данных
Ошибки в разметке незаметны, пока модель не начнёт ошибаться в продакшене. Рассказываем, как ловить их раньше: какие процессы выстроить и какие метрики считать.
Качество закладывается до начала разметки
Большая часть ошибок — не от невнимательности, а от неоднозначных правил. Поэтому первый шаг контроля качества — инструкция с разобранными спорными случаями и обучение разметчиков на ней. К реальным данным допускаем только тех, кто прошёл тест на эталонных примерах.
Процессы проверки
- Эталонные примеры. Небольшой набор единиц с заранее проверенной правильной разметкой. Их незаметно подмешивают в работу и по ним видно, кто ошибается и в чём.
- Перекрёстная разметка. Часть данных размечают два-три человека независимо. Расхождения разбирает арбитр, а спорные случаи пополняют инструкцию.
- Выборочная проверка партий. Проверяющий смотрит случайную выборку из каждой партии. Если доля ошибок выше порога — партия возвращается целиком.
- Проверка моделью. Нейросеть отмечает подозрительные места: пропущенные объекты, странные размеры рамок, редкие сочетания классов. Человек проверяет только их — это экономит время.
Метрики
| Метрика | Что показывает | Где применяют |
|---|---|---|
| Точность на эталонах | Доля совпадений с правильными ответами | Любой вид разметки |
| Каппа Коэна / Флейса | Согласие разметчиков с поправкой на случайное совпадение | Классификация, тональность |
| IoU | Площадь пересечения двух рамок или масок, делённая на площадь объединения | Рамки, сегментация |
| Доля ошибок в партии | Сколько единиц пришлось исправить при выборочной проверке | Приёмка партий |
| WER | Доля ошибочных слов в расшифровке | Транскрибация речи |
Каппа около нуля означает, что разметчики соглашаются не чаще, чем случайно, — это сигнал пересмотреть инструкцию, а не наказывать людей. Для рамок обычно задают порог IoU, выше которого две разметки считаются совпадающими.
Что делать с найденными ошибками
- Исправить в данных.
- Понять причину: непонятное правило, новый тип случая, усталость или спешка.
- Обновить инструкцию и сообщить всей команде.
- Перепроверить уже сданные партии, если ошибка системная.
Как это устроено у нас
Каждая партия проходит отдельную валидацию до того, как попадёт к заказчику, а метриками согласия мы делимся открыто. Начинаем всегда с бесплатного пилота — по нему видно качество ещё до договора. Подробнее — на странице разметки данных.