Как написать инструкцию для разметчиков
Инструкция — главный документ проекта разметки. Из неё разметчики узнают, что считать каким классом, а вы получаете предсказуемый результат. Вот как её составить.
Зачем она нужна
Два человека, которым сказали «обведите все бутылки», сделают это по-разному: один обведёт крышку, другой нет; один отметит бутылку, закрытую наполовину, другой пропустит. Инструкция превращает задачу в набор однозначных правил, и тогда разметка десяти человек выглядит как разметка одного.
Из чего состоит хорошая инструкция
- Цель. Одним абзацем — для чего нужны данные и что будет делать модель. Разметчик, который понимает цель, лучше решает непредусмотренные случаи.
- Список классов. Для каждого — определение, 3–5 примеров правильной разметки и 2–3 примера неправильной.
- Правила геометрии. Как плотно рамка прилегает к объекту, размечать ли перекрытые и обрезанные объекты, с какого размера объект считается слишком мелким.
- Спорные случаи. Отдельный раздел с картинками: отражения, нечёткие кадры, объекты на границе классов. Он растёт весь проект.
- Что делать, если непонятно. Флаг «спорно» или вопрос в чат — лучше, чем угадывание.
- Требования к качеству. Какая точность ожидается и как будет проверяться.
Примеры важнее слов
Картинка с правильной и неправильной разметкой рядом объясняет правило быстрее абзаца текста. Для каждого правила, где возможна ошибка, держите пару «так — не так».
Как проверить инструкцию до запуска
- Дайте её двум-трём разметчикам и попросите независимо разметить одни и те же 50 единиц.
- Сравните результаты. Каждое расхождение — либо неясное правило, либо недостающий спорный случай.
- Исправьте инструкцию и повторите, пока согласие не станет стабильным. Как его измерять — в статье про контроль качества.
Инструкция живёт весь проект
Новые спорные случаи появляются постоянно. Ведите версии документа, датируйте изменения и сообщайте о них команде. Если правило поменялось, решите, нужно ли переразмечать уже сданное.
Типичные ошибки
- Слишком общие формулировки вроде «размечайте аккуратно».
- Нет отрицательных примеров.
- Классы пересекаются, и неясно, какой выбрать.
- Правила меняются в чате, но не попадают в документ.
Мы составляем инструкцию вместе с заказчиком на этапе пилота — это входит в бесплатную тестовую разметку. Подробнее — на странице разметки данных.