Что такое разметка данных и зачем она нужна
Нейросеть учится на примерах, а пример без правильного ответа бесполезен. Разметка — это и есть правильные ответы, которые человек добавляет к сырым данным.
Простыми словами
Модель машинного обучения не знает, что изображено на фотографии, пока ей не показали тысячи фотографий с подписями. Подпись может быть разной: название класса («бутылка»), прямоугольник вокруг объекта, точный контур, выделенное в тексте имя или расшифровка фразы из звонка. Всё это называется разметкой, или аннотацией, данных.
Размеченный набор данных — датасет — модель использует дважды: чтобы обучиться и чтобы проверить, насколько хорошо она это сделала. Если в подписях ошибки, модель выучит ошибки.
Какие бывают виды разметки
| Вид | Что делает разметчик | Где применяют |
|---|---|---|
| Классификация | Присваивает класс всему объекту: «целая» или «со сколом» | Модерация, сортировка, тональность отзывов |
| Рамки (bounding box) | Обводит объект прямоугольником и подписывает класс | Подсчёт товаров на полке, поиск дефектов |
| Сегментация | Рисует точный контур или маску объекта | Медицина, беспилотники, сложные формы |
| Ключевые точки | Отмечает суставы, углы, ориентиры | Позы людей, жесты, измерения |
| Извлечение сущностей | Выделяет в тексте имена, суммы, даты, реквизиты | Разбор документов и счетов |
| Транскрибация | Переводит речь в текст с таймкодами и спикерами | Колл-центры, протоколы встреч |
| Оценка ответов LLM | Сравнивает ответы моделей, пишет эталонные | Дообучение языковых моделей |
Подробнее о каждом виде — на странице разметки данных.
Почему от разметки зависит результат
Архитектуры нейросетей во многом общедоступны, а данные — нет. Две команды с одинаковой моделью получат разное качество, если у одной данные размечены аккуратно, а у другой — с пропусками и противоречиями. Типичные проблемы плохой разметки:
- Неоднозначные классы. Один разметчик считает треснувшую банку «браком», другой — «целой». Модель получает противоречивые примеры.
- Неточные границы. Рамка захватывает фон или обрезает объект — модель учится неверно определять размеры.
- Перекос классов. Редких случаев слишком мало, и модель их просто не замечает.
Как устроен процесс
- Задача и классы. Определяем, что именно должна делать модель и какие подписи ей для этого нужны.
- Инструкция. Описываем каждый класс и спорные случаи с примерами — это главный документ проекта. О том, как его составить, — в статье про инструкцию для разметчиков.
- Пилот. Размечаем небольшую выборку, сверяем с заказчиком, правим инструкцию.
- Разметка с проверкой. Масштабируем команду и проверяем каждую партию. Как именно — в статье про контроль качества.
- Сдача в нужном формате — COCO, YOLO, JSON и другие. Разбираем их в отдельной статье о форматах.
Можно ли обойтись без людей
Частично. Нейросети уже умеют делать предварительную разметку и проверять работу людей, и это сильно ускоряет процесс. Но правила, спорные случаи и финальную проверку по-прежнему задаёт человек: модель не знает, что важно именно для вашей задачи, пока вы ей этого не объяснили.