Аутсорсинг разметки данных или своя команда: что выбрать
Разметку можно делать своими силами, отдать в краудсорсинг или поручить подрядчику. У каждого варианта свои плюсы — разбираем, когда какой подходит.
Три подхода
| Своя команда | Краудсорсинг | Подрядчик | |
|---|---|---|---|
| Запуск | Долго: найм, обучение, инструменты | Быстро, если задача простая | Быстро: команда и процессы уже есть |
| Масштабирование | Медленно | Легко | Легко |
| Контроль качества | Полный, но процессы нужно строить | Сложный: много случайных исполнителей | Прописывается в договоре и метриках |
| Сложные задачи | Да, если есть эксперты | Плохо подходит | Да, подрядчик подбирает специалистов |
| Безопасность данных | Максимальная | Данные видят много людей | NDA, работа в вашем контуре |
| Стоимость | Высокие постоянные расходы | Низкая за единицу, но много переделок | Предсказуемая цена за единицу |
Когда своя команда
Если разметка — постоянная часть продукта, данные очень чувствительные или требуют глубокого знания вашей области, своя команда окупается. Но придётся вложиться в найм, инструменты, инструкции и систему проверки.
Когда краудсорсинг
Подходит для простых массовых задач: классификации картинок, проверки, есть ли на фото объект. Для задач со сложными правилами или требующих экспертизы краудсорсинг даёт много ошибок, и экономия съедается проверкой.
Когда подрядчик
Когда нужно быстро получить качественный датасет, объёмы меняются, а строить отдел разметки нет смысла. Хороший подрядчик берёт на себя инструкцию, обучение людей, проверку и формат сдачи. Важно, чтобы он:
- начинал с пилота на ваших данных;
- показывал метрики качества, а не только сроки;
- подписывал NDA и мог работать в вашем контуре;
- сдавал данные в нужном формате.
Комбинированный вариант
Часто лучше всего работает смесь: подрядчик размечает основной объём, а ваш эксперт проверяет спорные случаи и принимает партии. Так вы сохраняете контроль, не раздувая штат.
Мы работаем именно так: бесплатный пилот, инструкция вместе с вами, двойная проверка партий и NDA. Подробнее — на странице разметки данных, а о стоимости — в статье сколько стоит разметка.