Статьи о разметке данных
Объясняем, как готовить данные для машинного обучения: от первого датасета до проверки качества и дообучения LLM.
Что такое разметка данных и зачем она нужна
Нейросеть учится на примерах, а пример без правильного ответа бесполезен. Разметка — это и есть правильные ответы, которые человек добавляет к сырым данным.
Читать статьюСколько стоит разметка данных и из чего складывается цена
От чего зависит стоимость разметки датасета: вид разметки, сложность классов, объём, сроки и требования к качеству. Как посчитать бюджет и где можно сэкономить без потери качества.
Как проверять качество разметки данных
Процессы и метрики контроля качества разметки: эталонные примеры, перекрёстная разметка, согласие разметчиков (каппа Коэна), IoU для рамок и масок, выборочная проверка партий.
Как написать инструкцию для разметчиков
Пошаговое руководство по инструкции для разметки данных: описание классов, примеры правильной и неправильной разметки, спорные случаи, требования к точности и версионирование документа.
Форматы разметки: COCO, YOLO и Pascal VOC — в чём разница
Сравниваем популярные форматы разметки изображений — COCO JSON, YOLO TXT и Pascal VOC XML: как в них хранятся рамки и маски, для каких задач и фреймворков подходит каждый.
Разметка данных для LLM: оценка ответов, RLHF и дообучение
Какие данные нужны языковым моделям: эталонные ответы для дообучения, попарное сравнение для RLHF и DPO, оценка по критериям, проверка фактов. Как устроена такая разметка и кто её делает.
Аутсорсинг разметки данных или своя команда: что выбрать
Сравниваем три подхода к разметке датасетов — своя команда, краудсорсинг и подрядчик. Стоимость, контроль качества, сроки, безопасность данных и когда какой вариант подходит.
Расскажите о задаче
Опишите данные и желаемый результат — ответим в течение дня и предложим тестовую разметку бесплатно.
Георгий Каспарьянц, основатель LabelMe