Разметка данных для LLM: оценка ответов, RLHF и дообучение
Языковые модели тоже учатся на размеченных данных, только вместо рамок и классов здесь — эталонные ответы, сравнения и оценки. Рассказываем, какие бывают задачи и как их делают.
Какие данные нужны языковой модели
Базовую модель обучают на огромных массивах текста. Чтобы она хорошо отвечала на вопросы в вашей области, следовала инструкциям и не выдумывала, нужны данные другого типа — подготовленные людьми.
| Задача | Что делает разметчик | Для чего |
|---|---|---|
| Эталонные ответы | Пишет образцовый ответ на запрос | Дообучение на примерах (SFT) |
| Попарное сравнение | Выбирает лучший из двух ответов и объясняет почему | RLHF, DPO — обучение на предпочтениях |
| Оценка по критериям | Ставит баллы за точность, полноту, тон, безопасность | Оценка моделей и промптов |
| Проверка фактов | Сверяет утверждения с источниками | Борьба с выдуманными ответами |
| Красная команда | Придумывает запросы, на которых модель ошибается | Проверка безопасности |
Почему это сложнее классической разметки
- Нужна экспертиза. Оценить ответ о налогах или медицине может только тот, кто в этом разбирается.
- Нет единственно верного ответа. Поэтому критерии оценки нужно описать особенно подробно и проверять согласие оценщиков.
- Важно объяснение. Комментарий «почему этот ответ лучше» часто ценнее самого выбора.
Как устроен процесс
- Критерии. Вместе с заказчиком определяем, что значит «хороший ответ»: точность, полнота, ссылки на источник, тон, длина.
- Калибровка. Оценщики размечают одни и те же примеры, обсуждают расхождения и уточняют правила.
- Разметка с перекрёстной проверкой. Часть пар оценивают несколько человек, спорные разбирает эксперт.
- Метрики. Согласие оценщиков и доля спорных пар показывают, насколько можно доверять данным.
Где это нужно бизнесу
Если вы строите ассистента по своим документам, такая разметка помогает понять, где он ошибается, и выбрать лучший промпт или модель. Набор из нескольких сотен оценённых пар «вопрос — ответ» по вашим реальным запросам уже даёт честную картину качества.
Мы делаем оценку ответов LLM и данные для дообучения, а также строим ИИ-решения на этих данных — от ассистентов по документам до умного поиска.