Как заказчик принимал систему
Методисты заказчика тестировали платформу на своих курсах прямо по ходу разработки, на тестовом стенде, и вели протокол: что проверяли, что ожидали, что получилось. Первый список, в начале июня, содержал больше 25 замечаний, и большая часть касалась качества вопросов:
- задали пропорцию 70/30, а получили 8 закрытых вопросов и 2 открытых;
- при генерации из нескольких документов не было видно, из какого взят вопрос;
- неверные варианты ответа иногда можно было принять за верные, а некоторые варианты почти
повторяли друг друга;
- в вопросах с одним ответом правильный всегда стоял первым;
- открытые ответы оставались в статусе «Требуется оценивание», и проверка требовала дословного
совпадения с эталоном;
- навигатор начислял баллы за рассуждения не по теме.
Правильный ответ первым — типичная привычка языковых моделей, и такие вещи видны только на живых тестах. Мы перевели генерацию на модель с рассуждением и разбирали каждое замечание по одной схеме: воспроизвести на стенде, найти причину, исправить, проверить на том же материале. Доли типов теперь считает код, а не модель. Варианты ответа перемешиваются. Каждый вопрос привязан к фрагменту документа. Отдельная модель-судья отбраковывает вопросы, которых нет в материале. Почему без такой проверки на живых данных ИИ-проекты застревают на стадии пилота, мы разбирали в статье о пилотах, которые не доходят до продакшена.
Во втором раунде, 16–18 июня, методисты проверяли уже свои гипотезы. Пропорции 70/30 и 50/50 соблюдались. Ответ синонимами с сохранением смысла засчитывался. Появилась надпись «ИИ проверяет ответы…», чтобы слушатель видел, что система работает, а не зависла.
Часть доработок предложили сами методисты:
- кнопка «Пропустить вопрос»: слушатель, который застрял на трудном вопросе навигатора, переходит
к другой теме;
- эталонный ответ, которого навигатор добивается от слушателя, виден преподавателю. Методисты
попросили об этом заранее: слушатели будут жаловаться, что ИИ не принимает ответ, и преподавателю нужно видеть, кто прав, а при необходимости оценить вручную;
- блок «Что улучшить» с темами для повторения показывается и тем, кто тест сдал.