Нейросеть для создания тестов по учебным материалам: что она умеет и где ошибается

Если сотрудники работают по регламентам и инструкциям, их знания нужно регулярно проверять. Тест к каждому документу методист составляет вручную: придумывает вопросы, к каждому по три правдоподобных неверных варианта, потом читает открытые ответы и ставит оценки. На один тест уходит около часа, а документы ещё и обновляются. Рано или поздно возникает мысль отдать эту работу нейросети для создания тестов.
С такой задачей к нам пришёл корпоративный учебный центр, и мы встроили ИИ в его систему обучения на Moodle. Короткий итог проекта такой. Черновик теста нейросеть составляет хорошо и открытые ответы проверяет по смыслу, а не дословно. Ошибается она предсказуемо: ставит правильный ответ первым, придумывает неверные варианты, которые тоже можно счесть верными, задаёт общие вопросы мимо документа. Эти ошибки ловятся, если вокруг нейросети есть система проверки и методист, который вычитывает тест перед публикацией.
Ниже разбираем, что нейросеть умеет, где ошибается и как это поймать. Ошибки взяты из протокола, который вели методисты заказчика во время приёмки.
Почему ChatGPT не хватило
До нас заказчик пробовал ChatGPT. Вопросы он составлял, но каждый тест жил отдельно: скопировать текст в чат, забрать ответ, перенести вопросы в систему обучения руками, проверить ответы самому. Тесты не были связаны с LMS (системой управления обучением), где лежали курсы и журнал оценок.
Для одного теста такой путь работает. Если вам нужно раз в квартал проверить знание памятки на две страницы, бесплатной нейросети хватит, лишь бы человек внимательно перечитал вопросы. Своя система нужна, когда выполняются три условия сразу:
- тестов много, и их нужно обновлять вместе с документами;
- материалы — ваши регламенты, инструкции и сканы, а не общие знания;
- от результата теста что-то зависит: допуск к работе, аттестация, премия.
Тогда важна уже не сама нейросеть, а то, что вокруг неё: откуда взят каждый вопрос, кто проверил его качество, куда попадает оценка и что делать, если сотрудник с ней не согласен.
Что нейросеть делает хорошо
Читает документы целиком. Модель обрабатывает PDF и DOCX, в том числе сканы: сначала система распознаёт текст, потом режет документ на смысловые фрагменты. Сотня страниц регламентов для неё не объём.
Составляет вопросы разных типов. С одним верным ответом, с несколькими, открытые. Пропорцию задаёт методист: например, 70% закрытых и 30% открытых.
Проверяет открытые ответы по смыслу. Сотрудник может ответить своими словами, синонимами, короче эталона. Если ключевые факты на месте и смысл не искажён, ответ засчитывается. Методисты заказчика отдельно проверяли это на приёмке, и проверка прошла.
Объясняет ошибки. После теста сотрудник получает разбор неверных ответов и ссылку на материал для повторения, а не только балл.
Экономит время методиста. По нашим наблюдениям, черновик теста с вычиткой занимает около 10 минут вместо часа на составление вручную.
Где ошибается нейросеть для создания тестов
В первом списке замечаний от методистов было больше 25 пунктов, и большая часть касалась качества вопросов. Ниже главные ошибки и то, как мы их ловим. Почти ни одна из них не видна в демо на одном документе. Они вылезают на десятках тестов по настоящим материалам.
Правильный ответ всегда первый
В вопросах с одним верным ответом правильный вариант стабильно стоял на первом месте. Это привычка языковых моделей: они сначала пишут верный ответ, потом придумывают неверные. Сотрудник быстро замечает закономерность. Мы перемешиваем варианты кодом после генерации и включаем перемешивание вопросов в самом тесте.
Варианты, которые тоже можно счесть верными
Модель придумывает неверные варианты ответа, и часть из них звучит правдоподобно настолько, что их можно принять за правильные. Встречались и варианты, которые почти повторяли друг друга другими словами. Против этого работают две проверки: код отсеивает почти одинаковые варианты, а отдельная модель-судья смотрит на весь набор вопросов и заменяет те, где верный ответ не единственный.
Общие вопросы мимо документа
Часть вопросов была сформулирована так абстрактно, что проверяла общую эрудицию, а не знание регламента. Иногда модель спрашивала то, чего в документе нет вовсе, и отвечала из своих общих знаний. Помогло жёсткое правило: каждый вопрос обязан ссылаться на конкретный фрагмент документа. Нет цитаты, нет вопроса. Судья дополнительно отбраковывает вопросы, ответ на которые нельзя найти в материале.
Заодно это решило другую проблему из протокола. Когда тест собирался из нескольких документов, методист не мог понять, из какого взят вопрос. Теперь у каждого вопроса виден источник, и проверить его можно, не открывая исходник.
Открытый вопрос с ответом внутри
Модель формулировала открытые вопросы так, что они почти дословно повторяли эталонный ответ. Отвечать на такой вопрос нечего, знаний он не проверяет. Такие вопросы система теперь находит и генерирует заново.
Не та пропорция и не то количество
Методист задал 70/30, а получил 8 закрытых вопросов и 2 открытых. Просил 10 вопросов, получил меньше. Модель плохо считает, и полагаться на неё в арифметике не стоит. Пропорцию теперь считает код, а недостающие вопросы система добирает отдельными раундами генерации.
Опечатки и дубли по смыслу
Ошибки согласования вроде «какие действия должен выполнить лицо» тоже встречались. В итоговом тесте нашлись два вопроса, разные по формулировке и одинаковые по смыслу. Это то, что пока остаётся за человеком. Заказчик сам закрепил правило: методист вычитывает тест и заменяет повторы до публикации. Мы считаем это правильным подходом, а не временной мерой.
Все эти ошибки мы поймали на тестах до сдачи и исправили. Перечисляем их, потому что с ними столкнётся любая команда, которая делает генерацию тестов. Вопрос только в том, увидите вы их на приёмке или их увидят сотрудники.
Где ошибается не нейросеть, а материал
Качество теста упирается в документ. Несколько случаев из протокола.
Загрузили файл с готовым тестом на 10 вопросов, а система сделала по нему только 4. В таком файле мало текста, на котором можно построить новые вопросы: формулировки уже вопросы, а ответы короткие. Нейросети нужен учебный материал, а не чужой тест.
Документ с описанием образовательной программы, где перечислены название организации, учебный план и условия обучения, дал вопрос о функциях организации, хотя прямого ответа на него в тексте не было. Описание программы — это не учебник. Такие документы лучше не загружать в базу, по которой строятся тесты.
Подсказка ссылалась на «раздел 3.6», но не называла документ. Если источники живут за пределами курса, сотруднику негде открыть этот раздел. Заказчик решил держать все материалы внутри курса, и это снимает вопрос.
Что делать со спорными оценками открытых ответов
Самое чувствительное место — оценка. Если ИИ не засчитал верный ответ, сотрудник пойдёт жаловаться. Поэтому методисты заказчика заранее попросили две вещи, и мы их сделали.
Первая: эталонный ответ, с которым модель сравнивает ответ сотрудника, видит преподаватель. Сотруднику он не показывается. Если возникает спор, преподаватель открывает эталон и журнал, где записан ход рассуждения модели, и решает сам.
Вторая: если модель не смогла проверить ответ, например из-за сбоя, вопрос уходит преподавателю на ручную проверку. Ноль за техническую ошибку сотрудник не получает.
Ещё одна деталь всплыла на вопросах с несколькими верными ответами, и к нейросети она отношения не имеет. Moodle по умолчанию ставит статус «Неправильно», если за вопрос вышло 0 баллов, даже когда сотрудник отметил один из верных вариантов. Методисты предложили назначать небольшой штраф за каждый неверный вариант, чтобы такие ответы получали «Частично правильно» и не вызывали жалоб. Правила оценки стоит обсудить с методистами до запуска, а не после первых претензий.
Можно ли уговорить ИИ поставить балл
На проекте мы сделали режим второго шанса. Если сотрудник не набрал проходной балл, ИИ задаёт ему вопросы по темам, где были ошибки, и может поднять результат до проходного. Методистов сразу волновало, не начнут ли сотрудники добирать баллы разговорами.
Не начнут. Ответ не по теме не приносит баллов, а подсказка не раскрывает эталонный ответ. Если сотрудник застрял на трудном вопросе, он нажимает «Пропустить вопрос» и переходит к другой теме, вместо того чтобы ходить по кругу уточнений.
Что остаётся за методистом
ИИ готовит черновик теста и проверяет ответы. Методист выбирает материалы, задаёт пропорции, вычитывает вопросы и решает спорные оценки. В протоколе заказчика эта строка так и записана: вычитка и корректировка заданий делается вручную.
Мы не верим обещаниям «загрузите файл и получите готовый тест» и «ИИ заменит методиста». Нейросеть убирает рутину: составить двадцать вопросов, придумать по три правдоподобных неверных варианта к каждому, проверить сотню открытых ответов. Ответственность за то, чему и как учат сотрудников, остаётся у человека.
Можно ли отдавать нейросети внутренние документы
Это зависит от того, где работает модель. В этом проекте модели работают у российского облачного провайдера Cloud.ru, документы обрабатываются в его облаке. Для регламентов учебного центра этого достаточно. Если документы нельзя выносить за периметр компании, модель разворачивают на вашем сервере. Так мы делаем в других проектах, это дольше и дороже в инфраструктуре.
Сколько стоит своя система для создания тестов
Своя система, встроенная в вашу LMS, стоит 200–400 тысяч рублей. Наш проект для учебного центра на Moodle занял полтора месяца.
Нижняя граница — генерация тестов по документам и публикация их в курс. Цену поднимают:
- проверка открытых ответов и режим второго шанса: это отдельный диалог с моделью, и его дольше
всего доводить до качества, которое примет методист;
- сканы и документы с большим количеством аббревиатур: нужны распознавание и глоссарий;
- журнал решений ИИ и отчёты, если оценки должны выдерживать разбор спорных случаев.
Отдельно оплачивается работа модели. У нашего клиента это около 10 тысяч рублей в месяц, сумма растёт вместе с количеством тестов и проверок.
Если у вас Moodle или другая LMS, новую платформу строить не нужно: систему встраивают плагином или через API. Как это устроено, мы описали в кейсе с Moodle. Из чего ещё складывается цена ИИ-проекта, разбирали в статье «Сколько стоит разработка ИИ-ассистента». Другие задачи обучения, которые закрывает ИИ, есть на странице «ИИ в образовании».
Проверьте на своём документе
Пришлите нам один регламент или инструкцию, по которой вы сейчас тестируете сотрудников. Мы соберём по нему тест и покажем, какие вопросы получились хорошими, а какие методист отбраковал бы.

