ИТО-98/Секция 1

В работе освещены проблемы комплексной оптимизации процесса обработки массовой тестовой информации с целью получения отчетных данных. Рассматриваются особенности исходных данных, методы их ввода, хранения и организации потоковой обработки в зависимости от задач конечного пользователя.

Под оптимизированной обработкой данных тестирования понимается организация ввода результатов тестирования в базу хранения, сопряжение этой базы с базой тестовых материалов, обработка результатов тестируемых и получение отчетных данных с минимальными затратами всех видов ресурсов.

Исходными данными для оптимизации являются перечни отчетных форм с результатами обработки. Эти формы предназначены для различных групп пользователей: тестируемых, преподавателей, работников органов управления образованием, авторов тестов и тестологов. Необходимые параметры определяются двумя основными целями тестирования: мониторинг знаний учащихся и получение (дополнение) информации о тестах и тестовых заданиях. При оптимизации обработки учитывается вес каждой из двух целей тестирования, вплоть до их разделения. Оптимизированная система обработки информации предполагает ее гибкость за счет простого изменения отдельных отчетных форм.

Система ввода ответов учащихся и анкетных данных реализована в двух режимах: с клавиатуры и со сканера. Параллельный ввод ответов учащихся и их анкетных данных показал необходимость разработки мер повышения надежности как кодировки информации в анкетах, так и сопряжения ответов с анкетными данными.

Хранение исходной информации (ответы тестируемых) организовано в виде отдельных таблиц в системе баз данных Access, содержащих выборы ответов (коды) и основные анкетные данные учащихся. Результаты обработки записываются в специализированную базу, работа с которой показала целесообразность разбиения ее на отдельные (предметные) части, что обеспечивает ускорение работы.

Обработка результатов осуществляется в двух модулях: сначала выполняется импорт ответов учащихся и получение классических обработочных результатов: оценка ответа учащегося на каждый вопрос, вычисление его тестового балла и простановка оценки, определение трудности заданий, энтропии, их дифференцирующей способности, точечно-бисериальных коэффициентов корреляции. Эти данные вычисляются на основе обработки результатов всех тестируемых (максимальной выборки) и подлежат хранению. В этом же модуле по запросу может быть получена информация по территориально-административной выборке: гистограммы распределения по тестовым баллам, структура знаний тестируемых в соответствии с тематическими и дидактическими характеристиками теста, пробелы в образовании, рейтинг образовательных учреждений и др. Предусмотрено также получение данных о вероятном нарушении технологии тестирования. Вычисляются значения надежности теста, а также корреляции результатов тестирования и нетестовой оценки тестируемого, что дает возможность судить о критериальной валидности теста.

Второй обработочный модуль предназначен для проведения факторного анализа результатов тестирования. Проведение факторного анализа имеет две основные цели: определение способностей тестируемых в проверяемой области знаний и параллельное определение (проверка) диагностических характеристик данного набора тестовых заданий. Процедура основана на модели IRT (Item Response Theory), которая позволяет ранжировать тестируемых по способности выполнять данный набор заданий, вычислять трудность и дифференцирующую способность задания (отличные от классических величин).

Результаты обработки по оптимальной выборке записываются в базу хранения статистических параметров тестовых материалов как дополнительных составляющих сопроводительных документов тестов и заданий. Отдельно хранятся и доступны по запросу данные о местах проведения тестирования, организаторах, датах, числе учебных заведений, общем числе тестировавшихся.

Сервер поддерживается фирмой НПП "БИТ про" и Московским центром Федерации Интернет Образования