Все большую роль в подготовке и переподготовке профессиональных кадров играет использования современных технологий электронного обучения. Их использование порождает комплекс проблем, одна из которых – это создание адекватной системы контроля знаний. Широко применяются системы электронного тестирования. Однако, известны исследования, которые показывают, что возможности традиционного тестирования с фиксированным числом заданий и временем на их выполнение уступают в эффективности контрольно-оценочных процедур адаптивному методу тестирования за счет индивидуализации процесса тестирования, которое выражается в предоставлении тестируемому посильных для выполнения заданий, что приведет к повышению точности измерения, минимизации количества заданий и времени [1,2].
Адаптивный тест представляет собой компьютерный банк заданий, упорядоченных в соответствии с параметром трудности [3,4]. В классической модели адаптивного тестирования оценивание результатов ведется по сто балльной шкале. Тестирование начинается с двух заданий средней сложности (уровень 50 баллов). После ответа на них вычисляется новый уровень сложности и выдаются следующие два задания этого уровня. Алгоритм строится на вычислении верхней и нижней границы уровня знаний. Если ответы на оба задания правильны, то нижняя граница сдвигается к верхней, если только на одно задание дан правильный ответ – границы расширяются, если оба ответа не верны – верхняя граница сдвигается к нижней. Тестирование заканчивается, когда разница между новым и текущим уровнями знаний окажется меньше некоторой величины е. Таким образом, если некоторое время обучаемый отвечает постоянно правильно, либо неправильно конечный уровень его знаний будет вычислен достаточно быстро. Если же правильные и неправильные ответы чередуются, то количество вопросов обучаемому, необходимых чтобы вычислить его уровень знаний, непредсказуемо. В таком случае тестирование заканчивается, когда в банке заданий закончатся вопросы и за итоговый результат тестирования принимается текущий уровень знаний, определенный программой.
Был проведен эксперимент с целью сравнения результатов тестирования, полученных путем традиционного и адаптивного тестирования по дисциплине «Программирование». В качестве критериев сравнения различных моделей тестирования были выбраны следующие показатели: время, затраченное на прохождение тестирования; количество вопросов теста необходимое для подведения итоговой оценки за тестирование; балл, полученный в итоге тестирования.
Для того чтобы можно было сравнивать результаты, тестируемый отвечал одинаково на задания теста с классической моделью, так и на задания теста с адаптивной моделью. Задания адаптивного теста были разделены преподавателем на три уровня сложности: легкий, средний, сложный. Этот же тест без учета сложности был использован и для традиционного тестирования. Результирующие баллы традиционного тестирования были приведены к сто бальной шкале. Результаты эксперимента представлены в таблице 1.
Из полученных результатов можно сделать следующие выводы: средняя разница между количеством набранных баллов при различных моделях тестирования составляет 1–2 балла; время, при этом потребовавшееся на прохождение тестов с использованием адаптивной модели время и количество вопросов в разы меньше традиционного тестирования.
Таблица 1
Результаты экспериментов
№ п/п |
Традиционное тестирование |
Адаптивное тестирование |
||||||
Время тестирования, мин |
Кол-во вопросов |
Баллы за тест |
Максим. балл |
Приведенные баллы за тест |
Время тестирования, мин |
Кол-во вопросов |
Баллы за тест |
|
1 |
15 |
58 |
70,47 |
92 |
76,60 |
10 |
12 |
79,12 |
2 |
63 |
58 |
69,36 |
92 |
75,39 |
12 |
14 |
73,87 |
3 |
72 |
58 |
72 |
92 |
78,26 |
15 |
12 |
80,02 |
4 |
60 |
58 |
76,32 |
92 |
82,96 |
19 |
14 |
84,20 |
5 |
35 |
31 |
25,33 |
31 |
81,71 |
11 |
14 |
81,62 |
6 |
47 |
31 |
18,67 |
31 |
60,23 |
17 |
12 |
61,33 |
7 |
45 |
31 |
23,32 |
31 |
75,23 |
18 |
16 |
74,80 |
8 |
38 |
31 |
24,48 |
31 |
78,97 |
13 |
16 |
79,56 |
9 |
45 |
31 |
28 |
31 |
90,32 |
16 |
10 |
91,12 |
10 |
32 |
31 |
18,53 |
31 |
59,77 |
10 |
16 |
61,45 |
11 |
29 |
54 |
53,18 |
65 |
81,82 |
12 |
14 |
80,98 |
12 |
20 |
54 |
56,18 |
65 |
86,43 |
11 |
12 |
86,86 |
13 |
49 |
54 |
49,74 |
65 |
76,52 |
14 |
14 |
77,23 |
14 |
28 |
54 |
56,72 |
65 |
87,26 |
12 |
12 |
86,64 |
15 |
31 |
54 |
45,85 |
65 |
70,54 |
13 |
16 |
72,32 |
16 |
47 |
54 |
37,21 |
65 |
57,25 |
15 |
12 |
56,68 |
17 |
42 |
54 |
53,5 |
65 |
82,31 |
14 |
12 |
81,33 |
Описанная в статье разработка ведется в Институте дистанционного обучения Новосибирского государственного технического университета. Она является развитием существующей электронной среды обучения вуза, функционирующей на платформе программной системы DiSpace [5].
Список литературы
[1] Дуплик С. В. Модели педагогического тестирования обучаемых / С. В. Дуплик, В. И. Глова // Вестн. Казан. гос. техн. ун-та им. А. Н. Туполева. – 2003. – №2. – С. 74-79.
[2] Аванесов В. С. Основы педагогической теории измерений [Электронный ресурс] // Педагогические измерения. – 2004. – № 1. – Режим доступа : http://testolog.narod.ru/ EdMeasmt1.html.
[3] Адаптивное тестирование: учеб.-метод. пособие / Н. М. Опарина [и др.] – Хабаровск : Изд-во ДВГУПС, 2007. – 95 с.
[4] WeissD. J.(Ed.) New Horizons in Testing: Latent Trait Test Theory and Computerised Adaptive Testing. – N — Y. : Academic Press, 1983. – 345 c.
[5] Юн С. Г. Программные платформы электронного обучения / С. Г. Юн // Электронное обучение в традиционном университете : сб. статей / отв. ред. Г. Б. Паршукова, О. В. Казанская. – Новосибирск : Изд-во НГТУ, 2010. – 134 с.