Исследование классической модели адаптивного тестирования

Все большую роль в подготовке и переподготовке профессиональных кадров играет использования современных технологий электронного обучения. Их использование порождает комплекс проблем, одна из которых – это создание адекватной системы контроля знаний. Широко применяются системы электронного тестирования. Однако, известны исследования, которые показывают, что возможности традиционного тестирования с фиксированным числом заданий и временем на их выполнение уступают в эффективности контрольно-оценочных процедур адаптивному методу тестирования за счет индивидуализации процесса тестирования, которое выражается в предоставлении тестируемому посильных для выполнения заданий, что приведет к повышению точности измерения, минимизации количества заданий и времени [1,2].

Адаптивный тест представляет собой компьютерный банк заданий, упорядоченных в соответствии с параметром трудности [3,4]. В классической модели адаптивного тестирования оценивание результатов ведется по сто балльной шкале. Тестирование начинается с двух заданий средней сложности (уровень 50 баллов). После ответа на них вычисляется новый уровень сложности и выдаются следующие два задания этого уровня. Алгоритм строится на вычислении верхней и нижней границы уровня знаний. Если ответы на оба задания правильны, то нижняя граница сдвигается к верхней, если только на одно задание дан правильный ответ – границы расширяются, если оба ответа не верны – верхняя граница сдвигается к нижней. Тестирование заканчивается, когда разница между новым и текущим уровнями знаний окажется меньше некоторой величины е. Таким образом, если некоторое время обучаемый отвечает постоянно правильно, либо неправильно конечный уровень его знаний будет вычислен достаточно быстро. Если же правильные и неправильные ответы чередуются, то количество вопросов обучаемому, необходимых чтобы вычислить его уровень знаний, непредсказуемо. В таком случае тестирование заканчивается, когда в банке заданий закончатся вопросы и за итоговый результат тестирования принимается текущий уровень знаний, определенный программой.

Был проведен эксперимент с целью сравнения результатов тестирования, полученных путем традиционного и адаптивного тестирования по дисциплине «Программирование». В качестве критериев сравнения различных моделей тестирования были выбраны следующие показатели: время, затраченное на прохождение тестирования; количество вопросов теста необходимое для подведения итоговой оценки за тестирование; балл, полученный в итоге тестирования.

Для того чтобы можно было сравнивать результаты, тестируемый отвечал одинаково на задания теста с классической моделью, так и на задания теста с адаптивной моделью. Задания адаптивного теста были разделены преподавателем на три уровня сложности: легкий, средний, сложный. Этот же тест без учета сложности был использован и для традиционного тестирования. Результирующие баллы традиционного тестирования были приведены к сто бальной шкале. Результаты эксперимента представлены в таблице 1.

Из полученных результатов можно сделать следующие выводы: средняя разница между количеством набранных баллов при различных моделях тестирования составляет 1–2 балла; время, при этом потребовавшееся на прохождение тестов с использованием адаптивной модели время и количество вопросов в разы меньше традиционного тестирования.

Таблица 1

Результаты экспериментов

№ п/п

Традиционное тестирование

Адаптивное тестирование

Время тестирования, мин

Кол-во вопросов

Баллы за тест

Максим. балл

Приведенные баллы за тест

Время тестирования, мин

Кол-во вопросов

Баллы за тест

1

15

58

70,47

92

76,60

10

12

79,12

2

63

58

69,36

92

75,39

12

14

73,87

3

72

58

72

92

78,26

15

12

80,02

4

60

58

76,32

92

82,96

19

14

84,20

5

35

31

25,33

31

81,71

11

14

81,62

6

47

31

18,67

31

60,23

17

12

61,33

7

45

31

23,32

31

75,23

18

16

74,80

8

38

31

24,48

31

78,97

13

16

79,56

9

45

31

28

31

90,32

16

10

91,12

10

32

31

18,53

31

59,77

10

16

61,45

11

29

54

53,18

65

81,82

12

14

80,98

12

20

54

56,18

65

86,43

11

12

86,86

13

49

54

49,74

65

76,52

14

14

77,23

14

28

54

56,72

65

87,26

12

12

86,64

15

31

54

45,85

65

70,54

13

16

72,32

16

47

54

37,21

65

57,25

15

12

56,68

17

42

54

53,5

65

82,31

14

12

81,33

Описанная в статье разработка ведется в Институте дистанционного обучения Новосибирского государственного технического университета. Она является развитием существующей электронной среды обучения вуза, функционирующей на платформе программной системы DiSpace [5].

 Список литературы

 [1] Дуплик С. В. Модели педагогического тестирования обучаемых / С. В. Дуплик, В. И. Глова // Вестн. Казан. гос. техн. ун-та им. А. Н. Туполева. – 2003. – №2. – С. 74-79.

[2] Аванесов В. С. Основы педагогической теории измерений [Электронный ресурс] // Педагогические измерения. – 2004. – № 1. – Режим доступа : http://testolog.narod.ru/ EdMeasmt1.html.

[3] Адаптивное тестирование: учеб.-метод. пособие / Н. М. Опарина [и др.] – Хабаровск : Изд-во ДВГУПС, 2007. – 95 с.

[4] WeissD. J.(Ed.) New Horizons in Testing: Latent Trait Test Theory and Computerised Adaptive Testing. – N — Y. : Academic Press, 1983. – 345 c.

[5] Юн С. Г. Программные платформы электронного обучения / С. Г. Юн // Электронное обучение в традиционном университете : сб. статей / отв. ред. Г. Б. Паршукова, О. В. Казанская. – Новосибирск : Изд-во НГТУ, 2010. – 134 с.

29.08.2013 Российско-корейская научная конференция : тез. докл., Новосибирск, 29–31 авг. 2013 г. = Russia-Korea science conference : abstracts, Novosibirsk, avg. 29–31, 2013. – Новосибирск : Изд-во НГТУ, 2013. – С. 166-167.