В настоящее время на рынке программных продуктов имеется достаточно много разнообразных программных систем зарубежного и отечественного производства, выполняющих функции такого рода тестовых оболочек. Каждая из этих оболочек имеет свой, часто уникальный формат хранения тестовых заданий, и однажды разработанные наборы тестов для конкретной тестирующей программы оказываются неприменимы для других тестирующих программ. Для каждой тестовой оболочки приходится заново создавать набор тестовых заданий.

Существует международная спецификация языка разметки тестового задания IMS QTI, где выделяются ключевые блоки, аспекты тестового задания, такие как форма теста (открытая, закрытая, соответствие и т.д.), дисциплина, текст вопроса, варианты ответов и т.д. При этом можно выделить ряд преимуществ такого подхода:

• структура тестов соответствует международному стандарту;
• хранение тестовых заданий происходит в независимом от тестовых оболочек формате, а для нужной тестовой программы создается конвертер форматов; преподаватели и разработчики тестов создают наборы тестовых заданий в любом удобном для них виде (Word, Excel, текстовые файлы, бумажный вариант).

В настоящее время в ИДО НГТУ используется несколько программных тестовых оболочек. Для каждой из них разработаны трансляторы из IMS QTI во внутренний формат соответствующей оболочки.

Такая методика дает возможность создания аппаратно независимого банка данных тестовых заданий.

При создании информационной образовательной среды большое внимание уделяется разработке и использованию электронных систем обучения. Системы такого класса широко используются в практике дистанционного образования и успешно зарекомендовали себя как системы, предоставляющие полный курс сетевого обучения.

Необходимой частью подобных систем является подсистема тестирования [1]. Существует достаточно много систем обучения, как зарубежных (WebCT, Learning Space, Blackboard и др.), так и отечественных (Прометей II, Distance Learning Studio, OPOKC). Разнообразие систем порождает проблему переноса тестов из одной программной среды в другую. Поскольку тестирующих систем много, создавать для каждой конвертор тестов — задача чрезвычайно трудоемкая. При прекращении поддержки фирмой-изготовителем устаревшей версии тестирующей системы неизбежна утрата части тестов. Особенно актуально это для систем отечественных производителей.

Таким образом, возникла насущная потребность в решении следующих задач [2]:

• унификация формата хранения тестовых заданий;
• разработка единой системы обмена информацией между различными тестовыми оболочками.

Во всем мире ведется работа по стандартизации обучающих технологий и, в частности, по форматам хранения тестовых данных. Существует ряд международных организаций, работающих в области стандартизации, консорциумов и национальных программ, министерств отдельных стран, тесно сотрудничающих в сфере разработки элементов системного подхода к построению систем дистанционного обучения или любых других обучающих систем, функционирующих на базе информационных технологий. Среди этих организаций ведущая роль отведена: аккредитованному IEEE комитету Р1484 LTSC по стандартизации обучающих технологий; проекту Европейского союза ARIADNE; американскому проекту IMS; организации американского Департамента обороны ADL и др.

Проанализировав характеристики и возможности форматов, предоставляемых выше описанными организациями, нами было принято решение использовать спецификацию Question & Test Interoperability (QTI) консорциума IMS , предназначенную для создания формата обмена тестовыми материалами. QTI — это новый язык для формирования, хранения и обработки тестов на основе XML.

Стандарт Question & Test Interoperability (QTI) разработан компанией Instructional Management Systems в 1999 г. для унификации и структурирования тестовых заданий. Версия, которую мы используем для нашей разработки — QTI V1.2., создана в 2002 г. Спецификация IMS QTI описывает обобщенную структуру представления данных вопросов и тестов и соответствующих им результатов. Он делает возможным обмен вопросами, элементами, оценками и данными результатов между различными системами обучения, библиотеками и каталогами. QTI обеспечивает широкие возможности пользования различными системами и позволяет создать банк тестовых заданий, доступный всем.

Стандарт QTI базируется на следующих принципах:

• Представление данных с использованием взаимосвязанных вложенных структур.
• Поддержка обработки ответов тестирующей системой.
• В зависимости от способа ввода ответа стандарт QTI описывает следующие типы тестовых заданий: логический идентификатор, использование строковой или числовой переменной для ввода ответа, отслеживание координатного расположения элементов тестового задания, отслеживание места нажатия мыши.
• Поддержка видео- и аудиофрагментов в вопросах.
• В зависимости от способа представления заданий (текст, рисунки и т.п.) каждый из вышеперечисленных типов может содержать несколько подтипов.
• Тесты хранятся в виде файлов XML и файлов описания DTD (Document Type Definition).

При разработке спецификации QTI основной целью было обеспечение таких функцинальных возможностей, как:

• способность обеспечивать банками вопросов пользователей независимо от виртуальной среды обучения, используемой пользователем;
• способность использовать банки вопросов из различных источников в пределах одной виртуальной среды обучения;
• поддержка инструментальных средств разработки новых банков вопросов, причем эти средства разработки совместимы друг с другом;
• способность сообщать о результатах тестов так, чтобы их смогла понять любая совместимая система.

В результате реализуется возможность представления большого количества вариантов и форм программно-дидактических тестовых заданий. QTI поддерживает следующие основные типы вопросов:

• Открытый — пользователь вводит текст ответа. Правильный ответ не определён.
• Истинный/Ложный — переключатель выбора между ‘истиной или ложью’, ‘соглашаться или не соглашаться’ и т.д. Ответ тождественно определен.
• Закрытый. Выбор одного правильного ответа из 2-10. Ответ тождественно определен.
• Закрытый. Выбор нескольких правильных ответов из 2-10. Ответ тождественно определен.
• Горячая точка изображения (Image hot spot или HIS) — расположение на графическом символе, идентифицированном координатами ‘х-у’ точки выбора.
• Задания дополнения (или заполнить пробел) — размещается отформатированный вход для текста или целочисленного, десятичного или другого числа, идентифицированного введенной информацией. Тип ответа является или строкой, или целочисленным, десятичным, или другим числом соответственно для каждого отдельного ответа.
• Ползунок (Slider) — выбор целого числа или вещественного числа от предопределенного минимума и максимума с приращением значения. Тип ответа — вещественное или целое число, или логический идентификатор.
• Выбор текста — идентификация текста из представленного параграфа или списка. Ответ — идентифицированная строка или логический идентификатор.
• Перемещение объекта — это перемещение объекта в предопределенные места расположения. Тип ответа идентифицирован соединением исходного объекта с целевыми объектами.
• Установление правильной последовательности — переупорядочение текстов или текстовых строк или перемещение набора объектов в предопределенные расположения на странице. Ответ тождественно определен набором координат ‘х-у’ или их логической группой.
• Установление соответствия — объекты из разных списков должны быть сгруппированы вместе. Тип ответа — список из n-элементов из набора подобранных пунктов.
• Соединение точек — упорядоченное соединение набора точек. Тип ответа — набор координат ‘х-у’.
• Кроме того, существуют сложные типы вопроса — вопросы, в которых пользователю будут представлены два или более основных типов ответа (эти основные типы могут быть одинаковыми).

Проанализировав все вышеназванные факторы, в Новосибирском государственном техническом университете было решено создать систему тестирования (DiTest), основанную на спецификации IMS QTI. Цель создания системы — разделить разработку тестов, их хранение от последующего процесса тестирования и оценки результатов.Структура разработанной системы представлена на рис. 1

Рис. 1. Структура системы тестирования «DiTest»

Система «DiTest» позволяет создавать тесты для дистанционного тестирования, проводить опросы через Интернет или локальную сеть, хранить данные результатов тестирования в независимом от программной оболочки виде. «DiTest» состоит из трёх независимых подсистем и двух баз данных, кроме того, имеется возможность импорта и экспорта из внешних источников.

Первая подсистема — «Ввод/Редактирование тестов» организует ввод и редактирование исходных тестов. Разработчиком тестов вводятся вопросы, формы и варианты ответов, которые сохраняются в файле в формате XML, соответствующем спецификации. Эта подсистема реализована как обычная тестовая графическая оболочка. Необходимость в ней определяется тем, что описание тестов на языке разметки XML достаточно сложно для обычного преподавателя — разработчика тестов. На выходе подсистемы — тесты в независимом от этой оболочки виде.

Вторая подсистема — «Проведение опроса» непосредственно организует тестирование. Вопросы для опроса воспроизводятся из базы данных тестов. После ответа результаты сохраняются также в формате XML в соответствии со спецификациями IMS QTI Result Reporting в базу данных результатов.

Третья подсистема — «Обработка результатов и сбор статистики» служит для оценивания результатов и сбора статистики.

Подсистемы работают автономно друг от друга. Поскольку тесты хранятся в тестовом виде, они могут использоваться в любой программной оболочке, которая поддерживает язык QTI. Появляется возможность создавать, редактировать, накапливать и архивировать тесты в виде, независимом от программной системы.

Литература

1. Казанская О. В., Русанов А. С., Макаревич Л. Г. Тестирующие программы для использования в сети Интернет // Открытое и дистанц. образование. Томск, 2001. — № 1(3).
2. Гаврилов А. В., Зайцев С. А., Макаревич Л. Г., Романов Е. Л. Автоматизированная система тестирования знаний в среде Internet/intranet // Открытое и дистанц. образование. – Томск, 2001. — № 1(3).
3. Спецификация IMS Question & Test Interoperability. — Vol. 1.2.

В 2000 г. была опубликована спецификация IMS QTI (Question & Test Interoperability), определяющая форму хранения и передачи тестов и результатов. Эта спецификация основана на языке разметки XML и использует все достоинства этого языка.

В этом сообщении описывается система тестирования, созданная в Новосибирском государственном техническом университете, основанная на спецификации IMS QTI. Система состоит из двух подсистем и позволяет создавать тесты для дистанционного тестирования, проводить опросы через Интернет или локальную сеть, хранить данные результатов тестирования в независимом от программной оболочке виде.

Первая подсистема организует ввод и редактирование исходных тестов. Разработчиком тестов вводятся вопросы и формы и варианты ответов, которые сохраняются в файле в формате XML, соответствующем спецификации. Эта подсистема реализована как обычная тестовая графическая оболочка. Необходимость в ней определяется тем, что описание тестов на языке разметки XML достаточно сложно для обычного преподавателя – разработчика тестов. На выходе подсистемы – тесты в независимом от этой оболочки виде.

Вторая подсистема непосредственно организует тестирование. Вопросы для опроса воспроизводятся из ранее созданного файла. После ответа результаты сохраняются также в формате XML и в соответствии со спецификациями IMS QTI. На этом же этапе проводится просмотр и анализ результатов тестирования, оценка результатов и сбор статистики.

В системе поддерживаются следующие возможности спецификации IMS QTI:

• Реализована возможность создания и редактирования тестов.
• Предусмотрена система администрирования для ограничения прав доступа.
• Реализована система проведения опроса.
• Предусмотрено сохранение и обработка результатов опроса.
• Поддерживаются следующие 6 типов ответов: множественный выбор, выбор Да/Нет, ввод цифрового значения, ввод текстовой строки, передвижение маркера и выбор объекта.

Подсистемы работают автономно друг от друга. Поскольку тесты и результаты тестирования не зависят от программной оболочки, они продолжают существовать после смены программной оболочки тестирования. Появляется возможность создавать, редактировать, накапливать и архивировать тесты в виде, независимом от программной системы.

Существует достаточно много систем обучения как зарубежных (WebCT, Learning Space, Blackboard и др.), так и отечественных (Прометей II, Distance Learning Studio, OPOKC). Необходимой частью этих систем является подсистема тестирования. Разнообразие систем порождает проблему переноса тестов из одной программной среды в другую. Поскольку тестирующих систем много, создание для каждой из них конвертортестов — задача чрезвычайно трудоемкая. При прекращении поддержки фирмой-изготовителем устаревшей версии тестирующей системы неизбежна утрата части тестов. Во всем мире ведется работа по стандартизации обучающих технологий и, в частности, по форматам хранения тестовых данных. Существует ряд международных организаций, работающих в области стандартизации, консорциумов и национальных программ, министерств отдельных стран, тесно сотрудничающих в сфере разработки системного подхода к построению систем дистанционного обучения или любых других обучающих систем, функционирующих на базе информационных технологий. Среди этих организаций ведущая роль принадлежит: американскому консорциуму IMS, аккредитованному IEEE комитету Р1484 LTSC по стандартизации обучающих технологий, проекту Европейского союза ARIADNE, организации американского Департамента обороны ADL и др.

Проанализировав характеристики и возможности форматов, предоставляемых вышеописанными организациями, нами было принято решение создать систему тестирования на основе спецификации Question & Test Interoperability (QTI) консорциума IMS, так как она имеет очень большую функциональность и основана на языке разметки XML, что позволяет сделать ее многоплатформенной.

Спецификация QTI разработана компанией Instructional Management Systems в 1999 году для унификации и структурирования тестовых заданий. Спецификация постепенно дорабатывалась. В 2002 году появилась версия VI.2., содержащая большие функциональные возможности, достаточные для подавляющего числа систем тестирования. Спецификация IMS QTI описывает обобщенную структуру представления данных вопросов и тестов и соответствующих им результатов. Она делает возможным обмен вопросами, элементами, оценками и данными результатов между различными системами обучения, библиотеками и каталогами. QTI-спецификация, определенная как подмножество языков XML, обеспечивает широкие возможности ее использования различными системами и позволяет создать банк тестовых заданий, доступный всем.

QTI базируется на следующих принципах:

• представление данных с использованием взаимосвязанных вложенных структур;
• поддержка обработки ответов тестирующей системой;
• в зависимости от способа ввода ответа стандарт QTI описывает следующие типы тестовых заданий: логический идентификатор, использование строковой или числовой переменной для ввода ответа, отслеживание координатного расположения элементов тестового задания, отслеживание координат нажатия мыши;
• поддержка графических, видео- и аудиофрагментов в заданиях;
• тесты хранятся в виде файлов XML.

Система должна отвечать следующим требованиям:

1. каждый модуль системы должен работать независимо от других модулей;
2. система должна полностью соответствовать спецификации IMS QTI;
3. система должна поддерживать как можно больше функциональных возможностей, заложенных в данную спецификацию;
4. интерфейс системы должен быть на русском языке;
5. чтобы соответствовать требованиям, предъявляемым к программному обеспечению, соответствующему стандартам[2], система должна быть:
   • интероперабельной (interoperable) — обеспечивать возможность взаимодействия различных систем, что крайне важно для распределенных учебных сред;
   • многократно используемой (reusable) — поддерживать возможность многократного использования компонентов системы, построенных на основе информационных технологий, повышать эффективность разработки и снижать ее стоимость;
   • адаптивной (adaptable) — позволять включать развивающиеся новые информационные технологии без перепроектирования системы; иметь встроенные методы для обеспечения индивидуализированного обучения;
   • долговечной (durable) – соответствовать разработанным стандартам и предоставлять возможность вносить изменения без тотального перепрограммирования;
   • доступной (accessible) — давать возможность работать с системой из разных мест (локально и дистанционно, из учебного класса, с рабочего места или из дома); программные интерфейсы должны обеспечивать возможность работы людям разного образовательного уровя, разных физических возможностей, разных культур;
   • экономически доступной (affordable) — так как стандарты ориентируются прежде всего на непрерывное образование, осуществляемое в течение всей жизни пользователя, то разрабатываемое программное обеспечение должно быть экономически доступным.

Разрабатываемая система получила название «DiTest». Она состоит из трех автономых подсистем и двух баз данных, кроме этого, имеется возможность импорта и экспорта из внешних источников.

Структура системы представлена на рис. 1

Рис. 1. Структура системы тестирования «DiTest»

Первая подсистема — «Ввода/редактирования тестов» — организует ввод и редактирование исходных тестов. Разработчиком тестов вводятся вопросы, формы и варианты ответов, которые сохраняются в файле в формате XML, соответствующем спецификации. Эта подсистема реализована как обычная тестовая графическая оболочка. Необходимость в ней определяется тем, что описание тестов на языке разметки XML достаточно сложно для обычного преподавателя — разработчика тестов. На выходе подсистемы — тесты в независимом от этой оболочки формате IMS QTI. Это обычный текстовый файл в формате XML.

Вторая подсистема — «Проведение опроса» — непосредственно организует тестирование. Вопросы для опроса воспроизводятся из базы данных тестов. После ответа результаты сохраняются также в формате XML в соответствии со спецификациями IMS QTI Result Reporting в базе данных результатов. Тестирование может быть дистанционным или локальным.

Третья подсистема — «Обработки результатов и сбора статистики» — служит для оценивания результатов и сбора статистики.

Подсистемы работают автономно друг от друга. Поскольку базы данных тестов и результатов тестирования не зависят от программной оболочки, они продолжают существовать после смены программной оболочки тестирования. Появляется возможность создавать, редактировать, накапливать и архивировать тесты в виде, не зависимом от программной системы.

На данный момент система разработана не полностью, но уже реализованы следующие функциональные возможности:

1. Поддерживаются следующие типы вопросов:
   • открытый — пользователь вводит текст ответа. Правильный ответ не определен;
   • истинный/ложный — переключатель выбора между «истиной или ложью», «соглашаться или не соглашаться» и т.п. Ответ тождественно определен;
   • закрытый. Выбор одного правильного ответа из 2-10. Ответ тождественно определен;
   • закрытый. Выбор нескольких правильных ответов из 2-10. Ответ тождественно определен;
   • задания дополнения (или заполнить пробел) — размещается отформатированный вход для текста или целочисленного, десятичного или другого числа, идентифицированного введенной информацией. Тип ответа является или строкой или целочисленным, десятичным или другим числом соответственно для каждого отдельного ответа.
2. Имеется возможность создания сложных тестов, в которых объединяются несколько простых типов.
3. Кроме текстовых данных, поддерживаются графические, видео- и аудиоресурсы.
4. Имеется возможность очень гибко формировать варианты заданий из базы вопросов.
5. Имеется возможность импорта и экспорта данных из других систем, использующих спецификацию IMS QTI.

Мы предлагаем дальнейшее развитие тестирующей системы на основе открытого распространения кодов. Каждый из модулей системы достаточно несложен и может быть доработан или заново разработан заинтересованными организациями. Основной задачей является принятие унифицированных форматов. Это позволит создать устойчивую систему, не зависимую от доступного на сегодняшний день программного обеспечения.

ЛИТЕРАТУРА

1. Спецификация IMS Question & Test Interoperability, v.1.2 – Режим доступа: http://www.imsglobal.org/specifications.cfm.
2. Стандарты информационных технологий в обучающих системах (Learning technology systems standards). – Режим доступа: http://dl.nw.ru/standarts/.

Эту проблему позволит решить только стандартизация представления тестов. Международным стандартом такого представления является спецификация IMS QTI (Question & Test Interoperability).

Разработанная в Новосибирском государственном техническом университете система тестирования «DiTest» поддерживает этот перспективный стандарт.

Основными элементами системы являются модули «ввода и редактирования тестов», «проведения опроса» и «обработка результатов и сбора статистики».

Модульность системы «DiTest» позволяет легкую замену стандартного модуля на модуль, обеспечивающий лучшее использование в конкретной ситуации. При этом нет необходимости замены других частей системы.

Первый модуль — «Ввод и редактирование тестов» — организует ввод и редактирование исходных тестов. Разработчиком тестов вводятся вопросы, формы и варианты ответов, которые сохраняются в файле в формате XML, соответствующем спецификации. Эта подсистема реализована как обычная тестовая графическая оболочка. Необходимость в ней определяется тем, что описание тестов на языке разметки XML достаточно сложно для обычного преподавателя — разработчика тестов. На выходе подсистемы — тесты в независимом от этой оболочки виде.

Второй модуль — «Проведение опроса» — непосредственно организует тестирование. Вопросы для опроса воспроизводятся из базы тестовых заданий. После ответа результаты сохраняются также в формате XML в соответствии со спецификациями IMS QTI Result Reporting в базу данных результатов.

Третий модуль — «Обработка результатов и сбора статистики» — служит для оценивания результатов и сбора статистики. Результаты тестирования могут представляться как в уже обработанном виде, так и без обработки, чтобы преподаватель мог проконтролировать оценку системы.

Существующие сейчас аналоги имеют либо большую функциональность и соответственно большую цену, либо небольшую стоимость и ограниченную функциональность. Не стоит забывать также, что интерфейс у существующих аналогов, как правило, англоязычный, что создает существенные проблемы при внедрении системы в процесс обучения. Мы стремимся сделать нашу систему бесплатной и удобной в первую очередь для русскоязычных пользователей. В нашей системе предусмотрена возможность для перевода интерфейса на любой из доступных языков. Так как в основе формата QTI лежит международная кодировка Unicode, то это обеспечивает возможность создания тестов и их использования в любой стране.

Разрабатываемая система является Internet-ориентированной. Это должно ускорить ее распространение и создание разнообразных тестовых заданий в универсальном формате QTI. Система DiTest обладая необходимой функциональностью и простотой ее расширения является идеальным решением для проведения дистанционных опросов. Система может использоваться независимо, как единый центр тестирования, так и в совокупности с другими оценивающими системами.

Независимость модулей «проведения опроса» и «обработки результатов» исключает несанкционированное получение тестируемым информации о правильном ответе. Клиент-серверная архитектура обеспечивает защиту базы тестовых заданий.

Пользуясь нашей системой или аналогичной, поддерживающей данную спецификацию, пользователи легко смогут обмениваться созданными тестами и результатами опроса. Это позволит решить проблемы совместимости и потери накопленных тестовых данных и результатов при переходе на новые программные оболочки систем тестирования, и как результат — собрать большое количество тестов и получить обширную и главное доступную базу тестовых заданий.