Методика мониторинга и оценивания качества электронных учебно-методических комплексов

Разделы: Повышение квалификации, Электронные учебно-методические комплексы

Общие положения. Материал данной статьи отражает результаты работы творческого коллектива НГТУ1, выполнившего микропроект «Разработка комплекта нормативных документов, определяющих уровень подготовленности ППС к работе в информационной образовательной среде» (ИОС) в рамках Инновационной программы НГТУ «Высокие технологии» (2007 – 2008 гг.). Актуальность работы определяется возникшим противоречием между потребностью современного профессионального образования в использовании информационно-коммуникационных технологий (ИКТ) в профессиональном образовании неготовностью большой части преподавателей к активному использованию ИКТ в своей учебной деятельности. Прежде всего, это определяется низким уровнем ИКТ-компетентности преподавателей, недостаточным для качественной организации учебного процесса с использованием быстро совершенствующихся информационных ресурсов.

В соответствии с планом работ по микропроекту выполнено следующее: разработано Положение «Уровни компетентности преподавателей и специалистов (ППС) НГТУ в области ИКТ», методика мониторинга уровня подготовленности ППС к работе в информационной образовательной среде (ИОС), предложения по учету ИКТ-компетентности преподавателей при комплексной оценке качества его деятельности; разработана структура многоуровневой программы ДПО по применению ИКТ в образовании, учитывающая результаты мониторинга и индивидуальные потребности преподавателя; проведена апробация методики мониторинга и внешняя экспертиза нормативных документов.

В настоящей статье приведена методика оценки уровня ИКТ-компетентности ППС. Формат методики мониторинга и оценки качества может использоваться для оценки качества различных компонентов деятельности вуза – он инвариантен к объектам мониторинга. Будем рассматривать мониторинг как комплексную систему наблюдений состояния и изменений, оценки и прогноза по отношению к качеству высшего образования (как результата, процесса, образовательной системы, ее внутренних и внешних связей) [1]. Она может рассматриваться либо как внутренняя процедура вуза, проводимая специально подготовленными, наделенными полномочиями и ответственностью экспертами по заранее разработанной и утвержденной программе, либо как самооценка — инструмент улучшения и управления процессами и результатами персональной деятельности участника образовательного процесса [2 — 3]. Методика – это установленный способ осуществления некоторой деятельности, модель научного поиска, развернутого во времени [4]. Методика обычно включает в себя: цели и область деятельности; что должно быть сделано и кем; когда, где и как это должно быть осуществлено; какие материалы, документы и оборудование будет использовано, какие методы и инструменты обработки должны быть применены; каким образом следует регистрировать и контролировать результаты.

Описание методики мониторинга. Ниже приведено описание методики мониторинга уровня подготовленности ППС к работе в ИОС в виде формата с последовательностью и характеристикой этапов. Методика утверждается на уровне, определенном в вузе.

Наименование методики: Методика мониторинга уровня подготовленности ППС к работе в ИОС.

Наименование организации: Новосибирский государственный технический университет.

Наименование подразделения: Институт дистанционного образования (ИДО), факультет повышения квалификации преподавателей.

Цели: Общая цель: повысить качество подготовки специалистов в НГТУ за счет эффективного использования в учебном процессе ИКТ. Конкретные цели: Цель 1: разработать нормативно-методическую базу и оценочно-аттестационные материалы для мониторинга и оценки уровня ИКТ-компетентности преподавателей. Цель 2: на контрольной группе преподавателей НГТУ и выставленных на образовательном портале ИДО ЭУМК провести практическую апробацию нормативно-методических и оценочно-аттестационных материалов. Цель 3: провести обработку результатов мониторинга, оценить уровень использования ИК’Г в учебном процессе НГТУ, сформировать выводы и рекомендации.
Задачи мониторинга. Задачи для достижения цели 1: Задача 1.1. Разработать проект методики мониторинга ИКТ-комнетентности преподавателей НГТУ. Задача 1.2. Разработать измерительный материал для мониторинга и оценки уровня ИКТ-компетентности преподавателей на основе сформированных показателей полноты и качества представленных в локальной сети НГТУ ЭУМК (анкета для эксперта). Задачи для достижения цели 2: Задача 2.1. Провести практическую апробацию измерительного материала для мониторинга и оценки уровня ИКТ-компетентности преподавателей. Задачи для достижения цели 3: Задача 3.1. Провести обработку результатов мониторинга, оценить уровень ИКТ-компентности ППС, сформировать выводы и рекомендации, подготовить отчет.
Мероприятия. К задаче 1.1. Мероприятие 1.1.1. Разработать проект инвариантной методики мониторинга ИКТ-компетентности преподавателей НГТУ. Обсудить, отредактировать. К задаче 1.2. Мероприятие 1.2.1. Разработать систему критериев оценки качества ЭУМК для опосредованной оценки уровня ИКТ-компетентности преподавателей. Мероприятие 1.2.2. Разработать анкету для мониторинга уровня ИКТ-компетентности преподавателей через анализ подготовленных и выставленных в локальной сети ЭУММ. Мероприятие 1.2.3. Определить алгоритм обработки результатов оценки уровня ИКТ-компетентности преподавателей. К задаче 2.1. Мероприятие 2.1.1. Сформировать группу экспертов для проведения экспертизы уровня ИКТ-компетентности преподавателей с помощью разработанной анкеты. Провести обучение (инструктаж) экспертов. Мероприятие 2.1.2. Провести экспертизу уровня ИКТ-компетентности преподавателей с помощью разработанной анкеты. К задаче 2.3. Мероприятие 2.3.1. Обработать результаты экспертного оценивания уровня ИКТ-компетентности преподавателей. К задаче 3.1. Мероприятие 3.1.1. Подготовить отчет об уровне использования РПСТ в учебном процессе, отметить положительные и отрицательные стороны, привести примеры лучшего опыта, сформировать рекомендации.
Риски. На данном этапе риски не просматривались.
Рабочая группа по мониторингу. Руководитель рабочей группы: Никитина Н.Ш. Исполнители: Казанская О.В., Паршукова Г.Б., Юн С.Г., Протасова О.Н., Андрюшкова О.В., Николаева Н.В. Экспертная группа сформирована из исполнителей проекта, экспертов в области качества образования, прошедших обучение по программам ДПО «Экспертиза качества электронного обучения», «Проектирование учебного курса. Определение результатов обучения» или «Подготовка экспертов в области качества образования и качества деятельности преподавателя». Эксперты прошли инструктаж.
Сроки проведения мониторинга. Начало – 15.09.2008 г. Окончание – 15.11.2008 г.
Локализация процесса мониторинга. ИДО (образовательный портал НГТУ, сайты ИДО, факультетов, кафедр, компьютерные классы ИДО).
Статус мониторинга. Первичный (мониторинг проводится впервые).
Характеристика предыдущего этапа мониторинга – нет.
Решения, принятые на предыдущем этапе мониторинга – нет.
Объект и предмет мониторинга. К задаче 2.1. Объект мониторинга: выставленные в локальной сети НГТУ ЭУММ по учебным дисциплинам.
Предмет мониторинга: качество ЭУМК с точки зрения установленных показателей качества и как следствие уровень ИКТ-компетентности ППС, ЭУММ которых были подвержены экспертизе. Предмет мониторинга: ИКТ-компетентность преподавателей – членов целевой группы.
Нормы качества. Так как мониторинг является первичным, нормы качества не сформированы и являются предметом будущего исследования.
Целевые группы. Для мониторинга и оценивания качества ЭУМК с целью опосредованной оценки уровня ИКТ-компетентности преподавателей, разработавших и использующих в учебном процессе эти материалы, отобрано 7 ЭУМК, выставленных в сети.
Методы мониторинга. К задаче 2.1. Используются методы анкетирования и экспертного оценивание. Анкетирование проводится с использованием специально разработанной анкеты, позволяющей оценить качество ЭУМК по сформированной группе показателей качества. Анкета является также предметом данного исследования. Полученная в результате анкетирования и обработанная информация позволит сделать первые рекомендации относительно норм качества (границ норм качества) по отдельным показателям качества ЭУМК. Кроме того, будут выявлены и в последующем устранены недостатки разработанной анкеты. Первый вариант анкеты оценки качества ЭУМК для опосредованной оценки уровня ИКТ-компетентности ППС приведен ниже.
Методы сбора, обработки и хранения информации. Данный этап экспертизы качества является экспериментальным, объем информации небольшой, поэтому особых требований к методам сбора и хранения информации не предъявляется. Используются средства MS Office для реализации алгоритмов обработки. Должна быть гарантирована конфиденциальность информации, а полученные в результате эксперимента выводы не могут быть использованы для управления на уровне конкретного преподавателя.
Инструменты мониторинга. К задаче 2.1. Анкета для мониторинга и оценки качества ЭУМК по сформированной группе показателей качества.
Ресурсы, необходимые для мониторинга. Исполнители и бюджет микропроекта, эксперты, компьютерные классы ИДО.
План-график реализации мониторинга и оценки качества. План-график мониторинга приводится в отдельной таблице, например, в виде диаграммы Ганта.
Отчет. Результаты представляются в виде аннотированного отчета и описываются в соответствии со структурой задач и мероприятий, приведенных в настоящей методике. Результаты анализируются, формируются рекомендации для последующего использования с целью управления.
Бюджет мониторинга. Определяется бюджетом микропроекта.

Выводы. Результаты экспериментальной апробации настоящей методики и измерительного инструмента будут приведены в следующих выпусках настоящего журнала. Разработанная нормативно-методическая база обсуждена на научно-методическом семинаре и получила рекомендацию к использованию в НГТУ для целей практического мониторинга качества учебного процесса и деятельности преподавателя как еще один показатель качества. На основе описанной методики разработана программа повышения квалификации «Мониторинг и оценивание качества в профессиональном образовании».

_________________________

1Состав авторского коллектива: руководитель – Н.Ш. Никитина; исполнители – О.В. Казанская, Г.Б. Паршукова, С.Г. Юн, О.Н. Протасова, О.В. Андрюшкова, Н.В. Николаева. ↑

ЛИТЕРАТУРА:

Селезнева Н.А. Качество высшего образования как объект системного исследования: Лекция-доклад. Изд. 4-е, стереотипное. – М: Исследовательский центр проблем качества подготовки специалистов, 2004. – 95 с.
Никитина Н.Ш., Николаева Н.В. Мониторинг и оценка качества процессов оказания образовательных услуг в вузе // Университетское управление: практика и анализ, 2007, №3 (49). С. 91-96.
Никитина Н.Ш., Николаева Н.В. Модель процессов производства и оказания услуг в образовании // Университетское управление: практика и анализ, 2007, №1 (47). С. 62-68.
Международный стандарт ИСО 8402: 1994 (E/F/R). Управление качеством и обеспечение качества: Словарь. ИСО, 1994. – 34 с.

Приложение

Анкета экспертизы качества ЭУМК для опосредованной оценки уровня ИКТ-компетентности преподавателя

Интегрированный показатель (описание его содержания)			Компетенции
Наименование показателя	Шкала	Пояснение	Компетенции
1. Легитимность ЭУМК
1.1. Отсутствие нарушений чужих авторских и смежных прав, права интеллектуальной собственности	0 1 2 3 4 5 6	Показатель позволяет оценить знание автором основ авторского и смежных прав, степень «авторства» материалов, избежать негативных последствий нарушения законодательства о нарушении авторских и смежных прав: в материалах имеются ссылки на заимствованные материалы согласно правилам цитирования; общее количество заимствованных материалов не превышает 30%; полностью заимствованные материалы сгруппированы в Хрестоматии	Понимание и исполнение законодательства по авторскому и смежным правам
1.2. Защищенность ЭУМК	0 1 2 3 4 5 6	Владение инструментами защиты собственных авторских прав, есть возможность оценить защищенность представленных материалов при использовании в открытой сети Интернет: имеется бумажная публикация материалов автора; регистрация в Информрегистре электронных материалов автора; знак копирайта или иные лицензии (например, Creativ Commons), указывающие на авторство	Владение инструментами защиты собственных авторских прав
2. Полнота ЭУМК
2.1. Полнота состава ЭУМК	0 1 2 3 4 5 6	Показатель «Полнота» позволяет оценить присутствие в ЭУМК следующих элементов: рабочая программа; инструкция по работе с ЭУМК; материалы к лекциям (слайд-конспекты, полнотекстовые лекции, конспекты лекций, электронные учебники и пр.); методические рекомендации к видам занятий, предусмотренных учебным планом и отраженных в инструкции; формы и технологии промежуточного и итогового контроля (например, разработанное преподавателем положение о модульно-рейтинговой системе); контролирующие материалы (контрольные вопросы для зачета, экзамена, примеры тестовых заданий и др.); список литературы; паспорт ЭУМК, составленный в соответствии с утвержденной рабочей программой дисциплины. Примечание; Базовый перечень элементов должен быть закреплен нормативно. Формат инструкции по работе с ЭУМК должен быть регламентирован	Понимание и исполнение требований, предъявляемых к структуре ЭУМК, к обязательным элементам
2.2. Соответствие структуры и объема ЭУМК рабочей программе и учебному плану	0 1 2 3 4 5 6	Показатель «Соответствие…» позволяет проверить: все ли виды деятельности студентов, определенные графиком учебного процесса и рабочей программой дисциплины; представлены в ЭУМК; степень соответствия объема представленных материалов рабочей программе курса (соответствие объема – количеству часов по учебному плану)	Понимание и исполнение требований, предъявляемых к структуре ЭУМК, его обязательным элементам, соотношению их объемов
3. Наличие элементов управления учебным процессом (для реализации возможности самостоятельного обучения)
3.1. Руководство по учебной дисциплине	0 1 2 3 4 5 6	Формат руководства должен соответствовать принятому регламенту	Понимание процессов управления учебной деятельностью и умение организовать ее с помощью элементов ЭУМК. Умение оказать помощь в формировании траектории самостоятельных учебных действий обучающихся
3.2. Контролирующие материалы для самоконтроля результатов обучения	0 1 2 3 4 5 6	В контролирующие материалы могут быть включены контрольные вопросы для промежуточного и итогового контроля, практические задания, задачи, примеры заданий для тестового контроля и пр.	Владение технологиями конструирования материалов для итогового и промежуточного контроля, в том числе тестового
3.3. Используемые средства связи «Преподаватель – Студент»	0 1 2 3 4 5 6	Наличие электронной почты, расписания консультаций, 1CQ и т.д.	Владение современными коммуникативными технологиями
4. Техническая сложность реализации ЭУМК
4.1. Сложность использованной платформы ЭУМК	0 1 2 3 4 5 6	Оценивается, насколько зависит представленный ЭУМК от технологической платформы	Понимание основ технологической разработки электронных образовательных ресурсов
4.2. Разнообразие использованных в ЭУМК форматов материалов	0 1 2 3 4 5 6	В представленном ЭУМК присутствуют: текст, графика, видео, звук, анимация	Понимание основ технологической разработки ЭУМК. Владение мультимедийными технологиями
4.3. Присутствие в ЭУМК виртуальных элементов	0 1 2 3 4 5 6	В представленном ЭУМК присутствуют: демонстрационные модели, тренажеры, виртуальные лабораторные стенды	Понимание основ технологической разработки ЭУМК, владение мультимедийными технологиями
5. Степень соответствия пользовательским требованиям к ЭУМК
5.1. Читабельность	0 1 2 3 4 5 6	Легкость и удобство чтения текстов; структурированность материала на малые порции (1-1,5 экрана); иерархичность построения материала	Владение методикой построения ЭУМК
5.2. Применение элементов визуализации электронной информации	0 1 2 3 4 5 6	Структурированность и «отформатированность» текста единообразие оформления текстовых элементов; наличие легко распознаваемых заголовков; качество иллюстраций и таблиц; качество дизайна интерфейса, степень его «дружественности»; применение основ юзабилити	Владение методикой построения ЭУМК
5.3. Использование элементов навигации	0 1 2 3 4 5 6	Возможность быстрого перехода в нужное место ЭУМК по внутренним ссылкам по ЭУМК; использование внешних ссылок	Владение методикой построения ЭУМК
6. Представление персональной информации о преподавателе в ИСУ НГТУ
6.3. Общая информация	0 1 2 3 4 5 6	В ИСУ должны быть заполнены разделы: образование, опыт работы, стаж научно-педагогической работы	Владение навыками работы в информационной системе университета (ИСУ)
6.2. Список учебно-методических работ	0 1 2 3 4 5 6	Наличие в ИСУ	Владение навыками работы в ИСУ
6.3. Научная работа	0 1 2 3 4 5 6	В ИСУ должны быть заполнены разделы; сведения о диссертации, НИР, направления научных исследований, монографии, патентные документы, научные публикации, гранты студентов, научные работы студентов	Владение навыками работы в ИСУ

Никитина Надежда Шагабановна – декан факультета повышения квалификации преподавателей, кандидат технических наук, профессор;

Николаева Наталья Викторовна – директор представительства

01.01.2010 Сборник трудов по проблемам дополнительного профессионального образования / Межгос. ассоц. последипл. образования, Ин-т повышения квалификации гос. служащих. – М. : МАПДО : ИПК госслужбы, 2010. – Вып. 17. – С. 31-39.

Никитина Н.Ш., Николаева Н.В.