В данной работе приведены результаты оценки качества электронных учебно-методических комплексов (ЭУМК), полученные в процессе реализации проекта 1 «Разработка комплекта нормативных документов, определяющих уровень подготовленности ППС для работы в информационной образовательной среде» (Инновационная образовательная программа НГТУ, 2007-2008 гг.). Формат использованной в проекте инвариантной методики мониторинга разработан и описан в работах [1-2].

Результаты анализа качества ЭУМК позволяют получить опосредованную оценку уровня компетенций преподавателя в области информационно-коммуникационных технологий (ИКТ), отражающую понимание преподавателем задач современного образовательного процесса и характеризуют уровень владения информационными технологиями и конкретными инструментами. Ниже приведено описание основных этапов методики мониторинга уровня подготовленности ППС к работе в ИОС.

Цели: Общая цель: повысить качество подготовки специалистов в НГТУ за счет эффективного использования в учебном процессе ИКТ. Конкретные цели: разработать нормативно-методическую базу и оценочно-аттестационные материалы для мониторинга и оценки уровня ИКТ-компетентности преподавателей; на случайным образом отобранных и выставленных на образовательном портале института дистанционного обучения (ИДО) НГТУ ЭУМК провести практическую апробацию нормативно-методических и оценочно-аттестационных материалов; провести обработку результатов мониторинга, оценить уровень использования ИКТ в учебном процессе НГТУ, сформировать выводы и рекомендации.

1. Задачи и мероприятия мониторинга. Разработать инвариантную методику мониторинга ИКТ-компетентности преподавателей НГТУ. Разработать систему критериев оценки качества ЭУМК анкету эксперта для оценки уровня ИКТ-компетентности преподавателей. Сформировать группу экспертов, провести экспертизу отобранных ЭУМК, обработать результаты, сформировать выводы.
2. Рабочая группа по мониторингу. Руководитель рабочей группы: Никитина Н.Ш. Исполнители: Казанская О.В., Паршукова Г.Б., Юн С.Г., Протасова О.Н., Андрюшкова О.В., Николаева Н.В. Экспертная группа сформирована из исполнителей проекта, экспертов в области качества образования, прошедших обучение по программам ДПО «Экспертиза качества электронного обучения», «Проектирование учебного курса. Определение результатов обучения» или «Подготовка экспертов в области качества образования и качества деятельности преподавателя». Эксперты прошли инструктаж.
3. Сроки проведения мониторинга. Начало – 15.09.2008 г. Окончание – 15.11.2008 г.
4. Локализация процесса мониторинга. ИДО (образовательный портал НГТУ, сайты ИДО, факультетов, кафедр, компьютерные классы ИДО).
5. Статус мониторинга. Первичный (проводится впервые).
6. Объект мониторинга. Выставленные в локальной сети НГТУ ЭУМК.
7. Предмет мониторинга: качество ЭУМК и как следствие уровень ИКТ-компетентности преподавателей, ЭУМК которых были подвержены экспертизе.
8. Нормы качества. Так как мониторинг является первичным, нормы качества ЭУММ не сформированы и являются предметом будущего исследования.
9. Целевые группы. Для мониторинга и оценивания уровня ИКТ-компетентности преподавателей отобрано семь разработанных ими ЭУМК.
10. Методы мониторинга. Методы анкетирования и экспертного оценивание.
11. Методы сбора, обработки и хранения информации. Данный этап экспертизы качества являлся экспериментальным, объем информации небольшой, поэтому особых требований к методам сбора и хранения информации не предъявлялось. Используются средства MS Office для реализации алгоритмов обработки. Должна быть гарантирована конфиденциальность информации, а полученные в результате эксперимента выводы не могут быть использованы для управления на уровне конкретного преподавателя.
12. Инструменты мониторинга. Анкета для мониторинга и оценки качества ЭУМК по сформированной группе показателей качества.
13. Ресурсы, необходимые для мониторинга. Исполнители и бюджет микропроекта, эксперты, компьютерные классы ИДО.
14. План-график реализации мониторинга и оценки качества.
15. Отчет. Результаты представляются в виде аннотированного отчета и описываются в соответствии со структурой задач и мероприятий, приведенных в настоящей методике. Результаты анализируются, формируются рекомендации для последующего использования с целью управления.
16. Бюджет мониторинга. Определяется бюджетом микропроекта.

Актуальность данного проекта определялась неудовлетворенностью специалистов заочного факультета, ИДО, факультета повышения квалификации (ФПК), научно-методического центра (НМЦ) качеством значительной части разработанных и используемых в учебном процессе ЭУМК. Многие годы руководство НГТУ поддерживало работы в области становления и совершенствования образовательных технологий с использованием систем электронной поддержки учебного процесса, вкладывало значительные ресурсы. Однако по косвенным признакам напрашивался вывод о недостаточном качестве ЭУМК. Для принятия управленческих решений в данном направлении было решено провести поисковое исследование, по результатам которого можно подготовить обоснованные выводы и рекомендации. Вторая назревшая проблема, которая предположительно также связана с низкими компетенциями преподавателей в области ИКТ, отсутствие умений, позволяющих осуществлять информационную поддержку собственной учебной, научной и прочей деятельности в информационной системе управления университетом.

Для подтверждения выявленной ситуации был проведен SWOT-анализ качества выделенных для анализа ЭУМК (Strengths – сильные стороны, Weaknesses – слабые стороны, Opportunities – возможности, Threats – угрозы, тревоги). В группу экспертов вошли декан и зам. деканы заочного факультета, специалисты ИДО, НМЦ, ФПК. Отмечено следующее.

Сильные стороны: в НГТУ давно развивается дистанционное, электронное обучение, финансируются проекты по созданию ЭУМК; в локальной сети выставлено более 1000 электронных учебных ресурсов; есть отдельные комплексы хорошего качества; развивается нормативная база электронного обучения; существуют программы повышения квалификации для разных целевых групп; есть подразделения, осуществляющие поддержку преподавателей (НМЦ, ФПК, ИДО), подготовлены эксперты по качеству электронного обучения; есть технологическая среда и практический опыт организации учебного процесса с использованием ЭУМК; есть очевидная востребованность ЭУМК всеми формами обучения.

Слабые стороны: не сформировано понятие «качество ЭУМК»; нет значимых стимулирующих механизмов для авторов и разработчиков, преподаватели не владеют технологиями создания ЭУМК; ЭУМК представлены в разных технологических средах, выставляются на разных сайтах; большинство ЭУМК не содержит элементов управления обучением (для самостоятельного изучения курса).

Возможности, рекомендации по улучшению: создать нормативную базу, регламентирующую процессы создания ЭУМК: ввести понятия «нормы качества ЭУМК», показатели качества, определить типы используемых в вузе систем технологической поддержки ЭУМК, разработать процедуру экспертизы качества ЭУМК; создать систему стимулирующих механизмов для авторов и разработчиков ЭУМК; создать программы ПК для преподавателей и специалистов, разрабатывающих ЭУМК.

Тревоги, угрозы, препятствия: унифицированный подход к разработке ЭУМК, регламентированный нормативной базой, обучением, уничтожит разнообразие ЭУМК; есть опасения, что при разработке нормативной базы слишком поспешным, принудительным и формальным будет внедрение; опасно чрезмерное внимание к данному показателю деятельности преподавателя, тем более с целью управления; в вузе не найдется достаточно ресурсов для проведения работ в большом масштабе; есть опасение неквалифицированной оценки ЭУМК.

На основании проведенного предварительного анализа был объявлен конкурс на выполнение проекта «Разработка комплекта нормативных документов, определяющих уровень подготовленности ППС для работы в информационной образовательной среде», сформирована команда проекта и выделены ресурсы. В процессе реализации проекта создан комплект проектов нормативных документов: Положения «Уровни компетентности ППС НГТУ в области ИКТ», методики мониторинга (анкета и тесты) уровня подготовленности ППС к работе в информационной образовательной среде (ИОС), предложений по учету ИКТ-компетенций при оценке деятельности преподавателей, структура модульной программы повышения квалификации. Проведена экспертиза семи ЭУМК пятью экспертами.

Проект носил поисковый характер, задача состояла в том, чтобы уточнить проблему, выявить недостатки в этом направлении деятельности университета, предложить выводы и рекомендации по улучшению. Члены рабочей группы проекта видели решение задачи в создании системы мониторинга и оценивания уровня ИКТ-компетентности преподавателей; в формировании и закреплении общего регламента процессов мониторинга, в возможности установления норм качества; в использовании результатов мониторинга ИКТ-компетентности для управления; создании системы общих требований к разработке модульных многоуровневых программ повышения квалификации преподавателей в области ИКТ.

В таблице 1 приведены основные показатели анкеты, используемой для мониторинга качества ЭУМК и приведено их пояснение.

Таблица 1. Показатели качества ЭУМК

Шкала измерения показателей – 0, 1, 2, 3, 4, 5, 6. Оценивание ЭУМК проводилось по показателям 2-6. Показатель «Легитимность ЭУМК» был введен позже. С точки зрения репрезентативности статистики полученная выборка мала, но задача состояла в апробировании инструментария (методики и анкеты), и эта задача выполнена. Рассмотрим некоторые полученные при мониторинге результаты после их простейшей статистической обработки. Рассчитывались средние значения и среднеквадратические отклонения показателей. Итоговые значения приведены в таблице 2 и на лепестковой диаграмме.

Таблица 2. Средние значения и среднеквадратические отклонения показателей качества ЭУМК

Рис. 1. Средние значения показателей ЭУМК

Проведенные исследования позволяют сделать вывод, что мнения экспертов относительно ЭУМК 1, 3, 5 и 7 достаточно согласованы и расходятся в среднем не более чем на 1 балл. В то же время по УМК 2, 4 и 6 среднеквадратическое отклонение достигает 2 баллов. Однако стоит заметить, что это происходит преимущественно по показателям: 2 – «Наличие элементов управления учебным процессом (для реализации возможности самостоятельного обучения)» и 4 – «Пользовательские требования к ЭУМК». Значительное расхождение мнений по четвертому показателю объяснимо – это наиболее субъективный показатель, большое влияние оказывают личные предпочтения и точка зрения эксперта (на уровне «нравится – не нравится»). Расхождение мнений по второму показателю говорит о том, что среди экспертов нет еще устоявшегося мнения по поводу состава и содержания элементов управления учебным процессом. Очевидно, необходимо провести обсуждение данного вопроса, чтобы выявить причину разногласий, определить требования к содержанию элементов управления учебным процессом.

Несогласованность мнений по показателю 3 – «Техническая сложность реализации ЭУМК», объясняется разным уровнем подготовки экспертов в данной области. Следовательно, либо необходимо уделить большее внимание этому вопросу при подготовке экспертов, либо (что представляется наиболее целесообразным) проводить техническую экспертизу отдельно специально отобранными экспертами.

Использование представления в виде лепестковой диаграммы полезно не только для демонстрации результатов экспертизы. С её помощью можно установить нормы качества по отдельным показателям (например, допустимый минимальный уровень, диапазон «номинальных» значений), и на основе диаграммы для каждого показателя сделать заключение о качестве ЭУМК и его соответствии принятым нормам. Такая информация может использоваться для формирования практических рекомендаций отдельному преподавателю и для выявления общесистемных несоответствий, требующих подготовки и принятия решения на уровне университета.

_________________________

1Состав авторского коллектива: руководитель – Н.Ш. Никитина; исполнители – О.В. Казанская , Г.Б. Паршукова, С.Г. Юн, О.Н. Протасова, О.В. Андрюшкова, Н.В. Николаева. ↑

 

Литература

 

1. Никитина Н.Ш., Николаева Н.В. Мониторинг и оценивание качества в образовании. Методика мониторинга. Часть 1. [Текст]: Методическое пособие / Никитина Н.Ш., Николаева Н.В. – Новосибирск: Изд-во НГТУ, 2008. – 41 c.
2. 2. Никитина Н.Ш., Николаева Н.В. Мониторинг и оценивание качества в образовании. Методы мониторинга. Часть 2. Обучение менеджменту качества в образовании [Текст]: Методическое пособие / Никитина Н.Ш., Николаева Н.В. – Новосибирск: Изд-во НГТУ, 2008. – 60 с.