Опыт НГТУ в области практического мониторинга качества систем электронной поддержки учебной деятельности

Качество высшего образования сегодня – тема большинства дискуссий образовательных сообществ России и за рубежом. Обсуждаемые вопросы качества, касаются не только традиционного обучения, но и не менее актуальны применительно к электронному и дистанционному обучению (ЭО, ДО). Многочисленные исследования в области ЭО и ДО концентрируются на вопросах разработки нормативной базы; анализа качества ресурсов, процессов и результатов; проектирования электронных учебно-методических комплексов; разработки новых и адаптации к особенностям ЭО известных образовательных технологий; проектирования систем технической, программной и технологической сред.

Для организации и последующего поддержания в актуальном состоянии электронного обучения важно обеспечить качественное функционирование всех подсистем поддержки ЭО, которые позволят реализовать образовательный процесс. К таким подсистемам следует отнести:

1. Подсистему нормативно-методического обеспечения, обеспечивающую:

— разработку внутренних нормативных документов вуза, регламентирующих набор обучающихся, первичную диагностику их готовности к работе в системе ЭО и ДО, документальное сопровождение, требования к компетенциям преподавателей и специалистов систем поддержки и пр.;

— педагогическое проектирование качественных учебно-методических комплексов (ЭУМК), удовлетворяющих федеральным и региональным требованиям;

—  планирование и сопровождения основных и вспомогательных процессов ЭО и ДО и пр.);

— создание методик, планирование и проведение мониторинга и оценивания качества условий (программ, ресурсов, в том числе кадровых, учебно- и нормативно-методических), процессов, в том числе учебного и административно-управленческого, и всех других компонентов;

2. Подсистему учебно-методического обеспечения, отвечающую требованиям принятой в вузе нормативной базы и регламентирующей разработку структуры, сценариев и содержания ЭУМК, содержащих основные виды учебных изданий в электронном виде;

3. Подсистему кадрового обеспечения и педагогического сопровождения, занимающуюся подбором и подготовкой (обучением и повышением квалификации) основных участников учебного процесса с электронной поддержкой: преподавателей, тьюторов, администраторов, экспертов по качеству, сотрудников деканата, специалистов по развитию персонала системы ЭО, сотрудников программно-технического сопровождения и пр.;

4. Подсистему программно-технического сопровождения, основной функцией которой является организация технического обеспечения процесса обучения, программно-техническая поддержка образовательного портала учебного заведения, программная поддержка ЭО, удаленного тестирования, консультирования и пр.;

5. Подсистему организационно-административного обеспечения, отвечающую за организацию и документальное сопровождение учебного процесса: организацию работы с абитуриентами и в целом приемной комиссии, оформление контрактов и ведение финансовых операций, оформление и выдачу студенческих документов, справок, выписок и др.;

6. Подсистему мониторинга и оценивания качества, ответственную за разработку методик мониторинга, оценивания, контроля и управления качеством различных компонентов учебного процесса, его условий, процессов, результатов и обеспечивающих подсистем.

В настоящее время в НГТУ электронное обучение и системы электронной поддержки активно внедряются во все сферы учебной и управленческой деятельности. Для школьников организованы дистанционные курсы подготовки к поступлению в вуз и подготовительные курсы для сдачи ЕГЭ с применением интернет-тренажеров по основным дисциплинам: физике, математике, русскому языку. Факультет повышения квалификации (ФПК) НГТУ использует ЭУМК программ повышения квалификации и элементы технологий ЭО и ДО, в частности, для выполнения практических заданий, подготовки учебных итоговых проектов. Такая, можно сказать, комбинированная форма повышения квалификации, как показал опыт, чрезвычайно актуальна и востребована преподавателями.

В вузе активно используется, расширяется и постоянно совершенствуется система информатизации, поддерживающая все основные процессы (планирования и аналитической отчетности, управления, финансовой, учебной и научной деятельности, системы управления качеством и др.). В настоящей статье остановимся только на процессах, обеспечивающих учебную деятельность.

Значительная часть преподавателей вуза, как технических, так и гуманитарных кафедр, уже не мыслят свою практическую педагогическую деятельность без ЭО и его элементов, проектируют учебный процесс по дисциплине, используя собственные электронные учебно-методические ресурсы, технологии удаленного тестирования, консультирования, приема заданий и т.д. Преподаватели совершенствуют свои компетенции в области ЭО и ДО самостоятельно или повышая квалификацию в рамках предлагаемых НГТУ и другими ведущими вузами России программ в области ЭО.

ЭО и ДО являются основой формой организации учебного процесса Института дистанционного обучения (ИДО) НГТУ с использованием электронной среды обучения (ЭСО) DiClass [1], разработанной и постоянно актуализируемой специалистами института. Основной функцией ЭСО является обеспечение взаимодействия основных участников учебного процесса – преподавателей, студентов, специалистов всех систем поддержки. В ЭСО DiClass преподавателям и студентам доступны: электронные учебно-методические комплексы (ЭУМК) по дисциплинам, лента новостей, журнал успеваемости, все виды занятий, в том числе семинары и консультации, возможность обмена с преподавателями выполненными работами и личными сообщениями. Для тьюторов (менеджеров учебного процесса) и экспертов по качеству доступны функции управления рабочими учебными планами и учебными группами, функции мониторинга различных составляющих учебного процесса. Объектами мониторинга могут быть любые компоненты и участники учебного процесса, а предметом мониторинга – их качество. Ресурсы ИДО используют преподаватели самых разных уровней, форм и технологий обучения: очного, дистанционного, комбинированного, довузовской подготовка, повышения квалификации,  профессиональной переподготовки, консалтинга и пр.

В настоящий момент в НГТУ функционирует и постоянно пополняется электронная библиотечная система (ЭБС). Разработано положение о внутривузовском электронном издании, утверждена методика мониторинга и процедура подготовки ЭУМК и отдельных видов электронных изданий к регистрации в Информрегистре РФ (г. Москва). Фонд ЭБС НГТУ представлен полнотекстовыми электронными образовательными ресурсами (ЭОР), объединяющими:

— электронные версии учебных ресурсов, изданных в Издательстве НГТУ: учебные и методические пособия (начиная с 1999 года издания); учебники (начиная с 2004 года издания);

— ЭУМК в системе управления электронными курсами DiDesk (как подсистемы DiClass) ИДО (за 2010-2011 г.г.), включающие конспекты и слайд-констпекты лекций, методические пособия, контролирующие материалы в разных форматах, рекомендации по изучению дисциплин и пр.;

—  монографии;

—  неофициальные ресурсы, сборники задач и упражнений и др. типы учебных изданий.

На рисунке 1 представлена количественная характеристика разных типов ЭОР, размещенных в ЭБС НГТУ.

 

 Рисунок 1. Количественная характеристика ЭОР в ЭБС НГТУ

 На основе приведенной статистики можно сделать вывод не только о достаточности, но и о высокой степени полноты и разнообразии ресурсов НГТУ для обеспечения учебного процесса с использованием ЭО и ДО технологий. Структурными подразделениями вуза, хранителями ЭОР разных типов, являются Издательство, научная библиотека и ИДО. Однако, при всем многообразии и многочисленности ЭОР у специалистов, работающих в системе ЭО НГТУ, преподавателей и студентов, как основных потребителей образовательной услуги, реально ощущается неудовлетворенность качеством и некоторых ЭУМК, и систем системы поддержки в целом. Такая ситуация поставила вопрос о необходимости разработки универсальной методики мониторинга, позволяющей оценивать качество различных компонентов ЭО и ДО, выявлять проблемы и отклонения от норм качества, делать содержательные выводы и рекомендации по устранению несоответствий и их последующему предотвращению. При этом субъектами мониторинга должны стать потребители образовательных услуг: студенты, преподаватели, специалисты ИДО, издательства, библиотеки, деканатов, учебного отдела – всех, кто использует ЭОР в обучении и управлении.

В НГТУ разрабатывается и готовится к сертификации система менеджмента качества, где одной из документированных процедур является процедура СМК-ДП-8.2.1 «Мониторинг удовлетворенности потребителей и персонала». Данная документированная процедура предназначена для управления процессом мониторинга удовлетворенности потребителей и персонала путем определения запросов потребителей, запросов персонала и  измерения их удовлетворенности [2]. Основу процедуры должны составлять собственно методики мониторинга с комплектом измерительного инструментария: анкет, опросных листов, тестов и пр.

В НГТУ разработана и введена в практику инвариантная методика мониторинга и оценивания качества [3]. Методика апробирована при проведении мониторинга удовлетворенности заинтересованных сторон ЭО, качеством ЭУМК, программами повышения квалификации среднего звена управленческих кадров вузов и др [4, 5]. Методика инвариантна к объекту и предмету мониторинга и имеет следующую структуру:

— наименование методики и подразделения, на базе которого проводится мониторинг;

— рабочая группа по мониторингу с распределением ролей;

— цели мониторинга: общая и конкретная (возможна иерархия целей);

— задачи и мероприятия мониторинга;

— риски (неуправляемые влияния внешней среды);

— сроки мониторинга и его локализация (с привязкой к задачам);

— статус мониторинга (первичный, коррекционный), характеристика предыдущего этапа и принятые решения (для коррекционного этапа);

— объект и предмет мониторинга (изменения в объекте и предмете мониторинга для коррекционного этапа);

— показатели (нормы) качества для объекта мониторинга;

— целевые группы опрашиваемых (особенности, требования к составу и количеству, профессиональные и социальные характеристики, ограничения);

— используемые методы мониторинга, сбора, обработки и хранения информации;

— инструменты мониторинга (анкеты, опросные листы, тесты, таблицы, программное обеспечение, форматы представления данных, оборудование и его характеристики);

—  ресурсы (по задачам, мероприятиям), план-график и бюджет мониторинга;

— отчет (требования к структуре, формату, уровню детализации, формам представления информации, рекомендациям, перечень должностных лиц для передачи информации).

В предлагаемой статье приведем некоторые результаты мониторинга, практически реализуемого в НГТУ в области ЭО и ДО. Сотрудники деканата ИДО и эксперты по качеству обратили внимание, что студенты в процессе обучения задают много уточняющих вопросов. Поэтому было принято решение провести анализ вопросов, запрашивающих дополнительные сведения, требующих уточнений и разъяснений, содержащих претензии к персоналу, преподавателям, тьюторам и системам поддержки. Систематизация таких вопросов, сообщений и претензий студентов, как правило, позволяют выявить недостатки в работе конкретных подсистем ЭО и специалистов, оценить качество ЭУМК, что, в свою очередь, позволяет косвенно определить источники проблем, выявить факторы, влияющие на качество ЭО, и сформировать выводы и рекомендации по совершенствованию.

Цель эксперимента заключалась в систематизации наиболее типичных вопросов, сообщений и претензий студентов, поступающих участникам процесса обучения (преподавателям, тьюторам, специалистам технической поддержки и сотрудникам деканата), выявлении причин, порождающих вопросы и определении проблемных подсистем поддержки ЭО с возможностью формирования рекомендаций для последующего устранения и предотвращения повторного появления проблем и улучшения качества их функционирования.

Для исследования случайным образом отобрано 510 вопросов и сообщений студентов, присланных в ИДО НГТУ в 2010–2012 гг. Наиболее часто встречающиеся вопросы и сообщения обработаны и систематизированы по категориям проблем, замыкающимся на основные подсистемы электронной среды обучения, описанные выше. Результаты обработки представлены в таблице 1.

Таблица 1

Результаты обработки вопросов и сообщений студентов, обучающихся с использованием технологий ЭО в ИДО НГТУ

 

Блоки вопросов и сообщений	Причины, порождающие вопросы и сообщения	Проблемная подсистема поддержки	Количество и доля вопросов (%)
1. Уточнение правил и порядка изучения дисциплины и прохождения промежуточного и итогового контроля. Сообщения, связанные с правилами и порядком процесса коммуникации между студентом и преподавателем	Недостаточный уровень компетенций преподавателей для выполнения функций педагогического проектирования ЭОР, организации и управления учебным процессом в электронной среде обучения	Кадровой и педагогической	215 (42,2)
2. Уточнение правил и порядка проведения сессии, сообщения, связанные с оплатой обучения, графиком и условиями сдачи задолженностей	Неудовлетворенность организацией обучения, документооборота (работа с ведомостями, расписанием занятий, консультаций и пр.)	Организационно-административной	133 (26,1)
3. Уточнение процедуры проведения удаленного тестирования. Сообщения о технических сбоях в системе, неудобстве интерфейса и недостаточном наборе функций подсистем и системы в целом	Неудовлетворенность студентов работой в электронной среде обучения (diClass) и в системе тестирования (diTest) в контексте конкретных используемых функций	Программно-технической	90 (17,6)
4. Уточнение правил и порядка работы с ЭУМК. Вопросы, относящиеся к структуре, логичности и полноте ЭУМК, поиску необходимой информации (легкость ориентирования в ЭУМК, понятность, логичность, доступность функций и т.д.)	Неудовлетворенность качеством, полнотой электронных учебно-методических материалов и методическими рекомендациями по использованию ЭУМК	Учебно-методической, кадровой и педагогической	57 (11,2)
Прочие вопросы			15(2,9%)

 Из анализа видно, что значительная часть проблем студентов, использующих технологию ЭО, относится к подсистеме кадровой и педагогической поддержки (215 вопросов, 1-й и частично другие блоки). Вопросы и сообщения здесь носят характер уточнения правил и порядка изучения дисциплины, регламента прохождения промежуточного и итогового контроля, условий получения зачетов по видам работ. Большое количество сообщений связанны с правилами и технологией процесса коммуникации между студентом и преподавателем, оперативностью такого взаимодействия. Можно предположить, что преподаватели при проектировании ЭУМК не уделяют должного внимания организации эффективного управления удаленным обучением с использованием возможностей технологий ЭО или имеют недостаточные компетенции в данном вопросе.

Второй по актуальности блок вопросов и проблем относится к подсистеме организационно-административной поддержки (113 вопросов): как правило, уточняются регламенты и графики различных учебных мероприятий, правила и условия обучения, требования и формы проведения текущего и итогового контроля, условия аттестации и своевременность её отражения в электронных журналах. Часть вопросов данного блока относится к оформлению документов: приказов, ведомостей, выписок и т.д. Проблемы первого типа также можно отнести к подсистеме кадровой и педагогической поддержки, а именно к недостаткам методических рекомендаций, руководств, путеводителей ЭУМК. Проблемы второго типа следует отнести к подсистеме нормативно-методической поддержки, несовершенству нормативной базы в части организации учебного процесса с электронной поддержкой и управления данным процессом, организацией работы электронного деканата и специалистов деканата ИДО.

Значительная часть вопросов и сообщений студентов указывают на проблемы подсистемы учебно-методической поддержки. К данному блоку вопросов и сообщений можно отнести уточнение правил и порядка работы с ЭУМК. Вместе с этим есть претензии к качеству и полноте ЭУМК (достаточности учебного материала, понятности, доступности, актуальности, новизне, логичности, удобству использования и пр.) Использование ЭОР ЭБС НГТУ преподавателями самых разных уровней, форм и технологий обучения также оставляет актуальным вопрос о качестве электронных материалов в ЭБС. Причинами данного блока вопросов можно также отнести к недостаточному уровню компетенций преподавателей в области педагогического проектирования ЭУМК и к несовершенству нормативной базы университетского уровня, регламентирующей требования к структуре ЭУМК, его наполнению, наличию элементов управления и пр.

3 и 4 блоки вопросов и сообщений непосредственно относятся к подсистемам программно-технической и учебно-методической поддержки (соответственно 90 и 57 вопросов). К подсистеме программно-технической поддержки можно делегировать вопросы, связанные с удобством интерфейса, полнотой функций ЭСО, наличием технических сбоев ЭОС и электронной системой тестирования.

Проведенный мониторинг качества функционирования ЭСО на основе анализа вопросов и претензий студентов, систематизация информации позволяют сделать следующие рекомендации и предложения по совершенствованию:

1. Провести мониторинг качества, структуры и содержания программ повышения квалификации для преподавателей и специалистов по вопросам проектирования ЭУМК, технологиям организации и управления учебным процессом в ЭСО, нормативной базы ЭО и ДО, мониторинга и норм качества ЭУМК. Пересмотреть имеющиеся программы, дополнить, модифицировать и ввести новые модули. Проанализировать методики повышения квалификации, требования к формам выпускных работ. Ввести в практику использование в повышении квалификации проблемно-проектной технологии обучения и обязательного мониторинга компетенций преподавателей до и после повышения квалификации, а также спустя некоторое время – 1-2 года. Такой мониторинг позволить оценивать эффективность мероприятий повышения квалификации, использование и совершенствование приобретенных компетенций.

2. Провести анализ внутривузовской нормативной базы в области разработки и создания ЭУМК, регламентирующей порядок проектирования, экспертизы, регистрации ЭУМК, структуры и необходимого состава. Выявить пробелы в нормативной базе, несовершенство уже принятых регламентов, сформировать план мероприятий по разработке, обсуждению и введению в действие разработанных документов. Особое внимание следует обратить на совершенствование нормативной базы в части организации и управления удаленным учебным процессом с электронной поддержкой.

3. По результатам настоящего мониторинга предстоит сформировать конкретные рекомендации по доработке отдельных модулей и функций ЭСО (Diclass) и электронной системы тестирования (Ditest).

4. Необходимо совершенствование подсистемы мониторинга, разработка нормативной базы в данном вопросе, подготовка экспертов по качеству ДО и ЭО. Введение понятия нормы качества и установление таких норм для разных компонентов образовательного процесса с электронной поддержкой. При подведении ежегодного рейтинга факультетов и кафедр НГТУ учитывать не только количество, но и качество ЭУМК и уровень их регистрации (в Информрегистре, как электронное издание вуза и пр.). Поддерживать установившуюся практику мониторинга и оценивания качества ЭУМК и ЭБС, подготовку ежегодного доклада на Ученом совете вуза с содержательными выводами и рекомендациями по устранению и предупреждению повторного появления выявленных несоответствий.

Приведенный в настоящей статье анализ результатов мониторинга удовлетворенности работой в ЭСО является первичным и свидетельствует о том, что для постоянного совершенствования ЭО и ДО в НГТУ необходимо решать вопрос системно, учитывая все заинтересованные стороны, все подсистемы, планировать мониторинговые мероприятия для условий, процессов и результатов. С этой точки зрения качественно работающая подсистема мониторинга, оценивания и менеджмента качества ЭСО позволит повысить качество работы всех взаимосвязанных подсистем, в целом всей системы электронного обучения и качество подготовки специалистов.

 Литература

 1. Андрюшкова О. В. Логистика организации электронного обучения в университете / О. В. Андрюшкова // Открытое и дистанц. образование. – Томск : Изд-во ТГУ, 2011. – № 4 (44). – C. 5–10.

2. Документированная процедура СМК-ДП-8.2.1 «Мониторинг удовлетворенности потребителей и персонала» [Электронный ресурс]. – Режим доступа:  https://ciu.nstu.ru/docushare/dsweb/Get/Document-331/ДП Мониторинг удовлетворения потребителей_27.03.09.pdf – Загл. с экрана.

3. Никитина Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 1. Методика мониторинга : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева. – Новосибирск : Изд-во НГТУ, 2008. – 32 c.

4. Никитина Н. Ш. Мониторинг качества подготовки специалистов в вузе / Н. Ш. Никитина, Н. В. Николаева // Стандарты и мониторинг в образовании. – 2009. – № 3 (66). – С. 18-23.

5. Никитина Н. Ш. Методика и практика мониторинга и оценивания качества электронных учебно-методических комплексов / Н. Ш. Никитина, Н. В. Николаеева // Единая образовательная среда: направления и перспективы развития электронного и дистанционного обучения : материалы 9 междунар. науч.-практ. конф.-выставки (Новосибирск, 22–24 сент. 2010 г.). – Новосибирск : Изд-во НГТУ, 2010. – С. 105-111.