Для организации и последующего поддержания в актуальном состоянии электронного обучения важно обеспечить качественное функционирование всех подсистем поддержки ЭО, которые позволят реализовать образовательный процесс. К таким подсистемам следует отнести:

1. Подсистему нормативно-методического обеспечения, обеспечивающую:

— разработку внутренних нормативных документов вуза, регламентирующих набор обучающихся, первичную диагностику их готовности к работе в системе ЭО и ДО, документальное сопровождение, требования к компетенциям преподавателей и специалистов систем поддержки и пр.;

— педагогическое проектирование качественных учебно-методических комплексов (ЭУМК), удовлетворяющих федеральным и региональным требованиям;

—  планирование и сопровождения основных и вспомогательных процессов ЭО и ДО и пр.);

— создание методик, планирование и проведение мониторинга и оценивания качества условий (программ, ресурсов, в том числе кадровых, учебно- и нормативно-методических), процессов, в том числе учебного и административно-управленческого, и всех других компонентов;

2. Подсистему учебно-методического обеспечения, отвечающую требованиям принятой в вузе нормативной базы и регламентирующей разработку структуры, сценариев и содержания ЭУМК, содержащих основные виды учебных изданий в электронном виде;

3. Подсистему кадрового обеспечения и педагогического сопровождения, занимающуюся подбором и подготовкой (обучением и повышением квалификации) основных участников учебного процесса с электронной поддержкой: преподавателей, тьюторов, администраторов, экспертов по качеству, сотрудников деканата, специалистов по развитию персонала системы ЭО, сотрудников программно-технического сопровождения и пр.;

4. Подсистему программно-технического сопровождения, основной функцией которой является организация технического обеспечения процесса обучения, программно-техническая поддержка образовательного портала учебного заведения, программная поддержка ЭО, удаленного тестирования, консультирования и пр.;

5. Подсистему организационно-административного обеспечения, отвечающую за организацию и документальное сопровождение учебного процесса: организацию работы с абитуриентами и в целом приемной комиссии, оформление контрактов и ведение финансовых операций, оформление и выдачу студенческих документов, справок, выписок и др.;

6. Подсистему мониторинга и оценивания качества, ответственную за разработку методик мониторинга, оценивания, контроля и управления качеством различных компонентов учебного процесса, его условий, процессов, результатов и обеспечивающих подсистем.

В настоящее время в НГТУ электронное обучение и системы электронной поддержки активно внедряются во все сферы учебной и управленческой деятельности. Для школьников организованы дистанционные курсы подготовки к поступлению в вуз и подготовительные курсы для сдачи ЕГЭ с применением интернет-тренажеров по основным дисциплинам: физике, математике, русскому языку. Факультет повышения квалификации (ФПК) НГТУ использует ЭУМК программ повышения квалификации и элементы технологий ЭО и ДО, в частности, для выполнения практических заданий, подготовки учебных итоговых проектов. Такая, можно сказать, комбинированная форма повышения квалификации, как показал опыт, чрезвычайно актуальна и востребована преподавателями.

В вузе активно используется, расширяется и постоянно совершенствуется система информатизации, поддерживающая все основные процессы (планирования и аналитической отчетности, управления, финансовой, учебной и научной деятельности, системы управления качеством и др.). В настоящей статье остановимся только на процессах, обеспечивающих учебную деятельность.

Значительная часть преподавателей вуза, как технических, так и гуманитарных кафедр, уже не мыслят свою практическую педагогическую деятельность без ЭО и его элементов, проектируют учебный процесс по дисциплине, используя собственные электронные учебно-методические ресурсы, технологии удаленного тестирования, консультирования, приема заданий и т.д. Преподаватели совершенствуют свои компетенции в области ЭО и ДО самостоятельно или повышая квалификацию в рамках предлагаемых НГТУ и другими ведущими вузами России программ в области ЭО.

ЭО и ДО являются основой формой организации учебного процесса Института дистанционного обучения (ИДО) НГТУ с использованием электронной среды обучения (ЭСО) DiClass [1], разработанной и постоянно актуализируемой специалистами института. Основной функцией ЭСО является обеспечение взаимодействия основных участников учебного процесса – преподавателей, студентов, специалистов всех систем поддержки. В ЭСО DiClass преподавателям и студентам доступны: электронные учебно-методические комплексы (ЭУМК) по дисциплинам, лента новостей, журнал успеваемости, все виды занятий, в том числе семинары и консультации, возможность обмена с преподавателями выполненными работами и личными сообщениями. Для тьюторов (менеджеров учебного процесса) и экспертов по качеству доступны функции управления рабочими учебными планами и учебными группами, функции мониторинга различных составляющих учебного процесса. Объектами мониторинга могут быть любые компоненты и участники учебного процесса, а предметом мониторинга – их качество. Ресурсы ИДО используют преподаватели самых разных уровней, форм и технологий обучения: очного, дистанционного, комбинированного, довузовской подготовка, повышения квалификации,  профессиональной переподготовки, консалтинга и пр.

В настоящий момент в НГТУ функционирует и постоянно пополняется электронная библиотечная система (ЭБС). Разработано положение о внутривузовском электронном издании, утверждена методика мониторинга и процедура подготовки ЭУМК и отдельных видов электронных изданий к регистрации в Информрегистре РФ (г. Москва). Фонд ЭБС НГТУ представлен полнотекстовыми электронными образовательными ресурсами (ЭОР), объединяющими:

— электронные версии учебных ресурсов, изданных в Издательстве НГТУ: учебные и методические пособия (начиная с 1999 года издания); учебники (начиная с 2004 года издания);

— ЭУМК в системе управления электронными курсами DiDesk (как подсистемы DiClass) ИДО (за 2010-2011 г.г.), включающие конспекты и слайд-констпекты лекций, методические пособия, контролирующие материалы в разных форматах, рекомендации по изучению дисциплин и пр.;

—  монографии;

—  неофициальные ресурсы, сборники задач и упражнений и др. типы учебных изданий.

На рисунке 1 представлена количественная характеристика разных типов ЭОР, размещенных в ЭБС НГТУ.

 Рисунок 1. Количественная характеристика ЭОР в ЭБС НГТУ

 На основе приведенной статистики можно сделать вывод не только о достаточности, но и о высокой степени полноты и разнообразии ресурсов НГТУ для обеспечения учебного процесса с использованием ЭО и ДО технологий. Структурными подразделениями вуза, хранителями ЭОР разных типов, являются Издательство, научная библиотека и ИДО. Однако, при всем многообразии и многочисленности ЭОР у специалистов, работающих в системе ЭО НГТУ, преподавателей и студентов, как основных потребителей образовательной услуги, реально ощущается неудовлетворенность качеством и некоторых ЭУМК, и систем системы поддержки в целом. Такая ситуация поставила вопрос о необходимости разработки универсальной методики мониторинга, позволяющей оценивать качество различных компонентов ЭО и ДО, выявлять проблемы и отклонения от норм качества, делать содержательные выводы и рекомендации по устранению несоответствий и их последующему предотвращению. При этом субъектами мониторинга должны стать потребители образовательных услуг: студенты, преподаватели, специалисты ИДО, издательства, библиотеки, деканатов, учебного отдела – всех, кто использует ЭОР в обучении и управлении.

В НГТУ разрабатывается и готовится к сертификации система менеджмента качества, где одной из документированных процедур является процедура СМК-ДП-8.2.1 «Мониторинг удовлетворенности потребителей и персонала». Данная документированная процедура предназначена для управления процессом мониторинга удовлетворенности потребителей и персонала путем определения запросов потребителей, запросов персонала и  измерения их удовлетворенности [2]. Основу процедуры должны составлять собственно методики мониторинга с комплектом измерительного инструментария: анкет, опросных листов, тестов и пр.

В НГТУ разработана и введена в практику инвариантная методика мониторинга и оценивания качества [3]. Методика апробирована при проведении мониторинга удовлетворенности заинтересованных сторон ЭО, качеством ЭУМК, программами повышения квалификации среднего звена управленческих кадров вузов и др [4, 5]. Методика инвариантна к объекту и предмету мониторинга и имеет следующую структуру:

— наименование методики и подразделения, на базе которого проводится мониторинг;

— рабочая группа по мониторингу с распределением ролей;

— цели мониторинга: общая и конкретная (возможна иерархия целей);

— задачи и мероприятия мониторинга;

— риски (неуправляемые влияния внешней среды);

— сроки мониторинга и его локализация (с привязкой к задачам);

— статус мониторинга (первичный, коррекционный), характеристика предыдущего этапа и принятые решения (для коррекционного этапа);

— объект и предмет мониторинга (изменения в объекте и предмете мониторинга для коррекционного этапа);

— показатели (нормы) качества для объекта мониторинга;

— целевые группы опрашиваемых (особенности, требования к составу и количеству, профессиональные и социальные характеристики, ограничения);

— используемые методы мониторинга, сбора, обработки и хранения информации;

— инструменты мониторинга (анкеты, опросные листы, тесты, таблицы, программное обеспечение, форматы представления данных, оборудование и его характеристики);

—  ресурсы (по задачам, мероприятиям), план-график и бюджет мониторинга;

— отчет (требования к структуре, формату, уровню детализации, формам представления информации, рекомендациям, перечень должностных лиц для передачи информации).

В предлагаемой статье приведем некоторые результаты мониторинга, практически реализуемого в НГТУ в области ЭО и ДО. Сотрудники деканата ИДО и эксперты по качеству обратили внимание, что студенты в процессе обучения задают много уточняющих вопросов. Поэтому было принято решение провести анализ вопросов, запрашивающих дополнительные сведения, требующих уточнений и разъяснений, содержащих претензии к персоналу, преподавателям, тьюторам и системам поддержки. Систематизация таких вопросов, сообщений и претензий студентов, как правило, позволяют выявить недостатки в работе конкретных подсистем ЭО и специалистов, оценить качество ЭУМК, что, в свою очередь, позволяет косвенно определить источники проблем, выявить факторы, влияющие на качество ЭО, и сформировать выводы и рекомендации по совершенствованию.

Цель эксперимента заключалась в систематизации наиболее типичных вопросов, сообщений и претензий студентов, поступающих участникам процесса обучения (преподавателям, тьюторам, специалистам технической поддержки и сотрудникам деканата), выявлении причин, порождающих вопросы и определении проблемных подсистем поддержки ЭО с возможностью формирования рекомендаций для последующего устранения и предотвращения повторного появления проблем и улучшения качества их функционирования.

Для исследования случайным образом отобрано 510 вопросов и сообщений студентов, присланных в ИДО НГТУ в 2010–2012 гг. Наиболее часто встречающиеся вопросы и сообщения обработаны и систематизированы по категориям проблем, замыкающимся на основные подсистемы электронной среды обучения, описанные выше. Результаты обработки представлены в таблице 1.

Таблица 1

Результаты обработки вопросов и сообщений студентов, обучающихся с использованием технологий ЭО в ИДО НГТУ

 Из анализа видно, что значительная часть проблем студентов, использующих технологию ЭО, относится к подсистеме кадровой и педагогической поддержки (215 вопросов, 1-й и частично другие блоки). Вопросы и сообщения здесь носят характер уточнения правил и порядка изучения дисциплины, регламента прохождения промежуточного и итогового контроля, условий получения зачетов по видам работ. Большое количество сообщений связанны с правилами и технологией процесса коммуникации между студентом и преподавателем, оперативностью такого взаимодействия. Можно предположить, что преподаватели при проектировании ЭУМК не уделяют должного внимания организации эффективного управления удаленным обучением с использованием возможностей технологий ЭО или имеют недостаточные компетенции в данном вопросе.

Второй по актуальности блок вопросов и проблем относится к подсистеме организационно-административной поддержки (113 вопросов): как правило, уточняются регламенты и графики различных учебных мероприятий, правила и условия обучения, требования и формы проведения текущего и итогового контроля, условия аттестации и своевременность её отражения в электронных журналах. Часть вопросов данного блока относится к оформлению документов: приказов, ведомостей, выписок и т.д. Проблемы первого типа также можно отнести к подсистеме кадровой и педагогической поддержки, а именно к недостаткам методических рекомендаций, руководств, путеводителей ЭУМК. Проблемы второго типа следует отнести к подсистеме нормативно-методической поддержки, несовершенству нормативной базы в части организации учебного процесса с электронной поддержкой и управления данным процессом, организацией работы электронного деканата и специалистов деканата ИДО.

Значительная часть вопросов и сообщений студентов указывают на проблемы подсистемы учебно-методической поддержки. К данному блоку вопросов и сообщений можно отнести уточнение правил и порядка работы с ЭУМК. Вместе с этим есть претензии к качеству и полноте ЭУМК (достаточности учебного материала, понятности, доступности, актуальности, новизне, логичности, удобству использования и пр.) Использование ЭОР ЭБС НГТУ преподавателями самых разных уровней, форм и технологий обучения также оставляет актуальным вопрос о качестве электронных материалов в ЭБС. Причинами данного блока вопросов можно также отнести к недостаточному уровню компетенций преподавателей в области педагогического проектирования ЭУМК и к несовершенству нормативной базы университетского уровня, регламентирующей требования к структуре ЭУМК, его наполнению, наличию элементов управления и пр.

3 и 4 блоки вопросов и сообщений непосредственно относятся к подсистемам программно-технической и учебно-методической поддержки (соответственно 90 и 57 вопросов). К подсистеме программно-технической поддержки можно делегировать вопросы, связанные с удобством интерфейса, полнотой функций ЭСО, наличием технических сбоев ЭОС и электронной системой тестирования.

Проведенный мониторинг качества функционирования ЭСО на основе анализа вопросов и претензий студентов, систематизация информации позволяют сделать следующие рекомендации и предложения по совершенствованию:

1. Провести мониторинг качества, структуры и содержания программ повышения квалификации для преподавателей и специалистов по вопросам проектирования ЭУМК, технологиям организации и управления учебным процессом в ЭСО, нормативной базы ЭО и ДО, мониторинга и норм качества ЭУМК. Пересмотреть имеющиеся программы, дополнить, модифицировать и ввести новые модули. Проанализировать методики повышения квалификации, требования к формам выпускных работ. Ввести в практику использование в повышении квалификации проблемно-проектной технологии обучения и обязательного мониторинга компетенций преподавателей до и после повышения квалификации, а также спустя некоторое время – 1-2 года. Такой мониторинг позволить оценивать эффективность мероприятий повышения квалификации, использование и совершенствование приобретенных компетенций.

2. Провести анализ внутривузовской нормативной базы в области разработки и создания ЭУМК, регламентирующей порядок проектирования, экспертизы, регистрации ЭУМК, структуры и необходимого состава. Выявить пробелы в нормативной базе, несовершенство уже принятых регламентов, сформировать план мероприятий по разработке, обсуждению и введению в действие разработанных документов. Особое внимание следует обратить на совершенствование нормативной базы в части организации и управления удаленным учебным процессом с электронной поддержкой.

3. По результатам настоящего мониторинга предстоит сформировать конкретные рекомендации по доработке отдельных модулей и функций ЭСО (Diclass) и электронной системы тестирования (Ditest).

4. Необходимо совершенствование подсистемы мониторинга, разработка нормативной базы в данном вопросе, подготовка экспертов по качеству ДО и ЭО. Введение понятия нормы качества и установление таких норм для разных компонентов образовательного процесса с электронной поддержкой. При подведении ежегодного рейтинга факультетов и кафедр НГТУ учитывать не только количество, но и качество ЭУМК и уровень их регистрации (в Информрегистре, как электронное издание вуза и пр.). Поддерживать установившуюся практику мониторинга и оценивания качества ЭУМК и ЭБС, подготовку ежегодного доклада на Ученом совете вуза с содержательными выводами и рекомендациями по устранению и предупреждению повторного появления выявленных несоответствий.

Приведенный в настоящей статье анализ результатов мониторинга удовлетворенности работой в ЭСО является первичным и свидетельствует о том, что для постоянного совершенствования ЭО и ДО в НГТУ необходимо решать вопрос системно, учитывая все заинтересованные стороны, все подсистемы, планировать мониторинговые мероприятия для условий, процессов и результатов. С этой точки зрения качественно работающая подсистема мониторинга, оценивания и менеджмента качества ЭСО позволит повысить качество работы всех взаимосвязанных подсистем, в целом всей системы электронного обучения и качество подготовки специалистов.

 Литература

 1. Андрюшкова О. В. Логистика организации электронного обучения в университете / О. В. Андрюшкова // Открытое и дистанц. образование. – Томск : Изд-во ТГУ, 2011. – № 4 (44). – C. 5–10.

2. Документированная процедура СМК-ДП-8.2.1 «Мониторинг удовлетворенности потребителей и персонала» [Электронный ресурс]. – Режим доступа:  https://ciu.nstu.ru/docushare/dsweb/Get/Document-331/ДП Мониторинг удовлетворения потребителей_27.03.09.pdf – Загл. с экрана.

3. Никитина Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 1. Методика мониторинга : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева. – Новосибирск : Изд-во НГТУ, 2008. – 32 c.

4. Никитина Н. Ш. Мониторинг качества подготовки специалистов в вузе / Н. Ш. Никитина, Н. В. Николаева // Стандарты и мониторинг в образовании. – 2009. – № 3 (66). – С. 18-23.

5. Никитина Н. Ш. Методика и практика мониторинга и оценивания качества электронных учебно-методических комплексов / Н. Ш. Никитина, Н. В. Николаеева // Единая образовательная среда: направления и перспективы развития электронного и дистанционного обучения : материалы 9 междунар. науч.-практ. конф.-выставки (Новосибирск, 22–24 сент. 2010 г.). – Новосибирск : Изд-во НГТУ, 2010. – С. 105-111.

Блок 1.Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании.

Блок 2.Знание традиционных методов контроля качества.

Блок 3.Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества.

Блок 4.Деятельность ОО в области менеджмента, мониторинга и контроля.

Обработка результатов эксперимента проводилась по каждому показателю анкеты. Инструментом сравнения значений показателей анкеты, полученных до и после обучения, для выявления значимости или незначимости проявившихся в результате повышения квалификации изменений послужил аппарат статистической проверки гипотез.

По первому блоку анкеты статистическая обработка результатов эксперимента группы до повышения квалификации показала, что большинство респондентов отмечают, что знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании. В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании. Ещё ниже показатель, отражающий осведомленность респондентов о состоянии, тенденциях и моделях в области менеджмента качества в Европе и мире.

Результаты анкетирования после обучения показывают, что показатели значительно выросли, в общем случае можно сделать вывод, что у преподавателей сформированы компетенции на уровне общих представлений, большей ориентированности в вопросах менеджмента качества.

По второму блоку анкеты большинство преподавателей дали высокие оценки. Каждый преподаватель в основном владеет методами контроля качества результатов обучения. В своей практике они широко используют методы входного, промежуточного и итогового контроля достижений обучающихся, умеют разрабатывать и используют при оценке достижений обучающихся тесты и комплексные задания. Ниже показатель, характеризующий знание методов контроля и оценивания качества ресурсов (условий) учебного процесса, и еще ниже отмечается знание методов мониторинга и контроля качества процессов в образовательной организации.

Результаты после обучения показывают, что показатели выросли значимо, это свидетельствует, что преподаватели признают значительный рост компетенций. Показатели данного блока определяют уровень сформированных компетенций, позволяющих преподавателям расширить круг инструментов для проведения мониторинга и управления качеством в своей деятельности. Традиционно преподаватели хорошо владеют методами контроля достижений обучающихся. Однако в современном менеджменте качества используется множество простых, понятных и опробованных на практике, но использованных в основном в производстве продукции и предоставлении услуг, методов. Очень важно, что существуют методы контроля процессов и условий (ресурсов), которые практически не используются в образовании. Перенос этих методов, и особенно методов мониторинга процессов, в профессиональное образование практически не осуществлялся. Некоторую проблему у обучающихся вызвали статистические методы контроля качества с точки зрения необходимости их применения для математической обработки данных и интерпретации полученных результатов. В дискуссиях и свободных высказываниях обучающиеся выразили тревогу, что математических знаний у них недостаточно. Но владение компьютером несколько смягчает ситуацию. Необходимость использования в практическом обучении компьютера, с одной стороны, делает проблему статистической обработки результатов мониторинга менее острой, а с другой стороны, приводит преподавателей к осознанию необходимости компетенций в области информационных технологий.

По третьему блоку анкеты большинство респондентов дали очень низкие оценки, что свидетельствует о том, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе. Так же слабо знакомы с методиками анализа выявленных несоответствий и практически не могут планировать и организовывать работу по устранению выявленных несоответствий и совершенствованию процессов.

После повышения квалификации большинство респондентов по третьему блоку анкеты дали ровные и высокие оценки по всем показателям. Это свидетельствует о том, что преподаватели приобрели навыки выявления несоответствий и последующей работы с ними. Очень важный результат, отраженный в показателях данного блока, это появление новых компетенций, связанных с решением вопросов планирования и проектирования работ по мониторингу некоторого объекта исследования. Важно, что обучающиеся понимают, как это необходимо делать, умеют разрабатывать методики мониторинга для конкретного объекта и предмета мониторинга, используя формат методики, разрабатывать измерительный материал для проведения контроля качества, выявлять проблемные точки в анализируемом процессе, результате, ресурсе, выбирать адекватные методы обработки информации, обрабатывать и интерпретировать полученные результаты.

Четвёртый блок анкеты отражает не уровень компетенций испытуемого, а уровень работ ОО и вовлеченность в эти работы основного персонала. Показатели данного блока важны, т. к. отражают отношение преподавателей к работам ОО в области менеджмента качества, информированность об этих работах и уровень их содержательного участия.

Результаты эксперимента до обучения показали следующее. По первому показателю блока большинство респондентов дали очень низкие оценки. Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК ОО, либо с тем, что основной персонал ОО не вовлечен в эти работы и не информирован об их значимости. Другой возможной причиной низких показателей блока 4 может быть отсутствие в проектируемой СМК ядра, связанного с практическим содержательным мониторингом качества основных процессов, результатов и ресурсов образовательного процесса. Именно в этой части работ должны принимать активное участие преподаватели и АУП образовательной организации, от которых зависят результаты деятельности и через которых проявляется вовлеченность основного персонала в процессы менеджмента качества.

После обучения показатели блока 4 анкеты изменились, но не значимо: персонал ОО, как правило, не вовлечен в процессы менеджмента качества.

Если сравнивать результаты до обучения и после, то изменения не значимы, этого и исследовало ожидать, т.к. повышение квалификации не должно было отразиться на мнении респондентов о работах ОО в области менеджмента качества, вовлеченности персонала в эти процессы и информированности академического сообщества о процессах в области менеджмента качества. Незначительное увеличение показателей можно предположительно связать со следующим. После повышения квалификации обучающиеся стали более квалифицированными для адекватной оценки работ ОО в области менеджмента качества, возможно, сформировалось более осознанное отношение к деятельности руководства в данном направлении и т.д. Тем не менее, данные изменения можно считать случайными и не отражающими значимых системных изменений.

Проведенный эксперимент подтвердил, что разработанная программа повышения квалификации формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и контроля качества в профессиональном образовании.

На основе проведенного эксперимента можно сделать вывод, что разработанная авторская программа повышения квалификации «Практический мониторинг и оценивание качества в профессиональном образовании», методика и технология организации учебного процесса приводят к устойчивому формированию и развитию компетенций преподавателей и АУП профессионального образования в области мониторинга, оценивания и управления качеством. В этом смысле можно считать, что программа повышения квалификации эффективна.