Для организации и последующего поддержания в актуальном состоянии электронного обучения важно обеспечить качественное функционирование всех подсистем поддержки ЭО, которые позволят реализовать образовательный процесс. К таким подсистемам следует отнести:

1. Подсистему нормативно-методического обеспечения, обеспечивающую:

— разработку внутренних нормативных документов вуза, регламентирующих набор обучающихся, первичную диагностику их готовности к работе в системе ЭО и ДО, документальное сопровождение, требования к компетенциям преподавателей и специалистов систем поддержки и пр.;

— педагогическое проектирование качественных учебно-методических комплексов (ЭУМК), удовлетворяющих федеральным и региональным требованиям;

—  планирование и сопровождения основных и вспомогательных процессов ЭО и ДО и пр.);

— создание методик, планирование и проведение мониторинга и оценивания качества условий (программ, ресурсов, в том числе кадровых, учебно- и нормативно-методических), процессов, в том числе учебного и административно-управленческого, и всех других компонентов;

2. Подсистему учебно-методического обеспечения, отвечающую требованиям принятой в вузе нормативной базы и регламентирующей разработку структуры, сценариев и содержания ЭУМК, содержащих основные виды учебных изданий в электронном виде;

3. Подсистему кадрового обеспечения и педагогического сопровождения, занимающуюся подбором и подготовкой (обучением и повышением квалификации) основных участников учебного процесса с электронной поддержкой: преподавателей, тьюторов, администраторов, экспертов по качеству, сотрудников деканата, специалистов по развитию персонала системы ЭО, сотрудников программно-технического сопровождения и пр.;

4. Подсистему программно-технического сопровождения, основной функцией которой является организация технического обеспечения процесса обучения, программно-техническая поддержка образовательного портала учебного заведения, программная поддержка ЭО, удаленного тестирования, консультирования и пр.;

5. Подсистему организационно-административного обеспечения, отвечающую за организацию и документальное сопровождение учебного процесса: организацию работы с абитуриентами и в целом приемной комиссии, оформление контрактов и ведение финансовых операций, оформление и выдачу студенческих документов, справок, выписок и др.;

6. Подсистему мониторинга и оценивания качества, ответственную за разработку методик мониторинга, оценивания, контроля и управления качеством различных компонентов учебного процесса, его условий, процессов, результатов и обеспечивающих подсистем.

В настоящее время в НГТУ электронное обучение и системы электронной поддержки активно внедряются во все сферы учебной и управленческой деятельности. Для школьников организованы дистанционные курсы подготовки к поступлению в вуз и подготовительные курсы для сдачи ЕГЭ с применением интернет-тренажеров по основным дисциплинам: физике, математике, русскому языку. Факультет повышения квалификации (ФПК) НГТУ использует ЭУМК программ повышения квалификации и элементы технологий ЭО и ДО, в частности, для выполнения практических заданий, подготовки учебных итоговых проектов. Такая, можно сказать, комбинированная форма повышения квалификации, как показал опыт, чрезвычайно актуальна и востребована преподавателями.

В вузе активно используется, расширяется и постоянно совершенствуется система информатизации, поддерживающая все основные процессы (планирования и аналитической отчетности, управления, финансовой, учебной и научной деятельности, системы управления качеством и др.). В настоящей статье остановимся только на процессах, обеспечивающих учебную деятельность.

Значительная часть преподавателей вуза, как технических, так и гуманитарных кафедр, уже не мыслят свою практическую педагогическую деятельность без ЭО и его элементов, проектируют учебный процесс по дисциплине, используя собственные электронные учебно-методические ресурсы, технологии удаленного тестирования, консультирования, приема заданий и т.д. Преподаватели совершенствуют свои компетенции в области ЭО и ДО самостоятельно или повышая квалификацию в рамках предлагаемых НГТУ и другими ведущими вузами России программ в области ЭО.

ЭО и ДО являются основой формой организации учебного процесса Института дистанционного обучения (ИДО) НГТУ с использованием электронной среды обучения (ЭСО) DiClass [1], разработанной и постоянно актуализируемой специалистами института. Основной функцией ЭСО является обеспечение взаимодействия основных участников учебного процесса – преподавателей, студентов, специалистов всех систем поддержки. В ЭСО DiClass преподавателям и студентам доступны: электронные учебно-методические комплексы (ЭУМК) по дисциплинам, лента новостей, журнал успеваемости, все виды занятий, в том числе семинары и консультации, возможность обмена с преподавателями выполненными работами и личными сообщениями. Для тьюторов (менеджеров учебного процесса) и экспертов по качеству доступны функции управления рабочими учебными планами и учебными группами, функции мониторинга различных составляющих учебного процесса. Объектами мониторинга могут быть любые компоненты и участники учебного процесса, а предметом мониторинга – их качество. Ресурсы ИДО используют преподаватели самых разных уровней, форм и технологий обучения: очного, дистанционного, комбинированного, довузовской подготовка, повышения квалификации,  профессиональной переподготовки, консалтинга и пр.

В настоящий момент в НГТУ функционирует и постоянно пополняется электронная библиотечная система (ЭБС). Разработано положение о внутривузовском электронном издании, утверждена методика мониторинга и процедура подготовки ЭУМК и отдельных видов электронных изданий к регистрации в Информрегистре РФ (г. Москва). Фонд ЭБС НГТУ представлен полнотекстовыми электронными образовательными ресурсами (ЭОР), объединяющими:

— электронные версии учебных ресурсов, изданных в Издательстве НГТУ: учебные и методические пособия (начиная с 1999 года издания); учебники (начиная с 2004 года издания);

— ЭУМК в системе управления электронными курсами DiDesk (как подсистемы DiClass) ИДО (за 2010-2011 г.г.), включающие конспекты и слайд-констпекты лекций, методические пособия, контролирующие материалы в разных форматах, рекомендации по изучению дисциплин и пр.;

—  монографии;

—  неофициальные ресурсы, сборники задач и упражнений и др. типы учебных изданий.

На рисунке 1 представлена количественная характеристика разных типов ЭОР, размещенных в ЭБС НГТУ.

 Рисунок 1. Количественная характеристика ЭОР в ЭБС НГТУ

 На основе приведенной статистики можно сделать вывод не только о достаточности, но и о высокой степени полноты и разнообразии ресурсов НГТУ для обеспечения учебного процесса с использованием ЭО и ДО технологий. Структурными подразделениями вуза, хранителями ЭОР разных типов, являются Издательство, научная библиотека и ИДО. Однако, при всем многообразии и многочисленности ЭОР у специалистов, работающих в системе ЭО НГТУ, преподавателей и студентов, как основных потребителей образовательной услуги, реально ощущается неудовлетворенность качеством и некоторых ЭУМК, и систем системы поддержки в целом. Такая ситуация поставила вопрос о необходимости разработки универсальной методики мониторинга, позволяющей оценивать качество различных компонентов ЭО и ДО, выявлять проблемы и отклонения от норм качества, делать содержательные выводы и рекомендации по устранению несоответствий и их последующему предотвращению. При этом субъектами мониторинга должны стать потребители образовательных услуг: студенты, преподаватели, специалисты ИДО, издательства, библиотеки, деканатов, учебного отдела – всех, кто использует ЭОР в обучении и управлении.

В НГТУ разрабатывается и готовится к сертификации система менеджмента качества, где одной из документированных процедур является процедура СМК-ДП-8.2.1 «Мониторинг удовлетворенности потребителей и персонала». Данная документированная процедура предназначена для управления процессом мониторинга удовлетворенности потребителей и персонала путем определения запросов потребителей, запросов персонала и  измерения их удовлетворенности [2]. Основу процедуры должны составлять собственно методики мониторинга с комплектом измерительного инструментария: анкет, опросных листов, тестов и пр.

В НГТУ разработана и введена в практику инвариантная методика мониторинга и оценивания качества [3]. Методика апробирована при проведении мониторинга удовлетворенности заинтересованных сторон ЭО, качеством ЭУМК, программами повышения квалификации среднего звена управленческих кадров вузов и др [4, 5]. Методика инвариантна к объекту и предмету мониторинга и имеет следующую структуру:

— наименование методики и подразделения, на базе которого проводится мониторинг;

— рабочая группа по мониторингу с распределением ролей;

— цели мониторинга: общая и конкретная (возможна иерархия целей);

— задачи и мероприятия мониторинга;

— риски (неуправляемые влияния внешней среды);

— сроки мониторинга и его локализация (с привязкой к задачам);

— статус мониторинга (первичный, коррекционный), характеристика предыдущего этапа и принятые решения (для коррекционного этапа);

— объект и предмет мониторинга (изменения в объекте и предмете мониторинга для коррекционного этапа);

— показатели (нормы) качества для объекта мониторинга;

— целевые группы опрашиваемых (особенности, требования к составу и количеству, профессиональные и социальные характеристики, ограничения);

— используемые методы мониторинга, сбора, обработки и хранения информации;

— инструменты мониторинга (анкеты, опросные листы, тесты, таблицы, программное обеспечение, форматы представления данных, оборудование и его характеристики);

—  ресурсы (по задачам, мероприятиям), план-график и бюджет мониторинга;

— отчет (требования к структуре, формату, уровню детализации, формам представления информации, рекомендациям, перечень должностных лиц для передачи информации).

В предлагаемой статье приведем некоторые результаты мониторинга, практически реализуемого в НГТУ в области ЭО и ДО. Сотрудники деканата ИДО и эксперты по качеству обратили внимание, что студенты в процессе обучения задают много уточняющих вопросов. Поэтому было принято решение провести анализ вопросов, запрашивающих дополнительные сведения, требующих уточнений и разъяснений, содержащих претензии к персоналу, преподавателям, тьюторам и системам поддержки. Систематизация таких вопросов, сообщений и претензий студентов, как правило, позволяют выявить недостатки в работе конкретных подсистем ЭО и специалистов, оценить качество ЭУМК, что, в свою очередь, позволяет косвенно определить источники проблем, выявить факторы, влияющие на качество ЭО, и сформировать выводы и рекомендации по совершенствованию.

Цель эксперимента заключалась в систематизации наиболее типичных вопросов, сообщений и претензий студентов, поступающих участникам процесса обучения (преподавателям, тьюторам, специалистам технической поддержки и сотрудникам деканата), выявлении причин, порождающих вопросы и определении проблемных подсистем поддержки ЭО с возможностью формирования рекомендаций для последующего устранения и предотвращения повторного появления проблем и улучшения качества их функционирования.

Для исследования случайным образом отобрано 510 вопросов и сообщений студентов, присланных в ИДО НГТУ в 2010–2012 гг. Наиболее часто встречающиеся вопросы и сообщения обработаны и систематизированы по категориям проблем, замыкающимся на основные подсистемы электронной среды обучения, описанные выше. Результаты обработки представлены в таблице 1.

Таблица 1

Результаты обработки вопросов и сообщений студентов, обучающихся с использованием технологий ЭО в ИДО НГТУ

 Из анализа видно, что значительная часть проблем студентов, использующих технологию ЭО, относится к подсистеме кадровой и педагогической поддержки (215 вопросов, 1-й и частично другие блоки). Вопросы и сообщения здесь носят характер уточнения правил и порядка изучения дисциплины, регламента прохождения промежуточного и итогового контроля, условий получения зачетов по видам работ. Большое количество сообщений связанны с правилами и технологией процесса коммуникации между студентом и преподавателем, оперативностью такого взаимодействия. Можно предположить, что преподаватели при проектировании ЭУМК не уделяют должного внимания организации эффективного управления удаленным обучением с использованием возможностей технологий ЭО или имеют недостаточные компетенции в данном вопросе.

Второй по актуальности блок вопросов и проблем относится к подсистеме организационно-административной поддержки (113 вопросов): как правило, уточняются регламенты и графики различных учебных мероприятий, правила и условия обучения, требования и формы проведения текущего и итогового контроля, условия аттестации и своевременность её отражения в электронных журналах. Часть вопросов данного блока относится к оформлению документов: приказов, ведомостей, выписок и т.д. Проблемы первого типа также можно отнести к подсистеме кадровой и педагогической поддержки, а именно к недостаткам методических рекомендаций, руководств, путеводителей ЭУМК. Проблемы второго типа следует отнести к подсистеме нормативно-методической поддержки, несовершенству нормативной базы в части организации учебного процесса с электронной поддержкой и управления данным процессом, организацией работы электронного деканата и специалистов деканата ИДО.

Значительная часть вопросов и сообщений студентов указывают на проблемы подсистемы учебно-методической поддержки. К данному блоку вопросов и сообщений можно отнести уточнение правил и порядка работы с ЭУМК. Вместе с этим есть претензии к качеству и полноте ЭУМК (достаточности учебного материала, понятности, доступности, актуальности, новизне, логичности, удобству использования и пр.) Использование ЭОР ЭБС НГТУ преподавателями самых разных уровней, форм и технологий обучения также оставляет актуальным вопрос о качестве электронных материалов в ЭБС. Причинами данного блока вопросов можно также отнести к недостаточному уровню компетенций преподавателей в области педагогического проектирования ЭУМК и к несовершенству нормативной базы университетского уровня, регламентирующей требования к структуре ЭУМК, его наполнению, наличию элементов управления и пр.

3 и 4 блоки вопросов и сообщений непосредственно относятся к подсистемам программно-технической и учебно-методической поддержки (соответственно 90 и 57 вопросов). К подсистеме программно-технической поддержки можно делегировать вопросы, связанные с удобством интерфейса, полнотой функций ЭСО, наличием технических сбоев ЭОС и электронной системой тестирования.

Проведенный мониторинг качества функционирования ЭСО на основе анализа вопросов и претензий студентов, систематизация информации позволяют сделать следующие рекомендации и предложения по совершенствованию:

1. Провести мониторинг качества, структуры и содержания программ повышения квалификации для преподавателей и специалистов по вопросам проектирования ЭУМК, технологиям организации и управления учебным процессом в ЭСО, нормативной базы ЭО и ДО, мониторинга и норм качества ЭУМК. Пересмотреть имеющиеся программы, дополнить, модифицировать и ввести новые модули. Проанализировать методики повышения квалификации, требования к формам выпускных работ. Ввести в практику использование в повышении квалификации проблемно-проектной технологии обучения и обязательного мониторинга компетенций преподавателей до и после повышения квалификации, а также спустя некоторое время – 1-2 года. Такой мониторинг позволить оценивать эффективность мероприятий повышения квалификации, использование и совершенствование приобретенных компетенций.

2. Провести анализ внутривузовской нормативной базы в области разработки и создания ЭУМК, регламентирующей порядок проектирования, экспертизы, регистрации ЭУМК, структуры и необходимого состава. Выявить пробелы в нормативной базе, несовершенство уже принятых регламентов, сформировать план мероприятий по разработке, обсуждению и введению в действие разработанных документов. Особое внимание следует обратить на совершенствование нормативной базы в части организации и управления удаленным учебным процессом с электронной поддержкой.

3. По результатам настоящего мониторинга предстоит сформировать конкретные рекомендации по доработке отдельных модулей и функций ЭСО (Diclass) и электронной системы тестирования (Ditest).

4. Необходимо совершенствование подсистемы мониторинга, разработка нормативной базы в данном вопросе, подготовка экспертов по качеству ДО и ЭО. Введение понятия нормы качества и установление таких норм для разных компонентов образовательного процесса с электронной поддержкой. При подведении ежегодного рейтинга факультетов и кафедр НГТУ учитывать не только количество, но и качество ЭУМК и уровень их регистрации (в Информрегистре, как электронное издание вуза и пр.). Поддерживать установившуюся практику мониторинга и оценивания качества ЭУМК и ЭБС, подготовку ежегодного доклада на Ученом совете вуза с содержательными выводами и рекомендациями по устранению и предупреждению повторного появления выявленных несоответствий.

Приведенный в настоящей статье анализ результатов мониторинга удовлетворенности работой в ЭСО является первичным и свидетельствует о том, что для постоянного совершенствования ЭО и ДО в НГТУ необходимо решать вопрос системно, учитывая все заинтересованные стороны, все подсистемы, планировать мониторинговые мероприятия для условий, процессов и результатов. С этой точки зрения качественно работающая подсистема мониторинга, оценивания и менеджмента качества ЭСО позволит повысить качество работы всех взаимосвязанных подсистем, в целом всей системы электронного обучения и качество подготовки специалистов.

 Литература

 1. Андрюшкова О. В. Логистика организации электронного обучения в университете / О. В. Андрюшкова // Открытое и дистанц. образование. – Томск : Изд-во ТГУ, 2011. – № 4 (44). – C. 5–10.

2. Документированная процедура СМК-ДП-8.2.1 «Мониторинг удовлетворенности потребителей и персонала» [Электронный ресурс]. – Режим доступа:  https://ciu.nstu.ru/docushare/dsweb/Get/Document-331/ДП Мониторинг удовлетворения потребителей_27.03.09.pdf – Загл. с экрана.

3. Никитина Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 1. Методика мониторинга : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева. – Новосибирск : Изд-во НГТУ, 2008. – 32 c.

4. Никитина Н. Ш. Мониторинг качества подготовки специалистов в вузе / Н. Ш. Никитина, Н. В. Николаева // Стандарты и мониторинг в образовании. – 2009. – № 3 (66). – С. 18-23.

5. Никитина Н. Ш. Методика и практика мониторинга и оценивания качества электронных учебно-методических комплексов / Н. Ш. Никитина, Н. В. Николаеева // Единая образовательная среда: направления и перспективы развития электронного и дистанционного обучения : материалы 9 междунар. науч.-практ. конф.-выставки (Новосибирск, 22–24 сент. 2010 г.). – Новосибирск : Изд-во НГТУ, 2010. – С. 105-111.

Структура и содержание экспериментальной части исследования определяется гипотезой: «Профессиональная подготовка ППС и АУП к реализации функций мониторинга, оценивания и управления качеством будет эффективной, если определена система компетенций в области мониторинга, оценивания и управления качеством; программа ПК (структура, содержание, методика обучения, мониторинг достижений) обеспечивает формирование необходимых компетенций; эффективность разработанной системы ПК подтверждается сформированностью компетенций в области мониторинга и осознанием их важности, высокой удовлетворенностью процессом и результатами ПК, изменением ценностных установок относительно экспертно-аналитической составляющей деятельности, осознанием затруднений, связанных с выявлением и анализом проблем и поиском решений для их устранения.

Для обоснования содержательной составляющей подготовки ППС и АУП к реализации функций мониторинга, оценивания и контроля качества рассмотрены положения, регламентирующие экспертно-аналитическую деятельность в профессиональном образовании: обосновывать выбор объекта и предмета мониторинга; выявлять заинтересованные в результатах мониторинга стороны и исследовать их потребности; определять нормы качества и не допускать абсолютных суждений о качестве; использовать классические и специально разработанные для образования методы и методики мониторинга; проводить мониторинг, обрабатывать результаты, делать содержательные выводы и рекомендации; формировать команду экспертов с учетом профессиональных и личностных качеств; использовать результаты мониторинга не для наказания, а для совершенствования; обеспечивать технологичность процедуры мониторинга, необходимые ресурсы и конфиденциальность данных мониторинга [2].

На основе аналитических исследований сформированы блоки компетенций ППС и АУП, необходимые для эффективного выполнения работ в области мониторинга, оценивания и управления качеством (таблица 1), которые положены в основу проектирования программы ПК.

Таблица 1

Компетенции ППС в области мониторинга, оценивания и управления качеством

Для создания диагностической основы оценки эффективности системы ПК проведено следующее:

— до ПК исследована готовность ППС и АУП к выполнению функций мониторинга, оценивания и управления качеством (три экспериментальные группы ППС и АУП высшего, среднего и начального профессионального образования (общий объём выборки – 55 чел.);

— с использованием активных методов обучения проведено ПК по авторской программе (формирующий эксперимент, три экспериментальные группы);

— по окончании обучения проведена оценка эффективности системы ПК по показателям «Значимое повышение показателей, характеризующих сформированность компетенций в области мониторинга, оценивания и контроля качества», «Удовлетворенность», «Важность» и «Осознание затруднений» (две экспериментальные группы – 39 чел. ГШС и АУП высшего, среднего и начального профессионального образования);

— на контрольной группе обучающихся (ГШС и АУП всех уровней профессионального образования, общий объем статистических наблюдений – 32 чел.) исследована готовность специалистов к исполнению функций мониторинга;

— проведен сравнительный анализ результатов эксперимента на контрольной и экспериментальной группах, сформированы содержательные выводы, оценена эффективность программы ПК.

Сравнение результатов исследования, полученных до и после ПК, выявление значимости произошедших изменений осуществлялось с помощью аппарата статистической проверки гипотез. Все исследования, связанные с анализом эффективности программы подготовки преподавателей и АУП, мониторингом результатов обучения и использования приобретенных компетенций в профессиональной ности, проводились с применением инвариантной методики мониторинга и оценивания качества, разработанной авторами настоящей статьи [2]. Методика апробирована в НГТУ при проведении мониторинга удовлетворенности заинтересованных сторон технологией электронного обучения, качества электронных учебно-методических комплексов, программой повышения квалификации среднего звена управленческих кадров вузов и др. Методика инвариантна к объекту и предмету мониторинга и имеет следующую структуру [2]:

— наименование методики и организации (подразделения);

— рабочая группа по мониторингу с распределением ролей;

— цели мониторинга: общая и конкретная (возможна иерархия целей);

— задачи и мероприятия мониторинга;

— риски (неуправляемые влияния внешней среды);

— сроки мониторинга и его локализация (с привязкой к задачам);

— статус мониторинга (первичный, коррекционный), характеристика предыдущего этапа и принятые решения (для коррекционного этапа);

— объект и предмет мониторинга (изменения в объекте и предмете мониторинга для коррекционного этапа);

— показатели (нормы) качества;

— целевые группы (особенности, требования к составу и количеству, профессиональные и социальные характеристики, ограничения);

— методы мониторинга, сбора, обработки и хранения информации;

— инструменты мониторинга (анкеты, опросные листы, таблицы, программное обеспечение, форматы представления данных, оборудование и его характеристики);

— ресурсы (по задачам, мероприятиям), план-график, бюджет мониторинга;

— отчет (требования к структуре, формату, уровню детализации, формам представления информации, рекомендациям, перечень должностных лиц для передачи информации).

В формирующем эксперименте в 2009 – 2010 гг. на факультете повышения квалификации НГТУ прошли обучение три группы ППС и АУП. Анкета для проведения эксперимента включала следующие блоки показателей, каждый из которых содержал по 3 показателя (шкала измерения каждого показателя 0 – 6 баллов):

1.Осведомленность в вопросах менеджмента, мониторинга и оценивания качества в российском и международном образовании:

1.1. Знаком(а) с понятиями мониторинга и оценивания качества в образовании.

1.2. Знаком(а) с состоянием, тенденциями и моделями в области менеджмента качества в российском образовании.

1.3. Знаком(а) с состоянием и тенденциями в области менеджмента качества в Европе и мире.

2. Знание традиционных методов контроля качества:

2.1. Знаком(а) с методами контроля качества результатов обучения.

2.2. Знаком(а) с методами, могу разработать материалы для контроля и оценить качество ресурсов (условий) учебного процесса.

2.3. Знаком(а) с методами мониторинга и контроля качества процессов в образовании.

3. Использование в собственной деятельности процессов мониторинга и контроля качества:

3.1. Знаком(а) с методиками выявления несоответствий (проблем, недостатков) в образовательном процессе.

3.2. Знаком(а) с методиками анализа выявленных несоответствий (проблем).

3.3. Могу спланировать и организовать работу по устранению выявленных несоответствий и совершенствованию.

4.Деятельность вашей организации в области мониторинга и контроля качества:

4.1. У нас ведутся работы в области менеджмента качества.

4.2. Есть рекламно-информационная поддержка процессов создания СМК.

4.3. Персонал вовлечен в процессы менеджмента качества.

При повышении квалификации использована проблемно-проектная технология обучения: участники программы формировали команды микропроектов по 3 – 5 обучающихся с обязательным включением хотя бы одного специалиста с хорошими навыками работы на компьютере. В процессе обучения команды самостоятельно выбирали объекты и предметы мониторинга, обсуждали их в группе, принимали решение. После этого каждой командой разрабатывалась методика мониторинга выбранного объекта и предмета, измерительный инструментарий (анкеты, опросные листы и пр.). Обучающиеся проводили мониторинг, в котором сами выступали в роли анкетируемых. Данные мониторинга обрабатывалась и визуализировалась с использованием MSExcel, формировались выводы о выявленных несоответствиях и рекомендации по их устранению и предотвращению. Для этого выбирались изученные методы контроля качества: SWOT-анализ, диаграммы Ишикавы и Парето, корреляционные и лепестковые диаграммы, графики, гистограммы и пр. Наибольшие трудности вызывал выбор показателей и норм качества, шкал для проведения измерений (количественной, вербальной, категориальной и др.). Для представления и защиты выпускной работы полученные результаты оформлялись в виде презентации в MSProject и отчета по мониторингу заданного формата. Такая технология обучения позволяла в деятельности формировать устойчивые компетенции.

Во вводном модуле программы проводилась самопрезентации членов учебной группы, выяснялись цели участия в программе и ожидания и измерялись «входные» компетенции в области мониторинга и оценивания качества с помощью описанной анкеты. Результаты входного анкетирования обработаны, выявлены проблемы и обсуждены в группе. Обработка результатов эксперимента проводилась по каждому показателю анкеты. При этом рассчитывались математическое ожидание и среднеквадратическое отклонение по каждому показателю отдельно и в целом по блокам. Математическое ожидание отражает среднее значение показателя по всем обучающимся, среднеквадратическое отклонение – согласованность мнений обучающихся по каждому показателю. При уменьшении среднеквадратического отклонения согласованность мнений растет.

Для анализа и формирования содержательных выводов сравнивались показатели, полученные в экспериментальной группе, до и после обучения. В таблицу 2 сведены результаты анкетирования обучающихся экспериментальных групп 1 – 3.

Таблица 2

Результаты формирующего эксперимента и проверки гипотез по критерию Т-Уилкоксона для экспериментальных групп до и после ПК(выделены значимо отличающиеся показатели)

Проверка значимости произошедших после ПК изменений проводилась с помощью Т-Уилкоксона для связанных выборок.

Проведенный анализ компетенций до и после обучения показал следующее:

—  до ПК большинство обучающихся показывают, то знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании (вопрос 1.1, блок 1). В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании (вопрос 1.2). Ещё ниже показатель, отражающий осведомленность о тенденциях и моделях в области менеджмента качества в Европе и мире (вопрос 1.3). Результаты анкетирования после обучения показывают, что показатели значимо выросли (в смысле статистики критерия Т-Уилкоксона). У ППС сформированы компетенции на уровне основных представлений, выявлена большая ориентированность в вопросах менеджмента качества;

— полученные до ПК результаты оценки знаний в области традиционных методов контроля качества свидетельствуют об отсутствии у ППС и АУП компетенций в области практического мониторинга результатов, условий и процессов (вопрос 2.1, блок 2). Исключение составляет знание методов промежуточного и итогового контроля достижений обучающихся, как формы мониторинга, которая традиционно используется в образовании(вопросы 2.2 и 2.3). После обучения эти же показатели выросли значимо;

— навыки практического использования в деятельности ППС и АУП процессов мониторинга, оценивания и менеджмента качества оценены очень низко (вопрос 3.1, m1= 1,833). Это свидетельствует, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе(блок 3), слабо знакомы с методиками анализа выявленных несоответствий (вопрос 3.2, m1= 2,278) и практически не могут планировать и организовывать работу по устранению несоответствий и совершенствованию процессов (вопрос 3.3, m1=2,444). В целом по блоку 3 математическое ожидание m1= 2,18. После ПК большинство респондентов дали ровные и высокие оценки по всем показателям (вопрос 3.1 –m1=4,444,вопрос 3.2 – m1 = 4,444, вопрос 3.3 – m1 =4,222), значимо с точки зрения проверки гипотез отличающиеся от тех же показателей до обучения;

—  при оценке деятельности организаций (вопрос 4.1), представляемых обучающимися, в области менеджмента качества большинство респондентов до обучения дали низкие показатели (блок 4). Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК в организациях, либо с тем, что основной персонал не вовлечен в эти работы и не информирован об истинном положении дел. После ПК мнения изменились незначимо. Отмечается низкий уровень рекламно-информационной поддержки процессов создания СМК (вопрос 4.2); персонал, как правило, не вовлечен в процессы менеджмента качества (вопрос 4.3).

Для того чтобы подтвердить неслучайность изменений компетенций ППС и АУП после обучения проведен аналогичный эксперимент на контрольной группе. В качестве контрольной группы выбрана группа, обучающаяся по программе ПК «Современные образовательные технологии» в НГТУ одновременно с экспериментальной группой № 2. В таблице 3 приведены показатели анкеты для экспериментальной группы № 2 и контрольной группы до и после обучения.

Для анализа значимости различий показателей блоков 1–4 экспериментальной группы № 2 и контрольной группы использовался непараметрический критерийU-Манна-Уитни для несвязанных выборок.

По всем показателям анкеты принята гипотеза о том, что до ПК уровень показателей в экспериментальной группе не ниже уровня в контрольной группе, и различия в показателях до обучения в контрольной и экспериментальной группе незначимы. После ПК те же показатели в экспериментальной и контрольной группах значимо различаются (в контрольной они ниже – выделенные столбцы).

Таблица 3

Результаты самооценки уровня компетенций в области менеджмента, мониторинга и оценивания качества обучающихся контрольной и экспериментальной группы № 2 до и после ПК по критериюU-Манна-Уитни

Анализ значимости различий показателей двух групп после обучения показывает, что в экспериментальной группе к концу обучения средние значения показателей значительно повысились, о чем свидетельствует отвержение гипотезы по критерию U-Манна-Уитнио незначимости произошедших изменений.

Среднеквадратические отклонения показателей после ПК снизились, что отражает сближение значений показателей компетенций после обучения по сравнению с входными результатами анкетирования. Показатели блока 4 практически не претерпели изменений. Некоторая разница между входными и выходными показателями может быть отнесена к фактору случайности.

Проведенный эксперимент подтвердил, что разработанная программа ПК формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и управления качеством в профессиональном образовании.

Далее была проанализирована эффективность разработанной программы ПК по показателям «Важность», «Удовлетворенность» и «Осознание затруднений» обучающимися. Исследование проводилось с помощью анкет:

— «Удовлетворенность преподавателей процессом и результатами ПК в области мониторинга, оценивания и управления качеством»;

— «Осознание важности владения компетенциями в области менеджмента, мониторинга и оценивания качества»;

—  «Осознание преподавателем затруднений и изменение отношения к использованию в преподавании и управлении методов управления качеством».

Исследование показателя «Важность» позволило выделить компетенции, которые наиболее необходимы, по мнению ППС и АУП, для выполнения экспертно-аналитических функций (по результатам исследования получены наиболее высокие оценки):

— «Должны быть знакомы с понятиями мониторинга, оценивания и управления качеством, с тенденциями в области менеджмента качества»;

— «Иметь представление о методиках мониторинга, Уметь проектировать процессы и методики мониторинга, оценивать качество различных компонентов образовательного процесса»;

— «Уметь пользоваться компьютером для обработки данных мониторинга, проводить простейший статистический анализ, строить графики и гистограммы и пр.»;

— «Иметь представление об этических и профессиональных нормах экспертной деятельности; использовать информацию с позиции «не навреди», не для наказания, а для совершенствования».

Также выявлено, что обучающиеся осознали некоторые затруднения в своей деятельности, которые были неочевидны ранее. Среди них такие: «выделять показатели для оценки качества объекта мониторинга»; «разрабатывать методики мониторинга различных компонентов образовательного процесса»; «систематизировать и обрабатывать результаты, представлять их в наглядном для интерпретации виде». В целом приведенные высказывания подтверждают высокую удовлетворенность обучающихся процессом и результатами ПК.

В 2011 году был проведён контрольный эксперимент на обучающихся третьей экспериментальной группы, которые проходили ПК в 2010 г. (через 1 год) для анализа изменений, произошедших в деятельности преподавателей. Была разработана и разослана анкета, на которую из 18 человек ответило 14 человек (76 %). Приведенные в анкетах высказывания подтвердили практическую применимость новых компетенций в деятельности. Анализ выявил отмеченную преподавателями высокую удовлетворенность процессом и результатами ПК, осознание важности новых компетенций и активное использование их в педагогической деятельности. В целом мониторинг мнений обучившихся достоверно подтвердил эффективность разработанной программы ПК «Практический мониторинг и оценивание качества в профессиональном образовании».

 Литература

1. Никитина Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 2. Методы мониторинга. Обучение менеджменту качества в образовании : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева (Зазон). – Новосибирск : НГТУ, 2008. – 60 с.

2. Никитина Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 1. Методика мониторинга : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева (Зазон). – Новосибирск : НГТУ, 2008. – 32 с.