В данной статье представлены результаты обучения преподавателей (1111С) и административно-управленческого персонала (АУП) образовательной организации профессионального образования по авторской программе повышения квалификации (ПК) «Практический мониторинг и оценивание качества в профессиональном образовании» и практической апробации методики мониторинга и оценивания качества результатов обучения [1; 2].
Структура и содержание экспериментальной части исследования определяется гипотезой: «Профессиональная подготовка ППС и АУП к реализации функций мониторинга, оценивания и управления качеством будет эффективной, если определена система компетенций в области мониторинга, оценивания и управления качеством; программа ПК (структура, содержание, методика обучения, мониторинг достижений) обеспечивает формирование необходимых компетенций; эффективность разработанной системы ПК подтверждается сформированностью компетенций в области мониторинга и осознанием их важности, высокой удовлетворенностью процессом и результатами ПК, изменением ценностных установок относительно экспертно-аналитической составляющей деятельности, осознанием затруднений, связанных с выявлением и анализом проблем и поиском решений для их устранения.
Для обоснования содержательной составляющей подготовки ППС и АУП к реализации функций мониторинга, оценивания и контроля качества рассмотрены положения, регламентирующие экспертно-аналитическую деятельность в профессиональном образовании: обосновывать выбор объекта и предмета мониторинга; выявлять заинтересованные в результатах мониторинга стороны и исследовать их потребности; определять нормы качества и не допускать абсолютных суждений о качестве; использовать классические и специально разработанные для образования методы и методики мониторинга; проводить мониторинг, обрабатывать результаты, делать содержательные выводы и рекомендации; формировать команду экспертов с учетом профессиональных и личностных качеств; использовать результаты мониторинга не для наказания, а для совершенствования; обеспечивать технологичность процедуры мониторинга, необходимые ресурсы и конфиденциальность данных мониторинга [2].
На основе аналитических исследований сформированы блоки компетенций ППС и АУП, необходимые для эффективного выполнения работ в области мониторинга, оценивания и управления качеством (таблица 1), которые положены в основу проектирования программы ПК.
Таблица 1
Компетенции ППС в области мониторинга, оценивания и управления качеством
|
Блок компетенций |
Содержание блока компетенций |
|
В1 – Нормативно – планировочный блок |
Иметь представление:о нормативной базе управления качеством; типовых моделях системы менеджмента качества (СМК); моделях, применяемых в образовании, нормах качества. Знать: основные разделы и принципы ГОСТ Р ИСО 9001: 2008. Уметь: планировать мероприятия по мониторингу; устанавливать и совершенствовать «нормы качества» для условий, процессов и результатов. |
|
В2 – Блок базовых теоретических знаний и практических умений |
Иметь представление:о многообразии методов мониторинга и оценивания качества; классификации и применимости методов; статистических методах контроля качества. Знать: основные понятия и определения в области мониторинга качества; простые и новые методы оценивания и управления качеством; простейшие методы обработки статистической информации. Уметь: использовать методы контроля качества в практической деятельности; использовать простейшие статистические методы контроля качества. |
|
В3 – Научно-методический и проектировочный |
Иметь общее представление: о методиках мониторинга и их месте в СМК; о специфике методик мониторинга в образовании. Знать: общую структуру методики мониторинга, содержание ее необходимых разделов и предъявляемые к ним требования. Уметь: проектировать процессы мониторинга; разрабатывать методики мониторинга различных объектов и предметов мониторинга. Иметь навыки: проведения исследований по проблемам качества; участия в планировании и реализации проектов. |
|
В4 – Экспертно- аналитический |
Иметь представление:об экспертно-аналитической деятельности. Уметь: проводить опросы заинтересованных сторон; извлекать, обрабатывать и анализировать информацию; обсуждать результаты мониторинга с представителями заинтересованных сторон. Иметь навыки: проведения мониторинга качества ресурсов, процессов и результатов; подготовки отчетных документов; документирования процессов мониторинга. Иметь представление:о программных продуктах, используемых для мониторинга и обработки результатов. |
|
В5 – Технологический |
Уметь: пользоваться компьютером для обработки информации (простейший статистический анализ, графики, гистограммы, корреляционные диаграммы и др.). |
|
В6 – Блок личностномотивационных характеристик и этических норм |
Иметь представление:об экспертной деятельности; этических и профессиональных нормах и ценностях в использовании результатов мониторинга. Уметь: использовать информацию о результатах мониторинга с позиции «не навреди»; применять результаты не для наказания, а для совершенствования; представлять информацию ответственным за процесс специалистам. Иметь навыки: работы автономно и в команде. |
Для создания диагностической основы оценки эффективности системы ПК проведено следующее:
— до ПК исследована готовность ППС и АУП к выполнению функций мониторинга, оценивания и управления качеством (три экспериментальные группы ППС и АУП высшего, среднего и начального профессионального образования (общий объём выборки – 55 чел.);
— с использованием активных методов обучения проведено ПК по авторской программе (формирующий эксперимент, три экспериментальные группы);
— по окончании обучения проведена оценка эффективности системы ПК по показателям «Значимое повышение показателей, характеризующих сформированность компетенций в области мониторинга, оценивания и контроля качества», «Удовлетворенность», «Важность» и «Осознание затруднений» (две экспериментальные группы – 39 чел. ГШС и АУП высшего, среднего и начального профессионального образования);
— на контрольной группе обучающихся (ГШС и АУП всех уровней профессионального образования, общий объем статистических наблюдений – 32 чел.) исследована готовность специалистов к исполнению функций мониторинга;
— проведен сравнительный анализ результатов эксперимента на контрольной и экспериментальной группах, сформированы содержательные выводы, оценена эффективность программы ПК.
Сравнение результатов исследования, полученных до и после ПК, выявление значимости произошедших изменений осуществлялось с помощью аппарата статистической проверки гипотез. Все исследования, связанные с анализом эффективности программы подготовки преподавателей и АУП, мониторингом результатов обучения и использования приобретенных компетенций в профессиональной ности, проводились с применением инвариантной методики мониторинга и оценивания качества, разработанной авторами настоящей статьи [2]. Методика апробирована в НГТУ при проведении мониторинга удовлетворенности заинтересованных сторон технологией электронного обучения, качества электронных учебно-методических комплексов, программой повышения квалификации среднего звена управленческих кадров вузов и др. Методика инвариантна к объекту и предмету мониторинга и имеет следующую структуру [2]:
— наименование методики и организации (подразделения);
— рабочая группа по мониторингу с распределением ролей;
— цели мониторинга: общая и конкретная (возможна иерархия целей);
— задачи и мероприятия мониторинга;
— риски (неуправляемые влияния внешней среды);
— сроки мониторинга и его локализация (с привязкой к задачам);
— статус мониторинга (первичный, коррекционный), характеристика предыдущего этапа и принятые решения (для коррекционного этапа);
— объект и предмет мониторинга (изменения в объекте и предмете мониторинга для коррекционного этапа);
— показатели (нормы) качества;
— целевые группы (особенности, требования к составу и количеству, профессиональные и социальные характеристики, ограничения);
— методы мониторинга, сбора, обработки и хранения информации;
— инструменты мониторинга (анкеты, опросные листы, таблицы, программное обеспечение, форматы представления данных, оборудование и его характеристики);
— ресурсы (по задачам, мероприятиям), план-график, бюджет мониторинга;
— отчет (требования к структуре, формату, уровню детализации, формам представления информации, рекомендациям, перечень должностных лиц для передачи информации).
В формирующем эксперименте в 2009 – 2010 гг. на факультете повышения квалификации НГТУ прошли обучение три группы ППС и АУП. Анкета для проведения эксперимента включала следующие блоки показателей, каждый из которых содержал по 3 показателя (шкала измерения каждого показателя 0 – 6 баллов):
1.Осведомленность в вопросах менеджмента, мониторинга и оценивания качества в российском и международном образовании:
1.1. Знаком(а) с понятиями мониторинга и оценивания качества в образовании.
1.2. Знаком(а) с состоянием, тенденциями и моделями в области менеджмента качества в российском образовании.
1.3. Знаком(а) с состоянием и тенденциями в области менеджмента качества в Европе и мире.
2. Знание традиционных методов контроля качества:
2.1. Знаком(а) с методами контроля качества результатов обучения.
2.2. Знаком(а) с методами, могу разработать материалы для контроля и оценить качество ресурсов (условий) учебного процесса.
2.3. Знаком(а) с методами мониторинга и контроля качества процессов в образовании.
3. Использование в собственной деятельности процессов мониторинга и контроля качества:
3.1. Знаком(а) с методиками выявления несоответствий (проблем, недостатков) в образовательном процессе.
3.2. Знаком(а) с методиками анализа выявленных несоответствий (проблем).
3.3. Могу спланировать и организовать работу по устранению выявленных несоответствий и совершенствованию.
4.Деятельность вашей организации в области мониторинга и контроля качества:
4.1. У нас ведутся работы в области менеджмента качества.
4.2. Есть рекламно-информационная поддержка процессов создания СМК.
4.3. Персонал вовлечен в процессы менеджмента качества.
При повышении квалификации использована проблемно-проектная технология обучения: участники программы формировали команды микропроектов по 3 – 5 обучающихся с обязательным включением хотя бы одного специалиста с хорошими навыками работы на компьютере. В процессе обучения команды самостоятельно выбирали объекты и предметы мониторинга, обсуждали их в группе, принимали решение. После этого каждой командой разрабатывалась методика мониторинга выбранного объекта и предмета, измерительный инструментарий (анкеты, опросные листы и пр.). Обучающиеся проводили мониторинг, в котором сами выступали в роли анкетируемых. Данные мониторинга обрабатывалась и визуализировалась с использованием MSExcel, формировались выводы о выявленных несоответствиях и рекомендации по их устранению и предотвращению. Для этого выбирались изученные методы контроля качества: SWOT-анализ, диаграммы Ишикавы и Парето, корреляционные и лепестковые диаграммы, графики, гистограммы и пр. Наибольшие трудности вызывал выбор показателей и норм качества, шкал для проведения измерений (количественной, вербальной, категориальной и др.). Для представления и защиты выпускной работы полученные результаты оформлялись в виде презентации в MSProject и отчета по мониторингу заданного формата. Такая технология обучения позволяла в деятельности формировать устойчивые компетенции.
Во вводном модуле программы проводилась самопрезентации членов учебной группы, выяснялись цели участия в программе и ожидания и измерялись «входные» компетенции в области мониторинга и оценивания качества с помощью описанной анкеты. Результаты входного анкетирования обработаны, выявлены проблемы и обсуждены в группе. Обработка результатов эксперимента проводилась по каждому показателю анкеты. При этом рассчитывались математическое ожидание и среднеквадратическое отклонение по каждому показателю отдельно и в целом по блокам. Математическое ожидание отражает среднее значение показателя по всем обучающимся, среднеквадратическое отклонение – согласованность мнений обучающихся по каждому показателю. При уменьшении среднеквадратического отклонения согласованность мнений растет.
Для анализа и формирования содержательных выводов сравнивались показатели, полученные в экспериментальной группе, до и после обучения. В таблицу 2 сведены результаты анкетирования обучающихся экспериментальных групп 1 – 3.
Таблица 2
Результаты формирующего эксперимента и проверки гипотез по критерию Т-Уилкоксона для экспериментальных групп до и после ПК(выделены значимо отличающиеся показатели)
|
Блоки анкеты |
Вопросы анкеты |
Группа 1 (экспериментальная) |
Группа 2 (экспериментальная) |
Группа 3 (экспериментальная) |
Статистическое решение по критерию Т-Уилкоксона |
|||
|
математическое ожидание показателя |
математическое ожидание показателя |
математическое ожидание показателя |
||||||
|
до |
после |
до |
после |
до |
после |
|||
|
1 |
1.1 |
4,167 |
5,167 |
4,143 |
5,667 |
4,375 |
5,813 |
различия значимы |
|
1.2 |
2,444 |
4,611 |
2,667 |
5,143 |
3,063 |
5,438 |
различия значимы |
|
|
1.3 |
1,444 |
3,667 |
1,857 |
4,333 |
2,188 |
4,625 |
различия значимы |
|
|
2 |
2.1 |
4,389 |
5,222 |
4,000 |
5,429 |
4,188 |
5,688 |
различия значимы |
|
2.2 |
3,889 |
4,944 |
3,238 |
5,333 |
3,625 |
5,625 |
различия значимы |
|
|
2.3 |
3,111 |
4,722 |
2,762 |
5,429 |
2,938 |
5,438 |
различия значимы |
|
|
3 |
3.1 |
1,833 |
4,444 |
2,476 |
5,143 |
3,063 |
5,313 |
различия значимы |
|
3.2 |
2,278 |
4,444 |
2,571 |
4,476 |
2,875 |
4,625 |
различия значимы |
|
|
3.3 |
2,444 |
4,222 |
2,524 |
4,571 |
2,938 |
4,688 |
различия значимы |
|
|
4 |
4.1 |
2,833 |
3,833 |
2,571 |
2,429 |
4,375 |
4,438 |
различия незначимы |
|
4.2 |
1,722 |
2,778 |
2,857 |
3,143 |
4,188 |
4,375 |
различия незначимы |
|
|
4.3 |
2,167 |
3,222 |
3,000 |
3,238 |
4,063 |
4,313 |
различия незначимы |
|
Проверка значимости произошедших после ПК изменений проводилась с помощью Т-Уилкоксона для связанных выборок.
Проведенный анализ компетенций до и после обучения показал следующее:
— до ПК большинство обучающихся показывают, то знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании (вопрос 1.1, блок 1). В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании (вопрос 1.2). Ещё ниже показатель, отражающий осведомленность о тенденциях и моделях в области менеджмента качества в Европе и мире (вопрос 1.3). Результаты анкетирования после обучения показывают, что показатели значимо выросли (в смысле статистики критерия Т-Уилкоксона). У ППС сформированы компетенции на уровне основных представлений, выявлена большая ориентированность в вопросах менеджмента качества;
— полученные до ПК результаты оценки знаний в области традиционных методов контроля качества свидетельствуют об отсутствии у ППС и АУП компетенций в области практического мониторинга результатов, условий и процессов (вопрос 2.1, блок 2). Исключение составляет знание методов промежуточного и итогового контроля достижений обучающихся, как формы мониторинга, которая традиционно используется в образовании(вопросы 2.2 и 2.3). После обучения эти же показатели выросли значимо;
— навыки практического использования в деятельности ППС и АУП процессов мониторинга, оценивания и менеджмента качества оценены очень низко (вопрос 3.1, m1= 1,833). Это свидетельствует, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе(блок 3), слабо знакомы с методиками анализа выявленных несоответствий (вопрос 3.2, m1= 2,278) и практически не могут планировать и организовывать работу по устранению несоответствий и совершенствованию процессов (вопрос 3.3, m1=2,444). В целом по блоку 3 математическое ожидание m1= 2,18. После ПК большинство респондентов дали ровные и высокие оценки по всем показателям (вопрос 3.1 –m1=4,444,вопрос 3.2 – m1 = 4,444, вопрос 3.3 – m1 =4,222), значимо с точки зрения проверки гипотез отличающиеся от тех же показателей до обучения;
— при оценке деятельности организаций (вопрос 4.1), представляемых обучающимися, в области менеджмента качества большинство респондентов до обучения дали низкие показатели (блок 4). Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК в организациях, либо с тем, что основной персонал не вовлечен в эти работы и не информирован об истинном положении дел. После ПК мнения изменились незначимо. Отмечается низкий уровень рекламно-информационной поддержки процессов создания СМК (вопрос 4.2); персонал, как правило, не вовлечен в процессы менеджмента качества (вопрос 4.3).
Для того чтобы подтвердить неслучайность изменений компетенций ППС и АУП после обучения проведен аналогичный эксперимент на контрольной группе. В качестве контрольной группы выбрана группа, обучающаяся по программе ПК «Современные образовательные технологии» в НГТУ одновременно с экспериментальной группой № 2. В таблице 3 приведены показатели анкеты для экспериментальной группы № 2 и контрольной группы до и после обучения.
Для анализа значимости различий показателей блоков 1–4 экспериментальной группы № 2 и контрольной группы использовался непараметрический критерийU-Манна-Уитни для несвязанных выборок.
По всем показателям анкеты принята гипотеза о том, что до ПК уровень показателей в экспериментальной группе не ниже уровня в контрольной группе, и различия в показателях до обучения в контрольной и экспериментальной группе незначимы. После ПК те же показатели в экспериментальной и контрольной группах значимо различаются (в контрольной они ниже – выделенные столбцы).
Таблица 3
Результаты самооценки уровня компетенций в области менеджмента, мониторинга и оценивания качества обучающихся контрольной и экспериментальной группы № 2 до и после ПК по критериюU-Манна-Уитни
|
Вопросы анкеты |
До обучения |
После обучения |
Статистическое решение |
||||||
|
Математическое ожидание показателя |
среднеквадратическое отклонение |
Математическое ожидание показателя |
среднеквадратическое отклонение |
||||||
|
Кгр |
Эгр |
Кгр |
Эгр |
Кгр |
Эгр |
Кгр |
Эгр |
||
|
1.1 |
3,594 |
4,143 |
1,043 |
1,125 |
3,969 |
5,667 |
1,134 |
0,563 |
различия значимы |
|
1.2 |
2,844 |
2,667 |
1,043 |
1,321 |
3,188 |
5,143 |
1,152 |
0,639 |
различия значимы |
|
1.3 |
2,156 |
1,857 |
1,087 |
1,125 |
2,094 |
4,333 |
1,154 |
0,891 |
различия значимы |
|
2.1 |
4,063 |
4,000 |
1,128 |
1,447 |
4,375 |
5,429 |
1,153 |
0,583 |
различия значимы |
|
2.2 |
3,813 |
3,238 |
1,175 |
1,306 |
3,969 |
5,333 |
1,149 |
0,642 |
различия значимы |
|
2.3 |
3,375 |
2,762 |
1,205 |
1,109 |
3,531 |
5,429 |
1,145 |
0,660 |
различия значимы |
|
3.1 |
2,625 |
2,476 |
1,233 |
1,401 |
2,781 |
5,143 |
1,091 |
0,710 |
различия значимы |
|
3.2 |
2,750 |
2,571 |
1,265 |
1,218 |
2,750 |
4,476 |
1,098 |
0,794 |
различия значимы |
|
3.3 |
2,906 |
2,524 |
1,287 |
1,295 |
3,031 |
4,571 |
1,105 |
0,791 |
различия значимы |
|
4.1 |
2,625 |
2,571 |
1,245 |
1,678 |
2,969 |
2,429 |
1,103 |
1,294 |
различия незначимы |
|
4.2 |
2,938 |
2,857 |
1,176 |
1,390 |
3,290 |
3,143 |
1,086 |
1,320 |
различия незначимы |
|
4.3 |
2,406 |
3,000 |
1,241 |
1,543 |
2,710 |
3,238 |
1,101 |
1,231 |
различия незначимы |
Анализ значимости различий показателей двух групп после обучения показывает, что в экспериментальной группе к концу обучения средние значения показателей значительно повысились, о чем свидетельствует отвержение гипотезы по критерию U-Манна-Уитнио незначимости произошедших изменений.
Среднеквадратические отклонения показателей после ПК снизились, что отражает сближение значений показателей компетенций после обучения по сравнению с входными результатами анкетирования. Показатели блока 4 практически не претерпели изменений. Некоторая разница между входными и выходными показателями может быть отнесена к фактору случайности.
Проведенный эксперимент подтвердил, что разработанная программа ПК формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и управления качеством в профессиональном образовании.
Далее была проанализирована эффективность разработанной программы ПК по показателям «Важность», «Удовлетворенность» и «Осознание затруднений» обучающимися. Исследование проводилось с помощью анкет:
— «Удовлетворенность преподавателей процессом и результатами ПК в области мониторинга, оценивания и управления качеством»;
— «Осознание важности владения компетенциями в области менеджмента, мониторинга и оценивания качества»;
— «Осознание преподавателем затруднений и изменение отношения к использованию в преподавании и управлении методов управления качеством».
Исследование показателя «Важность» позволило выделить компетенции, которые наиболее необходимы, по мнению ППС и АУП, для выполнения экспертно-аналитических функций (по результатам исследования получены наиболее высокие оценки):
— «Должны быть знакомы с понятиями мониторинга, оценивания и управления качеством, с тенденциями в области менеджмента качества»;
— «Иметь представление о методиках мониторинга, Уметь проектировать процессы и методики мониторинга, оценивать качество различных компонентов образовательного процесса»;
— «Уметь пользоваться компьютером для обработки данных мониторинга, проводить простейший статистический анализ, строить графики и гистограммы и пр.»;
— «Иметь представление об этических и профессиональных нормах экспертной деятельности; использовать информацию с позиции «не навреди», не для наказания, а для совершенствования».
Также выявлено, что обучающиеся осознали некоторые затруднения в своей деятельности, которые были неочевидны ранее. Среди них такие: «выделять показатели для оценки качества объекта мониторинга»; «разрабатывать методики мониторинга различных компонентов образовательного процесса»; «систематизировать и обрабатывать результаты, представлять их в наглядном для интерпретации виде». В целом приведенные высказывания подтверждают высокую удовлетворенность обучающихся процессом и результатами ПК.
В 2011 году был проведён контрольный эксперимент на обучающихся третьей экспериментальной группы, которые проходили ПК в 2010 г. (через 1 год) для анализа изменений, произошедших в деятельности преподавателей. Была разработана и разослана анкета, на которую из 18 человек ответило 14 человек (76 %). Приведенные в анкетах высказывания подтвердили практическую применимость новых компетенций в деятельности. Анализ выявил отмеченную преподавателями высокую удовлетворенность процессом и результатами ПК, осознание важности новых компетенций и активное использование их в педагогической деятельности. В целом мониторинг мнений обучившихся достоверно подтвердил эффективность разработанной программы ПК «Практический мониторинг и оценивание качества в профессиональном образовании».
Литература
1. Никитина Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 2. Методы мониторинга. Обучение менеджменту качества в образовании : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева (Зазон). – Новосибирск : НГТУ, 2008. – 60 с.
2. Никитина Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 1. Методика мониторинга : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева (Зазон). – Новосибирск : НГТУ, 2008. – 32 с.