Структура и содержание экспериментальной части исследования определяется гипотезой: «Профессиональная подготовка ППС и АУП к реализации функций мониторинга, оценивания и управления качеством будет эффективной, если определена система компетенций в области мониторинга, оценивания и управления качеством; программа ПК (структура, содержание, методика обучения, мониторинг достижений) обеспечивает формирование необходимых компетенций; эффективность разработанной системы ПК подтверждается сформированностью компетенций в области мониторинга и осознанием их важности, высокой удовлетворенностью процессом и результатами ПК, изменением ценностных установок относительно экспертно-аналитической составляющей деятельности, осознанием затруднений, связанных с выявлением и анализом проблем и поиском решений для их устранения.

Для обоснования содержательной составляющей подготовки ППС и АУП к реализации функций мониторинга, оценивания и контроля качества рассмотрены положения, регламентирующие экспертно-аналитическую деятельность в профессиональном образовании: обосновывать выбор объекта и предмета мониторинга; выявлять заинтересованные в результатах мониторинга стороны и исследовать их потребности; определять нормы качества и не допускать абсолютных суждений о качестве; использовать классические и специально разработанные для образования методы и методики мониторинга; проводить мониторинг, обрабатывать результаты, делать содержательные выводы и рекомендации; формировать команду экспертов с учетом профессиональных и личностных качеств; использовать результаты мониторинга не для наказания, а для совершенствования; обеспечивать технологичность процедуры мониторинга, необходимые ресурсы и конфиденциальность данных мониторинга [2].

На основе аналитических исследований сформированы блоки компетенций ППС и АУП, необходимые для эффективного выполнения работ в области мониторинга, оценивания и управления качеством (таблица 1), которые положены в основу проектирования программы ПК.

Таблица 1

Компетенции ППС в области мониторинга, оценивания и управления качеством

Для создания диагностической основы оценки эффективности системы ПК проведено следующее:

— до ПК исследована готовность ППС и АУП к выполнению функций мониторинга, оценивания и управления качеством (три экспериментальные группы ППС и АУП высшего, среднего и начального профессионального образования (общий объём выборки – 55 чел.);

— с использованием активных методов обучения проведено ПК по авторской программе (формирующий эксперимент, три экспериментальные группы);

— по окончании обучения проведена оценка эффективности системы ПК по показателям «Значимое повышение показателей, характеризующих сформированность компетенций в области мониторинга, оценивания и контроля качества», «Удовлетворенность», «Важность» и «Осознание затруднений» (две экспериментальные группы – 39 чел. ГШС и АУП высшего, среднего и начального профессионального образования);

— на контрольной группе обучающихся (ГШС и АУП всех уровней профессионального образования, общий объем статистических наблюдений – 32 чел.) исследована готовность специалистов к исполнению функций мониторинга;

— проведен сравнительный анализ результатов эксперимента на контрольной и экспериментальной группах, сформированы содержательные выводы, оценена эффективность программы ПК.

Сравнение результатов исследования, полученных до и после ПК, выявление значимости произошедших изменений осуществлялось с помощью аппарата статистической проверки гипотез. Все исследования, связанные с анализом эффективности программы подготовки преподавателей и АУП, мониторингом результатов обучения и использования приобретенных компетенций в профессиональной ности, проводились с применением инвариантной методики мониторинга и оценивания качества, разработанной авторами настоящей статьи [2]. Методика апробирована в НГТУ при проведении мониторинга удовлетворенности заинтересованных сторон технологией электронного обучения, качества электронных учебно-методических комплексов, программой повышения квалификации среднего звена управленческих кадров вузов и др. Методика инвариантна к объекту и предмету мониторинга и имеет следующую структуру [2]:

— наименование методики и организации (подразделения);

— рабочая группа по мониторингу с распределением ролей;

— цели мониторинга: общая и конкретная (возможна иерархия целей);

— задачи и мероприятия мониторинга;

— риски (неуправляемые влияния внешней среды);

— сроки мониторинга и его локализация (с привязкой к задачам);

— статус мониторинга (первичный, коррекционный), характеристика предыдущего этапа и принятые решения (для коррекционного этапа);

— объект и предмет мониторинга (изменения в объекте и предмете мониторинга для коррекционного этапа);

— показатели (нормы) качества;

— целевые группы (особенности, требования к составу и количеству, профессиональные и социальные характеристики, ограничения);

— методы мониторинга, сбора, обработки и хранения информации;

— инструменты мониторинга (анкеты, опросные листы, таблицы, программное обеспечение, форматы представления данных, оборудование и его характеристики);

— ресурсы (по задачам, мероприятиям), план-график, бюджет мониторинга;

— отчет (требования к структуре, формату, уровню детализации, формам представления информации, рекомендациям, перечень должностных лиц для передачи информации).

В формирующем эксперименте в 2009 – 2010 гг. на факультете повышения квалификации НГТУ прошли обучение три группы ППС и АУП. Анкета для проведения эксперимента включала следующие блоки показателей, каждый из которых содержал по 3 показателя (шкала измерения каждого показателя 0 – 6 баллов):

1.Осведомленность в вопросах менеджмента, мониторинга и оценивания качества в российском и международном образовании:

1.1. Знаком(а) с понятиями мониторинга и оценивания качества в образовании.

1.2. Знаком(а) с состоянием, тенденциями и моделями в области менеджмента качества в российском образовании.

1.3. Знаком(а) с состоянием и тенденциями в области менеджмента качества в Европе и мире.

2. Знание традиционных методов контроля качества:

2.1. Знаком(а) с методами контроля качества результатов обучения.

2.2. Знаком(а) с методами, могу разработать материалы для контроля и оценить качество ресурсов (условий) учебного процесса.

2.3. Знаком(а) с методами мониторинга и контроля качества процессов в образовании.

3. Использование в собственной деятельности процессов мониторинга и контроля качества:

3.1. Знаком(а) с методиками выявления несоответствий (проблем, недостатков) в образовательном процессе.

3.2. Знаком(а) с методиками анализа выявленных несоответствий (проблем).

3.3. Могу спланировать и организовать работу по устранению выявленных несоответствий и совершенствованию.

4.Деятельность вашей организации в области мониторинга и контроля качества:

4.1. У нас ведутся работы в области менеджмента качества.

4.2. Есть рекламно-информационная поддержка процессов создания СМК.

4.3. Персонал вовлечен в процессы менеджмента качества.

При повышении квалификации использована проблемно-проектная технология обучения: участники программы формировали команды микропроектов по 3 – 5 обучающихся с обязательным включением хотя бы одного специалиста с хорошими навыками работы на компьютере. В процессе обучения команды самостоятельно выбирали объекты и предметы мониторинга, обсуждали их в группе, принимали решение. После этого каждой командой разрабатывалась методика мониторинга выбранного объекта и предмета, измерительный инструментарий (анкеты, опросные листы и пр.). Обучающиеся проводили мониторинг, в котором сами выступали в роли анкетируемых. Данные мониторинга обрабатывалась и визуализировалась с использованием MSExcel, формировались выводы о выявленных несоответствиях и рекомендации по их устранению и предотвращению. Для этого выбирались изученные методы контроля качества: SWOT-анализ, диаграммы Ишикавы и Парето, корреляционные и лепестковые диаграммы, графики, гистограммы и пр. Наибольшие трудности вызывал выбор показателей и норм качества, шкал для проведения измерений (количественной, вербальной, категориальной и др.). Для представления и защиты выпускной работы полученные результаты оформлялись в виде презентации в MSProject и отчета по мониторингу заданного формата. Такая технология обучения позволяла в деятельности формировать устойчивые компетенции.

Во вводном модуле программы проводилась самопрезентации членов учебной группы, выяснялись цели участия в программе и ожидания и измерялись «входные» компетенции в области мониторинга и оценивания качества с помощью описанной анкеты. Результаты входного анкетирования обработаны, выявлены проблемы и обсуждены в группе. Обработка результатов эксперимента проводилась по каждому показателю анкеты. При этом рассчитывались математическое ожидание и среднеквадратическое отклонение по каждому показателю отдельно и в целом по блокам. Математическое ожидание отражает среднее значение показателя по всем обучающимся, среднеквадратическое отклонение – согласованность мнений обучающихся по каждому показателю. При уменьшении среднеквадратического отклонения согласованность мнений растет.

Для анализа и формирования содержательных выводов сравнивались показатели, полученные в экспериментальной группе, до и после обучения. В таблицу 2 сведены результаты анкетирования обучающихся экспериментальных групп 1 – 3.

Таблица 2

Результаты формирующего эксперимента и проверки гипотез по критерию Т-Уилкоксона для экспериментальных групп до и после ПК(выделены значимо отличающиеся показатели)

Проверка значимости произошедших после ПК изменений проводилась с помощью Т-Уилкоксона для связанных выборок.

Проведенный анализ компетенций до и после обучения показал следующее:

—  до ПК большинство обучающихся показывают, то знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании (вопрос 1.1, блок 1). В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании (вопрос 1.2). Ещё ниже показатель, отражающий осведомленность о тенденциях и моделях в области менеджмента качества в Европе и мире (вопрос 1.3). Результаты анкетирования после обучения показывают, что показатели значимо выросли (в смысле статистики критерия Т-Уилкоксона). У ППС сформированы компетенции на уровне основных представлений, выявлена большая ориентированность в вопросах менеджмента качества;

— полученные до ПК результаты оценки знаний в области традиционных методов контроля качества свидетельствуют об отсутствии у ППС и АУП компетенций в области практического мониторинга результатов, условий и процессов (вопрос 2.1, блок 2). Исключение составляет знание методов промежуточного и итогового контроля достижений обучающихся, как формы мониторинга, которая традиционно используется в образовании(вопросы 2.2 и 2.3). После обучения эти же показатели выросли значимо;

— навыки практического использования в деятельности ППС и АУП процессов мониторинга, оценивания и менеджмента качества оценены очень низко (вопрос 3.1, m1= 1,833). Это свидетельствует, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе(блок 3), слабо знакомы с методиками анализа выявленных несоответствий (вопрос 3.2, m1= 2,278) и практически не могут планировать и организовывать работу по устранению несоответствий и совершенствованию процессов (вопрос 3.3, m1=2,444). В целом по блоку 3 математическое ожидание m1= 2,18. После ПК большинство респондентов дали ровные и высокие оценки по всем показателям (вопрос 3.1 –m1=4,444,вопрос 3.2 – m1 = 4,444, вопрос 3.3 – m1 =4,222), значимо с точки зрения проверки гипотез отличающиеся от тех же показателей до обучения;

—  при оценке деятельности организаций (вопрос 4.1), представляемых обучающимися, в области менеджмента качества большинство респондентов до обучения дали низкие показатели (блок 4). Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК в организациях, либо с тем, что основной персонал не вовлечен в эти работы и не информирован об истинном положении дел. После ПК мнения изменились незначимо. Отмечается низкий уровень рекламно-информационной поддержки процессов создания СМК (вопрос 4.2); персонал, как правило, не вовлечен в процессы менеджмента качества (вопрос 4.3).

Для того чтобы подтвердить неслучайность изменений компетенций ППС и АУП после обучения проведен аналогичный эксперимент на контрольной группе. В качестве контрольной группы выбрана группа, обучающаяся по программе ПК «Современные образовательные технологии» в НГТУ одновременно с экспериментальной группой № 2. В таблице 3 приведены показатели анкеты для экспериментальной группы № 2 и контрольной группы до и после обучения.

Для анализа значимости различий показателей блоков 1–4 экспериментальной группы № 2 и контрольной группы использовался непараметрический критерийU-Манна-Уитни для несвязанных выборок.

По всем показателям анкеты принята гипотеза о том, что до ПК уровень показателей в экспериментальной группе не ниже уровня в контрольной группе, и различия в показателях до обучения в контрольной и экспериментальной группе незначимы. После ПК те же показатели в экспериментальной и контрольной группах значимо различаются (в контрольной они ниже – выделенные столбцы).

Таблица 3

Результаты самооценки уровня компетенций в области менеджмента, мониторинга и оценивания качества обучающихся контрольной и экспериментальной группы № 2 до и после ПК по критериюU-Манна-Уитни

Анализ значимости различий показателей двух групп после обучения показывает, что в экспериментальной группе к концу обучения средние значения показателей значительно повысились, о чем свидетельствует отвержение гипотезы по критерию U-Манна-Уитнио незначимости произошедших изменений.

Среднеквадратические отклонения показателей после ПК снизились, что отражает сближение значений показателей компетенций после обучения по сравнению с входными результатами анкетирования. Показатели блока 4 практически не претерпели изменений. Некоторая разница между входными и выходными показателями может быть отнесена к фактору случайности.

Проведенный эксперимент подтвердил, что разработанная программа ПК формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и управления качеством в профессиональном образовании.

Далее была проанализирована эффективность разработанной программы ПК по показателям «Важность», «Удовлетворенность» и «Осознание затруднений» обучающимися. Исследование проводилось с помощью анкет:

— «Удовлетворенность преподавателей процессом и результатами ПК в области мониторинга, оценивания и управления качеством»;

— «Осознание важности владения компетенциями в области менеджмента, мониторинга и оценивания качества»;

—  «Осознание преподавателем затруднений и изменение отношения к использованию в преподавании и управлении методов управления качеством».

Исследование показателя «Важность» позволило выделить компетенции, которые наиболее необходимы, по мнению ППС и АУП, для выполнения экспертно-аналитических функций (по результатам исследования получены наиболее высокие оценки):

— «Должны быть знакомы с понятиями мониторинга, оценивания и управления качеством, с тенденциями в области менеджмента качества»;

— «Иметь представление о методиках мониторинга, Уметь проектировать процессы и методики мониторинга, оценивать качество различных компонентов образовательного процесса»;

— «Уметь пользоваться компьютером для обработки данных мониторинга, проводить простейший статистический анализ, строить графики и гистограммы и пр.»;

— «Иметь представление об этических и профессиональных нормах экспертной деятельности; использовать информацию с позиции «не навреди», не для наказания, а для совершенствования».

Также выявлено, что обучающиеся осознали некоторые затруднения в своей деятельности, которые были неочевидны ранее. Среди них такие: «выделять показатели для оценки качества объекта мониторинга»; «разрабатывать методики мониторинга различных компонентов образовательного процесса»; «систематизировать и обрабатывать результаты, представлять их в наглядном для интерпретации виде». В целом приведенные высказывания подтверждают высокую удовлетворенность обучающихся процессом и результатами ПК.

В 2011 году был проведён контрольный эксперимент на обучающихся третьей экспериментальной группы, которые проходили ПК в 2010 г. (через 1 год) для анализа изменений, произошедших в деятельности преподавателей. Была разработана и разослана анкета, на которую из 18 человек ответило 14 человек (76 %). Приведенные в анкетах высказывания подтвердили практическую применимость новых компетенций в деятельности. Анализ выявил отмеченную преподавателями высокую удовлетворенность процессом и результатами ПК, осознание важности новых компетенций и активное использование их в педагогической деятельности. В целом мониторинг мнений обучившихся достоверно подтвердил эффективность разработанной программы ПК «Практический мониторинг и оценивание качества в профессиональном образовании».

 Литература

1. Никитина Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 2. Методы мониторинга. Обучение менеджменту качества в образовании : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева (Зазон). – Новосибирск : НГТУ, 2008. – 60 с.

2. Никитина Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 1. Методика мониторинга : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева (Зазон). – Новосибирск : НГТУ, 2008. – 32 с.