В данной статье приведены результаты апробации разработанной авторской программы повышения квалификации преподавателей «Практический мониторинг и оценивание качества в профессиональном образовании».
Прежде чем приступить к описанию эксперимента, определим содержание понятия «эффективность» процесса повышения квалификации, которая основывается на следующих двух показателях.
Планирование и проведение эксперимента осуществлялось в соответствии с разработанной инвариантной методикой мониторинга, анализа и оценивания качества. В качестве измерительного инструмента была разработана анкета. Опрос обучающихся по программе ПК проводился на первом вводном занятии до повышения квалификации и на последнем занятии после защиты выпускной работы. В качестве показателей для оценки уровня компетенций обучающихся до и после повышения квалификации выбраны следующие блоки показателей анкеты.
Блок 1. Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании. Первый блок вопросов анкеты позволяет выявить уровень общей ознакомленности анкетируемых с понятиями менеджмента, мониторинга и оценивания качества в целом и в приложении к российскому и международному образованию; с состоянием, тенденциями и моделями менеджмента качества в данной области в России, Европе и мире.
Блок 2. Знание традиционных методов контроля качества. Второй блок вопросов анкеты ориентирован на определение уровня компетенций испытуемого по владению методами мониторинга, оценивания и контроля качества результатов, ресурсов (условий) и процессов обучения; на самооценку умений разрабатывать материалы для оценки качества результатов, ресурсов и процессов в образовании.
Блок 3. Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества. Третий блок вопросов определяет общий уровень компетенций анкетируемых по выявлению и анализу несоответствий (проблем, недостатков) в образовательном процессе; по обработке, анализу и интерпретации полученных результатов, формированию выводов и рекомендаций для устранения несоответствий и совершенствованию процессов; в вопросах планирования и организации работы по выявлению, анализу и устранению выявленных несоответствий.
Блок 4. Деятельность ОО в области менеджмента, мониторинга и контроля. Четвёртый блок вопросов анкеты позволяет установить общий уровень работ образовательных учреждений в области создания СМК, вовлеченности персонала в процессы менеджмента качества, использование информационной и рекламно-просветительской поддержки процессов создания СМК образовательного учреждения.
Обработка результатов эксперимента проводилась по каждому показателю анкеты. При этом рассчитывались математическое ожидание и среднеквадратическое отклонение по каждому показателю отдельно и в целом по блокам. Для анализа и формирования содержательных выводов сравнивались показатели, полученные для конкретной экспериментальной группы, до и после обучения.
Инструментом сравнения значений показателей анкеты, полученных до и после обучения, для выявления значимости или незначимости проявившихся в результате повышения квалификации изменений послужил аппарат статистической проверки гипотез.
По первому блоку анкеты «Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании» статистическая обработка результатов эксперимента группы до повышения квалификации показывает, что по первому показателю блока анкеты большинство респондентов отмечают, что знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании. В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании. Ещё ниже показатель, отражающий осведомленность респондентов о состоянии, тенденциях и моделях в области менеджмента качества в Европе и мире.
Результаты анкетирования после обучения показывают, что показатели значительно выросли, в общем случае можно сделать вывод, что у преподавателей сформированы компетенции на уровне общих представлений, большей ориентированности в вопросах менеджмента качества. Данной теме в программе курса было посвящено всего одно занятие с небольшой практической работой по документированию некоторого выбранного самостоятельно командой микропроекта процесса. Однако результаты свидетельствуют, что полученные на занятии теоретические сведения и некоторые практические навыки, подкрепленные далее большой практической работой по планированию и проведению мониторинга конкретного выбранного самостоятельно объекта и предмета мониторинга, формируют в результате устойчивые компетенции. Обучающиеся начинают грамотно использовать терминологию, активно участвовать в дискуссиях по проблемам менеджмента качества, ставить и решать вопросы практического мониторинга.
По второму блоку анкеты «Знание традиционных методов контроля качества» большинство преподавателей дали высокие оценки. Каждый преподаватель в основном владеет методами контроля качества результатов обучения. В своей практике они широко используют методы входного, промежуточного и итогового контроля достижений обучающихся, умеют разрабатывать и используют при оценке достижений обучающихся тесты и комплексные задания. Ниже показатель, характеризующий знание методов контроля и оценивания качества ресурсов (условий) учебного процесса, и еще ниже отмечается знание методов мониторинга и контроля качества процессов в образовательной организации. Полученные до обучения результаты анкетирования свидетельствуют об отсутствии у ППС и АУП компетенций в области практического мониторинга, оценивания и управления на основе качества не только результатами, но также условиями и процессами. Исключение составляют методы промежуточного и итогового контроля достижений обучающихся, как формы мониторинга, которая традиционно используется в образовании.
Результаты после обучения показывают, что показатели выросли значимо, это свидетельствует, что преподаватели признают значительный рост компетенций. Показатели данного блока определяют уровень сформированных компетенций, позволяющих преподавателям расширить круг инструментов для проведения мониторинга и управления качеством в своей деятельности. Традиционно преподаватели хорошо владеют методами контроля достижений обучающихся. Однако в современном менеджменте качества используется множество простых, понятных и опробованных на практике, но использованных в основном в производстве продукции и предоставлении услуг, методов. Очень важно, что существуют методы контроля процессов и условий (ресурсов), которые практически не используются в образовании. Перенос этих методов, и особенно методов мониторинга процессов, в профессиональное образование практически не осуществлялся. В дискуссиях, которые проходили в группе в процессе обучения, обучающиеся критически отнеслись к возможности и необходимости использования новых методов в своей деятельности. Когда же в процессе обучения преподаватели ознакомились с методами, и каждая группа микропроекта вынуждена была выбрать 2-3 новых метода для проведения мониторинга, то после практической их апробации у преподавателей изменилось мнение по данному вопросу. Некоторую проблему у обучающихся вызвали статистические методы контроля качества с точки зрения необходимости их применения для математической обработки данных и интерпретации полученных результатов. В дискуссиях и свободных высказываниях обучающиеся выражают тревогу, что математических знаний у них недостаточно. И действительно, временные ограничения курса не позволяют уделить больше внимания вопросам простейшей статистической обработки данных и снять тревогу по данному вопросу. Но владение компьютером несколько смягчает ситуацию. Необходимость использования в практическом обучении компьютера, с одной стороны, делает проблему статистической обработки результатов мониторинга менее острой, а с другой стороны, приводит преподавателей к осознанию необходимости компетенций в области информационных технологий.
По третьему блоку анкеты «Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества» большинство респондентов дали очень низкие оценки, что свидетельствует о том, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе. Так же слабо знакомы с методиками анализа выявленных несоответствий и практически не могут планировать и организовывать работу по устранению выявленных несоответствий и совершенствованию процессов.
После повышения квалификации большинство респондентов по третьему блоку анкеты дали ровные и высокие оценки по всем показателям. Это свидетельствует о том, что после практического обучения преподаватели приобрели навыки выявления несоответствий и последующей работы с несоответствиями. Очень важный результат, отраженный в показателях данного блока, это появление новых компетенций, связанных с решением вопросов планирования и проектирования работ по мониторингу некоторого объекта исследования. Важно, что обучающиеся понимают, как это необходимо делать, умеют разрабатывать методики мониторинга для конкретного объекта и предмета мониторинга, используя формат методики, разрабатывать измерительный материал для проведения контроля качества, выявлять проблемные точки в анализируемом процессе, результате, ресурсе, выбирать адекватные методы обработки информации, обрабатывать и интерпретировать полученные результаты. Проектная технология обучения позволила обучающимся, объединенных в рабочие группы, исполняющие микропроект, пройти через все этапы комплексного мониторинга, оценивания и контроля качества: от выбора объекта и предмета мониторинга до формирования рекомендаций по устранению выявленных проблем, несоответствий, недостатков.
Четвёртый блок анкеты «Деятельность ОО в области менеджмента, мониторинга и контроля» отражает не уровень компетенций испытуемого, а уровень работ ОО и вовлеченность в эти работы основного персонала. Показатели данного блока важны, т. к. отражают отношение преподавателей к работам ОО в области менеджмента качества, информированность об этих работах и уровень их содержательного участия.
Результаты эксперимента до обучения показали следующее. По первому показателю блока большинство респондентов дали очень низкие оценки. Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК ОО, либо с тем, что основной персонал ОО не вовлечен в эти работы и не информирован об их значимости. Некоторые ОО для разработки и сертификации СМК приглашают специалистов в этой области со стороны, в лучшем случае создают группу менеджмента качества и совсем редко в содержательных работах по созданию СМК принимают участие преподаватели и АУП ОО. Другой возможной причиной низких показателей блока 4 может быть отсутствие в проектируемой СМК ядра, связанного с практическим содержательным мониторингом качества основных процессов, результатов и ресурсов образовательного процесса. Именно в этой части работ должны принимать активное участие преподаватели и АУП образовательной организации, от которых зависят результаты деятельности и через которых проявляется вовлеченность основного персонала в процессы менеджмента качества.
После обучения показатели блока 4 анкеты изменились, но незначимо: персонал ОО, как правило, не вовлечен в процессы менеджмента качества.
Если сравнивать результаты до обучения и после, то изменения незначимы, этого и исследовало ожидать, т.к. повышение квалификации не должно было отразиться на мнении респондентов о работах ОО в области менеджмента качества, вовлеченности персонала в эти процессы и информированности академического сообщества о процессах в области менеджмента качества. Незначительное увеличение показателей можно предположительно связать со следующим. После повышения квалификации обучающиеся стали более квалифицированными для адекватной оценки работ ОО в области менеджмента качества, возможно, сформировалось более осознанное отношение к деятельности руководства в данном направлении и т.д. Тем не менее, данные изменения можно считать случайными и не отражающими значимых системных изменений.
Проведенный эксперимент подтвердил, что разработанная программа повышения квалификации формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и контроля качества в профессиональном образовании.
На основе проведенного эксперимента можно сделать вывод, что разработанная авторская программа повышения квалификации «Практический мониторинг и оценивание качества в профессиональном образовании», методика и технология организации учебного процесса приводят к устойчивому формированию и развитию компетенций преподавателей и АУП профессионального образования в области мониторинга, оценивания и управления качеством. В этом смысле можно считать, что программа повышения квалификации эффективна.