В данной статье приведены результаты апробации разработанной авторской программы повышения квалификации преподавателей «Практический мониторинг и оценивание качества в профессиональном образовании». Планирование и проведение эксперимента осуществлялось в соответствии с разработанной инвариантной методикой мониторинга, анализа и оценивания качества. В качестве измерительного инструмента была разработана анкета. Опрос обучающихся по программе ПК проводился на первом вводном занятии до повышения квалификации и на последнем занятии после защиты выпускной работы. В качестве показателей для оценки уровня компетенций обучающихся до и после повышения квалификации выбраны следующие блоки показателей анкеты:
Блок 1.Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании.
Блок 2.Знание традиционных методов контроля качества.
Блок 3.Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества.
Блок 4.Деятельность ОО в области менеджмента, мониторинга и контроля.
Обработка результатов эксперимента проводилась по каждому показателю анкеты. Инструментом сравнения значений показателей анкеты, полученных до и после обучения, для выявления значимости или незначимости проявившихся в результате повышения квалификации изменений послужил аппарат статистической проверки гипотез.
По первому блоку анкеты статистическая обработка результатов эксперимента группы до повышения квалификации показала, что большинство респондентов отмечают, что знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании. В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании. Ещё ниже показатель, отражающий осведомленность респондентов о состоянии, тенденциях и моделях в области менеджмента качества в Европе и мире.
Результаты анкетирования после обучения показывают, что показатели значительно выросли, в общем случае можно сделать вывод, что у преподавателей сформированы компетенции на уровне общих представлений, большей ориентированности в вопросах менеджмента качества.
По второму блоку анкеты большинство преподавателей дали высокие оценки. Каждый преподаватель в основном владеет методами контроля качества результатов обучения. В своей практике они широко используют методы входного, промежуточного и итогового контроля достижений обучающихся, умеют разрабатывать и используют при оценке достижений обучающихся тесты и комплексные задания. Ниже показатель, характеризующий знание методов контроля и оценивания качества ресурсов (условий) учебного процесса, и еще ниже отмечается знание методов мониторинга и контроля качества процессов в образовательной организации.
Результаты после обучения показывают, что показатели выросли значимо, это свидетельствует, что преподаватели признают значительный рост компетенций. Показатели данного блока определяют уровень сформированных компетенций, позволяющих преподавателям расширить круг инструментов для проведения мониторинга и управления качеством в своей деятельности. Традиционно преподаватели хорошо владеют методами контроля достижений обучающихся. Однако в современном менеджменте качества используется множество простых, понятных и опробованных на практике, но использованных в основном в производстве продукции и предоставлении услуг, методов. Очень важно, что существуют методы контроля процессов и условий (ресурсов), которые практически не используются в образовании. Перенос этих методов, и особенно методов мониторинга процессов, в профессиональное образование практически не осуществлялся. Некоторую проблему у обучающихся вызвали статистические методы контроля качества с точки зрения необходимости их применения для математической обработки данных и интерпретации полученных результатов. В дискуссиях и свободных высказываниях обучающиеся выразили тревогу, что математических знаний у них недостаточно. Но владение компьютером несколько смягчает ситуацию. Необходимость использования в практическом обучении компьютера, с одной стороны, делает проблему статистической обработки результатов мониторинга менее острой, а с другой стороны, приводит преподавателей к осознанию необходимости компетенций в области информационных технологий.
По третьему блоку анкеты большинство респондентов дали очень низкие оценки, что свидетельствует о том, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе. Так же слабо знакомы с методиками анализа выявленных несоответствий и практически не могут планировать и организовывать работу по устранению выявленных несоответствий и совершенствованию процессов.
После повышения квалификации большинство респондентов по третьему блоку анкеты дали ровные и высокие оценки по всем показателям. Это свидетельствует о том, что преподаватели приобрели навыки выявления несоответствий и последующей работы с ними. Очень важный результат, отраженный в показателях данного блока, это появление новых компетенций, связанных с решением вопросов планирования и проектирования работ по мониторингу некоторого объекта исследования. Важно, что обучающиеся понимают, как это необходимо делать, умеют разрабатывать методики мониторинга для конкретного объекта и предмета мониторинга, используя формат методики, разрабатывать измерительный материал для проведения контроля качества, выявлять проблемные точки в анализируемом процессе, результате, ресурсе, выбирать адекватные методы обработки информации, обрабатывать и интерпретировать полученные результаты.
Четвёртый блок анкеты отражает не уровень компетенций испытуемого, а уровень работ ОО и вовлеченность в эти работы основного персонала. Показатели данного блока важны, т. к. отражают отношение преподавателей к работам ОО в области менеджмента качества, информированность об этих работах и уровень их содержательного участия.
Результаты эксперимента до обучения показали следующее. По первому показателю блока большинство респондентов дали очень низкие оценки. Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК ОО, либо с тем, что основной персонал ОО не вовлечен в эти работы и не информирован об их значимости. Другой возможной причиной низких показателей блока 4 может быть отсутствие в проектируемой СМК ядра, связанного с практическим содержательным мониторингом качества основных процессов, результатов и ресурсов образовательного процесса. Именно в этой части работ должны принимать активное участие преподаватели и АУП образовательной организации, от которых зависят результаты деятельности и через которых проявляется вовлеченность основного персонала в процессы менеджмента качества.
После обучения показатели блока 4 анкеты изменились, но не значимо: персонал ОО, как правило, не вовлечен в процессы менеджмента качества.
Если сравнивать результаты до обучения и после, то изменения не значимы, этого и исследовало ожидать, т.к. повышение квалификации не должно было отразиться на мнении респондентов о работах ОО в области менеджмента качества, вовлеченности персонала в эти процессы и информированности академического сообщества о процессах в области менеджмента качества. Незначительное увеличение показателей можно предположительно связать со следующим. После повышения квалификации обучающиеся стали более квалифицированными для адекватной оценки работ ОО в области менеджмента качества, возможно, сформировалось более осознанное отношение к деятельности руководства в данном направлении и т.д. Тем не менее, данные изменения можно считать случайными и не отражающими значимых системных изменений.
Проведенный эксперимент подтвердил, что разработанная программа повышения квалификации формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и контроля качества в профессиональном образовании.
На основе проведенного эксперимента можно сделать вывод, что разработанная авторская программа повышения квалификации «Практический мониторинг и оценивание качества в профессиональном образовании», методика и технология организации учебного процесса приводят к устойчивому формированию и развитию компетенций преподавателей и АУП профессионального образования в области мониторинга, оценивания и управления качеством. В этом смысле можно считать, что программа повышения квалификации эффективна.