Одним из важнейших показателей эффективности разработанной системы подготовки ППС и АУП является удовлетворенность результатами обучения. Оценка удовлетворенности результатами учебного процесса по авторскому курсу «Практический мониторинг и оценивания качества в профессиональном образовании» проводилась после завершения обучения. Результаты данного эксперимента использовались для оценки эффективности программы повышения квалификации. В эксперименте приняли участие две экспериментальные группы. Общий объем статистических наблюдений – 55 человек. Для исследования удовлетворенности была разработана анкета «Удовлетворенность преподавателей процессом и результатами повышения квалификации в области мониторинга, оценивания и контроля качества». В анкете одиннадцать показателей, три первых из которых отражают удовлетворенность организацией учебного процесса, а показатели 4-11 позволяют на основании самооценки обучающихся сделать выводы об уровне сформированных компетенций в области экспертно-аналитической деятельности. Ниже приведены вопросы анкеты:
1. Заявленные в образовательной программе ПК цели в процессе обучения достигнуты;
2. Технология проблемно-проектного обучения, обучения в деятельности, разрешения конкретных ситуаций способствовала эффективному освоению программы повышения квалификации и достижению заявленных целей;
3. Комплект учебно-методических материалов (в твердой копии и в электронном виде) удовлетворял по полноте и содержанию потребностям учебного процесса;
4. Приобретенные в процессе обучения компетенции (теоретические знания, практические умения и навыки) достаточны для использования в практической педагогической деятельности, дальнейшего самообучения и саморазвития в области управления качеством;
5. У меня сформировались представления о нормативной базе управления качеством, типовых моделях СМК, нормах качества;
6. Могу планировать мероприятия по мониторингу и управлению качеством, устанавливать и совершенствовать «нормы качества»;
7. Могу использовать методы контроля качества в практической деятельности ОО и собственной;
8. Могу использовать простейшие методы обработки результатов мониторинга, использовать для этого персональный компьютер;
9. Могу разрабатывать и использовать в практике методики мониторинга и оценивания качества различных объектов мониторинга;
10. Могу проводить мониторинг, готовить аналитический отчет, интерпретировать результаты и делать выводы и рекомендации;
11. Понимаю, что использовать информацию о результатах мониторинга и оценки качества необходимо с позиции «не навреди»; применять результаты мониторинга не для наказания, а для устранения несоответствий и совершенствования.
Проведем анализ результатов анкетирования для экспериментальных групп, полученных после обучения. Для формирования суждения об уровне удовлетворенности преподавателей рассчитывались математические ожидания m1 показателей, которые сравнивались с нейтральным значением шкалы измерения – «3», и среднеквадратические отклонения S. Для оценки статистически значимого превышения средних значений показателей удовлетворенности от центральной линии тенденции использовалась проверка гипотез о равенстве средних по критерию t-Стьюдента.
Результаты исследования для экспериментальных групп 1 и 2 приведены соответственно в таблицах.
Таблица 1
Результаты исследования удовлетворенности обучением, полученные в экспериментальной группе 1 по критерию t-Стьюдента
| Номер вопроса анкеты | m1 | S | Ψэмп | Уровень значимости α | Статистическое решение | |||
| 0,05 | 0,01 | |||||||
| Ψкр.н. | Ψкр.в. | Ψкр.н. | Ψкр.в. | |||||
| 1 | 5,474 | 0,612 | 18,529 | -2,09 | 2,09 | -2,85 | 2,85 | Значимо превышает «3» | 
| 2 | 5,368 | 0,597 | 18,172 | Значимо превышает «3» | ||||
| 3 | 5,579 | 0,607 | 19,471 | Значимо превышает «3» | ||||
| 4 | 4,263 | 1,147 | 5,046 | Значимо превышает «3» | ||||
| 5 | 3,947 | 1,268 | 3,423 | Значимо превышает «3» | ||||
| 6 | 4,263 | 0,653 | 8,859 | Значимо превышает «3» | ||||
| 7 | 4,474 | 0,513 | 13,165 | Значимо превышает «3» | ||||
| 8 | 5,105 | 0,809 | 11,921 | Значимо превышает «3» | ||||
| 9 | 4,684 | 0,820 | 9,411 | Значимо превышает «3» | ||||
| 10 | 4,316 | 0,671 | 8,986 | Значимо превышает «3» | ||||
| 11 | 5,684 | 0,478 | 25,757 | Значимо превышает «3» | ||||
Поскольку гипотеза принимается по всем показателям анкеты удовлетворенности, то можно говорить о достоверно подтвержденном превышении средних значений показателей анкеты относительно среднего значения, равного трем и, следовательно, о высоком уровне удовлетворенности результатами обучения.
Полученные в результате опроса высокие показатели удовлетворенности по вопросам 1-3 можно отнести за счет проблемно-проектной технологии обучения. Все занятия проводились в режиме выполнения микропроектов, сформированном с учетом пожеланий обучающихся командами проектов по 3-4 человека в каждой. В каждой рабочей группе был хотя бы один преподаватель, хорошо владеющий компьютером. Такая работа позволяла все этапы обучения, связанные с планированием работ, разработкой методики мониторинга, выбором актуального объекта и предмета исследования проводить в виде дискуссий. Дискуссии, как известно, позволяют сблизить точки зрения, найти адекватное решение, оптимально распределить роли и функции в проекте между членами коллектива. К окончанию обучения после групповой защиты микропроектов в учебной группе сформировались слаженные команды единомышленников. Подготовленный единый формат отчета по мониторингу во многом помог выстроить деятельность в соответствии с продуманным алгоритмом, обеспечивающим достижение заявленных в программе целей. Любой этап обучения, связанный с изучением отдельных модулей, становился частью итоговой работы. Не оставалось непонятых вопросов или не изученных на практике тем.
Таблица 2
Результаты исследования удовлетворенности обучением, полученные в экспериментальной группе 2 по критерию t-Стьюдента
| Номер вопроса анкеты | m1 | S | Ψэмп | Уровень значимости α | Статистическое решение | |||
| 0,05 | 0,01 | |||||||
| Ψкр.н. | Ψкр.в. | Ψкр.н. | Ψкр.в. | |||||
| 1 | 5,563 | 0,512 | 20,023 | -2,13 | 2,13 | -2,95 | 2,95 | Значимо превышает «3» | 
| 2 | 5,625 | 0,500 | 21,000 | Значимо превышает «3» | ||||
| 3 | 5,643 | 0,497 | 21,272 | Значимо превышает «3» | ||||
| 4 | 5,125 | 0,885 | 9,605 | Значимо превышает «3» | ||||
| 5 | 4,875 | 0,885 | 8,475 | Значимо превышает «3» | ||||
| 6 | 5,063 | 0,602 | 13,708 | Значимо превышает «3» | ||||
| 7 | 5,125 | 0,806 | 10,546 | Значимо превышает «3» | ||||
| 8 | 5,313 | 0,793 | 11,668 | Значимо превышает «3» | ||||
| 9 | 4,813 | 0,911 | 7,960 | Значимо превышает «3» | ||||
| 10 | 4,688 | 0,704 | 9,591 | Значимо превышает «3» | ||||
| 11 | 5,625 | 0,500 | 21,000 | Значимо превышает «3» | ||||
Высокие оценки удовлетворенности, полученные по вопросам 4-11 можно трактовать следующим образом. Преподаватели, прошедшие подготовку по программе, приобрели в процессе обучения компетенции, достаточные для их использования в практической педагогической деятельности, дальнейшего самообучения и саморазвития. Преподаватели с уверенностью отмечают, что полученные компетенции помогут решать задачи планирования мероприятий по мониторингу и управлению качеством, устанавливать нормы качества, использовать методы контроля качества в практической деятельности, использовать простейшие методы статистической обработки информации на компьютере, разрабатывать методики мониторинга и оценки качества различных объектов мониторинга, проводить мониторинг, готовить аналитические отчеты, интерпретировать результаты и готовить рекомендации. Важный результат повышения квалификации – сформировавшееся понимание корректного, грамотного и деликатного использования информации о результатах мониторинга только для устранения несоответствий и совершенствования, но не для наказания.
Вопросы 12-14 анкеты предполагали свободное представление точки зрения относительно удовлетворенности, рекомендации преподавателям программы с целью её совершенствования.
Приведенные свободные высказывания подтверждают высокую удовлетворенность преподавателей процессом и результатами повышения квалификации, приобретенными новыми компетенциями, что подтверждает эффективность разработанной программы повышения квалификации.