Одним из важнейших показателей эффективности разработанной системы подготовки ППС и АУП является удовлетворенность результатами обучения. Оценка удовлетворенности результатами учебного процесса по авторскому курсу «Практический мониторинг и оценивания качества в профессиональном образовании» проводилась после завершения обучения. Результаты данного эксперимента использовались для оценки эффективности программы повышения квалификации. В эксперименте приняли участие две экспериментальные группы. Общий объем статистических наблюдений – 55 человек. Для исследования удовлетворенности была разработана анкета «Удовлетворенность преподавателей процессом и результатами повышения квалификации в области мониторинга, оценивания и контроля качества». В анкете одиннадцать показателей, три первых из которых отражают удовлетворенность организацией учебного процесса, а показатели 4-11 позволяют на основании самооценки обучающихся сделать выводы об уровне сформированных компетенций в области экспертно-аналитической деятельности. Ниже приведены вопросы анкеты:
1. Заявленные в образовательной программе ПК цели в процессе обучения достигнуты;
2. Технология проблемно-проектного обучения, обучения в деятельности, разрешения конкретных ситуаций способствовала эффективному освоению программы повышения квалификации и достижению заявленных целей;
3. Комплект учебно-методических материалов (в твердой копии и в электронном виде) удовлетворял по полноте и содержанию потребностям учебного процесса;
4. Приобретенные в процессе обучения компетенции (теоретические знания, практические умения и навыки) достаточны для использования в практической педагогической деятельности, дальнейшего самообучения и саморазвития в области управления качеством;
5. У меня сформировались представления о нормативной базе управления качеством, типовых моделях СМК, нормах качества;
6. Могу планировать мероприятия по мониторингу и управлению качеством, устанавливать и совершенствовать «нормы качества»;
7. Могу использовать методы контроля качества в практической деятельности ОО и собственной;
8. Могу использовать простейшие методы обработки результатов мониторинга, использовать для этого персональный компьютер;
9. Могу разрабатывать и использовать в практике методики мониторинга и оценивания качества различных объектов мониторинга;
10. Могу проводить мониторинг, готовить аналитический отчет, интерпретировать результаты и делать выводы и рекомендации;
11. Понимаю, что использовать информацию о результатах мониторинга и оценки качества необходимо с позиции «не навреди»; применять результаты мониторинга не для наказания, а для устранения несоответствий и совершенствования.
Проведем анализ результатов анкетирования для экспериментальных групп, полученных после обучения. Для формирования суждения об уровне удовлетворенности преподавателей рассчитывались математические ожидания m1 показателей, которые сравнивались с нейтральным значением шкалы измерения – «3», и среднеквадратические отклонения S. Для оценки статистически значимого превышения средних значений показателей удовлетворенности от центральной линии тенденции использовалась проверка гипотез о равенстве средних по критерию t-Стьюдента.
Результаты исследования для экспериментальных групп 1 и 2 приведены соответственно в таблицах.
Таблица 1
Результаты исследования удовлетворенности обучением, полученные в экспериментальной группе 1 по критерию t-Стьюдента
Номер вопроса анкеты |
m1 |
S |
Ψэмп |
Уровень значимости α |
Статистическое решение |
|||
0,05 |
0,01 |
|||||||
Ψкр.н. |
Ψкр.в. |
Ψкр.н. |
Ψкр.в. |
|||||
1 |
5,474 |
0,612 |
18,529 |
-2,09 |
2,09 |
-2,85 |
2,85 |
Значимо превышает «3» |
2 |
5,368 |
0,597 |
18,172 |
Значимо превышает «3» |
||||
3 |
5,579 |
0,607 |
19,471 |
Значимо превышает «3» |
||||
4 |
4,263 |
1,147 |
5,046 |
Значимо превышает «3» |
||||
5 |
3,947 |
1,268 |
3,423 |
Значимо превышает «3» |
||||
6 |
4,263 |
0,653 |
8,859 |
Значимо превышает «3» |
||||
7 |
4,474 |
0,513 |
13,165 |
Значимо превышает «3» |
||||
8 |
5,105 |
0,809 |
11,921 |
Значимо превышает «3» |
||||
9 |
4,684 |
0,820 |
9,411 |
Значимо превышает «3» |
||||
10 |
4,316 |
0,671 |
8,986 |
Значимо превышает «3» |
||||
11 |
5,684 |
0,478 |
25,757 |
Значимо превышает «3» |
Поскольку гипотеза принимается по всем показателям анкеты удовлетворенности, то можно говорить о достоверно подтвержденном превышении средних значений показателей анкеты относительно среднего значения, равного трем и, следовательно, о высоком уровне удовлетворенности результатами обучения.
Полученные в результате опроса высокие показатели удовлетворенности по вопросам 1-3 можно отнести за счет проблемно-проектной технологии обучения. Все занятия проводились в режиме выполнения микропроектов, сформированном с учетом пожеланий обучающихся командами проектов по 3-4 человека в каждой. В каждой рабочей группе был хотя бы один преподаватель, хорошо владеющий компьютером. Такая работа позволяла все этапы обучения, связанные с планированием работ, разработкой методики мониторинга, выбором актуального объекта и предмета исследования проводить в виде дискуссий. Дискуссии, как известно, позволяют сблизить точки зрения, найти адекватное решение, оптимально распределить роли и функции в проекте между членами коллектива. К окончанию обучения после групповой защиты микропроектов в учебной группе сформировались слаженные команды единомышленников. Подготовленный единый формат отчета по мониторингу во многом помог выстроить деятельность в соответствии с продуманным алгоритмом, обеспечивающим достижение заявленных в программе целей. Любой этап обучения, связанный с изучением отдельных модулей, становился частью итоговой работы. Не оставалось непонятых вопросов или не изученных на практике тем.
Таблица 2
Результаты исследования удовлетворенности обучением, полученные в экспериментальной группе 2 по критерию t-Стьюдента
Номер вопроса анкеты |
m1 |
S |
Ψэмп |
Уровень значимости α |
Статистическое решение |
|||
0,05 |
0,01 |
|||||||
Ψкр.н. |
Ψкр.в. |
Ψкр.н. |
Ψкр.в. |
|||||
1 |
5,563 |
0,512 |
20,023 |
-2,13 |
2,13 |
-2,95 |
2,95 |
Значимо превышает «3» |
2 |
5,625 |
0,500 |
21,000 |
Значимо превышает «3» |
||||
3 |
5,643 |
0,497 |
21,272 |
Значимо превышает «3» |
||||
4 |
5,125 |
0,885 |
9,605 |
Значимо превышает «3» |
||||
5 |
4,875 |
0,885 |
8,475 |
Значимо превышает «3» |
||||
6 |
5,063 |
0,602 |
13,708 |
Значимо превышает «3» |
||||
7 |
5,125 |
0,806 |
10,546 |
Значимо превышает «3» |
||||
8 |
5,313 |
0,793 |
11,668 |
Значимо превышает «3» |
||||
9 |
4,813 |
0,911 |
7,960 |
Значимо превышает «3» |
||||
10 |
4,688 |
0,704 |
9,591 |
Значимо превышает «3» |
||||
11 |
5,625 |
0,500 |
21,000 |
Значимо превышает «3» |
Высокие оценки удовлетворенности, полученные по вопросам 4-11 можно трактовать следующим образом. Преподаватели, прошедшие подготовку по программе, приобрели в процессе обучения компетенции, достаточные для их использования в практической педагогической деятельности, дальнейшего самообучения и саморазвития. Преподаватели с уверенностью отмечают, что полученные компетенции помогут решать задачи планирования мероприятий по мониторингу и управлению качеством, устанавливать нормы качества, использовать методы контроля качества в практической деятельности, использовать простейшие методы статистической обработки информации на компьютере, разрабатывать методики мониторинга и оценки качества различных объектов мониторинга, проводить мониторинг, готовить аналитические отчеты, интерпретировать результаты и готовить рекомендации. Важный результат повышения квалификации – сформировавшееся понимание корректного, грамотного и деликатного использования информации о результатах мониторинга только для устранения несоответствий и совершенствования, но не для наказания.
Вопросы 12-14 анкеты предполагали свободное представление точки зрения относительно удовлетворенности, рекомендации преподавателям программы с целью её совершенствования.
Приведенные свободные высказывания подтверждают высокую удовлетворенность преподавателей процессом и результатами повышения квалификации, приобретенными новыми компетенциями, что подтверждает эффективность разработанной программы повышения квалификации.