Прежде чем приступить к описанию эксперимента, определим содержание понятия «эффективность» процесса повышения квалификации, которая основывается на следующих двух показателях.

1. Первый показатель эффективности – значимое повышение (в смысле среднего значения, математического ожидания) формализованных показателей, полученных в результате самооценки обучающимися результатов обучения:
   • осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании;
   • знание традиционных методов контроля качества;
   • использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества.
2. Эффективность разработанной системы повышения квалификации преподавателей подтверждается также следующими показателями:
   • в результате повышения квалификации ППС и АУП отмечается значимая сформированность системы компетенций в области мониторинга, оценивания и менеджмента качества;
   • обучающиеся осознают важность новых компетенций, связанных с экспертно-аналитическими функциями, и именно, с исполнением функций практического мониторинга, оценивания и управления качеством в своей профессиональной деятельности и для управления деятельностью ОО;
   • отмечается высокая удовлетворенность преподавателей процессом и результатами повышения квалификации с целью приобретения новых профессиональных компетенций;
   • меняются ценностные установки ППС и АУП, прошедших повышение квалификации, относительно экспертно-аналитической составляющей своей деятельности и происходит осознание затруднений, связанных с процессами выявления и анализа проблем и поиска решений для их устранения.

Планирование и проведение эксперимента осуществлялось в соответствии с разработанной инвариантной методикой мониторинга, анализа и оценивания качества. В качестве измерительного инструмента была разработана анкета. Опрос обучающихся по программе ПК проводился на первом вводном занятии до повышения квалификации и на последнем занятии после защиты выпускной работы. В качестве показателей для оценки уровня компетенций обучающихся до и после повышения квалификации выбраны следующие блоки показателей анкеты.

Блок 1. Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании. Первый блок вопросов анкеты позволяет выявить уровень общей ознакомленности анкетируемых с понятиями менеджмента, мониторинга и оценивания качества в целом и в приложении к российскому и международному образованию; с состоянием, тенденциями и моделями менеджмента качества в данной области в России, Европе и мире.

Блок 2. Знание традиционных методов контроля качества. Второй блок вопросов анкеты ориентирован на определение уровня компетенций испытуемого по владению методами мониторинга, оценивания и контроля качества результатов, ресурсов (условий) и процессов обучения; на самооценку умений разрабатывать материалы для оценки качества результатов, ресурсов и процессов в образовании.

Блок 3. Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества. Третий блок вопросов определяет общий уровень компетенций анкетируемых по выявлению и анализу несоответствий (проблем, недостатков) в образовательном процессе; по обработке, анализу и интерпретации полученных результатов, формированию выводов и рекомендаций для устранения несоответствий и совершенствованию процессов; в вопросах планирования и организации работы по выявлению, анализу и устранению выявленных несоответствий.

Блок 4. Деятельность ОО в области менеджмента, мониторинга и контроля. Четвёртый блок вопросов анкеты позволяет установить общий уровень работ образовательных учреждений в области создания СМК, вовлеченности персонала в процессы менеджмента качества, использование информационной и рекламно-просветительской поддержки процессов создания СМК образовательного учреждения.

Обработка результатов эксперимента проводилась по каждому показателю анкеты. При этом рассчитывались математическое ожидание и среднеквадратическое отклонение по каждому показателю отдельно и в целом по блокам. Для анализа и формирования содержательных выводов сравнивались показатели, полученные для конкретной экспериментальной группы, до и после обучения.

Инструментом сравнения значений показателей анкеты, полученных до и после обучения, для выявления значимости или незначимости проявившихся в результате повышения квалификации изменений послужил аппарат статистической проверки гипотез.

По первому блоку анкеты «Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании» статистическая обработка результатов эксперимента группы до повышения квалификации показывает, что по первому показателю блока анкеты большинство респондентов отмечают, что знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании. В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании. Ещё ниже показатель, отражающий осведомленность респондентов о состоянии, тенденциях и моделях в области менеджмента качества в Европе и мире.

Результаты анкетирования после обучения показывают, что показатели значительно выросли, в общем случае можно сделать вывод, что у преподавателей сформированы компетенции на уровне общих представлений, большей ориентированности в вопросах менеджмента качества. Данной теме в программе курса было посвящено всего одно занятие с небольшой практической работой по документированию некоторого выбранного самостоятельно командой микропроекта процесса. Однако результаты свидетельствуют, что полученные на занятии теоретические сведения и некоторые практические навыки, подкрепленные далее большой практической работой по планированию и проведению мониторинга конкретного выбранного самостоятельно объекта и предмета мониторинга, формируют в результате устойчивые компетенции. Обучающиеся начинают грамотно использовать терминологию, активно участвовать в дискуссиях по проблемам менеджмента качества, ставить и решать вопросы практического мониторинга.

По второму блоку анкеты «Знание традиционных методов контроля качества» большинство преподавателей дали высокие оценки. Каждый преподаватель в основном владеет методами контроля качества результатов обучения. В своей практике они широко используют методы входного, промежуточного и итогового контроля достижений обучающихся, умеют разрабатывать и используют при оценке достижений обучающихся тесты и комплексные задания. Ниже показатель, характеризующий знание методов контроля и оценивания качества ресурсов (условий) учебного процесса, и еще ниже отмечается знание методов мониторинга и контроля качества процессов в образовательной организации. Полученные до обучения результаты анкетирования свидетельствуют об отсутствии у ППС и АУП компетенций в области практического мониторинга, оценивания и управления на основе качества не только результатами, но также условиями и процессами. Исключение составляют методы промежуточного и итогового контроля достижений обучающихся, как формы мониторинга, которая традиционно используется в образовании.

Результаты после обучения показывают, что показатели выросли значимо, это свидетельствует, что преподаватели признают значительный рост компетенций. Показатели данного блока определяют уровень сформированных компетенций, позволяющих преподавателям расширить круг инструментов для проведения мониторинга и управления качеством в своей деятельности. Традиционно преподаватели хорошо владеют методами контроля достижений обучающихся. Однако в современном менеджменте качества используется множество простых, понятных и опробованных на практике, но использованных в основном в производстве продукции и предоставлении услуг, методов. Очень важно, что существуют методы контроля процессов и условий (ресурсов), которые практически не используются в образовании. Перенос этих методов, и особенно методов мониторинга процессов, в профессиональное образование практически не осуществлялся. В дискуссиях, которые проходили в группе в процессе обучения, обучающиеся критически отнеслись к возможности и необходимости использования новых методов в своей деятельности. Когда же в процессе обучения преподаватели ознакомились с методами, и каждая группа микропроекта вынуждена была выбрать 2-3 новых метода для проведения мониторинга, то после практической их апробации у преподавателей изменилось мнение по данному вопросу. Некоторую проблему у обучающихся вызвали статистические методы контроля качества с точки зрения необходимости их применения для математической обработки данных и интерпретации полученных результатов. В дискуссиях и свободных высказываниях обучающиеся выражают тревогу, что математических знаний у них недостаточно. И действительно, временные ограничения курса не позволяют уделить больше внимания вопросам простейшей статистической обработки данных и снять тревогу по данному вопросу. Но владение компьютером несколько смягчает ситуацию. Необходимость использования в практическом обучении компьютера, с одной стороны, делает проблему статистической обработки результатов мониторинга менее острой, а с другой стороны, приводит преподавателей к осознанию необходимости компетенций в области информационных технологий.

По третьему блоку анкеты «Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества» большинство респондентов дали очень низкие оценки, что свидетельствует о том, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе. Так же слабо знакомы с методиками анализа выявленных несоответствий и практически не могут планировать и организовывать работу по устранению выявленных несоответствий и совершенствованию процессов.

После повышения квалификации большинство респондентов по третьему блоку анкеты дали ровные и высокие оценки по всем показателям. Это свидетельствует о том, что после практического обучения преподаватели приобрели навыки выявления несоответствий и последующей работы с несоответствиями. Очень важный результат, отраженный в показателях данного блока, это появление новых компетенций, связанных с решением вопросов планирования и проектирования работ по мониторингу некоторого объекта исследования. Важно, что обучающиеся понимают, как это необходимо делать, умеют разрабатывать методики мониторинга для конкретного объекта и предмета мониторинга, используя формат методики, разрабатывать измерительный материал для проведения контроля качества, выявлять проблемные точки в анализируемом процессе, результате, ресурсе, выбирать адекватные методы обработки информации, обрабатывать и интерпретировать полученные результаты. Проектная технология обучения позволила обучающимся, объединенных в рабочие группы, исполняющие микропроект, пройти через все этапы комплексного мониторинга, оценивания и контроля качества: от выбора объекта и предмета мониторинга до формирования рекомендаций по устранению выявленных проблем, несоответствий, недостатков.

Четвёртый блок анкеты «Деятельность ОО в области менеджмента, мониторинга и контроля» отражает не уровень компетенций испытуемого, а уровень работ ОО и вовлеченность в эти работы основного персонала. Показатели данного блока важны, т. к. отражают отношение преподавателей к работам ОО в области менеджмента качества, информированность об этих работах и уровень их содержательного участия.

Результаты эксперимента до обучения показали следующее. По первому показателю блока большинство респондентов дали очень низкие оценки. Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК ОО, либо с тем, что основной персонал ОО не вовлечен в эти работы и не информирован об их значимости. Некоторые ОО для разработки и сертификации СМК приглашают специалистов в этой области со стороны, в лучшем случае создают группу менеджмента качества и совсем редко в содержательных работах по созданию СМК принимают участие преподаватели и АУП ОО. Другой возможной причиной низких показателей блока 4 может быть отсутствие в проектируемой СМК ядра, связанного с практическим содержательным мониторингом качества основных процессов, результатов и ресурсов образовательного процесса. Именно в этой части работ должны принимать активное участие преподаватели и АУП образовательной организации, от которых зависят результаты деятельности и через которых проявляется вовлеченность основного персонала в процессы менеджмента качества.

После обучения показатели блока 4 анкеты изменились, но незначимо: персонал ОО, как правило, не вовлечен в процессы менеджмента качества.

Если сравнивать результаты до обучения и после, то изменения незначимы, этого и исследовало ожидать, т.к. повышение квалификации не должно было отразиться на мнении респондентов о работах ОО в области менеджмента качества, вовлеченности персонала в эти процессы и информированности академического сообщества о процессах в области менеджмента качества. Незначительное увеличение показателей можно предположительно связать со следующим. После повышения квалификации обучающиеся стали более квалифицированными для адекватной оценки работ ОО в области менеджмента качества, возможно, сформировалось более осознанное отношение к деятельности руководства в данном направлении и т.д. Тем не менее, данные изменения можно считать случайными и не отражающими значимых системных изменений.

Проведенный эксперимент подтвердил, что разработанная программа повышения квалификации формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и контроля качества в профессиональном образовании.

На основе проведенного эксперимента можно сделать вывод, что разработанная авторская программа повышения квалификации «Практический мониторинг и оценивание качества в профессиональном образовании», методика и технология организации учебного процесса приводят к устойчивому формированию и развитию компетенций преподавателей и АУП профессионального образования в области мониторинга, оценивания и управления качеством. В этом смысле можно считать, что программа повышения квалификации эффективна.

• создание и поддержание процессов непрерывного совершенствования,
• обеспечение вовлеченности персонала и формирование в вузовском сообществе приверженности культуре качества.

Данные проблемы не разрешимы без создания системы комплексного мониторинга – простого и технологичного механизма, в котором найдется место для каждого участника процессов подготовки специалистов как управленца на собственном уровне. В данной статье представлен формат методики мониторинга и оценки качества различных компонентов системы подготовки специалистов в вузе, инвариантной к объектам мониторинга. Будем рассматривать мониторинг как внутреннюю процедуру вуза, проводимую либо специально подготовленными, наделенными полномочиями и ответственностью внутривузовскими экспертами по заранее разработанной и утвержденной программе, либо как самооценку – распространенный инструмент улучшения и управления процессами и результатами персональной деятельности участника образовательного процесса.

Мониторинг и оценивание качества услуги или продукции (УП) согласно [1-2] состоит из следующих этапов: мониторинг удовлетворенности разнообразных категорий потребителей; аудиты объектов мониторинга – компонентов образовательного процесса; обработка и анализ результатов мониторинга, подготовка отчетов и рекомендаций; информирование всех заинтересованных сторон и принимающих решение специалистов об обнаруженных в процессе мониторинга несоответствиях; разработка программ устранения несоответствий и формирование управляющих воздействий с целью исполнения этих программ и улучшения качества.

Здесь приведен формат инвариантной методики мониторинга, которым можно пользоваться независимо от объекта мониторинга, и который определяет логику мониторинга, его основную структуру. К формату необходимо относиться творчески, изменяя и развивая его в зависимости от целей, объектов и субъектов мониторинга. Любой участник образовательного процесса, не только эксперт по качеству, может воспользоваться данной методикой, модифицировать и использовать ее для самооценки, самоанализа и совершенствования собственной деятельности.

Будем исходить из того, что методика – это установленный способ осуществления некоторой деятельности [5]. Методика обычно включает в себя: цели и область деятельности; что должно быть сделано и кем; когда, где и как это должно быть осуществлено; какие материалы, документы и какое оборудование будет использовано, какие методы и инструменты обработки должны быть применены; каким образом результаты должны быть зарегистрированы и проконтролированы.

В ГОСТ Р ИСО 9001: 2001 [6] мониторингу и оцениванию качества посвящены разделы: «Процессы жизненного цикла УП» и «Измерение, анализ и улучшение». В них определяются: деятельность по мониторингу, оценке и испытаниям УП; необходимый мониторинг, измерения, устройства и средства; регламент мониторинга удовлетворенности потребителей, внутренних аудитов, самооценки; анализ данных и управления несоответствиями.

Уровень удовлетворенности измеряют, сопоставляя цели и показатели качества с ожиданиями заинтересованных сторон. Объектами мониторинга могут быть:

• качество нормативной базы, абитуриентов, персонала, ресурсов, административных систем, видов занятий, практик, методик преподавания и процессов обучения;
• системы технологической и информационной поддержки;
• условия работы и учёбы, безопасность и другое.

Важным аспектом является мониторинг процессов проектирования образовательной услуги. При этом проверяют и измеряют характеристики процессов: их непрерывность, соблюдение графика обучения, результативность и эффективность прочее. При этом не следует забывать об адекватности заинтересованным сторонам методов сбора и хранения данных. Мониторинг должен осуществляться в сроки, допускающие возможность введения улучшений, устранения выявленных проблем (несоответствий). В образовании как нигде важно уметь выявлять несоответствия в сроки, допускающие их своевременное устранение или исправление. Данные о результатах мониторинга должны быть доступны участникам соответствующих процессов – педагогическим дизайнерам, преподавателям, консультантам, менеджерам, экспертам по качеству, обучающимся и другим участникам процессов.

Методы измерений и мониторинга также определяются методиками, являются объектом планирования и обеспечиваются ресурсами, в частности квалифицированным персоналом. Сотрудники, отвечающие за процессы мониторинга, должны уметь не только планировать и проводить мониторинг и оценку качества, но и грамотно использовать его результаты. Все мероприятия по измерениям и мониторингу документируются, и это также должно быть частью методики мониторинга.

С точки зрения ГОСТ Р ИСО 9001: 2001 под несоответствиями понимают отклонение результатов функционирования системы управления качеством, характеристик УП от ожидаемых (запланированных, востребованных). Примерами несоответствий в образовании могут служить следующие: несоответствие основной образовательной программы (ООП) ГОСу; ресурсов – лицензионным требованиям; результатов деятельности – аккредитационным и аттестационным нормативам; несоответствие требованиям федеральной нормативной базы, например, к состоянию здоровья, мерам безопасности и другое. Методики управления несоответствиями должны содержать:

• перечни действий, обеспечивающих исправление несоответствий;
• списки сотрудников, обладающих соответствующей компетенцией, ответственностью, полномочиями и ресурсами для разрешения проблем;
• ответственных за доведение информации о несоответствиях до заинтересованных сторон;
• доклады руководству о возникших проблемах для последующего анализа.

Любой вуз для совершенствования качества своей деятельности должен собирать и использовать данные об ожиданиях и потребностях заинтересованных сторон; о соответствии образовательной УП ожиданиям и требованиям; о функционировании процессов, производящих УП. Информация должна собираться систематически с применением специальных методик и использоваться для оценки эффективности СМК сотрудниками вуза, отвечающими за процессы, и для корректировки процессов, методик, учебных материалов; а также высшим руководством для планирования и анализа, выявления областей деятельности, требующих совершенствования и др. Информация – это основа непрерывного совершенствования.

Корректирующие (КД) и предупреждающие действия (ПД) – составные части процесса повышения качества подготовки специалистов. Потребность в КД – основа для недопущения повторного их проявления. ПД связаны с анализом информации для выявления причин и предупреждения потенциально возможных несоответствий. Для проведения КД и ПД необходимы специальные методики, устанавливающие распределение полномочий и ответственности; методики, обеспечивающие анализ претензий заинтересованных сторон и несоответствий, выявленных при аудите. Для вуза или его подразделения особенно актуальным является определение действий, направленных на устранение причин возникновения потенциальных несоответствий и предупреждения их повторного появления.

Процедура формирования ПД определяет требования к установлению потенциальных несоответствий, выявлению причин их возникновения, оцениванию необходимости действий для предупреждения несоответствий; к определению и осуществлению ПД, анализу результативности предпринятых ПД. В качестве примеров ситуаций, требующих введения ПД в образовании могут служить следующие:

• выявление студентов, у которых могут возникнуть затруднения при обучении;
• студентов, которым угрожает невозможность успешного завершения курса обучения;
• студентов, у которых могут возникнуть проблемы с внесением платы за обучение;
• выявление потенциально опасных ситуаций и введение мер по охране здоровья и труда и другое.

В Новосибирском государственном техническом университете (НГТУ)

Методика мониторинга. Описание методики мониторинга, анализа и оценки качества подготовки специалистов в вузе приведено в виде некоторого формата с последовательностью этапов и их краткой характеристикой.

МЕТОДИКА мониторинга, анализа и оценки качества

___________________________________________________________________________

(наименование методики)

Наименование организации __________________________________________________

Наименование подразделения ________________________________________________

Примечания к таблице мониторинга.Цели и задачи методики исследования можно разделить на три основные подгруппы: оправдательные, поисковые, описательные [7]. Оправдательные цели и задачи призваны: подтвердить или опровергнуть потребительские требования; сравнить результаты данного исследования с оценками, полученными ранее, если имеет место корректировочный этап методики; на основании полученных результатов исследования сформировать рекомендации по улучшению качества исследуемого объекта, устранению несоответствия.

Поисковые цели и задачи направлены на изучение отношения потенциальных потребителей к проблеме качества услуги и отдельных этапов ее создания и предоставления; определение потребительских проблем, предпочтений, особенностей и факторов мотивации; изучение степени удовлетворённости целевой группы по отношению к решаемым проблемам.

Описательные цели и задачи должны помочь выяснить отношение целевой группы к проблеме качества процесса и уровень информированности о ней; исследовать мотивацию потенциальных потребителей процесса.

Объекты мониторинга. Объекты мониторинга тесно связаны с задачами, которые предстоит решить для достижения соответствующих конкретных целей. К объектам мониторинга в контексте качества учебного процесса можно отнести условия (ресурсы), процессы и результаты, их отдельные компоненты [8].

Целевые группы в области образования очень многообразны. Приведем лишь некоторые из них: сотрудники; студенты; работодатели; родители [1-2]. В частности в качестве особенностей целевых групп могут отмечаться социальные, социально-психологические и профессиональные характеристики, место работы, учебы, образование; половозрастная структура; территориальные особенности; распределение респондентов по сферам деятельности; различия в мировоззренческих взглядах и установках и т.д.

Методы мониторинга. Методы мониторинга очень разнообразны. Они зависят от объектов мониторинга и задач, которые решает мониторинг. Отметим, что в образовании могут найти применение как традиционные методы управления качеством (семь простых, семь новых и семь новейших методов), так и методы прикладного статистического анализа, экспертное оценивание и др.

Одним из наиболее распространённых на данном этапе методом исследования продолжает оставаться опрос респондентов [7, 9, 10]. При разработке метода сбора данных происходит переход от теоретического уровня исследовательской проблемы на уровень эмпирического описания и анализа. Это обеспечивает основу для проверки рабочих гипотез и получения нового теоретического знания. Опрос представляет собой вопросно-ответный метод сбора данных, при котором источником информации служат письменные или словесные сообщения респондентов. Однако в [11-12] показана эффективность применения других методов, ранее не применяемых при исследовании социальных систем.

Выводы. Настоящую методику предполагается использовать в системе повышения квалификации преподавателей и специалистов профессиональных образовательных учреждений разного уровня, а также в учебном процессе подготовки преподавателей по программе «Преподаватель высшей школя». Инвариантность методики делает ее легко адаптируемой под различные потребности образовательных учреждений, подразделений, субъектов, объектов мониторинга. На основе методики мониторинга и оценивания качества планируется разработка программы повышения «Мониторинг и оценивание качества в профессиональном образовании». Обучение по программе позволит специалистам образования освоить простейшие методы контроля качества, научиться применять их в практике на примере управления, например, собственным учебным курсом. Основной ожидаемый результат – вовлечение преподавателей и руководителей разного уровня в процессы управления качеством.

Список использованных источников

1. Никитина, Н. Ш. Мониторинг и оценка качества процессов оказания образовательных услуг в вузе / Н. Ш. Никитина, Н. В. Николаева // Университетское управление: практика и анализ. – 2007. – №3 (49). – С. 91-96.
2. Никитина, Н. Ш. Модель процессов производства и оказания услуг в образовании // Университетское управление: практика и анализ. – 2007. – №1 (47). – С. 62-68.
3. Никитина, Н. Ш. Системы менеджмента качества в образовании. Модель совершенного бизнеса в соответствии с международными стандартами ИСО серии 9000: 2000 / Н. Ш. Никитина // Проблемы высшего технического образования : межвуз. сб. науч. тр. / под общ. ред. А. С. Вострикова. – Новосибирск : Изд-во НГТУ, 2003. – Вып. 24: Программно-информационная поддержка систем управления качеством образования. – С. 10-15.
4. Никитина, Н. Ш. Словарь терминов в области менеджмента качества в применении к образовательной организации / Н. Ш. Никитина // Проблемы высшего технического образования : межвуз. сб. – Новосибирск : Изд-во НГТУ, 2003. – Вып. 24: Программно-информационная поддержка систем управления качеством образования. – С. 4-10.
5. Международный стандарт ИСО 8402: 1994 (E/F/R). Управление качеством и обеспечение качества. Словарь. ИСО. – 1994. – 34 с.
6. ГОСТ Р ИСО 9000: 2001. Системы менеджмента качества. Основные положения и словарь. – М. : ИПК «Изд-во стандартов», 2001. – 25 с.
7. Капитонов, Э. А. Социология XX века / Э. А. Капитонов. – Ростов/Д : Феникс, 1996. – 512 с.
8. Скок, Г. Б. Как спроектировать учебный процесс по курсу : учеб. пособие / Г. Б. Скок, Н. И. Лыгина. – Изд. второе, перераб. и доп. – М. : Пед. о-во России, 2003. – 96 с.
9. Харчева, В. Основы социологии : учебник для ссузов / В. Харчева. – М. : Логос, 1997. – 304 с. : ил.
10. Добреньков, В. И. Методы социологического исследования : учебник / В. И. Добреньков, А. И. Кравченко. – М. : ИНФА – М., 2004. – 768 с.
11. Гличев, А. В. Основы управления качеством продукции / А. В. Гличев. – 2-е изд., перераб. и доп. – М. : РИА «Стандарты и качество», 2001. – 424 с.
12. Брагин, Ю. В. Путь