Примерная методика мониторинга и оценивания качества подготовки специалистов в вузе

Аннотация. В статье приводится анализ возможности использования традиционных для промышленности и сферы услуг методов мониторинга и контроля качества в образовании. Авторы предлагают формат инвариантной методики мониторинга, которая позволит специалистам образовательных учреждений проводить самооценку и аудит различных видов деятельности.

Abstract.The article analyzes the possibilities of applying the monitoring and quality control methods, traditional for industry and services, in education. The authors provide a format for invariant monitoring technique that will enable educators to conduct self-evaluation and audit of various activities.

Общие положения. В данной статье представлен формат методики монито-ринга и оценки качества отдельных компонентов системы подготовки специалистов в вузе. Далее будем считать, что речь идет о мониторинге как о внутренней процедуре вуза. При этом возможны два следующие варианта: мониторинг, проводимый специально подготовленными, наделенными полномочиями и ответственностью внутривузовскими аудиторами (экспертами) по заранее разработанной и утвержденной программе; и самооценка как один из распространенных механизмов улучшения и управления процессами и результатами собственной деятельности.

Мониторинг и оценивание качества услуги или продукции (УП) согласно [1-2] состоит из следующих этапов: мониторинг удовлетворенности разнообразных категорий потребителей; проверки (аудиты) объектов мониторинга, а именно, компонентов образовательного процесса, процессов и подпроцессов, для выявления несоответствий; обработка, представление и анализ результатов мониторинга и проверок, подготовка отчетов, рекомендаций; информирование заинтересованных сторон и принимающих решение специалистов об обнаруженных несоответствиях; разработка программ устранения несоответствий и формирование управляющих воздействий с целью исполнения этих программ, улучшение качества.

Далее приведен формат инвариантной методики мониторинга, которым можно пользоваться независимо от специфики объекта мониторинга. Формат определяет логику мониторинга и его основную структуру. К формату необходимо относиться творчески, изменяя и развивая его в зависимости от целей, объектов и субъектов мониторинга. Любой участник образовательного процесса, не только эксперт по качеству или аудитор, может воспользоваться данной методикой, модифицировать ее под свои потребности и использовать для самооценки, самоанализа и совершенствования своей деятельности.

В [3-4] приведена интерпретация основных положений и требований ИСО 9001: 2001 в области образования. Будем исходить из того, что методика – это установленный способ осуществления некоторой деятельности [5]. Во многих случаях методики документируются, например, методики системы качества, методики обучения и др. Когда какая-либо методика документируется, лучше употреблять термин «письменная методика» или «документальная методика». Письменная или документальная методика обычно включает: цели и область деятельности; что должно быть сделано и кем; когда, где и как это должно быть осуществлено; какие материалы, документы и какое оборудование будет использовано, какие методы и инструменты обработки (например, программные системы) должны быть применены; каким образом результаты должны быть проконтролированы и зарегистрированы.

В ГОСТ Р ИСО 9001: 2001 [6] мониторингу и оцениванию качества посвящены разделы 7 «Процессы жизненного цикла УП» и 8 «Измерение, анализ и улучшение». Раздел 7 определяет деятельность по мониторингу, оценке и испытаниям УП; определение необходимого мониторинга, измерений, устройств и средств; раздел 8 определяет регламент мониторинга удовлетворенности потребителей, внутренних аудитов, самооценки, управления несоответствующей УП, анализа данных и улучшениям.

Уровень удовлетворенности измеряют, сопоставляя цели и показатели качества с ожиданиями заинтересованных сторон. Аспектами мониторинга могут быть: содержание основных образовательных программ (ООП), предметов, видов занятий, практики и пр.; методики преподавания; процессы обучения; технологическая и информационная поддержка; материальные ресурсы и их доступность; условия работы и учёбы, безопасность; наличие и качество консультаций (о карьере, об индивидуальной траектории и пр.); специальное обеспечение (инвалидов, удаленных обучающихся); управление и другое.

Методики должны предусматривать адекватные заинтересованным сторонам методы сбора и хранения данных. Например, опросы могут осуществляться по почте, e-mail, в аудиториях, по телефону, посредством индивидуальных интервью. Методы сбора данных могут основываться на наблюдениях заинтересованных сторон, анкетировании и пр. Сбор данных должен осуществляться в сроки, допускающие возможность улучшений, устранения выявленных проблем и несоответствий. Данные об удовлетворенности должны быть доступны участникам соответствующих процессов, например, преподавателям, педагогическим дизайнерам курсов, администраторам, консультантам, менеджерам, экспертам по качеству и др. В методике должен быть предусмотрен мониторинг систем разработки и доставки УП в соответствии с требованиями потребителей.

Предметом измерений и мониторинга в образовании может быть качество абитуриентов, ООП, персонала, ресурсов, административных систем, материальной базы, успеваемости и пр. Проверяют и измеряют характеристики процессов: их непрерывность, соблюдение графика обучения, производительность (результативность), эффективность и пр. Методы мониторинга процессов специфичны и требуют особого рассмотрения.

Методы измерений и мониторинга также определяются методиками. При этом измерения и мониторинг процессов и УП являются объектом планирования и обеспечиваются ресурсами. Измерения должен проводить квалифицированный персонал. Сотрудники, отвечающие за процессы, должны уметь использовать результаты измерений и мониторинга. Информация по результатам мониторинга должна позволять управлять несоответствиями и совершенствовать процессы. Все мероприятия по измерениям и мониторингу следует документировать, и это также определяется методикой мониторинга.

С точки зрения ГОСТ Р ИСО 9001: 2001 под несоответствиями понимают отклонение результатов функционирования системы управления качеством, характеристик УП от ожидаемых (запланированных, востребованных). Примеры несоответствий в образовании: несоответствие ООП или рабочей программы ГОСу; ресурсов – лицензионным требованиям; результатов деятельности – аккредитационным и аттестационным нормам; несоответствие требованиям федеральной нормативной базы, например, к состоянию здоровья, мерам безопасности и др. В вузе должны быть методики выявления, анализа и устранения несоответствий.

Методики управления несоответствиями содержат: перечни действий, обеспечивающих исправление несоответствий; списки сотрудников, обладающих компетенцией, ответственностью, полномочиями и ресурсами для разрешения проблем; ответственных за доведение информации о несоответствиях до заинтересованных сторон; доклады руководству о возникших проблемах для анализа.

Методы устранения несоответствий должны определяться типами несоответствий. Например, ООП или рабочая программа перерабатываются, студенты обучаются дополнительно, переводятся на другую программу. Свидетельства наличия несоответствий – претензии потребителей.

Любая организация для совершенствования качества своей деятельности должна собирать и использовать данные об ожиданиях и требованиях; о соответствии продукции/услуги ожиданиям и требованиям; о функционировании процессов, производящих продукцию/услугу. Информация должна собираться систематически с применением специальных методик и использоваться для оценки эффективности СМК сотрудниками организации, отвечающими за процессы, и для корректировки процессов, методик, учебных материалов, а также высшим руководством для планирования и анализа, выявления областей деятельности, требующих совершенствования и др. Информация – основа непрерывного совершенствования.

Корректирующие (КД) и предупреждающие действия (ПД) – составные части процесса повышения качества. Потребность в КД – основа для недопущения повторного их проявления. ПД связаны с анализом информации для выявления причин и предупреждения потенциально возможных несоответствий. Необходимы специальные методики проведения КД и ПД, устанавливающие распределение полномочий и ответственности; методики, обеспечивающие анализ претензий заинтересованных сторон; несоответствий, выявленных при аудите. Организация (вуз, подразделение) должна определить действия для устранения причин возник-новения потенциальных несоответствий и предупреждения их появления.

Процедура ПД определяет требования к установлению потенциальных несоответствий, их причин, оцениванию необходимости действий для предупреждения несоответствий, определению и осуществлению ПД, анализу предпринятых ПД. Примеры ситуаций для введения ПД в образовании: выявление студентов, у которых могут возникнуть затруднения при обучении, которым угрожает невозможность успешного завершения курса обучения, у которых могут возникнуть проблемы с внесением платы за обучение; выявление потенциально опасных ситуаций и внедрение мер по охране здоровья и труда и др.

Методика мониторинга. Описание методики мониторинга, анализа и оценки качества подготовки специалистов в вузе приведено в виде некоторого формата с последовательностью этапов и их краткой характеристикой.

УТВЕРЖДАЮ     ____________________Ф.И.О.(ответственное лицо) СОГЛАСОВАНО     ____________________Ф.И.О.(ответственное лицо)
«____» ________________ 200 г. «____» ________________ 200 г.

МЕТОДИКА МОНИТОРИНГА, АНАЛИЗА И ОЦЕНКИ КАЧЕСТВА

____________________________________________________________________________________(наименование методики)

Наименование организации _____________________________________________________________  Наименование подразделения ___________________________________________________________

Наименование этапа методики Характеристика этапа методики
1. Цели: общая цель; конкретная цель (цели) В данном разделе методики приводится характеристика общей цели, которая может быть глобальной, выраженной в социально значимых категориях. Общая цель может быть удалена во времени. Конкретные цели должны быть связаны с непосредственно выявленным несоответствием. Конкретная цель – это то, что надо сделать в определенный срок, конкретно измерить, вычислить, обработать, исследовать. Для достижения каждой конкретной цели может быть необходимым решение одной или нескольких последовательных или одновременно решаемых задач.Конкретные цели рекомендуется нумеровать. Например, «Цель 1», «Цель 2» и т.д.
2. Задачи мониторинга Для достижения конкретных целей на данном этапе формируются задачи, которые необходимые решить. Задачи связаны с целями и также нумеруются. Например, задачи:к цели 1: задача 1.1, задача 1.2 и т.д.к цели 2: задача 2.1, задача 2.2 и т.д.Задачи следует формулировать четко и определенно, т.к. на их основе формируется план-программа мониторинга, планируются конкретные мероприятия и необходимые ресурсы.
3. Мероприятия Для решения каждой задачи возможно проведение нескольких мероприятий. Поэтому мероприятия также могут сопровождаться нумерацией и прикрепляться к соответствующим задачам, например:мероприятие 1.1.1, …, мероприятие 2.1.2, … .
4. Риски Описываются риски, связанные с факторами внешней среды, которые не являются управляемыми. Такие факторы надо предусматривать и, по возможности, планировать нейтрализацию их негативного влияния
5. Рабочая группа по мониторингу Руководитель рабочей группы, исполнители. Здесь могут быть сформулированы специальные требования к специалистам рабочей группы; приказом назначаться конкретные исполнители, руководитель; определяться полномочия и ответственность руководителя и членов рабочей группы; выделяться ресурсы и др. Возможно распределение ролей в группе.
6. Сроки мониторинга Дата начала: ________________; дата окончания: _________________
7. Локализация процесса мониторинга Указывается место проведения мониторинга, условия, ограничения и пр. На этом этапе также возможно определение места проведения мониторинга в зависимости от целей, задач и конкретных мероприятий
8. Статус мониторинга Первичный (данный вид мониторинга проводится впервые)Коррекционный (имеет место, когда данный объект уже подвергался мониторингу и оценке качества, однако на очередном этапе анализа качества повторно выявлено несоответствие, возможно отличное от предыдущего): этап №1 (указывается, какой этап коррекционного мониторинга имеет место); этап №2.Этот раздел методики заполняется при условии, когда мониторинг, анализ качества и улучшение осуществляется в несколько этапов, если достигнутое на предыдущем этапе качество не удовлетворяет требованиям, нормам.
9. Характеристика предыдущего этапа мониторинга При наличии предыдущих этапов мониторинга в данном разделе приводится его краткая характеристика, имевшие место несоответствия, причины неудовлетворенности
10. Решения, принятые на предыдущем этапе мониторинга Для коррекционного этапа мониторинга приводятся основные результаты предыдущих исследований, принятые корректирующие действия, основные сведения из отчета предыдущего этапа, рекомендации
11. Объект и предмет мониторинга По каждой задаче указываются объект и предмет мониторинга, приводится их характеристика, особенности. Для коррекционного этапа также сообщаются имеющие место изменения объекта и предмета мониторинга по сравнению с предыдущим этапом
12. Показатели качества (критерии, нормы) Если к моменту проведения мониторинга уже сформированы критерии и нормы качества, то они приводятся в виде описания, правил вычисления или использования, установленных значений норм качества и т.д.
13. Целевые группы Описание особенностей целевых групп – важная часть методики мониторинга, т.к. является составляющей условий проведения любого эксперимента. При этом указываются конкретные требования к составу, количеству, приводятся профессиональные и социальные и др. ограничения. От правильности исполнения данного раздела методики, равно как и других, зависит чистота эксперимента и адекватность содержательных выводов.
14. Методы мониторинга Приводятся конкретные рекомендуемые методы мониторинга, анализа и оценивания качества. Они также могут быть связаны с задачами и мероприятиями: например, по задаче 2.1.1 (или конкретному мероприятию задачи), по задаче 2.1.2 и т.д.
15. Методы сбора, обработки и хранения информации Аналогично п. 12 указываются методы сбора, обработки и хранения информации в целом или по задачам и конкретным мероприятиям. При необходимости задаются требования к базе данных.
16. Инструменты мониторинга Инструментами мониторинга могут быть анкеты, опросные листы, специальные таблицы, программные продукты, необходимое оборудование (например, персональный компьютер с указанием технических характеристик, требований к стандартному и/или специализированному программному обеспечению, набору периферийных устройств и пр.). Инструменты могут указываться в целом, по отдельной задаче или конкретному мероприятию
17. Ресурсы мониторинга В разделе должны быть описаны все необходимые ресурсы для достижения поставленных в данной методике целей и решения конкретных задач. Ресурсы также могут относиться к конкретной задаче или мероприятию
18. План-график (календарный план) реализации мониторинга, анализа и оценки качества На основании уже сформированной и заполненной таблицы методики мониторинга составляется план-график реализации процесса мониторинга, анализа и оценки качества с указанием последовательности выполнения задач, мероприятий, установлением временных ограничений. В плане-графике могут быть указаны и необходимые ресурсы. Важно отметить, что все этапы методики мониторинга связаны между собой, и эта связь должна найти отражение в отдельных документах методики. Основные разделы плана-графика: цель (глобальная, частная); задача; мероприятие; сроки исполнения; ресурсы; показатели мониторинга и его результативности, необходимые для демонстрации исполнения и адекватности мониторинга; форматы представления информации; ответственный исполнитель, исполнители; планируемые риски, которые могут помешать исполнению плана-графика; другое
19. Отчет Формируются требования к отчету, его структуре, задается формат и уровень детализации, формы представления информации, рекомендации. Определяется перечень должностных лиц, которым передается информация о результатах мониторинга. В требованиях к отчету должно быть описано, для какой категории персонала должна быть подготовлена и передана необходимая информация и какая конкретно
20. Бюджет мониторинга В данном разделе, при необходимости, разрабатывается интегральный бюджет мониторинга, возможно, по отдельным задачам или мероприятиям

Примечания к таблице мониторинга. Цели и задачи методики исследования можно разделить на три основные подгруппы: оправдательные, поисковые, описательные [7]. Оправдательные цели и задачи призваны: подтвердить или опровергнуть потребительские требования; сравнить результаты данного исследования с оценками, полученными ранее, если имеет место корректировочный этап методики; на основании полученных результатов исследования сформировать рекомендации по улучшению качества исследуемого объекта, устранению несоответствия.

Поисковые цели и задачи направлены на изучение отношения потенциальных потребителей к проблеме качества услуги и отдельных этапов ее создания и предоставления; определение потребительских проблем, предпочтений, особенностей и факторов мотивации; изучение степени удовлетворённости целевой группы по отношению к решаемым проблемам.

Описательные цели и задачи должны помочь выяснить отношение целевой группы к проблеме качества процесса и уровень информированности о ней; исследовать мотивацию потенциальных потребителей процесса.

Объекты мониторинга. Объекты мониторинга тесно связаны с задачами, которые предстоит решить для достижения соответствующих конкретных целей. К объектам мониторинга в контексте качества учебного процесса можно отнести условия (ресурсы), процессы и результаты, их отдельные компоненты [8].

Целевые группы в области образования очень многообразны. Приведем лишь некоторые из них: сотрудники; студенты; работодатели; родители [1-2]. В частности в качестве особенностей целевых групп могут отмечаться социальные, социально-психологические и профессиональные характеристики, место работы, учебы, образование; половозрастная структура; территориальные особенности; распределение респондентов по сферам деятельности; различия в мировоззренческих взглядах и установках и т.д.

Методы мониторинга. Методы мониторинга очень разнообразны. Они зависят от объектов мониторинга и задач, которые решает мониторинг. Отметим, что в образовании могут найти применение как традиционные методы управления качеством (семь простых, семь новых и семь новейших методов), так и методы прикладного статистического анализа, экспертное оценивание и др.

Одним из наиболее распространённых на данном этапе методом исследования продолжает оставаться опрос респондентов [7, 9, 10]. При разработке метода сбора данных происходит переход от теоретического уровня исследовательской проблемы на уровень эмпирического описания и анализа. Это обеспечивает основу для проверки рабочих гипотез и получения нового теоретического знания. Опрос представляет собой вопросно-ответный метод сбора данных, при котором источником информации служат письменные или словесные сообщения респондентов. Однако в [11-12] показана эффективность применения других методов, ранее не применяемых при исследовании социальных систем.

Выводы. Настоящую методику предполагается использовать в системе повышения квалификации преподавателей и специалистов профессиональных образовательных учреждений разного уровня, а также в учебном процессе подготовки преподавателей по программе «Преподаватель высшей школя». Инвариантность методики делает ее легко адаптируемой под различные потребности образовательных учреждений, подразделений, субъектов, объектов мониторинга. На основе методики мониторинга и оценивания качества планируется разработка программы повышения «Мониторинг и оценивание качества в профессиональном образовании». Обучение по программе позволит специалистам образования освоить простейшие методы контроля качества, научиться применять их в практике на примере управления, например, собственным учебным курсом. Основной ожидаемый результат – вовлечение преподавателей и руководителей разного уровня в процессы управления качеством.

Список использованных источников

  1. Никитина Н.Ш., Николаева Н.В. Мониторинг и оценка качества процессов оказания образовательных услуг в вузе // Университетское управление: практика и анализ, 2007, №3 (49), С. 91-96.
  2. Никитина Н.Ш., Николаева Н.В. Модель процессов производства и оказания ус-луг в образовании // Университетское управление: практика и анализ, 2007, №1 (47), С. 62-68
  3. Никитина Н.Ш. Системы менеджмента качества в образовании. Модель совер-шенного бизнеса в соответствии с международными стандартами ИСО серии 9000: 2000 // Проблемы высшего технического образования: Межвузовский сборник на-учных трудов / под общ. ред. А.С. Вострикова. – Новосибирск, Изд-во НГТУ, 2003. – Вып. 24: «Программно-информационная поддержка систем управления ка-чеством образования». – С. 10 – 15.
  4. Никитина, Н. Ш. Словарь терминов в области менеджмента качества в приме-нении к образовательной организации / Н. Ш. Никитина // Проблемы высш. техн. образования: Межвуз. сб. Новосибирск: Изд-во НГТУ, 2003. – Вып. 24. — С. 4-10.
  5. Международный стандарт ИСО 8402: 1994 (E/F/R). Управление качеством и обеспечение качества – Словарь. ИСО, 1994. – 34 с.
  6. ГОСТ Р ИСО 9000: 2001. Системы менеджмента качества. Основные положе-ния и словарь. – М.: ИПК Издательство стандартов, 2001. – 25 с.
  7. Капитонов Э.А. Социология XX века, Ростов-на-Дону: издательство «Фе-никс», 1996 г. – 512 с.
  8. Скок Г.Б., Лыгина Н.И. Как спроектировать учебный процесс по курсу: Учебное пособие. Изд. второе, переработанное и дополненное. – М.: Педагогическое обще-ство России, 2003. – 96 с.
  9. Харчева В. Основы социологии. Учебник для средних специальных учебных заведений. М.: «Логос», 1997. – 304 с.: ил.
  10. Добреньков В.И., Кравченко А.И. Методы социологического исследования: Учебник. – М.: ИНФА – М., 2004. – 768 с.
  11. Гличев А.В. Основы управления качеством продукции. – 2-е изд., перераб. и доп. – М.: РИА «Стандарты и качество», 2001. – 424 с.
  12. Брагин Ю.В., Корольков В.Ф. Путь QFD: проектирование и производство про-дукции, исходя из ожиданий потребителей. – Ярославль: ННОУ «Центр качества», 2003. – 240с.
01.01.2008 Университетское управление: практика и анализ. – 2008. - №6(58). – С. 79-84.