Блок 1.Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании.

Блок 2.Знание традиционных методов контроля качества.

Блок 3.Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества.

Блок 4.Деятельность ОО в области менеджмента, мониторинга и контроля.

Обработка результатов эксперимента проводилась по каждому показателю анкеты. Инструментом сравнения значений показателей анкеты, полученных до и после обучения, для выявления значимости или незначимости проявившихся в результате повышения квалификации изменений послужил аппарат статистической проверки гипотез.

По первому блоку анкеты статистическая обработка результатов эксперимента группы до повышения квалификации показала, что большинство респондентов отмечают, что знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании. В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании. Ещё ниже показатель, отражающий осведомленность респондентов о состоянии, тенденциях и моделях в области менеджмента качества в Европе и мире.

Результаты анкетирования после обучения показывают, что показатели значительно выросли, в общем случае можно сделать вывод, что у преподавателей сформированы компетенции на уровне общих представлений, большей ориентированности в вопросах менеджмента качества.

По второму блоку анкеты большинство преподавателей дали высокие оценки. Каждый преподаватель в основном владеет методами контроля качества результатов обучения. В своей практике они широко используют методы входного, промежуточного и итогового контроля достижений обучающихся, умеют разрабатывать и используют при оценке достижений обучающихся тесты и комплексные задания. Ниже показатель, характеризующий знание методов контроля и оценивания качества ресурсов (условий) учебного процесса, и еще ниже отмечается знание методов мониторинга и контроля качества процессов в образовательной организации.

Результаты после обучения показывают, что показатели выросли значимо, это свидетельствует, что преподаватели признают значительный рост компетенций. Показатели данного блока определяют уровень сформированных компетенций, позволяющих преподавателям расширить круг инструментов для проведения мониторинга и управления качеством в своей деятельности. Традиционно преподаватели хорошо владеют методами контроля достижений обучающихся. Однако в современном менеджменте качества используется множество простых, понятных и опробованных на практике, но использованных в основном в производстве продукции и предоставлении услуг, методов. Очень важно, что существуют методы контроля процессов и условий (ресурсов), которые практически не используются в образовании. Перенос этих методов, и особенно методов мониторинга процессов, в профессиональное образование практически не осуществлялся. Некоторую проблему у обучающихся вызвали статистические методы контроля качества с точки зрения необходимости их применения для математической обработки данных и интерпретации полученных результатов. В дискуссиях и свободных высказываниях обучающиеся выразили тревогу, что математических знаний у них недостаточно. Но владение компьютером несколько смягчает ситуацию. Необходимость использования в практическом обучении компьютера, с одной стороны, делает проблему статистической обработки результатов мониторинга менее острой, а с другой стороны, приводит преподавателей к осознанию необходимости компетенций в области информационных технологий.

По третьему блоку анкеты большинство респондентов дали очень низкие оценки, что свидетельствует о том, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе. Так же слабо знакомы с методиками анализа выявленных несоответствий и практически не могут планировать и организовывать работу по устранению выявленных несоответствий и совершенствованию процессов.

После повышения квалификации большинство респондентов по третьему блоку анкеты дали ровные и высокие оценки по всем показателям. Это свидетельствует о том, что преподаватели приобрели навыки выявления несоответствий и последующей работы с ними. Очень важный результат, отраженный в показателях данного блока, это появление новых компетенций, связанных с решением вопросов планирования и проектирования работ по мониторингу некоторого объекта исследования. Важно, что обучающиеся понимают, как это необходимо делать, умеют разрабатывать методики мониторинга для конкретного объекта и предмета мониторинга, используя формат методики, разрабатывать измерительный материал для проведения контроля качества, выявлять проблемные точки в анализируемом процессе, результате, ресурсе, выбирать адекватные методы обработки информации, обрабатывать и интерпретировать полученные результаты.

Четвёртый блок анкеты отражает не уровень компетенций испытуемого, а уровень работ ОО и вовлеченность в эти работы основного персонала. Показатели данного блока важны, т. к. отражают отношение преподавателей к работам ОО в области менеджмента качества, информированность об этих работах и уровень их содержательного участия.

Результаты эксперимента до обучения показали следующее. По первому показателю блока большинство респондентов дали очень низкие оценки. Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК ОО, либо с тем, что основной персонал ОО не вовлечен в эти работы и не информирован об их значимости. Другой возможной причиной низких показателей блока 4 может быть отсутствие в проектируемой СМК ядра, связанного с практическим содержательным мониторингом качества основных процессов, результатов и ресурсов образовательного процесса. Именно в этой части работ должны принимать активное участие преподаватели и АУП образовательной организации, от которых зависят результаты деятельности и через которых проявляется вовлеченность основного персонала в процессы менеджмента качества.

После обучения показатели блока 4 анкеты изменились, но не значимо: персонал ОО, как правило, не вовлечен в процессы менеджмента качества.

Если сравнивать результаты до обучения и после, то изменения не значимы, этого и исследовало ожидать, т.к. повышение квалификации не должно было отразиться на мнении респондентов о работах ОО в области менеджмента качества, вовлеченности персонала в эти процессы и информированности академического сообщества о процессах в области менеджмента качества. Незначительное увеличение показателей можно предположительно связать со следующим. После повышения квалификации обучающиеся стали более квалифицированными для адекватной оценки работ ОО в области менеджмента качества, возможно, сформировалось более осознанное отношение к деятельности руководства в данном направлении и т.д. Тем не менее, данные изменения можно считать случайными и не отражающими значимых системных изменений.

Проведенный эксперимент подтвердил, что разработанная программа повышения квалификации формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и контроля качества в профессиональном образовании.

На основе проведенного эксперимента можно сделать вывод, что разработанная авторская программа повышения квалификации «Практический мониторинг и оценивание качества в профессиональном образовании», методика и технология организации учебного процесса приводят к устойчивому формированию и развитию компетенций преподавателей и АУП профессионального образования в области мониторинга, оценивания и управления качеством. В этом смысле можно считать, что программа повышения квалификации эффективна.

Основываясь на утверждении, что качество – многоаспектное комплексное понятие, в настоящее время необходимо говорить о качестве процессов, качестве ресурсов (человеческих, материальных, учебно-методических, информационных и пр.), качестве нормативной базы, качестве результатов, качестве социального партнерства и пр. В данной работе представлена модель системного мониторинга, основные функции которой состоят в том, чтобы проводить сбор, накопление, обработку информации, формирование последующих содержательных выводов для формирования управленческих воздействий. Ниже приведено поблочное описание модели и характер связей между блоками.

Основой модели является потребитель, так как все действия в реализации процессов жизненного цикла услуг (продукции) начинаются с него и им же заканчиваются. Вход модели – обсуждение с потребителями того, что они желают получить и что в оказываемой услуге можно изменить к лучшему. Мониторинг мнений потребителей производится при проектировании услуги (выявление текущих и будущих потребностей) и при последующей оценке удовлетворенности услугой. Требования потребителей – вход модели, основа для проектирования и последующего производства услуги. Проектирование услуги в совокупности с системным и процессным подходом и постоянным улучшением позволяет рассматривать деятельность вуза как систему взаимосвязанных процессов, направленных на повышение степени удовлетворённости всех заинтересованных сторон за счёт обеспечения и постоянного улучшения качества услуги вуза на всех стадиях. Для проектирования услуг, необходимо руководствоваться нормативно-правовой базой. Исходными данными для реализации могут служить: нормативные документы федерального уровня; нормативные документы отрасли; нормативные документы ВУЗа; документы СМК ВУЗа. Так же для реализации процессов жизненного цикла услуг необходимо определить человеческие, информационные и материальные ресурсы. С блока проектирования запускается реализация предоставления услуги. Процесс реализации услуг, означает совокупность действий, которые необходимо выполнить для получения выходного результата с учетом мнений потребителей. Сравнение заявляемых характеристик результатов мониторинга и оценка качества результатов – это процесс сопоставления результатов определённого этапа процесса установленным для этого этапа требованиям. Мониторинг и оценка качества результатов может быть последовательной многократной процедурой, выполняемой на различных стадиях разработки, и направлен на получение обратной связи – удалось ли реализовать запросы потребителей. В данном блоке так же происходит накопление информации для формирования норм. Данные нормативы формируются экспертными методами, хотя при этом не исключается применение количественных и номинальных показателей и формализованных статистических методов. Для управления качеством в большей степени интересны не значения абсолютных показателей свойств услуги вуза, а их относительные величины по сравнению с нормативами, нормами, стандартами. При этом эффективность оценки качества напрямую зависит от корректности задания норм, удовлетворяющих требованиям. Качество продукции/услуги формируется из двух отличных и дополняющих друг друга категорий: соответствия установленным нормативам и соответствия требованиям заинтересованных сторон. Продукт может быть идеален с точки зрения соответствия стандартам, и не востребован потребителями, или удовлетворять потребностям потребителей, но не соответствовать нормам. Модель, таким образом, подчеркивает важность получения информации об уровне удовлетворенности потребителей и обратной связи в виде обновленных требований. Уровень удовлетворенности потребителей – один из важнейших показателей эффективности работы ВУЗа. Этот показатель следует применять для систем, обеспечивающих качественное производство услуг. Уровень удовлетворенности потребителей следует из¬мерять, сопоставляя желаемые для потребителей значения показателей качества с их реальными величинами. Основной показатель удовлетворенности потребителей для образовательных организаций – удовлетворенность всех категорий обучающихся, а так же работодателей. Измерения и мониторинг удовлетворенности потребителей могут отражать точки зрения работодателей и специалистов рынка труда о качестве подготовки специалистов, общественности, сотрудни¬ков образовательного учреждения, заказчиков и других заинтересованных сторон.

Разработанная и предлагаемая в данной работе модель мониторинга процессов оказания услуг учебного назначения может служить основанием для разработки методического обеспечения процессов мониторинга.

 

Список литературы

 

1. Вакулич Е.А. и др. Статистические методы анализа качества [Текст]: Учеб. пособие. – Самара: НВФ «Сенсоры. Модули. Системы», 1998. – 104 с.

Прежде чем приступить к описанию эксперимента, определим содержание понятия «эффективность» процесса повышения квалификации, которая основывается на следующих двух показателях.

1. Первый показатель эффективности – значимое повышение (в смысле среднего значения, математического ожидания) формализованных показателей, полученных в результате самооценки обучающимися результатов обучения:
   • осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании;
   • знание традиционных методов контроля качества;
   • использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества.
2. Эффективность разработанной системы повышения квалификации преподавателей подтверждается также следующими показателями:
   • в результате повышения квалификации ППС и АУП отмечается значимая сформированность системы компетенций в области мониторинга, оценивания и менеджмента качества;
   • обучающиеся осознают важность новых компетенций, связанных с экспертно-аналитическими функциями, и именно, с исполнением функций практического мониторинга, оценивания и управления качеством в своей профессиональной деятельности и для управления деятельностью ОО;
   • отмечается высокая удовлетворенность преподавателей процессом и результатами повышения квалификации с целью приобретения новых профессиональных компетенций;
   • меняются ценностные установки ППС и АУП, прошедших повышение квалификации, относительно экспертно-аналитической составляющей своей деятельности и происходит осознание затруднений, связанных с процессами выявления и анализа проблем и поиска решений для их устранения.

Планирование и проведение эксперимента осуществлялось в соответствии с разработанной инвариантной методикой мониторинга, анализа и оценивания качества. В качестве измерительного инструмента была разработана анкета. Опрос обучающихся по программе ПК проводился на первом вводном занятии до повышения квалификации и на последнем занятии после защиты выпускной работы. В качестве показателей для оценки уровня компетенций обучающихся до и после повышения квалификации выбраны следующие блоки показателей анкеты.

Блок 1. Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании. Первый блок вопросов анкеты позволяет выявить уровень общей ознакомленности анкетируемых с понятиями менеджмента, мониторинга и оценивания качества в целом и в приложении к российскому и международному образованию; с состоянием, тенденциями и моделями менеджмента качества в данной области в России, Европе и мире.

Блок 2. Знание традиционных методов контроля качества. Второй блок вопросов анкеты ориентирован на определение уровня компетенций испытуемого по владению методами мониторинга, оценивания и контроля качества результатов, ресурсов (условий) и процессов обучения; на самооценку умений разрабатывать материалы для оценки качества результатов, ресурсов и процессов в образовании.

Блок 3. Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества. Третий блок вопросов определяет общий уровень компетенций анкетируемых по выявлению и анализу несоответствий (проблем, недостатков) в образовательном процессе; по обработке, анализу и интерпретации полученных результатов, формированию выводов и рекомендаций для устранения несоответствий и совершенствованию процессов; в вопросах планирования и организации работы по выявлению, анализу и устранению выявленных несоответствий.

Блок 4. Деятельность ОО в области менеджмента, мониторинга и контроля. Четвёртый блок вопросов анкеты позволяет установить общий уровень работ образовательных учреждений в области создания СМК, вовлеченности персонала в процессы менеджмента качества, использование информационной и рекламно-просветительской поддержки процессов создания СМК образовательного учреждения.

Обработка результатов эксперимента проводилась по каждому показателю анкеты. При этом рассчитывались математическое ожидание и среднеквадратическое отклонение по каждому показателю отдельно и в целом по блокам. Для анализа и формирования содержательных выводов сравнивались показатели, полученные для конкретной экспериментальной группы, до и после обучения.

Инструментом сравнения значений показателей анкеты, полученных до и после обучения, для выявления значимости или незначимости проявившихся в результате повышения квалификации изменений послужил аппарат статистической проверки гипотез.

По первому блоку анкеты «Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании» статистическая обработка результатов эксперимента группы до повышения квалификации показывает, что по первому показателю блока анкеты большинство респондентов отмечают, что знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании. В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании. Ещё ниже показатель, отражающий осведомленность респондентов о состоянии, тенденциях и моделях в области менеджмента качества в Европе и мире.

Результаты анкетирования после обучения показывают, что показатели значительно выросли, в общем случае можно сделать вывод, что у преподавателей сформированы компетенции на уровне общих представлений, большей ориентированности в вопросах менеджмента качества. Данной теме в программе курса было посвящено всего одно занятие с небольшой практической работой по документированию некоторого выбранного самостоятельно командой микропроекта процесса. Однако результаты свидетельствуют, что полученные на занятии теоретические сведения и некоторые практические навыки, подкрепленные далее большой практической работой по планированию и проведению мониторинга конкретного выбранного самостоятельно объекта и предмета мониторинга, формируют в результате устойчивые компетенции. Обучающиеся начинают грамотно использовать терминологию, активно участвовать в дискуссиях по проблемам менеджмента качества, ставить и решать вопросы практического мониторинга.

По второму блоку анкеты «Знание традиционных методов контроля качества» большинство преподавателей дали высокие оценки. Каждый преподаватель в основном владеет методами контроля качества результатов обучения. В своей практике они широко используют методы входного, промежуточного и итогового контроля достижений обучающихся, умеют разрабатывать и используют при оценке достижений обучающихся тесты и комплексные задания. Ниже показатель, характеризующий знание методов контроля и оценивания качества ресурсов (условий) учебного процесса, и еще ниже отмечается знание методов мониторинга и контроля качества процессов в образовательной организации. Полученные до обучения результаты анкетирования свидетельствуют об отсутствии у ППС и АУП компетенций в области практического мониторинга, оценивания и управления на основе качества не только результатами, но также условиями и процессами. Исключение составляют методы промежуточного и итогового контроля достижений обучающихся, как формы мониторинга, которая традиционно используется в образовании.

Результаты после обучения показывают, что показатели выросли значимо, это свидетельствует, что преподаватели признают значительный рост компетенций. Показатели данного блока определяют уровень сформированных компетенций, позволяющих преподавателям расширить круг инструментов для проведения мониторинга и управления качеством в своей деятельности. Традиционно преподаватели хорошо владеют методами контроля достижений обучающихся. Однако в современном менеджменте качества используется множество простых, понятных и опробованных на практике, но использованных в основном в производстве продукции и предоставлении услуг, методов. Очень важно, что существуют методы контроля процессов и условий (ресурсов), которые практически не используются в образовании. Перенос этих методов, и особенно методов мониторинга процессов, в профессиональное образование практически не осуществлялся. В дискуссиях, которые проходили в группе в процессе обучения, обучающиеся критически отнеслись к возможности и необходимости использования новых методов в своей деятельности. Когда же в процессе обучения преподаватели ознакомились с методами, и каждая группа микропроекта вынуждена была выбрать 2-3 новых метода для проведения мониторинга, то после практической их апробации у преподавателей изменилось мнение по данному вопросу. Некоторую проблему у обучающихся вызвали статистические методы контроля качества с точки зрения необходимости их применения для математической обработки данных и интерпретации полученных результатов. В дискуссиях и свободных высказываниях обучающиеся выражают тревогу, что математических знаний у них недостаточно. И действительно, временные ограничения курса не позволяют уделить больше внимания вопросам простейшей статистической обработки данных и снять тревогу по данному вопросу. Но владение компьютером несколько смягчает ситуацию. Необходимость использования в практическом обучении компьютера, с одной стороны, делает проблему статистической обработки результатов мониторинга менее острой, а с другой стороны, приводит преподавателей к осознанию необходимости компетенций в области информационных технологий.

По третьему блоку анкеты «Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества» большинство респондентов дали очень низкие оценки, что свидетельствует о том, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе. Так же слабо знакомы с методиками анализа выявленных несоответствий и практически не могут планировать и организовывать работу по устранению выявленных несоответствий и совершенствованию процессов.

После повышения квалификации большинство респондентов по третьему блоку анкеты дали ровные и высокие оценки по всем показателям. Это свидетельствует о том, что после практического обучения преподаватели приобрели навыки выявления несоответствий и последующей работы с несоответствиями. Очень важный результат, отраженный в показателях данного блока, это появление новых компетенций, связанных с решением вопросов планирования и проектирования работ по мониторингу некоторого объекта исследования. Важно, что обучающиеся понимают, как это необходимо делать, умеют разрабатывать методики мониторинга для конкретного объекта и предмета мониторинга, используя формат методики, разрабатывать измерительный материал для проведения контроля качества, выявлять проблемные точки в анализируемом процессе, результате, ресурсе, выбирать адекватные методы обработки информации, обрабатывать и интерпретировать полученные результаты. Проектная технология обучения позволила обучающимся, объединенных в рабочие группы, исполняющие микропроект, пройти через все этапы комплексного мониторинга, оценивания и контроля качества: от выбора объекта и предмета мониторинга до формирования рекомендаций по устранению выявленных проблем, несоответствий, недостатков.

Четвёртый блок анкеты «Деятельность ОО в области менеджмента, мониторинга и контроля» отражает не уровень компетенций испытуемого, а уровень работ ОО и вовлеченность в эти работы основного персонала. Показатели данного блока важны, т. к. отражают отношение преподавателей к работам ОО в области менеджмента качества, информированность об этих работах и уровень их содержательного участия.

Результаты эксперимента до обучения показали следующее. По первому показателю блока большинство респондентов дали очень низкие оценки. Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК ОО, либо с тем, что основной персонал ОО не вовлечен в эти работы и не информирован об их значимости. Некоторые ОО для разработки и сертификации СМК приглашают специалистов в этой области со стороны, в лучшем случае создают группу менеджмента качества и совсем редко в содержательных работах по созданию СМК принимают участие преподаватели и АУП ОО. Другой возможной причиной низких показателей блока 4 может быть отсутствие в проектируемой СМК ядра, связанного с практическим содержательным мониторингом качества основных процессов, результатов и ресурсов образовательного процесса. Именно в этой части работ должны принимать активное участие преподаватели и АУП образовательной организации, от которых зависят результаты деятельности и через которых проявляется вовлеченность основного персонала в процессы менеджмента качества.

После обучения показатели блока 4 анкеты изменились, но незначимо: персонал ОО, как правило, не вовлечен в процессы менеджмента качества.

Если сравнивать результаты до обучения и после, то изменения незначимы, этого и исследовало ожидать, т.к. повышение квалификации не должно было отразиться на мнении респондентов о работах ОО в области менеджмента качества, вовлеченности персонала в эти процессы и информированности академического сообщества о процессах в области менеджмента качества. Незначительное увеличение показателей можно предположительно связать со следующим. После повышения квалификации обучающиеся стали более квалифицированными для адекватной оценки работ ОО в области менеджмента качества, возможно, сформировалось более осознанное отношение к деятельности руководства в данном направлении и т.д. Тем не менее, данные изменения можно считать случайными и не отражающими значимых системных изменений.

Проведенный эксперимент подтвердил, что разработанная программа повышения квалификации формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и контроля качества в профессиональном образовании.

На основе проведенного эксперимента можно сделать вывод, что разработанная авторская программа повышения квалификации «Практический мониторинг и оценивание качества в профессиональном образовании», методика и технология организации учебного процесса приводят к устойчивому формированию и развитию компетенций преподавателей и АУП профессионального образования в области мониторинга, оценивания и управления качеством. В этом смысле можно считать, что программа повышения квалификации эффективна.

Общие положения. Материал данной статьи отражает результаты работы творческого коллектива НГТУ1, выполнившего микропроект «Разработка комплекта нормативных документов, определяющих уровень подготовленности ППС к работе в информационной образовательной среде» (ИОС) в рамках Инновационной программы НГТУ «Высокие технологии» (2007 – 2008 гг.). Актуальность работы определяется возникшим противоречием между потребностью современного профессионального образования в использовании информационно-коммуникационных технологий (ИКТ) в профессиональном образовании неготовностью большой части преподавателей к активному использованию ИКТ в своей учебной деятельности. Прежде всего, это определяется низким уровнем ИКТ-компетентности преподавателей, недостаточным для качественной организации учебного процесса с использованием быстро совершенствующихся информационных ресурсов.

В соответствии с планом работ по микропроекту выполнено следующее: разработано Положение «Уровни компетентности преподавателей и специалистов (ППС) НГТУ в области ИКТ», методика мониторинга уровня подготовленности ППС к работе в информационной образовательной среде (ИОС), предложения по учету ИКТ-компетентности преподавателей при комплексной оценке качества его деятельности; разработана структура многоуровневой программы ДПО по применению ИКТ в образовании, учитывающая результаты мониторинга и индивидуальные потребности преподавателя; проведена апробация методики мониторинга и внешняя экспертиза нормативных документов.

В настоящей статье приведена методика оценки уровня ИКТ-компетентности ППС. Формат методики мониторинга и оценки качества может использоваться для оценки качества различных компонентов деятельности вуза – он инвариантен к объектам мониторинга. Будем рассматривать мониторинг как комплексную систему наблюдений состояния и изменений, оценки и прогноза по отношению к качеству высшего образования (как результата, процесса, образовательной системы, ее внутренних и внешних связей) [1]. Она может рассматриваться либо как внутренняя процедура вуза, проводимая специально подготовленными, наделенными полномочиями и ответственностью экспертами по заранее разработанной и утвержденной программе, либо как самооценка — инструмент улучшения и управления процессами и результатами персональной деятельности участника образовательного процесса [2 — 3]. Методика – это установленный способ осуществления некоторой деятельности, модель научного поиска, развернутого во времени [4]. Методика обычно включает в себя: цели и область деятельности; что должно быть сделано и кем; когда, где и как это должно быть осуществлено; какие материалы, документы и оборудование будет использовано, какие методы и инструменты обработки должны быть применены; каким образом следует регистрировать и контролировать результаты.

Описание методики мониторинга. Ниже приведено описание методики мониторинга уровня подготовленности ППС к работе в ИОС в виде формата с последовательностью и характеристикой этапов. Методика утверждается на уровне, определенном в вузе.

Наименование методики: Методика мониторинга уровня подготовленности ППС к работе в ИОС.

Наименование организации: Новосибирский государственный технический университет.

Наименование подразделения: Институт дистанционного образования (ИДО), факультет повышения квалификации преподавателей.

1. Цели: Общая цель: повысить качество подготовки специалистов в НГТУ за счет эффективного использования в учебном процессе ИКТ. Конкретные цели: Цель 1: разработать нормативно-методическую базу и оценочно-аттестационные материалы для мониторинга и оценки уровня ИКТ-компетентности преподавателей. Цель 2: на контрольной группе преподавателей НГТУ и выставленных на образовательном портале ИДО ЭУМК провести практическую апробацию нормативно-методических и оценочно-аттестационных материалов. Цель 3: провести обработку результатов мониторинга, оценить уровень использования ИК’Г в учебном процессе НГТУ, сформировать выводы и рекомендации.
2. Задачи мониторинга. Задачи для достижения цели 1: Задача 1.1. Разработать проект методики мониторинга ИКТ-комнетентности преподавателей НГТУ. Задача 1.2. Разработать измерительный материал для мониторинга и оценки уровня ИКТ-компетентности преподавателей на основе сформированных показателей полноты и качества представленных в локальной сети НГТУ ЭУМК (анкета для эксперта). Задачи для достижения цели 2: Задача 2.1. Провести практическую апробацию измерительного материала для мониторинга и оценки уровня ИКТ-компетентности преподавателей. Задачи для достижения цели 3: Задача 3.1. Провести обработку результатов мониторинга, оценить уровень ИКТ-компентности ППС, сформировать выводы и рекомендации, подготовить отчет.
3. Мероприятия. К задаче 1.1. Мероприятие 1.1.1. Разработать проект инвариантной методики мониторинга ИКТ-компетентности преподавателей НГТУ. Обсудить, отредактировать. К задаче 1.2. Мероприятие 1.2.1. Разработать систему критериев оценки качества ЭУМК для опосредованной оценки уровня ИКТ-компетентности преподавателей. Мероприятие 1.2.2. Разработать анкету для мониторинга уровня ИКТ-компетентности преподавателей через анализ подготовленных и выставленных в локальной сети ЭУММ. Мероприятие 1.2.3. Определить алгоритм обработки результатов оценки уровня ИКТ-компетентности преподавателей. К задаче 2.1. Мероприятие 2.1.1. Сформировать группу экспертов для проведения экспертизы уровня ИКТ-компетентности преподавателей с помощью разработанной анкеты. Провести обучение (инструктаж) экспертов. Мероприятие 2.1.2. Провести экспертизу уровня ИКТ-компетентности преподавателей с помощью разработанной анкеты. К задаче 2.3. Мероприятие 2.3.1. Обработать результаты экспертного оценивания уровня ИКТ-компетентности преподавателей. К задаче 3.1. Мероприятие 3.1.1. Подготовить отчет об уровне использования РПСТ в учебном процессе, отметить положительные и отрицательные стороны, привести примеры лучшего опыта, сформировать рекомендации.
4. Риски. На данном этапе риски не просматривались.
5. Рабочая группа по мониторингу. Руководитель рабочей группы: Никитина Н.Ш. Исполнители: Казанская О.В., Паршукова Г.Б., Юн С.Г., Протасова О.Н., Андрюшкова О.В., Николаева Н.В. Экспертная группа сформирована из исполнителей проекта, экспертов в области качества образования, прошедших обучение по программам ДПО «Экспертиза качества электронного обучения», «Проектирование учебного курса. Определение результатов обучения» или «Подготовка экспертов в области качества образования и качества деятельности преподавателя». Эксперты прошли инструктаж.
6. Сроки проведения мониторинга. Начало – 15.09.2008 г. Окончание – 15.11.2008 г.
7. Локализация процесса мониторинга. ИДО (образовательный портал НГТУ, сайты ИДО, факультетов, кафедр, компьютерные классы ИДО).
8. Статус мониторинга. Первичный (мониторинг проводится впервые).
9. Характеристика предыдущего этапа мониторинга – нет.
10. Решения, принятые на предыдущем этапе мониторинга – нет.
11. Объект и предмет мониторинга. К задаче 2.1. Объект мониторинга: выставленные в локальной сети НГТУ ЭУММ по учебным дисциплинам.
12. Предмет мониторинга: качество ЭУМК с точки зрения установленных показателей качества и как следствие уровень ИКТ-компетентности ППС, ЭУММ которых были подвержены экспертизе. Предмет мониторинга: ИКТ-компетентность преподавателей – членов целевой группы.
13. Нормы качества. Так как мониторинг является первичным, нормы качества не сформированы и являются предметом будущего исследования.
14. Целевые группы. Для мониторинга и оценивания качества ЭУМК с целью опосредованной оценки уровня ИКТ-компетентности преподавателей, разработавших и использующих в учебном процессе эти материалы, отобрано 7 ЭУМК, выставленных в сети.
15. Методы мониторинга. К задаче 2.1. Используются методы анкетирования и экспертного оценивание. Анкетирование проводится с использованием специально разработанной анкеты, позволяющей оценить качество ЭУМК по сформированной группе показателей качества. Анкета является также предметом данного исследования. Полученная в результате анкетирования и обработанная информация позволит сделать первые рекомендации относительно норм качества (границ норм качества) по отдельным показателям качества ЭУМК. Кроме того, будут выявлены и в последующем устранены недостатки разработанной анкеты. Первый вариант анкеты оценки качества ЭУМК для опосредованной оценки уровня ИКТ-компетентности ППС приведен ниже.
16. Методы сбора, обработки и хранения информации. Данный этап экспертизы качества является экспериментальным, объем информации небольшой, поэтому особых требований к методам сбора и хранения информации не предъявляется. Используются средства MS Office для реализации алгоритмов обработки. Должна быть гарантирована конфиденциальность информации, а полученные в результате эксперимента выводы не могут быть использованы для управления на уровне конкретного преподавателя.
17. Инструменты мониторинга. К задаче 2.1. Анкета для мониторинга и оценки качества ЭУМК по сформированной группе показателей качества.
18. Ресурсы, необходимые для мониторинга. Исполнители и бюджет микропроекта, эксперты, компьютерные классы ИДО.
19. План-график реализации мониторинга и оценки качества. План-график мониторинга приводится в отдельной таблице, например, в виде диаграммы Ганта.
20. Отчет. Результаты представляются в виде аннотированного отчета и описываются в соответствии со структурой задач и мероприятий, приведенных в настоящей методике. Результаты анализируются, формируются рекомендации для последующего использования с целью управления.
21. Бюджет мониторинга. Определяется бюджетом микропроекта.

Выводы. Результаты экспериментальной апробации настоящей методики и измерительного инструмента будут приведены в следующих выпусках настоящего журнала. Разработанная нормативно-методическая база обсуждена на научно-методическом семинаре и получила рекомендацию к использованию в НГТУ для целей практического мониторинга качества учебного процесса и деятельности преподавателя как еще один показатель качества. На основе описанной методики разработана программа повышения квалификации «Мониторинг и оценивание качества в профессиональном образовании».

_________________________

1Состав авторского коллектива: руководитель – Н.Ш. Никитина; исполнители – О.В. Казанская, Г.Б. Паршукова, С.Г. Юн, О.Н. Протасова, О.В. Андрюшкова, Н.В. Николаева. ↑

 

ЛИТЕРАТУРА:

 

1. Селезнева Н.А. Качество высшего образования как объект системного исследования: Лекция-доклад. Изд. 4-е, стереотипное. – М: Исследовательский центр проблем качества подготовки специалистов, 2004. – 95 с.
2. Никитина Н.Ш., Николаева Н.В. Мониторинг и оценка качества процессов оказания образовательных услуг в вузе // Университетское управление: практика и анализ, 2007, №3 (49). С. 91-96.
3. Никитина Н.Ш., Николаева Н.В. Модель процессов производства и оказания услуг в образовании // Университетское управление: практика и анализ, 2007, №1 (47). С. 62-68.
4. Международный стандарт ИСО 8402: 1994 (E/F/R). Управление качеством и обеспечение качества: Словарь. ИСО, 1994. – 34 с.

Приложение

Анкета экспертизы качества ЭУМК для опосредованной оценки уровня ИКТ-компетентности преподавателя

Никитина Надежда Шагабановна – декан факультета повышения квалификации преподавателей, кандидат технических наук, профессор;

Николаева Наталья Викторовна – директор представительства

В данной работе приведены результаты оценки качества электронных учебно-методических комплексов (ЭУМК), полученные в процессе реализации проекта 1 «Разработка комплекта нормативных документов, определяющих уровень подготовленности ППС для работы в информационной образовательной среде» (Инновационная образовательная программа НГТУ, 2007-2008 гг.). Формат использованной в проекте инвариантной методики мониторинга разработан и описан в работах [1-2].

Результаты анализа качества ЭУМК позволяют получить опосредованную оценку уровня компетенций преподавателя в области информационно-коммуникационных технологий (ИКТ), отражающую понимание преподавателем задач современного образовательного процесса и характеризуют уровень владения информационными технологиями и конкретными инструментами. Ниже приведено описание основных этапов методики мониторинга уровня подготовленности ППС к работе в ИОС.

Цели: Общая цель: повысить качество подготовки специалистов в НГТУ за счет эффективного использования в учебном процессе ИКТ. Конкретные цели: разработать нормативно-методическую базу и оценочно-аттестационные материалы для мониторинга и оценки уровня ИКТ-компетентности преподавателей; на случайным образом отобранных и выставленных на образовательном портале института дистанционного обучения (ИДО) НГТУ ЭУМК провести практическую апробацию нормативно-методических и оценочно-аттестационных материалов; провести обработку результатов мониторинга, оценить уровень использования ИКТ в учебном процессе НГТУ, сформировать выводы и рекомендации.

1. Задачи и мероприятия мониторинга. Разработать инвариантную методику мониторинга ИКТ-компетентности преподавателей НГТУ. Разработать систему критериев оценки качества ЭУМК анкету эксперта для оценки уровня ИКТ-компетентности преподавателей. Сформировать группу экспертов, провести экспертизу отобранных ЭУМК, обработать результаты, сформировать выводы.
2. Рабочая группа по мониторингу. Руководитель рабочей группы: Никитина Н.Ш. Исполнители: Казанская О.В., Паршукова Г.Б., Юн С.Г., Протасова О.Н., Андрюшкова О.В., Николаева Н.В. Экспертная группа сформирована из исполнителей проекта, экспертов в области качества образования, прошедших обучение по программам ДПО «Экспертиза качества электронного обучения», «Проектирование учебного курса. Определение результатов обучения» или «Подготовка экспертов в области качества образования и качества деятельности преподавателя». Эксперты прошли инструктаж.
3. Сроки проведения мониторинга. Начало – 15.09.2008 г. Окончание – 15.11.2008 г.
4. Локализация процесса мониторинга. ИДО (образовательный портал НГТУ, сайты ИДО, факультетов, кафедр, компьютерные классы ИДО).
5. Статус мониторинга. Первичный (проводится впервые).
6. Объект мониторинга. Выставленные в локальной сети НГТУ ЭУМК.
7. Предмет мониторинга: качество ЭУМК и как следствие уровень ИКТ-компетентности преподавателей, ЭУМК которых были подвержены экспертизе.
8. Нормы качества. Так как мониторинг является первичным, нормы качества ЭУММ не сформированы и являются предметом будущего исследования.
9. Целевые группы. Для мониторинга и оценивания уровня ИКТ-компетентности преподавателей отобрано семь разработанных ими ЭУМК.
10. Методы мониторинга. Методы анкетирования и экспертного оценивание.
11. Методы сбора, обработки и хранения информации. Данный этап экспертизы качества являлся экспериментальным, объем информации небольшой, поэтому особых требований к методам сбора и хранения информации не предъявлялось. Используются средства MS Office для реализации алгоритмов обработки. Должна быть гарантирована конфиденциальность информации, а полученные в результате эксперимента выводы не могут быть использованы для управления на уровне конкретного преподавателя.
12. Инструменты мониторинга. Анкета для мониторинга и оценки качества ЭУМК по сформированной группе показателей качества.
13. Ресурсы, необходимые для мониторинга. Исполнители и бюджет микропроекта, эксперты, компьютерные классы ИДО.
14. План-график реализации мониторинга и оценки качества.
15. Отчет. Результаты представляются в виде аннотированного отчета и описываются в соответствии со структурой задач и мероприятий, приведенных в настоящей методике. Результаты анализируются, формируются рекомендации для последующего использования с целью управления.
16. Бюджет мониторинга. Определяется бюджетом микропроекта.

Актуальность данного проекта определялась неудовлетворенностью специалистов заочного факультета, ИДО, факультета повышения квалификации (ФПК), научно-методического центра (НМЦ) качеством значительной части разработанных и используемых в учебном процессе ЭУМК. Многие годы руководство НГТУ поддерживало работы в области становления и совершенствования образовательных технологий с использованием систем электронной поддержки учебного процесса, вкладывало значительные ресурсы. Однако по косвенным признакам напрашивался вывод о недостаточном качестве ЭУМК. Для принятия управленческих решений в данном направлении было решено провести поисковое исследование, по результатам которого можно подготовить обоснованные выводы и рекомендации. Вторая назревшая проблема, которая предположительно также связана с низкими компетенциями преподавателей в области ИКТ, отсутствие умений, позволяющих осуществлять информационную поддержку собственной учебной, научной и прочей деятельности в информационной системе управления университетом.

Для подтверждения выявленной ситуации был проведен SWOT-анализ качества выделенных для анализа ЭУМК (Strengths – сильные стороны, Weaknesses – слабые стороны, Opportunities – возможности, Threats – угрозы, тревоги). В группу экспертов вошли декан и зам. деканы заочного факультета, специалисты ИДО, НМЦ, ФПК. Отмечено следующее.

Сильные стороны: в НГТУ давно развивается дистанционное, электронное обучение, финансируются проекты по созданию ЭУМК; в локальной сети выставлено более 1000 электронных учебных ресурсов; есть отдельные комплексы хорошего качества; развивается нормативная база электронного обучения; существуют программы повышения квалификации для разных целевых групп; есть подразделения, осуществляющие поддержку преподавателей (НМЦ, ФПК, ИДО), подготовлены эксперты по качеству электронного обучения; есть технологическая среда и практический опыт организации учебного процесса с использованием ЭУМК; есть очевидная востребованность ЭУМК всеми формами обучения.

Слабые стороны: не сформировано понятие «качество ЭУМК»; нет значимых стимулирующих механизмов для авторов и разработчиков, преподаватели не владеют технологиями создания ЭУМК; ЭУМК представлены в разных технологических средах, выставляются на разных сайтах; большинство ЭУМК не содержит элементов управления обучением (для самостоятельного изучения курса).

Возможности, рекомендации по улучшению: создать нормативную базу, регламентирующую процессы создания ЭУМК: ввести понятия «нормы качества ЭУМК», показатели качества, определить типы используемых в вузе систем технологической поддержки ЭУМК, разработать процедуру экспертизы качества ЭУМК; создать систему стимулирующих механизмов для авторов и разработчиков ЭУМК; создать программы ПК для преподавателей и специалистов, разрабатывающих ЭУМК.

Тревоги, угрозы, препятствия: унифицированный подход к разработке ЭУМК, регламентированный нормативной базой, обучением, уничтожит разнообразие ЭУМК; есть опасения, что при разработке нормативной базы слишком поспешным, принудительным и формальным будет внедрение; опасно чрезмерное внимание к данному показателю деятельности преподавателя, тем более с целью управления; в вузе не найдется достаточно ресурсов для проведения работ в большом масштабе; есть опасение неквалифицированной оценки ЭУМК.

На основании проведенного предварительного анализа был объявлен конкурс на выполнение проекта «Разработка комплекта нормативных документов, определяющих уровень подготовленности ППС для работы в информационной образовательной среде», сформирована команда проекта и выделены ресурсы. В процессе реализации проекта создан комплект проектов нормативных документов: Положения «Уровни компетентности ППС НГТУ в области ИКТ», методики мониторинга (анкета и тесты) уровня подготовленности ППС к работе в информационной образовательной среде (ИОС), предложений по учету ИКТ-компетенций при оценке деятельности преподавателей, структура модульной программы повышения квалификации. Проведена экспертиза семи ЭУМК пятью экспертами.

Проект носил поисковый характер, задача состояла в том, чтобы уточнить проблему, выявить недостатки в этом направлении деятельности университета, предложить выводы и рекомендации по улучшению. Члены рабочей группы проекта видели решение задачи в создании системы мониторинга и оценивания уровня ИКТ-компетентности преподавателей; в формировании и закреплении общего регламента процессов мониторинга, в возможности установления норм качества; в использовании результатов мониторинга ИКТ-компетентности для управления; создании системы общих требований к разработке модульных многоуровневых программ повышения квалификации преподавателей в области ИКТ.

В таблице 1 приведены основные показатели анкеты, используемой для мониторинга качества ЭУМК и приведено их пояснение.

Таблица 1. Показатели качества ЭУМК

Шкала измерения показателей – 0, 1, 2, 3, 4, 5, 6. Оценивание ЭУМК проводилось по показателям 2-6. Показатель «Легитимность ЭУМК» был введен позже. С точки зрения репрезентативности статистики полученная выборка мала, но задача состояла в апробировании инструментария (методики и анкеты), и эта задача выполнена. Рассмотрим некоторые полученные при мониторинге результаты после их простейшей статистической обработки. Рассчитывались средние значения и среднеквадратические отклонения показателей. Итоговые значения приведены в таблице 2 и на лепестковой диаграмме.

Таблица 2. Средние значения и среднеквадратические отклонения показателей качества ЭУМК

Рис. 1. Средние значения показателей ЭУМК

Проведенные исследования позволяют сделать вывод, что мнения экспертов относительно ЭУМК 1, 3, 5 и 7 достаточно согласованы и расходятся в среднем не более чем на 1 балл. В то же время по УМК 2, 4 и 6 среднеквадратическое отклонение достигает 2 баллов. Однако стоит заметить, что это происходит преимущественно по показателям: 2 – «Наличие элементов управления учебным процессом (для реализации возможности самостоятельного обучения)» и 4 – «Пользовательские требования к ЭУМК». Значительное расхождение мнений по четвертому показателю объяснимо – это наиболее субъективный показатель, большое влияние оказывают личные предпочтения и точка зрения эксперта (на уровне «нравится – не нравится»). Расхождение мнений по второму показателю говорит о том, что среди экспертов нет еще устоявшегося мнения по поводу состава и содержания элементов управления учебным процессом. Очевидно, необходимо провести обсуждение данного вопроса, чтобы выявить причину разногласий, определить требования к содержанию элементов управления учебным процессом.

Несогласованность мнений по показателю 3 – «Техническая сложность реализации ЭУМК», объясняется разным уровнем подготовки экспертов в данной области. Следовательно, либо необходимо уделить большее внимание этому вопросу при подготовке экспертов, либо (что представляется наиболее целесообразным) проводить техническую экспертизу отдельно специально отобранными экспертами.

Использование представления в виде лепестковой диаграммы полезно не только для демонстрации результатов экспертизы. С её помощью можно установить нормы качества по отдельным показателям (например, допустимый минимальный уровень, диапазон «номинальных» значений), и на основе диаграммы для каждого показателя сделать заключение о качестве ЭУМК и его соответствии принятым нормам. Такая информация может использоваться для формирования практических рекомендаций отдельному преподавателю и для выявления общесистемных несоответствий, требующих подготовки и принятия решения на уровне университета.

_________________________

1Состав авторского коллектива: руководитель – Н.Ш. Никитина; исполнители – О.В. Казанская , Г.Б. Паршукова, С.Г. Юн, О.Н. Протасова, О.В. Андрюшкова, Н.В. Николаева. ↑

 

Литература

 

1. Никитина Н.Ш., Николаева Н.В. Мониторинг и оценивание качества в образовании. Методика мониторинга. Часть 1. [Текст]: Методическое пособие / Никитина Н.Ш., Николаева Н.В. – Новосибирск: Изд-во НГТУ, 2008. – 41 c.
2. 2. Никитина Н.Ш., Николаева Н.В. Мониторинг и оценивание качества в образовании. Методы мониторинга. Часть 2. Обучение менеджменту качества в образовании [Текст]: Методическое пособие / Никитина Н.Ш., Николаева Н.В. – Новосибирск: Изд-во НГТУ, 2008. – 60 с.

Одной из задач, обеспечивающих качество образовательного процесса в реализуемом проекте, является мониторинг, представляющий собой систему сбора, обработки, хранения и распространения информации о качестве образовательного процесса [4, 6].

Программа работ по созданию системы мониторинга качества образовательного процесса, подготовленная в соответствии с требованиями Государственного контракта на реализацию проекта, включала в себя следующие этапы:

• определение требований к организации и проведению мониторинга образовательного процесса в программах повышения квалификации преподавателей;
• формулирование целей и определение состава объектов мониторинга;
• определение показателей качества образовательного процесса;
• разработка новых и модификация используемых инструментов и методов мониторинга и их апробация;
• разработка процедур анализа полученных в ходе мониторинга данных;
• подготовка рекомендаций по устранению и последующему предотвращению повторного появления выявленных несоответствий качества образовательного процесса или неудовлетворенности обучающихся;
• оценка качества и при необходимости корректировка апробируемых процедур мониторинга и его инструментального обеспечения.

На первом этапе, исходя из основных задач проекта, сформулированы требования к системе мониторинга, следование которым создает условия для его эффективной организации, предупреждая сложности, возникающие в процессе создания и апробации системы мониторинга различных объектов независимо от их природы и особенностей [6]: оперативность предоставления информации всем участникам образовательного процесса для принятия решений и коррекции инструментов мониторинга с целью повышения их качества; своевременность внесения корректив в образовательном процессе по результатам мониторинга; адресность и гласность с целью учета особенностей целевых групп и различных форм организации обучения; согласованность действий субъектов мониторинга, включая обучающихся.

В соответствии с требованиями к организации системы мониторинга сформулированы его цели:

• повышение объективности и оперативности контроля оценки качества образовательного процесса;
• проведение сравнительного анализа и обеспечение сопоставимости качества образовательных услуг, предоставляемых на основных этапах реализации образовательных программ, для принятия обоснованных управленческих решений руководством проекта по их совершенствованию;
• повышение уровня информированности участников образовательного процесса и обеспечение условий для самооценки качества образовательных услуг преподавателям, работающим в образовательных программах;
• определение образовательных потребностей обучающихся для согласования в образовательном процессе ожиданий конкретных целевых групп и предлагаемых программ обучения;
• выявление и использование мнения обучающихся о качестве образовательного процесса для его совершенствования.

Объектами мониторинга в данном проекте являются [4-6]: обучающая деятельность преподавателя, учебно-методические материалы, удовлетворенность участников образовательного процесса, техническое и технологическое обеспечение процесса обучения.

Качество в данной работе понимается как соответствие «нормам». Для определения «норм» качества образовательного процесса и деятельности преподавателей использованы принципы обучения взрослых [1-3]. Образовательный процесс считается качественным, если сформулированы цели и задачи образовательного процесса, он строится в соответствии с ними; обучающиеся и преподаватели довольны его ходом; обучающиеся мотивированы, проявляют интерес; информация приобретается в деятельности, моделирующей реальную профессиональную деятельность; обучающиеся активно работают на занятиях, задают вопросы преподавателю, взаимодействуют друг с другом, принимают участие в планировании собственной познавательной деятельности.

Показатели качества образовательного процесса в проекте, соответствующие выделенным «нормам», включают в себя две группы показателей: 1-я группа — оценка качества информационного содержания модуля (новизна, актуальность, системность, практическая направленность); 2-я группа — оценка качества процесса обучения (понятность целей проведения модуля для слушателей, вовлеченность слушателей в учебный процесс, использование активных форм обучения, соответствие целей и содержания модуля ожиданиям обучающихся, качество раздаточных материалов, затруднения, возникшие в ходе работы в модуле, пожелания относительно совершенствования методики проведения и содержания модуля, наиболее дискуссионные вопросы по модулю).

В качестве основного инструментария системы мониторинга были выбраны анкеты. Анкетирование позволяет собирать информацию об объектах, характеристики которых выражены как в балльных шкалах, так и в форме утверждений, при этом имеется возможность оперативного изменения конкретного состава показателей.

Для мониторинга был подготовлен и апробирован комплект анкет [2, 3]. На каждом этапе мониторинга использовались анкеты различного назначения, часть которых корректировалась с целью повышения его эффективности. Анкеты отличались по показателям качества для разных программ повышения квалификации и форм обучения. В проекте были реализованы очная и дистанционная формы обучения.

Все подготовленные и использованные анкеты имеют одинаковую структуру: название анкеты, отражающее тему опроса, вводную часть (обращение к обучающемуся и сообщение о цели анкетирования, что создает дополнительную мотивацию к работе), сообщение о направлении использования материалов опроса, что создает безопасные условия для респондента, инструкцию по заполнению, вопросы, выражение благодарности за участие в опросе.

По назначению анкеты делились на анкеты для определения ожиданий обучающихся и анкеты для определения их удовлетворенности образовательным процессом в отдельных модулях. До начала процесса обучения обучающиеся формулировали свои ожидания, отмечая наиболее актуальные для них темы модулей, предлагая свои темы для обсуждения, выбирая эффективные, с их точки зрения, формы ведения занятий, выражая потребность в информации об опыте различных образовательных учреждений. По окончании процесса обучения в каждом модуле обучающиеся оценивали качество учебного процесса и деятельности преподавателей. Часть показателей измерялись в балльной шкале от 0 до 6.

Полученная на разных этапах реализации образовательного процесса информация анализировалась и использовалась для принятия решений руководством о корректировке условий и процесса обучения, а также преподавателями для внесения изменений в содержание учебных материалов и методику проведения занятий.

На основе результатов опроса об ожиданиях обучающихся по модулю «Управление качеством образования» в группе, прошедшей обучение по данной программе в апреле 2009 г., были подготовлены следующие рекомендации преподавателям по организации образовательного процесса в модуле:

• важно уделить внимание согласованию ожиданий обучающихся и учебных целей модуля, поскольку более половины обучающихся считают предложенные темы не актуальными для них, кроме темы 5;
• несмотря на отсутствие желания у обучающихся принимать участие в активных формах проведения образовательного процесса, необходимо использовать именно эти формы, поскольку они способствуют активному вовлечению обучающихся в работу и создают условия для использования обучающимися предлагаемого материала в их практической деятельности в будущем;
• обсуждение опыта других вузов по тому или иному вопросу традиционно вызывает интерес у обучающихся, что подтверждают результаты оценки качества образовательного процесса и деятельности преподавателя в модуле, поэтому, несмотря на незначительное количество желающих перед началом занятий обсуждать этот опыт, целесообразно включать подобный материал, например, в раздаточные материалы, если нет возможности в связи с временными ограничениями работать с этими материалами на занятии.

По результатам анкетирования обучающихся, получаемым после окончания процесса обучения, определялись оценки показателей качества образовательного процесса и деятельности преподавателей по всем модулям каждой программы. Руководству проекта по окончании обучения в каждой группе предоставлялась информация о результатах анкетирования обучающихся по всем модулям программ в текстовой и дополнительно в графической формах, а преподавателям — в текстовой форме только по их модулям.

В табл. 1 и на рис. 1 на основе отчета, предназначенного преподавателям, по модулю «Стратегическое управление развитием образования» программы повышения квалификации среднего звена управленческих кадров вузов СФО одной из групп, прошедших обучение по данной программе в мае 2009 г., представлена информация о показателях этого же модуля, измеряемых в балльной шкале. На диаграмме представлены средние значения показателей качества образовательного процесса по модулю и для сравнения средние значения показателей качества по программе повышения квалификации в целом. Максимальные и минимальные значения каждого показателя качества по программе рассчитывались соответственно как среднее значение показателя плюс/минус его среднеквадратичное отклонение. Эти значения определяли «норму» качества показателей. Если максимальное значение показателя превышает 6,0, что наблюдается, например, для показателя «Активные формы обучения», то максимальное значение показателя считается равным 6,0.

Таблица 1. Средние значения показателей качества образовательного процесса и деятельности преподавателей по модулю и по программе в целом в одной учебной группе

Рис. 1. Лепестковая диаграмма для анализа средних значений показателей качества по программе в целом я средних значений показателей качества по модулю в одной учебной группе

Преподавателям были предложены следующие рекомендации по улучшению качества образовательного процесса в модуле:

• для усиления практической направленности нужно добавить конкретные примеры или материал об опыте других вузов по теме модуля (средний балл показателя «Практическая направленность» по модулю 3,7, «норма» показателя «Практическая направленность» имеет минимальное значение и отличается от всех показателей качества по программе на значительную величину);
• на занятии важно организовать диалог между его участниками по теме занятия в форме, соответствующей целям занятия (средний балл показателя «Вовлеченность обучающихся в образовательный процесс» 4,38 меньше минимального значения «нормы» показателя);
• описать в « Методическом руководстве по модулю» характер работы со всеми предлагаемыми материалами (рекомендация в соответствии с мнением обучающихся по показателю «Качество раздаточных материалов»);
• давать рекомендации по самостоятельной работе с раздаточными материалами по не рассмотренным на занятии вопросам (рекомендация — по показателю «Затруднения, возникшие в ходе работы в модуле»);
• включать конкретные примеры в раздаточные материалы вместе с рекомендациями по работе с ними (рекомендация — по показателю «Пожелания относительно методики проведения»);
• рассмотреть целесообразность включения нормативных материалов о развитии российского образования в учебные материалы модуля (рекомендация — по показателю «Пожелания относительно содержания модуля»);
• важно не только ставить дискуссионные вопросы, но и предлагать и обсуждать эффективные способы их решения (рекомендация — по показателю «Наиболее дискуссионные вопросы по модулю»).

Таблица 2. Средние значения показателей качества образовательного процесса и деятельности преподавателей

* — дата начала занятий в учебной группе

Одной из задач мониторинга проекта было отслеживание динамики изменения оценок качества образовательного процесса по каждому показателю от группы к группе.

В табл. 2 представлены средние значения показателей качества образовательного процесса и деятельности преподавателей по всем группам, прошедшим обучение в проекте в 2009 г.

Для каждого показателя качества по каждой учебной группе проверялась гипотеза о равенстве среднего значения показателя среднему значению соответствующего показателя качества, определенного по всем группам данной программы, с использованием t-критерия Стьюдента. Расчеты проводились в программной системе статистического анализа SPSS 15.0. Уровень значимости был выбран равным а=0,05. В большинстве случаев гипотеза не отвергается, т.е. отклонение среднего значения показателя качества по группе от среднего по программе не значимо. Показано отсутствие значимых отличий средних значений показателей качества по отдельным учебным группам от соответствующих средних значений, рассчитанных по всем группам обучения, по показателям «Новизна», «Актуальность», «Системность», «Понятность целей проведения модуля для слушателей», «Соответствие целей и содержания модуля ожиданиям слушателей».

Особый интерес представляют результаты по тем группам, для которых по какому-либо показателю его средняя оценка значимо отличалась от среднего значения показателя по программе. Значимое отличие было показано для группы 1 по показателям «Активные формы обучения» и «Качество раздаточных материалов» (рис. 2).

На рис. 2 представлена динамика средних значений показателя «Качество раздаточных материалов» по всем учебным группам. Средние значения показателя качества по учебным группам получены усреднением оценок группы по данному показателю по всем модулям программы повышения квалификации.

Рис. 2. Динамика изменения средних значений показателя «Качество раздаточных материалов» по учебным группам

В группе 1 обучающиеся высказали замечание относительно формы предоставления раздаточных материалов. Так, например, одним из пожеланий было формирование раздаточных материалов отдельно по каждому модулю. Пожелание обучающихся относительно формы предоставления раздаточных материалов было учтено.

В программах повышения квалификации участвовали группы, различные по составу, с разным сроком и формами обучения, но, несмотря на это, динамика изменения показателей от группы к группе имеет общую тенденцию незначительного колебания вокруг среднего значения для каждого показателя качества.

В заключение следует подчеркнуть, что качество, своевременность и объем получаемой информации в ходе мониторинга зависят во многом от мотивированности участников образовательного процесса, что требует дополнительной организационной работы группы мониторинга. Востребованность информации, предоставляемой участникам проекта группой мониторинга, во многом зависит от формы, удобной для анализа и последующего принятия решении по корректировке образовательного процесса в программах повышения квалификации.

Проведенный анализ дает основание считать, что спроектированная и внедренная система мониторинга качества образовательного процесса и деятельности преподавателя в проекте достигла поставленных перед ней целей.

ЛИТЕРАТУРА

1. Змеев С.И. Андрагогика: основы теории и технологии обучения взрослых. — М.: ПЕР СЭ, 2007. — 272 с.
2. Методики для анализа собственной педагогической деятельности: методическое пособие для преподавателей / Е.А. Лебедева, Н.И. Лыгина, Г.Б. Скок, Е.Ю. Чернова. — Новосибирск: Изд-во НГТУ, 2006. — 44 с.
3. Лыгина Н.И., Чернова Е.Ю. Деятельность преподавателя высшей школы: «нормы» качества, самооценка, планирование. Рекомендации преподавателям: Учебное пособие для преподавателей. — Новосибирск: Сибмедиздат, 2009. — 160 с.
4. Никитина Н.Ш. Мониторинг и оценка качества в образовании. Ч.1, 2: Методика мониторинга: учеб. пособие. — Новосибирск: Изд-во НГТУ, 2008. — 92 с.
5. Петров Ю.Н., Васильева Л.И. Процессная модель обеспечения качества образовательной деятельности в вузе. — Н. Новгород: Изд-во ВГИПУ, 2008. — 131 с.
6. Сидоров П.И., Васильева Е.Ю. Системный мониторинг образовательной среды. — Архангельск: СГМУ, 2007. — 335 с.

Авторы модуля: С.В. Клишина, Д.Д. Бочаров.

Тема 1. Общие вопросы педагогического контроля в тестовой форме. Технология тестирования. Проблемы целеполагания. Итоговый тест. Рабочая программа курса. Тестовые задания.

Тема 2. Классификация и формы тестовых заданий. Разработка тестовых заданий в соответствии с целями изучения курса. Составление теста из тестовых заданий.

Тема 3. Обработка и анализ результатов тестирования. Статистическая обработка результатов тестирования. Надежность и валидность теста. Коррекция первой версии теста.

Тема 4. Программное обеспечение электронных систем тестирования.

Рекомендуемая литератураК модулю 4

1. Аванесов В.С. Теоретические основы разработки заданий в тестовой форме: Учеб. пособие. — М: МГТА, 1995.-95 с.
2. Аванесов B.C. Научные проблемы тестового контроля знаний. — М.: Исслед. центр, 1994. — 135 с.
3. Аванесов В.С. Основы научной организации педагогического контроля в высшей школе. — М.: Исслед. центр, 1989. — 26 с.
4. Аванесов B.C. Математические модели педагогического измерения. — М.: Исслед, центр, 1994.-26 с.
5. Аванесов B.C. Композиция тестовых заданий. — М.; Адепт, 1998. — 216 с.
6. Бурлачук Л.Ф., Морозов С.Н. Словарь-справочник по психологической диагностике. — Киев, 1989. — 270 с.
7. Гласс Дж., Стэнли Дж. Статистические модели в педагогике и психологии. — М.: Прогресс, 1976. — 496 с.
8. Ингекамп К. Педагогическая диагностика. — М: Педагогика, 1991. — 240 с.
9. Клайн П. Справочное руководство по конструированию тестов: Введение в психометрическое проектирование: Пер. с англ. / Под ред. Л.Ф. Бурлачука. — Киев: ЛТД, 1994. — 288 с.
10. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. — СПб.: Образование и культура, 1996. — 304 с.
11. Михеев В.И. Моделирование и методы теории измерений в педагогике. — М: Высшая школа, 1987. — 199 с.
12. Потеев М.И. Основы теории тестирования // Основы аналитической дидактики: Учеб. пособие. — СПб., 1992. — С. 65-96.
13. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Учеб. пособие. — М: Исслед. центр, 1995. — 32 с.
14. Челышкоеа М.Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. — М.: Логос, 2002. — 432 с.
15. Шишов С.Е., Кальней В.А. Мониторинг качества образования в школе. — М., 1998.

В настоящее время оценка компьютерных учебных пособий осуществляется на трех уровнях:

• профессиональная оценка специалистов и экспертов в области компьютерного обучения;
• непрофессиональная оценка, которую дают пользователи;
• коммерческая оценка производителей и продавцов программного обеспечения.

Профессиональная оценка объективно учитывает возможные параметры — психолого-педагогические, методические, технические, — позволяющие считать компьютерное учебное пособие полноценным средством обучения.

Оценка пользователей, которые, как правило, не являются специалистами в области компьютерного обучения, отличается субъективностью, поскольку учитывает индивидуальные практические потребности, вкусы и пристрастия.

Для системы коммерческой оценки показательно внимание к технологическим и внешним количественным характеристикам (таким, например, как количество иллюстраций, объем часов звучащей речи, количество упражнений и заданий и т.п.), которые могут и не отражать реальной образовательной ценности программы.

Особенно наглядно различие трех указанных подходов проявляется при сравнении оценки одной и той же программы. Однако необходимо отметить, что и в системе профессиональной оценки до сих пор не существует однозначного определения качества компьютерных учебных материалов; при этом часто смешиваются понятия «тип» и «качество»; используются самые разные критерии оценки, в которых все еще нередко на первый план выходят технические характеристики — использование средств мультимедиа, технологии CD-ROM, гипертекста.

Например, когда говорят о том, что из всех существующих программ более 90 % составляют «простые тренировочные» программы, и только увеличение производства программ других типов, например имитационно-моделирующих или экспертных систем, даст общий качественный сдвиг в компьютерном обучении [1], то сравнивают программы разных типов, в рамках каждого из которых можно разработать очень простую, но эффективную контролирующую программу и недостаточно совершенную имитационно-моделирующую.

Что касается оценки компьютерных учебных пособий на основе технических характеристик, то исследования показывают, что использование современных технологий (в частности, систем воспроизведения и распознавания речи, интерактивного видео и т.п.) само по себе еще не гарантирует образовательного качества программы. Часто такие программы имеют чисто формальное методическое решение, например технология CD-Rom используется главным образом из-за объема памяти и скорости доступа, а не гибкости и т.п.

Система оценки компьютерных учебных пособий будет эффективной, если определить их специфику как средства обучения и выработать параметры оценки как общие для всех пособий, так и специфичные: с одной стороны, для определенной предметной области обучения, с другой — для конкретного типа учебных компьютерных программ.

Большое количество терминов определяет типы и разновидности компьютерных учебных пособий. В отечественной литературе наиболее распространенными являются понятия «автоматизированный учебный курс» (АУК), «автоматизированный обучающий курс» (АОК), «автоматизированная обучающая система» (АОС), «компьютерная система учебного назначения», «компьютерный учебный курс» (КУК), «мультимедийный учебный курс», «обучающая компьютерная программа» или «компьютерная обучающая программа» (КОП), «компьютерная учебная программа», «средства компьютерной поддержки обучения», «электронный», а также «компьютеризированный», «компьютеризованный», «компьютерный» учебник, «компьютерные дидактические материалы», «компьютеризированные учебные материалы», «компьютерное учебное пособие» и др.

К сожалению, не существует четкого разграничения этих понятий. Очевидно, что «автоматизированная обучающая система» (АОС) является не просто обучающей программой, а комплексом программ, не только обеспечивающих функционирование автоматизированного учебного курса, но и позволяющих разрабатывать новые курсы с помощью предлагаемых системой инструментальных средств. Можно предположить, что «автоматизированный учебный курс» (АУК), «мультимедийный учебный курс», «компьютерный учебный курс», «электронный учебник» посвящены изучению какого-либо законченного учебного курса, включают значительный объем изучаемого материала или обладают большими по сравнению с просто «обучающей программой» сервисными возможностями. Но, как показывают описания конкретных компьютерных пособий, их содержание может быть очень разным. Например, «АУК для обучения латинскому языку»[2] предназначена для изучения 60 крылатых выражений и юридических терминов и рассчитана на 8 часов работы в компьютерном классе; «Полилингвистический учебник»[3] по языку специальности включает информационный блок, блоки учебных и контролирующих заданий, систему справочных программ, терминологический словарь, а также банк обучающих программ по общему курсу английского языка.

Понятия «электронный учебник» и «компьютерный/компьютеризованный учебник» также требуют уточнения. Необходимо различать:

• учебное пособие, представленное в электронном виде;
• электронную версию учебного пособия;
• собственно электронный учебник.

Так, традиционное учебное пособие, представленное в электронном виде, является просто электронной копией бумажного учебного пособия. Примером могут служить всевозможные методические указания для дистанционного обучения, учебники, статьи, книги, представленные авторами и издательствами на Web-страницах или существующие только в электронном виде (например, электронные журналы, у которых нет бумажных аналогов).

Очевидно, что «электронные версии» бумажных учебных пособий используют технологические возможности, предоставляемые компьютером. Например, простейшая электронная версия бумажного словаря предполагает уже не только «ускоренное листание» словаря, но включает такие дополнительные возможности, как поиск значения слова, выделенного в тексте, поиск значения слова, введенного с клавиатуры, возможность пополнения словаря и др.; простейшая современная электронная версия учебника, часто называемая компьютерным учебником (хотя вернее было бы называть такие пособия «компьютеризованными»), может включать систему гипертекстовых ссылок, компьютерные тесты и возможность оценки знаний учащегося.

Противопоставление терминов «компьютерный (электронный) учебник» и «обучающая программа» представляется искусственным. Истоки такого противопоставления лежат в том, что достаточно долгое время наиболее распространенными типами обучающих программ были тренировочные и контролирующие программы, в то время как понятие «учебник» предполагает наличие таких элементов структуры учебного пособия, как изложение и объяснение материала, тренировка, контроль, а также необходимая справочная информация. Но, даже не рассматривая возможность существования обучающих программ с аналогичной структурой, можно отметить, что компьютерным учебником, а не книгой в электронном виде («говорящей» или «живой» — мультимедийной), пособие такого типа становится только тогда, когда в его структуру включаются, так же как и в обучающую программу, учебные задания, для выполнения которых необходим компьютер.

Таким образом, разнообразие терминов не вполне отражает типологические признаки компьютерных учебных пособий. Более четкое определение типа представляется возможным, с одной стороны, на основе сравнения их с существующими типами бумажных пособий, с другой — на основе учета технологической специфики. Реализация с помощью компьютерных технологий определенных целей обучения служит основанием для включения двух групп показателей в понятие «тип» компьютерного учебного пособия: общих (единых) для традиционных и компьютерных учебных пособий и характерных только для компьютерных средств обучения. К первой группе относятся следующие показатели:

• информационно-тематическое содержание компьютерного пособия;
• объем изучаемого материала и место в структуре изучаемого курса (полный курс, блок, раздел);
• структура пособия в зависимости от представленности этапов работы над материалом (изложение, объяснение, тренировка, контроль) позволяет подразделять его на тренировочное или тренировочно-контролирующее, только контролирующее;1
• возрастная группа обучающихся, для которых предназначено пособие;
• необходимый уровень подготовки учащихся по изучаемому курсу;
• предназначение для самостоятельного изучения материала или изучения под руководством преподавателя, стационарного или дистанционного обучения.

Ко второй группе показателей, характеризующих только компьютерные учебные материалы, необходимо отнести:

• автономность содержания — степень самостоятельности по отношению к некомпьютерным дидактическими материалам (компьютерная версия учебника, приложение к учебнику, самостоятельный курс);
• уровень компьютерной грамотности, необходимый для работы с программой (использование ограниченного количества команд и манипуляций; элементарные навыки плюс навыки набора текста на родном или иностранном языке; умение работать с определенными типами программ; компетентное пользование).

Определение типа2 компьютерного учебного пособия / программы на основе этих показателей, независимо от принятых определений: компьютерное пособие, мультимедийный курс, электронный / компьютерный учебник, обучающая программа / система, дает, на наш взгляд, возможность получить представление о наиболее существенных свойствах компьютерных учебных пособий и выработать критерии оценки качества, адекватные для каждой из возможных разновидностей компьютерных средств обучения.

ЛИТЕРАТУРА

1. Лаутербах Р., Фрей К. Программное обеспечение процесса обучения // Перспективы. Вопросы образования. — 1988. — № 3. — С. 70 -79.
2. Волошина Т. А., Ткачева Л. А. Компьютерные технологии в преподавании латинского языка // Новые информационные технологии в университетском образовании: Материалы междунар. науч.-метод. конф., 19-22 марта 1996 г. – Новосибирск, 1996. — С.80-81.
3. Найденов С. Полилингвистический учебник // Высш. образование в России. — 1997. -№4. — С. 99-100.

________________________________________________________________________________1Для бумажных учебных пособий это будут следующие разновидности: учебник, учебное пособие, учебный комплекс; сборник задач (упражнений), сборник контролирующих заданий, материалов, тестов; справочные материалы и др.2Можно также говорить о необходимости разграничения не только «типа» и «качества», но и «типа» и «описания» компьютерного учебного пособия. Последнее ориентировано на характеристику индивидуальных особенностей содержания и дизайна, таких как: организация изучаемого материала, используемый тип интерфейса, а также требуемая конфигурация компьютера.

Под управлением качеством образования с целью повышения показателей качества понимаются создание условий для эффективного функционирования вуза, организация процессов (образовательного, научного, финансового, хозяйственного, административного и пр.), мониторинг, внутренняя и внешняя экспертиза качества и т.д.

Для характеристики качества образования вводятся показатели, которые можно разделить на следующие укрупненные группы: показатели вложений (условий) в образование, показатели качества процессов и показатели качества результатов. Поскольку образование является сложным для управления объектом, то и понятие «качество образования» является многоаспектным. В настоящее время существует несколько определений качества образования. Согласно [1] под качеством образования понимается сбалансированное соответствие высшего образования (как условий, процесса, результата и как образовательной системы) различным целям, потребностям, требованиям и нормам (стандартам). Для оценки качества образования должны использоваться критерии — показатели или функции, которые позволяют оценить качество объекта путём сравнения с нормативным значением. В общем случае качество образования понимается как соответствие стандарту, норме [2].

Итак, качество образования — это качество условий (ресурсов), процессов и результатов. Качество условий — это качество образовательной программы, научно-педагогических кадров, материально-технической базы, учебно-методических материалов, технологической поддержки и пр. Качество процессов предполагает, прежде всего, качество образовательного, исследовательского, управленческого процессов. Под качеством результата можно понимать не только повышение уровня образованности, но также интеллект, общую культуру, ценностные ориентации, самосознание, достоинство, удовлетворённость всех участников образовательного процесса и т.д.

В данной статье рассмотрим качество образовательной программы, как одно из главных условий качественного образования.

В соответствии с [3,4] под профессиональной образовательной программой понимается «комплект нормативных документов, определяющих цели, содержание и методы реализации процесса обучения». В образовательную программу входят:

• пояснительная (концептуальная) записка;
• рабочий учебный план по направлению (специальности), в котором отражена специализация профессиональной подготовки, согласованная с соответствующим учебно-методическим объединением;
• рабочие программы дисциплин и практик, входящих в учебный план, возможно, составленных с учетом примерных программ дисциплин, утвержденных Министерством образования России;
• комплекс контролирующих материалов для аттестационных процедур и описание технологии проведения промежуточных и итоговых аттестаций.

Зачастую образовательную программу понимают более широко, подразумевая под ней деятельность по предоставлению образовательных услуг, объединенных вышеперечисленными плановыми документами. Результатами такой деятельности являются знания, умения и навыки обученных, измеренные с помощью сертифицированных контролирующих материалов.

Образовательные программы, реализуемые в дистанционном образовании, по уровню требований должны быть полностью идентичны образовательным программам традиционной дневной формы обучения. Особенности определяются образовательной технологией. В частности, специфика предоставления образовательных услуг при дистанционной технологии диктует способ представления контролирующих материалов.

Процесс анализа качества образования, как любой социально-экономической деятельности, предполагает проведение его мониторинга и оценивания. Понятия «мониторинг» и «оценивание» в контексте менеджмента качества образования обозначают различные виды деятельности с разными целями и средствами. Под оцениванием образовательной программы понимается систематическое и объективное исследование качества проектирования программы, а также процесса и результатов обучения в рамках данной программы. При этом можно назвать две основные цели оценивания. Во-первых, это определение уровня качества программы в смысле ее соответствия образовательным стандартам. Если стандарты на данную программу не введены, возможен экспертный анализ с помощью специалистов в данной области с обязательным привлечением внешних экспертов. Второй целью является установление актуальности и перспективности оцениваемой образовательной программы с точки зрения ее соответствия ситуации на рынке труда и образовательных услуг, рассматриваемой в относительно долгосрочном периоде. Важна также эффективность разработки и реализации программы в смысле сопоставления предполагаемых или текущих издержек и дохода.

Под мониторингом образовательной программы понимается регулярное наблюдение за процессом реализации программы. Целью мониторинга является отслеживание технологического процесса выполнения программы с учетом ее плановых документов (учебного плана, графика учебного процесса, рабочих программ дисциплин и пр.), контролирующих и аттестационных материалов, а также выявление причин возможных отклонений для предотвращения их отрицательных последствий или сведения их к минимальным потерям.

Мониторинг образовательных программ в системе открытого и дистанционного образования (ОДО) имеет ряд особенностей. Главное здесь то, что мониторинг в данном случае выступает не только как желаемая деятельность в рамках управления качеством образования, а как обязательный элемент учебного процесса. При традиционном обучении сам факт того, что лекции и семинары проводятся, свидетельствует о том, что процесс обучения идет в той или иной степени успешно. При дистанционном же обучении для подтверждения успешности учебного процесса нужны иные индикаторы. Такая особенность дистанционного обучения как более очевидная возможность реализации образовательной программы разными траекториями требует усложненных схем мониторинга. Важным фактором, повышающим значимость мониторинга в ОДО, является необходимость отслеживания коммерческой результативности образовательной программы.

Можно сформулировать следующие основные принципы мониторинга качества обучения в рамках образовательной программы:

• Сопоставление достигнутых результатов целям, заявленным в концептуальной записке образовательной программы, в том числе соответствие учебному плану, графику учебного процесса.
• Комплексность процедуры мониторинга, в смысле сочетания разных технологий в соответствии с исследуемыми объектами мониторинга.
• Обеспечение заинтересованности обучающихся. Если процедура мониторинга становится для обучающихся дополнительной нагрузкой, в выполнении которой он не заинтересован, трудно ожидать получения объективных результатов.
• Выявление как недостатков, так и достижений, что позволяет тиражировать успешные результаты в других образовательных программах.

К объектам мониторинга следует отнести:

• технологическую поддержку обучения: доступ к справочным, обучающим и контрольным материалам; связь с преподавателем и группой и т.д.;
• технологический процесс обучения: выполнение работ в соответствии с графиком учебного процесса; контроль активности в обучении (участие в работе группы, сотрудничество с членами группы, участие в дискуссионных форумах и пр.);
• работу преподавателей и тьюторов: обеспечение выдачи методических руководств и заданий, выполнение графика консультаций и проверки заданий, обеспечение необходимой и своевременной переписки; участие в дискуссионных форумах с «провокационными» вопросами, корректировка траекторий обучения;
• цели обучающегося на разных этапах обучения в рамках образовательной программы;
• мнение обучающихся о ходе учебного процесса;
• мнение преподавателей и тьюторов на разных этапах реализации образовательной программы.

Мониторинг дистанционной реализации образовательной программы состоит из следующих видов деятельности:

• административный контроль за текущим обеспечением учебного процесса;
• административный контроль за результативностью обучения (результаты текущего, рубежного и итогового контроля, статистика «посещений» обучающихся и пр.);
• обеспечение регулярной обратной связи с обучающимися, включая отслеживание выпол¬нения учебного графика (с принятой периодичностью), учет выходов в дискуссионный форум, в том числе в контрольные точки выхода;
• опросы обучающихся, преподавателей и тьюторов в начале, в процессе и в конце обучения (анкетирование, SWOT-анализ и пр.).

Дистанционное образование не только ставит новые задачи и усложняет старые, но и предоставляет новые возможности. В первую очередь, это касается инструментария мониторинга. Современный вариант дистанционного обучения, так называемое электронное обучение на основе сетевых технологий (e-learning или web-based learning), может осуществляться на базе образовательного портала. В этом случае портал, содержащий электронные доски, дискуссионные форумы, журнал консультаций (архив часто задаваемых вопросов, статистика обращений за консультацией), индивидуальное рабочее место (личное окружение) обучающегося, отображающее индивидуальные и общегрупповые оценки и выводы преподавателя о процессе обучения, является не только средством обучения, но и средством мониторинга.

В заключение можно сказать, что дистанционные технологии реализации образовательных программ требуют разработки технологичного процесса мониторинга и оценки качества образования. Ядро такой технологии инвариантно по отношению к традиционной форме образования, но одновременно востребованы специфичные подходы, методы и технологии мониторинга и оценки качества дистанционного образования, которые требуют дальнейшей разработки, внедрения и анализа результатов применения.

Литература

1. Селезнёва Н. А. Качество высшего образования как объект системного исследования: Доклад. — М.: Изд-во Исслед. центра проблем качества подготовки специалистов. — 28 с.
2. Качество образования в Новосибирском государственном техническом университете: Ежегод. доклад / Под общ. ред. А.С. Вострикова. — Новосибирск: Изд-во НГТУ, 1999. — 81 с.
3. Скок Г. Б., Лыгина Н. И. Как спроектировать учебный процесс по курсу: Учеб. пособие для преподавателей. — Новосибирск: Изд-во НГТУ, 2001. — 72 с.
4. О порядке формирования основных образовательных программ высшего учебного заведения на основе Государственных образовательных стандартов: Письмо Министерства образования РФ от 19 мая 2000 г. № 14-52-357ин/13 // Бюллетень МО РФ. — 2000. — №12. — С. 24-27.

Постановка задачи. Решение любых задач, связанных с мониторингом и оцениванием качества в профессиональном образовании, как правило, требует целостного системного видения процесса подготовки специалистов, как основного результата деятельности вуза. Материал настоящей статьи представляет собой продолжение работы, опубликованной в журнале «Университетское образование: практика и анализ» [1] и посвященной с разработке модели мониторинга и оценки качества процессов оказания образовательных услуг. Рассматривая вопросы, связанные с качеством образования, следует говорить о качестве нормативной базы, ресурсов (человеческих, материальных, учебно-методических, информационных и пр.), процессов (учебного, научного, информационного, управления и пр.), результатов, системы социального партнерства и пр. При этом объектом мониторинга может быть любой компонент системы либо этап процесса подготовки специалиста, начиная с анализа потребностей заинтересованных сторон и заканчивая оцениванием удовлетворенности потребителей. В данной работе представлены основные идеи процесса создания модели комплексного мониторинга и оценки качества образовательных услуг. Для создания модели мониторинга необходимо выделить ключевые этапы в системе взаимосвязанных процессов подготовки специалиста ([1], рис. 1), где будут сосредоточены основные элементы модели мониторинга.

Цель настоящей работы – основываясь на предложенной ранее модели процессов производства и оказания образовательных услуг, разработать модель мониторинга и оценивания качества, как целостной системы с взаимными связями и управлением. В соответствии с этим выделим следующие объекты мониторинга: потребители (их потребности); процесс проектирования услуги; процессы реализации услуги; качество услуги, как конечного результата деятельности вуза; потребители услуги (их удовлетворённость).

Описание модели. На рисунке 1 приведена модель мониторинга и оценки качества образовательных услуг вуза. Приведем поблочное описание модели и характера связей между блоками.

Субъектом мониторинга является потребитель, так как все процессы жизненного цикла услуги/продукции начинаются с него (Блок 1) и им же заканчиваются (Блок 5).

Вход модели (Блок 1) – анализ потребностей потребителей. Результаты мониторинга потребностей заинтересованных сторон (выявление текущих и будущих, возможно предвосхищаемых потребностей) – основа для проектирования продукции/услуги и базовый уровень для сравнения при последующей оценке удовлетворенности потребителей. Требования потребителей – вхо¬д модели, основа для проектирования и производ¬ства услуги. Проектирование услуги/продукции (Блок 2) в совокупности с системным и процессным подходом и постоянным улучшением позволяет рассматривать деятельность вуза как систему взаимосвязанных процессов, направленных на повышение степени удовлетворённости всех заинтересованных сторон за счёт обеспечения и постоянного улучшения качества услуги вуза на всех стадиях проектирования и реализации. Исходные данные для проектирования услуги – нормативные документы федерального и отраслевого уровней, нормативные документы вуза, документы системы менеджмента качества (СМК) вуза (руководство по качеству). Реализация процессов жизненного цикла услуг/продукции требует выделения человеческих, информационных, материальных и пр. ресурсов, необходимых для успешного проектирования и предоставления образовательных услуг, удовлетворяющих требованиям потребителей.

Реализации услуг (продукции) (Блок 3), предполагает совокупность действий, которые не¬обходимо выполнить для получения конечного резуль¬тата, например, подготовленного специалиста с показателями качества не ниже заявленных на этапе проектирования (с учетом заявленных потребителем показателей качества, Блок 1). Сравнение заявляемых характеристик с характеристиками, полученными по результатам мониторинга (Блок 4), и последующая оценка результатов сравнения позволит сделать вывод о качестве результата (специалиста, услуги, продукции). Мониторинг и оценка качества результатов может быть последовательной многократной процедурой, выполняемой на различных этапах жизненного цикла.

Рис. 1. Модель мониторинга процессов оказания образовательных услуг

Основной вопрос, ответ на который мы должны получить: «Удалось ли реализовать запросы потребителей?» (Блок 1). В Блоке 4 происходит также накопление статистической информации о результатах мониторинга, которые используются для формирования норм качества различных компонентов услуги или этапов процесса ее предоставления. Нормы можно формировать, используя методы экспертного оценивания. Для управления качеством в большей степени интересны не значения абсолютных показателей свойств услуги (продукции) вуза, а их относительные величины по сравнению с нормативами, нормами, стандартами. При этом эффективность оценки качества зависит от корректности заданных норм.

Качество продукции/услуги формируется из двух отличных и дополняющих друг друга категорий: соответствия установленным нормам и требованиям заинтересованных сторон, хотя и нормы требования связаны друг с другом. Результат может быть идеален с точки зрения соответствия стандартам (нормам) и не востребован потребителями, или удовлетворять потребностям потребителей, но не соответствовать нормам. Модель, таким образом, подчеркивает важность получения информации об уровне удовлетворенности потребителей при наличии обратной связи в виде обновленных требований (Блок 5 – Блок 2). Уровень удовлетворенности потребителей (Блок 5) – один из важнейших показателей эффективности работы вуза. Его следует из¬мерять, сопоставляя желаемые для потребителей значения показателей качества с реально достигнутыми. Основной показатель удовлетворенности потребителей для образовательных организаций – удовлетворенность всех категорий обучающихся, работодателей, рынка труда, внутренних потребителей вуза (см. табл. 1 [1]). Далее приведем описание отдельных блоков модели.

Блок 1 – «Потребители (потребности)». Объект мониторинга – потребители, заинтересованные стороны, как внешние, так и внутренние. Здесь же формируются требования к качеству услуги, как основа для ее проектирования. Если систему мониторинга качества рассматривать как часть СМК вуза, то руководство по качеству должно содержать методики мониторинга потребностей и ожиданий потребителей и обеспечивать создание услуги востребованного или предвосхищаемого качества для удовлетворения потребностей всех заинтересованных сторон. Методики мониторинга позволят собирать, хранить, обрабатывать статистические данные, формировать содержательные выводы и рекомендация к управлению. Результаты мониторинга могут быть представлены в виде мнений, высказываний, ответов на вопросы опросника, которые сформулированы в терминах потребителя.

Блок 2 – «Мониторинг проектирования услуги». Данный блок требует для своей реализации наличия нормативной базы как необходимого условия для проектирования услуги и ресурсов, обеспечивающих заданное качество. На этапе проектирования услуги осуществляется преобразование потребностей заинтересованных сторон, представленных в потребительских терминах, в содержательные характеристики услуги или продукции: технические, эргономические, временные, стоимостные, профессиональные и пр. с установлением количественных значений параметров [2-4].

Нормативную базу, регламентирующую процесс проектирования услуги необходимо рассматривать на следующих уровнях:

• федеральный уровень – закон «Об образовании»; закон «О высшем и послевузовском профессиональном образовании»; Постановление правительства «Об утверждении положения о государственной аккредитации высшего учебного заведения»; Постановление правительства «Об утверждении Типового положения об образовательном учреждении высшего профессионального образования (высшем учебном заведении) РФ и др.;
• отраслевой уровень – ГОСы ВПО, приказы, постановления, положения, требования, распоряжения, методические указания МОиН РФ и др. подведомственных Рособразования структур и др.;
• уровень вуза – устав, положения, методические указания, рекомендации, приказы, требования ГОС, устанавливаемые на уровне региона и вуза и определяющие видение вуза, и др.;
• документы СМК вуза – руководство по качеству и пр. документы, регламентирующие функционирование СМК и системы мониторинга как ее части.

Ресурсы, необходимые вузу для обеспечения цикла производства услуги, имеют структуру, приведенную на рис. 2.

Кадровые ресурсы – профессорско-преподавательский состав, административный персонал, персонал других категорий. Информационные ресурсы – учебно-методическое обеспечение, образовательные программы, учебные планы, информационно-образовательная среда и др. Материальные ресурсы – материально-техническая база, системы технической и технологической поддержки и др.

Рис. 2. Структура ресурсного обеспечения процессов производства образовательной услуги

Любой из перечисленных типов ресурсов заслуживает отдельного внимания, как объект мониторинга, т.к. определяет условия достижения поставленных в области качества целей. Более подробно рассмотрим лишь некоторые ресурсы. Кадровое обеспечение определяется качеством профессорско-преподавательского, научно-исследовательского и административно-управленческого персонала всех уровней (их профессиональные, деловые и личностные характеристики, способность к образованию и развитию, обладание современными знаниями и навыками, практическим опытом в профессиональной области и пр.); качеством учебно-вспомогательного персонала. Информационная грамотность персонала должна быть адекватна современному уровню развития информационных технологий. Университету следует иметь достаточное количество квалифицированных специалистов для реализации образовательных программ, проведения современных научных и научно-методических исследований, управления процессами в вузе. Важно и одновременно сложно проводить мониторинг персонала и формировать стимулирующие механизмы для его развития. Это объясняется тем, что главные субъекты СМК вузов, администрация, преподаватели, ученые, специалисты и студенты, являются сложными, закрытыми объектами [2-3].

Блок 3 – «Реализация услуги». Реализация услуги предполагает совокупность действий, которые не¬обходимо предпринять для производства услуги высокого качества. Реализация услуги обеспечивается процессами жизненного цикла: учебным, научным, ресурсного обеспечения, управления. Рассмотрим учебный процесс. Сложность мониторинга учебного процесса определяется сложностью его подпроцессов, системы взаимосвязей между подпроцессами, а также тем фактом, что с реализацией услуги связаны нормативная база, ресурсы и собственно процесс проектирования услуги, а так же условия внешней и внутренней среды. Качество процесса реализации услуги во многом определяется результатами, запланированными на этапе проектирования услуги и не потерянными в процессе реализации. В данном блоке так же происходит сбор и накопление информации для формирования норм качества. Блок 3 модели требует периодичности мониторинга для проверки выполнения внесенных изменений с целью устранения выявленных несоответствий.

Блок 4 – «Мониторинг и оценка качества услуги». Основная цель блока 4 – мониторинг и оценка качества результатов и направлена на получение обратной связи и объединение в кольцо этапов «Исследование потребностей заинтересованных сторон» – «Реализация услуги» – «Измерение удовлетворенности заинтересованных сторон». Результат действия обратной связи – формирование обновленных требований. В данном блоке происходит сравнение характеристик услуг/продукции и формирование норм качества. Нормы качества являются базой для сравнения реально полученных характеристик, выявления рассогласований и формирования управляющих воздействий. В процессе сравнения определяют сильные и слабые стороны системы проектирования и предоставления услуги, разрабатывают планы устранения рассогласований. Отчёты должны содержать перечни мероприятий, проведение которых рекомендовано. Процесс сравнения заканчивается оценкой качества услуги /продукции.

Результаты мониторинга могут быть представлены в виде самостоятельных или интегрированных показателей, содержание которых и интерпретация должно быть определенным и понятным с точки зрения их последующего применения в управлении. Они необходимы не только для констатации уровня качества и степени удовлетворенности, но, прежде всего, для формирования норм качества и управляющих воздействий для устранения и/или предупреждения несоответствий [3-4]. В образовании акцент следует делать на предупреждении появления продукции/услуги низкого качества, а не на устранении уже возникшего неудовлетворительного результата. Блок мониторинга требует использования грамотных адекватных методик и высокопрофессионального персонала, обладающего системными знаниями в области статистического анализа, менеджмента качества, системного анализа и др.

Блок 5 – «Потребители (удовлетворённость)». В данном блоке измеряется и оценивается уровень удовлетворённости. Специфика образования такова, что многие характеристики услуги определяются качественными показателями, измеряемыми в разнотипных шкалах: количественных, номинальных, порядковых (ранговых, балльных), нечётких и т.п. Следовательно, методы мониторинга и оценки качества также многообразны и требуют учета специфики показателей. Уровень удовлетворенности потребителей необходимо уметь из¬мерять, сопоставляя желаемые для потребителей значения показателей качества с их реальными значениями. Один из основных показателей удовлетворенности потребителей для образовательных организаций – удовлетворенность обучающихся уровнем подготовки по образовательным программам, курсам, дисциплинам. Измерения и мониторинг удовлетворенности потребителей могут отражать точки зрения различных категорий заинтересованных сторон (обучающихся, работодателей, сотрудни¬ков образовательной организации, заказчиков, общественности и пр.) о качестве подготовки специалистов [5]. Уровень удовлетворенности потребителей из¬меряют, сопоставляя планируемые значения показателей качества с их реальными значениями [3-4]. Принцип ГОСТ Р ИСО 9001: 2001 – «Ориентация на потребителя» подразумевает выявление текущих и предвосхищение будущих потребностей потребителей и ориентация на повышение степени их удовлетворённости. Из определения ясно, что мониторинг мнений потребителей должен производиться в два этапа: перед проектированием продукта/услуги и при последующей оценке удовлетворенности продуктом/услугой [5-6]. Анализируя расхождение между заявляемыми (планируемыми) и измеренными характеристиками услуги, для того чтобы выявить несоответствия и сформировать управляющие воздействия, существует обратная связь с блоком мониторинга проектирования услуги, позволяющая завершить цикл PDCA [1].

Заключение. Разработанная модель мониторинга процессов оказания услуг учебного назначения может служить основой для разработки методического обеспечения процессов мониторинга. В программе дальнейшего развития исследования – разработка методик внутреннего мониторинга (Блок 1), методики формирования норм качества (Блоки 2, 3, 4) и методики внешнего мониторинга (Блок 5). Каждая, из этих методик, имеет отличительные особенности, определяемые спецификой объекта мониторинга. Описание объектов мониторинга в виде контекстных диаграмм позволит разработать адекватные методики мониторинга. Разработка методик мониторинга, в свою очередь, потребует выбора методов и средств мониторинга, методов обработки результатов, формирования рекомендаций для введения управляющих воздействий.

Список использованных источников

1. Никитина Н.Ш. Модель процессов производства и оказания услуг в образовании // Никитина Н.Ш., Николаева Н.В. Университетское управление: практика и анализ. – Екатеринбург, Изд-во УрГУ, 2007, № 1. – с. 62-68.
2. Руководство по применению стандарта ИСО 9001:2000 в области обучения и образования / Пер. с англ. А.Л. Раскина. – М.: Изд-во РИА «Стандарты и качество», 2002. – 128 с.
3. Лебедева Е.А. Мнение студентов о качестве учебного процесса и самооценка преподавателей // Сб. науч. тр. «Проблемы высшего технического образования». – Новосибирск: Изд-во НГТУ, 2001. – №4 (26) – С. 141-144.
4. Никитина Н.Ш. Управление качеством образовательных услуг в вузе // Никитина Н.Ш., Николаева Н.В. «Модернизация системы профессионального образования на основе регулируемого эволюционирования»: Материалы V Всероссийской конференции: В 6 частях, ч. 3. – Челябинск: Образование, 2006. – C. 175-178.
5. Бурмистрова Е.В. Информационная система поддержки взаимодействия вуза с субъектами рынка труда // Сб. науч. тр. «Проблемы высшего технического образования». – Новосибирск: Изд-во НГТУ, 2004. – №4 (29) – С. 99-102.
6. ГОСТ Р ИСО 9001: 2001. Системы менеджмента качества. Требования. – М.: ИПК Издательство стандартов, 2001. – 21 с.