Институт дистанционного обучения (ИДО) Новосибирского государственного технического университета (НГТУ) реализует программы заочного обучения с применением дистанционных технологий. Такая комбинированная форма обучения позволяет объединить возможности традиционного учебного процесса (общение с преподавателями на сессии) и возможности современных ИКТ-технологий. Учебный процесс построен на использовании разработанной в ИДО системы дистанционного обучения (СДО)_DiSpace 2.0. [1], которая является программной платформой электронной среды обучения (ЭСО), ориентированной на студентов всех форм обучения в вузе [2].

Согласно ФГОС ВПО последнего поколения высшее учебное заведение обязано обеспечить качество подготовки выпускников, как путем разработки процедур оценки уровня их знаний, умений и компетенций, так и обеспечения компетентности преподавательского состава, основанном на регулярном проведении самообследования по согласованным критериям и сопоставления с другими ОУ с привлечением представителей работодателей. При этом применение дистанционных технологий должно не снижать, а повышать качество очного или заочного обучения.

Качественная текущая работа преподавателя в электронной среде предполагает умение эффективно организовать и управлять учебным процессом: подача теоретического материала, взаимодействие с обучающимися, контроль усвоения материала. От работы преподавателя в ЭСО зависит, насколько правильно студенты смогут выстроить траекторию самостоятельного изучения материала с учетом индивидуальных особенностей и возможностей. Результаты периодически проводимого мониторинга качества работы преподавателя в системе электронного обучения в НГТУ показал наличие ряда проблем [3].

В качестве основных причин затруднений при работе преподавателя в ЭСО выявлены:

· недостаточный уровень компетенций преподавателя для выполнения функций организации и управления учебным процессом в электронной среде обучения;

· недостаточный уровень самоорганизации преподавателя, в первую очередь связанный с психологическими особенностями работы в ЭСО: эффект «отложенного времени», возникающий из-за возможности организации общения со студентами off-line; эффект «виртуализации студента», при котором возникает ощущение нереальности студента; замещение некомфортной и непривычной работы со студентами в ЭОС очными занятиями в рамках комбинированной формы обучения.

Если проблему недостаточного уровня компетенций преподавателя, связанных с работой в ЭСО, можно решить с помощью соответствующих программ повышения квалификации, то трудности в самоорганизации являются более сложной задачей. Одним из решений данной проблемы является повышение мотивации за счет формированиярейтинга преподавателя.

В основу показателей рейтинга, заложены функции преподавателя в ЭСО, исполнение которых можно зафиксировать в автоматическом и полуавтоматическом режиме средствами СДО. В связи с этим рейтинг не может дать прямую оценку педагогических и управленческих умений, но все же косвенно дает представление о качестве работы преподавателя в ЭСО. Основные функции преподавателя в ЭСО и соответствующие им возможные показатели рейтинга представлены в таблице 1.

Таблица 1

Функции преподавателя в ЭСО и показатели рейтинга

Предложенные показатели рейтинга формируют комплексную оценку, которая будет визуализирована средствами СДО и доступна преподавателю (на личной странице), тьюторам, заведующему кафедрой, декану.

Данный рейтинг является скорее не инструментом контроля администрации над работой преподавателей, а средством самооценки уровня самоорганизации, качества выполнения своих функций по организации и управлению процессом обучения с использованием технологий дистанционного и электронного обучения. Анализ своей профессиональной деятельности является обязательным компонентом на пути стимулирования профессионализма и эффективности деятельности, а также полностью соответствует требованиям новых стандартов ВПО.

Библиографический список

1. Система дистанционного обучения DiSpace 2.0 : свидетельство о гос. регистрации программы для ЭВМ № 2013613909 / Юн С. Г., Ильин М. Э., Горбунов М. А., Перфильев Е. А., Андрюшкова О. В., Котов Ю. А., Леган М. В., Яцевич Т. А., Евтушенко Н. Н., Козлов В. М., Паршукова Г. Б., Козлова А. В. ; правообладатель : Федер. гос. бюджет. образоват. учреждение высш. проф. образования «Новосиб. гос. техн. ун-т». – Заявка № 2013611801 ; заявл. 01.03.13 ; зарег. 18.04.13.

2. Андрюшкова О. В. Логистика организации электронного обучения в университете / О. В. Андрюшкова, М. В. Леган, Т. А. Яцевич // Открытое и дистанц. образование . – 2011. – № 4 (44). – C. 5–10.

3. Яцевич Т. А. Возможности повышения качества электронного обучения / Т. А. Яцевич, Н. Ш. Никитина// Развитие единой образовательной информационной среды: на пути к обществу знаний : материалы 11 междунар. науч.-практ. конф., Томск, 25–26 сент. 2012 г. – Томск, 2012. – С. 91-95.

Структура и содержание экспериментальной части исследования определяется гипотезой: «Профессиональная подготовка ППС и АУП к реализации функций мониторинга, оценивания и управления качеством будет эффективной, если определена система компетенций в области мониторинга, оценивания и управления качеством; программа ПК (структура, содержание, методика обучения, мониторинг достижений) обеспечивает формирование необходимых компетенций; эффективность разработанной системы ПК подтверждается сформированностью компетенций в области мониторинга и осознанием их важности, высокой удовлетворенностью процессом и результатами ПК, изменением ценностных установок относительно экспертно-аналитической составляющей деятельности, осознанием затруднений, связанных с выявлением и анализом проблем и поиском решений для их устранения.

Для обоснования содержательной составляющей подготовки ППС и АУП к реализации функций мониторинга, оценивания и контроля качества рассмотрены положения, регламентирующие экспертно-аналитическую деятельность в профессиональном образовании: обосновывать выбор объекта и предмета мониторинга; выявлять заинтересованные в результатах мониторинга стороны и исследовать их потребности; определять нормы качества и не допускать абсолютных суждений о качестве; использовать классические и специально разработанные для образования методы и методики мониторинга; проводить мониторинг, обрабатывать результаты, делать содержательные выводы и рекомендации; формировать команду экспертов с учетом профессиональных и личностных качеств; использовать результаты мониторинга не для наказания, а для совершенствования; обеспечивать технологичность процедуры мониторинга, необходимые ресурсы и конфиденциальность данных мониторинга [2].

На основе аналитических исследований сформированы блоки компетенций ППС и АУП, необходимые для эффективного выполнения работ в области мониторинга, оценивания и управления качеством (таблица 1), которые положены в основу проектирования программы ПК.

Таблица 1

Компетенции ППС в области мониторинга, оценивания и управления качеством

Для создания диагностической основы оценки эффективности системы ПК проведено следующее:

— до ПК исследована готовность ППС и АУП к выполнению функций мониторинга, оценивания и управления качеством (три экспериментальные группы ППС и АУП высшего, среднего и начального профессионального образования (общий объём выборки – 55 чел.);

— с использованием активных методов обучения проведено ПК по авторской программе (формирующий эксперимент, три экспериментальные группы);

— по окончании обучения проведена оценка эффективности системы ПК по показателям «Значимое повышение показателей, характеризующих сформированность компетенций в области мониторинга, оценивания и контроля качества», «Удовлетворенность», «Важность» и «Осознание затруднений» (две экспериментальные группы – 39 чел. ГШС и АУП высшего, среднего и начального профессионального образования);

— на контрольной группе обучающихся (ГШС и АУП всех уровней профессионального образования, общий объем статистических наблюдений – 32 чел.) исследована готовность специалистов к исполнению функций мониторинга;

— проведен сравнительный анализ результатов эксперимента на контрольной и экспериментальной группах, сформированы содержательные выводы, оценена эффективность программы ПК.

Сравнение результатов исследования, полученных до и после ПК, выявление значимости произошедших изменений осуществлялось с помощью аппарата статистической проверки гипотез. Все исследования, связанные с анализом эффективности программы подготовки преподавателей и АУП, мониторингом результатов обучения и использования приобретенных компетенций в профессиональной ности, проводились с применением инвариантной методики мониторинга и оценивания качества, разработанной авторами настоящей статьи [2]. Методика апробирована в НГТУ при проведении мониторинга удовлетворенности заинтересованных сторон технологией электронного обучения, качества электронных учебно-методических комплексов, программой повышения квалификации среднего звена управленческих кадров вузов и др. Методика инвариантна к объекту и предмету мониторинга и имеет следующую структуру [2]:

— наименование методики и организации (подразделения);

— рабочая группа по мониторингу с распределением ролей;

— цели мониторинга: общая и конкретная (возможна иерархия целей);

— задачи и мероприятия мониторинга;

— риски (неуправляемые влияния внешней среды);

— сроки мониторинга и его локализация (с привязкой к задачам);

— статус мониторинга (первичный, коррекционный), характеристика предыдущего этапа и принятые решения (для коррекционного этапа);

— объект и предмет мониторинга (изменения в объекте и предмете мониторинга для коррекционного этапа);

— показатели (нормы) качества;

— целевые группы (особенности, требования к составу и количеству, профессиональные и социальные характеристики, ограничения);

— методы мониторинга, сбора, обработки и хранения информации;

— инструменты мониторинга (анкеты, опросные листы, таблицы, программное обеспечение, форматы представления данных, оборудование и его характеристики);

— ресурсы (по задачам, мероприятиям), план-график, бюджет мониторинга;

— отчет (требования к структуре, формату, уровню детализации, формам представления информации, рекомендациям, перечень должностных лиц для передачи информации).

В формирующем эксперименте в 2009 – 2010 гг. на факультете повышения квалификации НГТУ прошли обучение три группы ППС и АУП. Анкета для проведения эксперимента включала следующие блоки показателей, каждый из которых содержал по 3 показателя (шкала измерения каждого показателя 0 – 6 баллов):

1.Осведомленность в вопросах менеджмента, мониторинга и оценивания качества в российском и международном образовании:

1.1. Знаком(а) с понятиями мониторинга и оценивания качества в образовании.

1.2. Знаком(а) с состоянием, тенденциями и моделями в области менеджмента качества в российском образовании.

1.3. Знаком(а) с состоянием и тенденциями в области менеджмента качества в Европе и мире.

2. Знание традиционных методов контроля качества:

2.1. Знаком(а) с методами контроля качества результатов обучения.

2.2. Знаком(а) с методами, могу разработать материалы для контроля и оценить качество ресурсов (условий) учебного процесса.

2.3. Знаком(а) с методами мониторинга и контроля качества процессов в образовании.

3. Использование в собственной деятельности процессов мониторинга и контроля качества:

3.1. Знаком(а) с методиками выявления несоответствий (проблем, недостатков) в образовательном процессе.

3.2. Знаком(а) с методиками анализа выявленных несоответствий (проблем).

3.3. Могу спланировать и организовать работу по устранению выявленных несоответствий и совершенствованию.

4.Деятельность вашей организации в области мониторинга и контроля качества:

4.1. У нас ведутся работы в области менеджмента качества.

4.2. Есть рекламно-информационная поддержка процессов создания СМК.

4.3. Персонал вовлечен в процессы менеджмента качества.

При повышении квалификации использована проблемно-проектная технология обучения: участники программы формировали команды микропроектов по 3 – 5 обучающихся с обязательным включением хотя бы одного специалиста с хорошими навыками работы на компьютере. В процессе обучения команды самостоятельно выбирали объекты и предметы мониторинга, обсуждали их в группе, принимали решение. После этого каждой командой разрабатывалась методика мониторинга выбранного объекта и предмета, измерительный инструментарий (анкеты, опросные листы и пр.). Обучающиеся проводили мониторинг, в котором сами выступали в роли анкетируемых. Данные мониторинга обрабатывалась и визуализировалась с использованием MSExcel, формировались выводы о выявленных несоответствиях и рекомендации по их устранению и предотвращению. Для этого выбирались изученные методы контроля качества: SWOT-анализ, диаграммы Ишикавы и Парето, корреляционные и лепестковые диаграммы, графики, гистограммы и пр. Наибольшие трудности вызывал выбор показателей и норм качества, шкал для проведения измерений (количественной, вербальной, категориальной и др.). Для представления и защиты выпускной работы полученные результаты оформлялись в виде презентации в MSProject и отчета по мониторингу заданного формата. Такая технология обучения позволяла в деятельности формировать устойчивые компетенции.

Во вводном модуле программы проводилась самопрезентации членов учебной группы, выяснялись цели участия в программе и ожидания и измерялись «входные» компетенции в области мониторинга и оценивания качества с помощью описанной анкеты. Результаты входного анкетирования обработаны, выявлены проблемы и обсуждены в группе. Обработка результатов эксперимента проводилась по каждому показателю анкеты. При этом рассчитывались математическое ожидание и среднеквадратическое отклонение по каждому показателю отдельно и в целом по блокам. Математическое ожидание отражает среднее значение показателя по всем обучающимся, среднеквадратическое отклонение – согласованность мнений обучающихся по каждому показателю. При уменьшении среднеквадратического отклонения согласованность мнений растет.

Для анализа и формирования содержательных выводов сравнивались показатели, полученные в экспериментальной группе, до и после обучения. В таблицу 2 сведены результаты анкетирования обучающихся экспериментальных групп 1 – 3.

Таблица 2

Результаты формирующего эксперимента и проверки гипотез по критерию Т-Уилкоксона для экспериментальных групп до и после ПК(выделены значимо отличающиеся показатели)

Проверка значимости произошедших после ПК изменений проводилась с помощью Т-Уилкоксона для связанных выборок.

Проведенный анализ компетенций до и после обучения показал следующее:

—  до ПК большинство обучающихся показывают, то знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании (вопрос 1.1, блок 1). В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании (вопрос 1.2). Ещё ниже показатель, отражающий осведомленность о тенденциях и моделях в области менеджмента качества в Европе и мире (вопрос 1.3). Результаты анкетирования после обучения показывают, что показатели значимо выросли (в смысле статистики критерия Т-Уилкоксона). У ППС сформированы компетенции на уровне основных представлений, выявлена большая ориентированность в вопросах менеджмента качества;

— полученные до ПК результаты оценки знаний в области традиционных методов контроля качества свидетельствуют об отсутствии у ППС и АУП компетенций в области практического мониторинга результатов, условий и процессов (вопрос 2.1, блок 2). Исключение составляет знание методов промежуточного и итогового контроля достижений обучающихся, как формы мониторинга, которая традиционно используется в образовании(вопросы 2.2 и 2.3). После обучения эти же показатели выросли значимо;

— навыки практического использования в деятельности ППС и АУП процессов мониторинга, оценивания и менеджмента качества оценены очень низко (вопрос 3.1, m1= 1,833). Это свидетельствует, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе(блок 3), слабо знакомы с методиками анализа выявленных несоответствий (вопрос 3.2, m1= 2,278) и практически не могут планировать и организовывать работу по устранению несоответствий и совершенствованию процессов (вопрос 3.3, m1=2,444). В целом по блоку 3 математическое ожидание m1= 2,18. После ПК большинство респондентов дали ровные и высокие оценки по всем показателям (вопрос 3.1 –m1=4,444,вопрос 3.2 – m1 = 4,444, вопрос 3.3 – m1 =4,222), значимо с точки зрения проверки гипотез отличающиеся от тех же показателей до обучения;

—  при оценке деятельности организаций (вопрос 4.1), представляемых обучающимися, в области менеджмента качества большинство респондентов до обучения дали низкие показатели (блок 4). Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК в организациях, либо с тем, что основной персонал не вовлечен в эти работы и не информирован об истинном положении дел. После ПК мнения изменились незначимо. Отмечается низкий уровень рекламно-информационной поддержки процессов создания СМК (вопрос 4.2); персонал, как правило, не вовлечен в процессы менеджмента качества (вопрос 4.3).

Для того чтобы подтвердить неслучайность изменений компетенций ППС и АУП после обучения проведен аналогичный эксперимент на контрольной группе. В качестве контрольной группы выбрана группа, обучающаяся по программе ПК «Современные образовательные технологии» в НГТУ одновременно с экспериментальной группой № 2. В таблице 3 приведены показатели анкеты для экспериментальной группы № 2 и контрольной группы до и после обучения.

Для анализа значимости различий показателей блоков 1–4 экспериментальной группы № 2 и контрольной группы использовался непараметрический критерийU-Манна-Уитни для несвязанных выборок.

По всем показателям анкеты принята гипотеза о том, что до ПК уровень показателей в экспериментальной группе не ниже уровня в контрольной группе, и различия в показателях до обучения в контрольной и экспериментальной группе незначимы. После ПК те же показатели в экспериментальной и контрольной группах значимо различаются (в контрольной они ниже – выделенные столбцы).

Таблица 3

Результаты самооценки уровня компетенций в области менеджмента, мониторинга и оценивания качества обучающихся контрольной и экспериментальной группы № 2 до и после ПК по критериюU-Манна-Уитни

Анализ значимости различий показателей двух групп после обучения показывает, что в экспериментальной группе к концу обучения средние значения показателей значительно повысились, о чем свидетельствует отвержение гипотезы по критерию U-Манна-Уитнио незначимости произошедших изменений.

Среднеквадратические отклонения показателей после ПК снизились, что отражает сближение значений показателей компетенций после обучения по сравнению с входными результатами анкетирования. Показатели блока 4 практически не претерпели изменений. Некоторая разница между входными и выходными показателями может быть отнесена к фактору случайности.

Проведенный эксперимент подтвердил, что разработанная программа ПК формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и управления качеством в профессиональном образовании.

Далее была проанализирована эффективность разработанной программы ПК по показателям «Важность», «Удовлетворенность» и «Осознание затруднений» обучающимися. Исследование проводилось с помощью анкет:

— «Удовлетворенность преподавателей процессом и результатами ПК в области мониторинга, оценивания и управления качеством»;

— «Осознание важности владения компетенциями в области менеджмента, мониторинга и оценивания качества»;

—  «Осознание преподавателем затруднений и изменение отношения к использованию в преподавании и управлении методов управления качеством».

Исследование показателя «Важность» позволило выделить компетенции, которые наиболее необходимы, по мнению ППС и АУП, для выполнения экспертно-аналитических функций (по результатам исследования получены наиболее высокие оценки):

— «Должны быть знакомы с понятиями мониторинга, оценивания и управления качеством, с тенденциями в области менеджмента качества»;

— «Иметь представление о методиках мониторинга, Уметь проектировать процессы и методики мониторинга, оценивать качество различных компонентов образовательного процесса»;

— «Уметь пользоваться компьютером для обработки данных мониторинга, проводить простейший статистический анализ, строить графики и гистограммы и пр.»;

— «Иметь представление об этических и профессиональных нормах экспертной деятельности; использовать информацию с позиции «не навреди», не для наказания, а для совершенствования».

Также выявлено, что обучающиеся осознали некоторые затруднения в своей деятельности, которые были неочевидны ранее. Среди них такие: «выделять показатели для оценки качества объекта мониторинга»; «разрабатывать методики мониторинга различных компонентов образовательного процесса»; «систематизировать и обрабатывать результаты, представлять их в наглядном для интерпретации виде». В целом приведенные высказывания подтверждают высокую удовлетворенность обучающихся процессом и результатами ПК.

В 2011 году был проведён контрольный эксперимент на обучающихся третьей экспериментальной группы, которые проходили ПК в 2010 г. (через 1 год) для анализа изменений, произошедших в деятельности преподавателей. Была разработана и разослана анкета, на которую из 18 человек ответило 14 человек (76 %). Приведенные в анкетах высказывания подтвердили практическую применимость новых компетенций в деятельности. Анализ выявил отмеченную преподавателями высокую удовлетворенность процессом и результатами ПК, осознание важности новых компетенций и активное использование их в педагогической деятельности. В целом мониторинг мнений обучившихся достоверно подтвердил эффективность разработанной программы ПК «Практический мониторинг и оценивание качества в профессиональном образовании».

 Литература

1. Никитина Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 2. Методы мониторинга. Обучение менеджменту качества в образовании : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева (Зазон). – Новосибирск : НГТУ, 2008. – 60 с.

2. Никитина Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 1. Методика мониторинга : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева (Зазон). – Новосибирск : НГТУ, 2008. – 32 с.

Основной персонал ОО, являясь «хозяевами» процессов, как правило, не владеют компетенциями в области мониторинга и оценки качества «своих» процессов и подпроцессов. Основные методы, преимущественно используемые ППС для мониторинга, – традиционные методы текущего и итогового контроля. Но это всего лишь контроль результатов обучения – промежуточных, итоговых. Контроль условий (ресурсов, нормативной и методической базы и пр.) и процессов остается вне поля их зрения и осознания. Наиболее же важным является контроль промежуточного и текущего состояния всех компонентов образовательной системы для предупреждения потенциальных несоответствий и проблем, нежели исправление сформировавшихся неудовлетворительных результатов. Именно для этого ППС необходимы компетенции в области управления качеством, владение методиками и методами мониторинга и контроля качества для полноценного участия в процессах непрерывного совершенствования.

Проведенные аналитические исследования позволили выявить дополнительные компетенции ППС и АУП профессионального образования, необходимые для исполнения новых видов деятельности, связанных с мониторингом, оцениванием и управлением на основе методов контроля качества.

Для обоснования содержательной составляющей подготовки ППС и АУП к реализации функций мониторинга, оценивания и контроля качества ранее были рассмотрены основные положения, регламентирующие экспертно-аналитическую деятельность в профессиональном образовании, которые положены в основу инвариантной модели и методики мониторинга и оценивания качества различных компонентов образовательного процесса. Кроме того на основании анализа литературных источников выделено содержание обновленных профессиональных компетенций ППС и АУП (коммуникативная, когнитивно-деятельностная, исследовательская, проектировочная), необходимых для исполнения экспертно-аналитической деятельности.

Проведенные аналитические и эмпирические исследования позволили сформировать укрупненные блоки дополнительных компетенций ППС в области мониторинга, оценивания и управления качеством (табл. 1). Приведенные блоки компетенций положены в основу проектирования модульной образовательной программы «Практический мониторинг и оценивание качества в профессиональном образовании».

Таблица 1

Компетенции ППС, необходимые для мониторинга, оценивания и управления качеством

 Основываясь на блоках компетенций, приведенных в таблице 1, сформированы модули образовательной программы повышения квалификации, представленные в таблице 2.

Таблица 2

Модульная структура программы «Практический мониторинг и оценивание качества в профессиональном образовании»

 1. Разработанная программа повышения квалификации прошла апробацию при подготовке деканов, заведующих кафедрами, руководителей отделов и служб, преподавателей, методистов и других специалистов с целью их подготовки к участию в процессах мониторинга, оценивания и управления качеством на уровне учебного заведения в целом, подразделения, собственной деятельности, организации отдельного процесса или подпроцесса как части функционирующей СМК. Отдельные модули могут использоваться в других программах. ППС смогут использовать приобретенные компетенции для создания собственной системы управления качеством с целью непрерывного совершенствования деятельности, для участия в работах по созданию СМК, для выполнения функций практического мониторинга, оценивания и контроля качества различных компонентов образовательного процесса.