Процессный подход к оцениванию показателей качества е-Learning процесса в новосибирском техническом университете

Вызванная развитием информационно-комму- никационных технологий (ИКТ), позволяющих интегрировать современные технологические решения в учебный процесс, е-Learning (электронное обучение, ЭО, онлайн-обучение) стремительно входит в практику деятельности образовательных организаций.

В последнее время е-Learning процесс стал объектом стандартизации во всем мире, что связано с необходимостью установления определенных критериев и показателей, говорящих о его эффективности. Задача международного проекта Europian University Quality in e-Learning, (UNIQUe) – способствовать повышению качества е-Learning процесса в образовательной организации путем определения степени соответствия критериям качества е-Learning. Получить знак качества UNIQUe – значит сопоставить свое учебное заведение с мировыми эталонами, по- высить его конкурентоспособность, гарантировать студентам предоставление современных и высококачественных образовательных услуг.

В рамках проекта UNIQUE разработана критериальная база для оценки качества процесса, включающая следующие области (критерии качества UNIQUE):

1. Образовательная политика образовательной организации (стратегия развития e-Learning, открытость и инновационность в образователь- ной деятельности).

2. Образовательные ресурсы (учебно-методические материалы, студенты, персонал вуза – ППС, тьюторы, методисты, технологическое и техническое оснащение).

3. Образовательные процессы (качество образовательных услуг, соблюдение прав на интеллек- туальную собственность, развитие человеческих ресурсов) [1].

Таким образом, в рамках стандартизации по UNIQUE образовательной организации необходимо полностью охватить все аспекты электронного обучения, дать оценку состояния системы управления, ИТ-инфраструктуры, подготовки педагогиче- ского и управленческого персонала, электронной информационно-образовательной среды, средств и технологий разработки ЭОР и организации электронного обучения. Методика UNIQUE является наиболее детальной методикой, охватывающей все аспекты процесса электронного обучения.

Методика оценки качества ЭО проекта e-Xcellence включает оценку качества по 6 областям и 35 критериям, являясь методикой, в большей степени нацеленной на самооценку. В соответствии с определением Европейского фонда управления качеством (EFQM), «самооценка» означает комплексную систематическую и регулярную оценку деятельности организации и ее результатов. Процесс самооценки позволяет определить сильные и слабые стороны образовательного процесса в организации и область ее деятельности, которые требуют изменений [2].

В порядке самооценки качества e-Learning процесса в НГТУ автором использовался процессный подход (модель управления качеством, разработанная Европейским фондом управления качеством EFQM). В рамках этой модели вопросы качества обучения рассматриваются с точки зрения удовлетворения потребностей обучающихся, а качество обучения обеспечивается за счет постоянного мониторирования и совершенствования учебного процесса [3].

С точки зрения процессного подхода (рис. 1), каждый педагогический процесс характеризуется ключевыми показателями и требованиями, описы- вающими его исполнение, результат или влияние на итог деятельности организации в целом. Проанализировав отдельный процесс, можно выделить его индивидуальное влияние и вклад в достижение результатов деятельности вуза, а управляя характеристиками процессов, можно влиять на результирующие составляющие всей образовательной деятельности.

Модель управления качеством при процессном подходе

Рис. 1. Модель управления качеством при процессном подходе

Согласно модели оценки качества обучения, при процессном подходе уровень удовлетворенности заинтересованных сторон (ЗС – обучающиеся, преподаватели) является одним из важнейших показателей эффективности обучения, а самооценка позволяет определить сильные и слабые стороны e-Learning процесса и выделить элементы для улучшения качества электронного обучения.

Автором сформированы некоторые показатели и критерии качества, разработаны инструменты (анкеты), выбраны методы анализа и представления результатов, согласно процессному подходу, проводился анализ удовлетворенности обучающихся e-Learning процессом [3].

Целью эксперимента стало оценивание качества электронных образовательных ресурсов (ЭОР) и электронной среды обучения (ЭСО) НГТУ DiSpace 2.0 заинтересованными сторонами (в нашем случае, обучающимися по направлению подготовки «техносферная безопасность» и по программам ДПО «пожарная безопасность»). В эксперименте принимали участие три группы обучающихся в НГТУ.

1-я экспериментальная группа (62 чел.) – студенты, очной формы обучения, обучающиеся с электронной поддержкой курса. Для студентов, обучающихся по очной форме с дистанционной поддержкой курса, электронная среда обучения используется для обеспечения доступа к информационным ресурсам (ЭОР по дисциплинам), проведения промежуточного и итогового тестирования с целью мониторинга оценки качества знаний.

2-я экспериментальная группа (56 чел.) – студенты заочной формы обучения, большую часть времени работающие с удаленным доступом в электронной среде обучения (ЭСО) НГТУ, непосредственно встречаясь с преподавателем во время сессии.

При обучении по заочной форме с дистанционной поддержкой используется комбинированная модель обучения, при которой технологии электронного обучения объединены с традиционным преподаванием в аудитории во время сессии. В электронной среде обеспечивается доступ к личной странице обучающегося с набором дисциплин, согласно учебным планам, и возможностью работы в удаленном режиме (выполнение контролирующих мероприятий, согласно назначенным, и отправка их преподавателю, участие в семинарах, отправка личных сообщений) [4].

3-я экспериментальная группа (37 чел.) анкетируемых – сотрудники предприятий г. Новосибирска, обучающиеся на курсах дополнительного профессионального образования (ДПО) по программам направления подготовки «пожарная безопасность» в удаленном режиме, в процессе обучения использовавшие электронные образовательные ресурсы (ЭОР), размещенные в ЭСО НГТУ (курсы ДПО по направлению «пожарная безопасность»). В процессе обучения группы участвовали в четырех вебинарах, на которых обсуждались наиболее сложные вопросы, и проходили итоговое и рубежное тестирование в электронной среде.

Согласно нормативным документам, обучение по пожарной безопасности обязаны проходить все руководители (собственники) предприятия, специалисты, назначенные ответственными за пожарную безопасность, а также лица, выполняющие работу с повышенной пожарной опасностью [5]. Но обучение работников предприятий по программам ДПО всегда связано с трудностями: отдаленностью от центра обучения, характером работ, материальными, бытовыми, хозяйственными проблемами слушателей при выезде на длительный срок. Таким образом, особую актуальность приобретают удаленные формы обучения – дистанционное и комбинированное обучение.

Для анализа вопросов были выделены некоторые показатели мониторинга мнений обучающихся о качестве e-Learning процесса, оформленные в виде вопросов анкеты. Показатели измерялись по шкале 0 1 2 3 4 5 6. «0» – не удовлетворен, «6» – удовлетворен в полной мере.

Все показатели (вопросы анкеты) сгруппированы в два блока по три показателя в каждом блоке.

Блок 1. Показатели, отражающие качество электронных образовательных ресурсов (ЭОР):

  • доступность (понятность);
  • полнота;
  • удобство реализации ЭОР.

Блок 2. Показатели, характеризующие качество электронной среды обучения (ЭСО):

  • работа с системой тестирования;
  • простота установления связи с участниками учебного процесса;
  • удобство и простота интерфейса.

Проведен анализ результатов эксперимента для каждой экспериментальной группы и сравнение показателей на предмет значимости различий.

Для получения информации о показателях, использованных в анкете эксперимента, рассчитывались математическое ожидание m1 и несмещенная оценка дисперсии S2 (квадрат среднеквадратичного отклонения S) по каждому показателю соответственно из выражений:

form1

где xi, i = [1,n], n – объем выборки, m1 – математическое ожидание (среднее значение показателей), S2 – несмещенная дисперсия выборки, S – среднеквадратичное отклонение.

Математическое ожидание позволяет получить средние значения показателей по выборке для каждого показателя мониторинга с целью формирования устойчивых выводов и рекомендаций, а среднеквадратичное отклонение может быть использовано для характеристики разброса мнений испытуемых (степени единодушия в высказываниях и согласованности мнений). По значению среднеквадратичного отклонения можно опосредованно судить об однородности экспериментальной группы, с точки зрения уровня и состава их компетенций или осведомленности, по оцениваемым показателям анкеты.

Для оценки различий мнений обучающихся разных групп был использован критерий t-Стьюдента. Полученные результаты В табл. 1 представлены результаты опроса обучающихся по блоку 1 показателей «Качество электронных образовательных ресурсов» (ЭОР)

Таблица 1

Таблица 1. Результаты эксперимента по блоку 1 показателей «Качество электронных образовательных ресурсов»

Статистическая обработка результатов эксперимента показывает достаточно высокие оценки по каждому из показателей данного блока в двух анкетируемых группах студентов.

Большинство обучающихся довольны полнотой электронных учебных ресурсов, удобством их размещения в электронной среде обучения, реализации и скачивания.

В группе студентов, обучающихся по заочной форме с удаленным доступом (группа 2) показатели выше, чем в группе студентов очной формы, имеющих электронную поддержку (группа 1). Несмотря на то, что различия между мнениями студентов обеих групп незначительны, видна тенденция к более высоким оценкам у студентов, обучающихся по комбинированной модели. Их оценки приближаются к наивысшему баллу – 6.

Вероятно, это можно объяснить усилиями преподавателей по разработке ЭОР, предназначенными непосредственно для работы дистанционно (с удаленным доступом), т.е. учитывающие требования к полноте учебных материалов, а также психологическими особенностями самих обучающихся, более привыкших к самостоятельной работе, чем студенты, обучающиеся по очной форме, постоянно имеющие преподавательскую поддержку.

Особого внимания заслуживают статистически более низкие результаты, полученные по показателям блока в группе обучающихся по программам ДПО направления «пожарная безопасность» с удаленным доступом (группа 3). Анализ полученных данных позволяет объяснить этот факт следующим образом. Низкий показатель по пункту 3 и отчасти пункту 1 (удобство реализации и доступность ЭОР) наводит на мысль о довольно низких информационно-коммуникативных компетенциях некоторых обучающихся, что подтверждается их обращениями за помощью в скачивании материалов и работе с системой тестирования. Надо отметить, что не все обучающиеся имели высокие навыки общения в интернет-среде, видимо, в силу своего возраста и недостаточного опыта. О том, что обучающиеся в своем мнении не единодушны, говорит и разброс показателя среднеквадратичного отклонения (вопрос 1, S = 0,76).

Статистически ниже, чем у студентов заочной формы обучения, оценен сотрудниками предприятий показатель по вопросу 2 «полнота ЭОР». Это также труднообъяснимо, т.к. теоретические материалы по «пожарной безопасности» состояли из 11 модулей (каждый модуль можно было скачивать отдельно), содержали большое количество информации, были представлены в текстовой форме в большом объеме.

Видимо, именно из-за вышеназванных особенностей электронные учебно-методические материалы были трудны для изучения. По данному факту авторам программы предложено дополнить материалы курса «Пожарная безопасность» конкретными примерами из практики, что сделало бы их более актуальными и легкими для восприятия.

Кроме того, практико-ориентированное обучение влияет на более эффективное усвоение профессиональных навыков. Требования современного рынка труда приводят к необходимости совершенствовать методы обучения специалистов по программам как профессионального, так и дополнительного профессионального образования.

С учетом вышесказанного, авторам программы даны рекомендации о дополнении и расширении электронных учебно-методических материалов, в основном представленных в текстовой форме, активными методами обучения, случаями из практики, а также мультимедийными ресурсами нового поколения (например, интерактивными стендами, флеш-моделями), сделав акцент на вовлекающее обучение.

Таким образом, по блоку показателей «Качество ЭОР» можно сделать вывод о достаточно высоких показателях качества электронных учебных материалов во всех группах, что подтверждается высокой оценкой доступности, полноты и удобства реализации ЭОР. Наивысшая степень удовлетворенности качеством электронных ресурсов выявлена в группе студентов заочной формы обучения с дистанционной поддержкой курса и студентов очной формы обучения с электронной поддержкой.

В табл. 2 представлены результаты анкетирования по блоку 2 показателей «Качество электронной среды обучения» для двух групп, непосредственно обучающихся с помощью электронной среды (студенты 2 группы и взрослые обучающиеся 3 группы).

Таблица 2. - Результаты эксперимента по блоку 2 показателей «Качество электронной среды обучения»

Таблица 2. Результаты эксперимента по блоку 2 показателей «Качество электронной среды обучения»

Анализируя полученные данные, можно сделать вывод о высоком уровне оценивания качества электронной среды обучения обучающимися, которые практически полностью удовлетворены процессом обучения в ЭСО НГТУ Dispace 2.0. Как студенты, так и персонал предприятий одинаково высоко оценили удобство и простоту интерфейса, простоту установления связи с участниками учебного процесса – как с преподавателями, так и с тьюторской и технической поддержкой.

Наибольший разброс мнений наблюдался при оценке работы в системе тестирования, скорее всего этот инструмент электронной среды показался обучающимся чуть более сложным в использовании, но, тем не менее, общие оценки – на уровне «практической удовлетворенности».

Таким образом, хотя для проведения самоанализа педагогической деятельности можно использовать различные методы мониторинга: наблюдение, swot-анализ, опрос, автором выявлено, что эффективным методом оценки качества обучения с электронной поддержкой является метод анкетирования, который позволяет оценить качество условий, процесса и результатов своей деятельности. Согласно проведенному эксперименту, можно сделать следующие выводы.

Выводы:

  • для проведения самооценки e-Learning процесса в образовательной организации вполне применим процессный подход, выявляющий сильные стороны процесса и область, подлежащую улучшению;
  • метод анкетирования прекрасно зарекомендовал себя в проведении оценки и самооценки качества процесса обучения в электронной среде;
  • уровень удовлетворенности обучающихся качеством электронной среды обучения НГТУ и размещенных в ней электронных ресурсов достаточно высок, что позволяет организовать обучение как студентов, так и сотрудников предприятий в удаленном доступе;
  • существует необходимость доработки и дополнения ЭОР по программам ДПО направления обучения «пожарная безопасность» современными технологиями вовлекающего обучения.

Литература

1. Самойлов В.А., Семкина Т.А. UNIQUE – Ев- ропейский знак качества в e-Learning // Высшее об- разование в России. 2008. № 11. С. 50–56.

2. Рубин Ю.Б., Соболева Э.Ю. Управление качеством электронного обучения на основе евро- пейских стандартов // Высшее образование в Рос- сии. 2010. № 12 – С. 74-83.

3. Watson P., 2000. Applying the European Fo￾undation for Quality Management (EFQM) Model// Gornal of the Association of Building Engineers. – V.75(4) – рр.18-20.

4. Леган М.В., Яцевич Т.А. Комбинирован- ная модель обучения студентов на базе системы дистанционного обучения// Высшее образование в России», № 4, 2014, С. 136-141.

5. Приказ МЧС РФ от 12 декабря 2007 г. № 645 «Об утверждении Норм пожарной безопасности «Обучение мерам пожарной безопасности работ- ников организаций».