В последнее время е-learning процесс становится объектом стандартизации во всем мире, что связано с необходимостью установления определенных критериев и показателей, говорящих о его эффективности. В рамках проекта UNIQUE разработана критериальная база для оценки качества е-learning процесса [1, 2].

Методика оценки качества ЭО проекта e-Xcellence включает оценку качества по 6 областям и 35 критериям, являясь методикой, в большей степени нацеленной на самооценку. В соответствии с определением Европейского фонда управления качеством (EFQM) «самооценка» означает комплексную систематическую и регулярную оценку деятельности организации и ее результатов. Процесс самооценки позволяет определить сильные и слабые стороны процесса в организации и область ее деятельности, которые требуют изменений.

В порядке оценки качества e-learning процесса в НГТУ автором использовался процессный подход (модель управления качеством, разработанная Европейским фондом управления качеством – EFQM). В рамках этой модели вопросы качества обучения рассматриваются с точки зрения удовлетворения потребностей обучающихся, а качество обучения обеспечивается за счёт постоянного мониторирования и совершенствования учебного процесса.

Рис. 1. Модель управления качеством при процессном подходе

Основой модели оценки качества при процессном подходе являются потребители (ЗС – заинтересованные стороны – внешние и внутренние), так как все действия по реализации процессов жизненного цикла услуга/продукция (У/П) начинаются с потребителей и ими же заканчиваются. Стандарт ISO 9004–2001 (раздел «Измерение и мониторинг удовлетворенности потребителя») уделяет важное место измерению степени удовлетворенности потребителей У/П) [3].

С точки зрения процессного подхода, каждый педагогический процесс характеризуется ключевыми показателями и требованиями, описывающими его исполнение, результат или влияние на итог деятельности организации в целом.

Проанализировав отдельный процесс, можно выделить его индивидуальное влияние и вклад в достижение результатов деятельности вуза, а управляя характеристиками процессов, можно влиять на результирующие составляющие всей образовательной деятельности. Согласно модели оценки качества обучения при процессном подходе уровень удовлетворенности заинтересованных сторон (ЗС – обучающиеся, преподаватели) является одним из важнейших показателей эффективности обучения, а также позволяет определить сильные и слабые стороны е-learning процесса в отдельно взятой образовательной организации.

Авторами сформированы некоторые показатели и критерии качества, разработаны инструменты (анкеты), выбраны методы анализа и представления результатов согласно процессному подходу [4].

В эксперименте принимали участие три группы обучающихся:

1-я экспериментальная группа (62 чел.) – студенты очной формы обучения, обучающиеся по направлению подготовки 20.03.01 – Техносферная безопасность с web-поддержкой курса (организация самостоятельной работы студента в электронной информационной образовательной среде (ЭИОС), доступ к ЭОР по дисциплинам учебного плана).

2-я экспериментальная группа (56 чел.) – студенты заочной формы обучения, работающие с удаленным доступом в ЭИОС НГТУ большую часть времени, встречаясь непосредственно с преподавателем во время сессии (комбинированная модель обучения).

3-я экспериментальная группа (27 чел.) анкетируемых – сотрудники предприятий, обучающиеся по программам дополнительного профессионального образования (ДПО) в области пожарной безопасности в удаленном режиме, в процессе обучения использовавшие ЭИОС и размещенные в ней образовательные ресурсы (ЭОР).

Согласно нормативным документам обучение по пожарной безопасности обязаны проходить все руководители (собственники) предприятия, специалисты, назначенные ответственными за пожарную безопасность, а также лица, выполняющие работу с повышенной пожарной опасностью [5]. Но обучение работников предприятий по программам ДПО всегда связано с трудностями: отдаленностью от центра обучения, характером работ, материальными проблемами слушателей при выезде на длительный срок. Таким образом, особую актуальность приобретают удаленные формы обучения – дистанционное и комбинированное обучение.

При обучении по заочной форме с дистанционной поддержкой используется комбинированная модель обучения, при которой технологии электронного обучения объединены с традиционным преподаванием в аудитории. В ЭИОС НГТУ обеспечивается доступ к личной странице обучающегося с набором дисциплин согласно учебным планам и возможностью работы в удаленном режиме (выполнение контролирующих мероприятий согласно назначенным и отправка их преподавателю, участие в вебинарах, отправка личных сообщений) [6].

Были выделены некоторые показатели мониторинга мнений обучающихся о качестве e-learning процесса, оформленные в виде вопросов анкеты. Показатели измерялись по шкале 0 1 2 3 4 5 6, где «0» – не удовлетворен, «6» – удовлетворен в полной мере. Все показатели (вопросы анкеты) сгруппированы в 2 блока по три показателя в каждом блоке.

Блок 1. Показатели, отражающие качество ЭОР:

• доступность (понятность);
• полнота;
• удобство реализации ЭОР.

Блок 2. Показатели, характеризующие качество ЭСО:

• работа с системой тестирования;
• простота установления связи с участниками учебного процесса;
• удобство и простота интерфейса.

Проведен анализ результатов эксперимента для каждой экспериментальной группы и сравнение показателей на предмет значимости различий. Рассчитывались математическое ожидание m1 и несмещенная оценка дисперсии S² по каждому показателю, для оценки различий мнений обучающихся различных групп был использован критерий t Стьюдента. Математическое ожидание позволяет получить средние значения показателей по выборке для каждого показателя мониторинга с целью формирования устойчивых выводов и рекомендаций, а среднеквадратичное отклонение может быть использовано для характеристики разброса мнений испытуемых (степени единодушия в высказываниях и согласованности мнений).

Полученные результаты

В табл. 1 представлены результаты опроса обучающихся по блоку 1 показателей «Качество электронных образовательных ресурсов».

Таблица 1. Результаты эксперимента по блоку 1 показателей «Качество ЭОР»

По блоку показателей «Качество ЭОР» можно сделать вывод о достаточно высоких показателях качества электронных учебнометодических материалов во всех группах, что подтверждается высокой оценкой доступности, полнотой и удобством реализации ЭОР. Наивысшая степень удовлетворенности качеством ЭОР выявлена в группе студентов заочной и очной формы обучения с дистанционной поддержкой курса.

Особого внимания заслуживают статистически более низкие результаты, полученные у группы персонала предприятий, обучающихся с удаленным доступом (группа 3), что позволило сделать выводы о необходимости дополнения ЭОР, представленных в текстовой форме активными методами обучения, случаями из практики, а также мультимедийными ресурсами нового поколения (например, интерактивными стендами, флеш-моделями), сделав акцент на вовлекающее обучение.

Низкий показатель по вопросу 3 и отчасти 1 (удобство реализации и доступность ЭОР) наводит на мысль о достаточно низких информационно-коммуникационных (ИКТ) компетенциях некоторых обучающихся, что подтверждается их обращениями в поддержку по поводу помощи в скачивании материалов и работе с системой тестирования. Надо отметить, что не все обучающиеся имели высокие навыки общения в интернет-среде, видимо, в силу своего возраста и недостаточного опыта. О том, что обучающиеся в своем мнении не единодушны, говорит и разброс показателя среднеквадратичного отклонения (вопрос 1, S=0,76).

В табл. 2 представлены результаты анкетирования по блоку 2 показателей «Качество ЭИОС» для двух групп, непосредственно обучающихся с помощью электронной информационной образовательной среды (студенты 2-й группы и персонал предприятий (3-я группа)).

Таблица 2. Результаты эксперимента по блоку 2 показателей «Качество ЭИОС»

Анализируя полученные данные, можно сделать вывод о высоком уровне оценивания качества электронной среды обучения обучающимися, которые практически полностью удовлетворены процессом обучения в ЭСО НГТУ Dispace 2.0. Как студенты, так и сотрудники предприятий, обучающиеся с помощью электронной образовательной среды, поставили одинаково высокие оценки, отметив удобство интерфейса, простоту установления связи с участниками учебного процесса – как с преподавателями, так и с тьюторской и технической поддержкой.

Заключение

Согласно проведенному эксперименту можно сделать следующие выводы:

– показано, что для проведения оценки удовлетворенности обучающихся e-learning процессом в образовательной организации вполне применим процессный подход, выявляющий сильные стороны процесса и область, подлежащую улучшению;

– исследовано, что метод анкетирования достаточно зарекомендовал себя для проведения оценки качества процесса обучения в электронной информационной образовательной среде;

– выявлено, что уровень удовлетворенности обучающихся качеством электронной образовательной среды НГТУ и размещенных в ней электронных ресурсов достаточно высок, что позволяет организовать обучение как студентов, так и сотрудников предприятий в удаленном доступе;
– показана необходимость доработки и дополнения ЭОР по программам ДПО «Пожарная безопасность» современными технологиями вовлекающего обучения.

Литература

1. Самойлов В.А., Семкина Т.А. UNIQUE – Европейский знак качества в e-learning // Высшее образование в России. 2008. № 11. С. 50–56.

2. Рубин Ю.Б., Соболева Э.Ю. Управление качеством электронного обучения на основе европейских стандартов // Высшее образование в России. 2010. №12. С. 74–83.

3. ГОСТ Р ИСО 9004–2001. Системы менеджмента качества. Рекомендации по улучшению деятельности. 45 с.

4. Watson P. Applying the European Foundation for Quality Management (EFQM) Model // Gornal of the Association of Building Engineers. 2000. Vol. 75(4). Р. 18–20.

5. Приказ МЧС РФ от 12 декабря 2007 г. № 645 «Об утверждении Норм пожарной безопасности «Обучение мерам пожарной безопасности работников организаций»».

6. Леган М.В., Яцевич Т.А. Комбинированная модель обучения студентов на базе системы дистанционного обучения // Высшее образование в России. 2014. № 4. С. 136–141.