Процессный подход к оцениванию показателей качества е-Learning процесса в новосибирском техническом университете

Вызванная развитием информационно-комму- никационных технологий (ИКТ), позволяющих интегрировать современные технологические решения в учебный процесс, е-Learning (электронное обучение, ЭО, онлайн-обучение) стремительно входит в практику деятельности образовательных организаций.

В последнее время е-Learning процесс стал объектом стандартизации во всем мире, что связано с необходимостью установления определенных критериев и показателей, говорящих о его эффективности. Задача международного проекта Europian University Quality in e-Learning, (UNIQUe) – способствовать повышению качества е-Learning процесса в образовательной организации путем определения степени соответствия критериям качества е-Learning. Получить знак качества UNIQUe – значит сопоставить свое учебное заведение с мировыми эталонами, по- высить его конкурентоспособность, гарантировать студентам предоставление современных и высококачественных образовательных услуг.

В рамках проекта UNIQUE разработана критериальная база для оценки качества процесса, включающая следующие области (критерии качества UNIQUE):

1. Образовательная политика образовательной организации (стратегия развития e-Learning, открытость и инновационность в образователь- ной деятельности).

2. Образовательные ресурсы (учебно-методические материалы, студенты, персонал вуза – ППС, тьюторы, методисты, технологическое и техническое оснащение).

3. Образовательные процессы (качество образовательных услуг, соблюдение прав на интеллек- туальную собственность, развитие человеческих ресурсов) [1].

Таким образом, в рамках стандартизации по UNIQUE образовательной организации необходимо полностью охватить все аспекты электронного обучения, дать оценку состояния системы управления, ИТ-инфраструктуры, подготовки педагогиче- ского и управленческого персонала, электронной информационно-образовательной среды, средств и технологий разработки ЭОР и организации электронного обучения. Методика UNIQUE является наиболее детальной методикой, охватывающей все аспекты процесса электронного обучения.

Методика оценки качества ЭО проекта e-Xcellence включает оценку качества по 6 областям и 35 критериям, являясь методикой, в большей степени нацеленной на самооценку. В соответствии с определением Европейского фонда управления качеством (EFQM), «самооценка» означает комплексную систематическую и регулярную оценку деятельности организации и ее результатов. Процесс самооценки позволяет определить сильные и слабые стороны образовательного процесса в организации и область ее деятельности, которые требуют изменений [2].

В порядке самооценки качества e-Learning процесса в НГТУ автором использовался процессный подход (модель управления качеством, разработанная Европейским фондом управления качеством EFQM). В рамках этой модели вопросы качества обучения рассматриваются с точки зрения удовлетворения потребностей обучающихся, а качество обучения обеспечивается за счет постоянного мониторирования и совершенствования учебного процесса [3].

С точки зрения процессного подхода (рис. 1), каждый педагогический процесс характеризуется ключевыми показателями и требованиями, описы- вающими его исполнение, результат или влияние на итог деятельности организации в целом. Проанализировав отдельный процесс, можно выделить его индивидуальное влияние и вклад в достижение результатов деятельности вуза, а управляя характеристиками процессов, можно влиять на результирующие составляющие всей образовательной деятельности.

Согласно модели оценки качества обучения, при процессном подходе уровень удовлетворенности заинтересованных сторон (ЗС – обучающиеся, преподаватели) является одним из важнейших показателей эффективности обучения, а самооценка позволяет определить сильные и слабые стороны e-Learning процесса и выделить элементы для улучшения качества электронного обучения.

Автором сформированы некоторые показатели и критерии качества, разработаны инструменты (анкеты), выбраны методы анализа и представления результатов, согласно процессному подходу, проводился анализ удовлетворенности обучающихся e-Learning процессом [3].

Целью эксперимента стало оценивание качества электронных образовательных ресурсов (ЭОР) и электронной среды обучения (ЭСО) НГТУ DiSpace 2.0 заинтересованными сторонами (в нашем случае, обучающимися по направлению подготовки «техносферная безопасность» и по программам ДПО «пожарная безопасность»). В эксперименте принимали участие три группы обучающихся в НГТУ.

1-я экспериментальная группа (62 чел.) – студенты, очной формы обучения, обучающиеся с электронной поддержкой курса. Для студентов, обучающихся по очной форме с дистанционной поддержкой курса, электронная среда обучения используется для обеспечения доступа к информационным ресурсам (ЭОР по дисциплинам), проведения промежуточного и итогового тестирования с целью мониторинга оценки качества знаний.

2-я экспериментальная группа (56 чел.) – студенты заочной формы обучения, большую часть времени работающие с удаленным доступом в электронной среде обучения (ЭСО) НГТУ, непосредственно встречаясь с преподавателем во время сессии.

При обучении по заочной форме с дистанционной поддержкой используется комбинированная модель обучения, при которой технологии электронного обучения объединены с традиционным преподаванием в аудитории во время сессии. В электронной среде обеспечивается доступ к личной странице обучающегося с набором дисциплин, согласно учебным планам, и возможностью работы в удаленном режиме (выполнение контролирующих мероприятий, согласно назначенным, и отправка их преподавателю, участие в семинарах, отправка личных сообщений) [4].

3-я экспериментальная группа (37 чел.) анкетируемых – сотрудники предприятий г. Новосибирска, обучающиеся на курсах дополнительного профессионального образования (ДПО) по программам направления подготовки «пожарная безопасность» в удаленном режиме, в процессе обучения использовавшие электронные образовательные ресурсы (ЭОР), размещенные в ЭСО НГТУ (курсы ДПО по направлению «пожарная безопасность»). В процессе обучения группы участвовали в четырех вебинарах, на которых обсуждались наиболее сложные вопросы, и проходили итоговое и рубежное тестирование в электронной среде.

Согласно нормативным документам, обучение по пожарной безопасности обязаны проходить все руководители (собственники) предприятия, специалисты, назначенные ответственными за пожарную безопасность, а также лица, выполняющие работу с повышенной пожарной опасностью [5]. Но обучение работников предприятий по программам ДПО всегда связано с трудностями: отдаленностью от центра обучения, характером работ, материальными, бытовыми, хозяйственными проблемами слушателей при выезде на длительный срок. Таким образом, особую актуальность приобретают удаленные формы обучения – дистанционное и комбинированное обучение.

Для анализа вопросов были выделены некоторые показатели мониторинга мнений обучающихся о качестве e-Learning процесса, оформленные в виде вопросов анкеты. Показатели измерялись по шкале 0 1 2 3 4 5 6. «0» – не удовлетворен, «6» – удовлетворен в полной мере.

Все показатели (вопросы анкеты) сгруппированы в два блока по три показателя в каждом блоке.

Блок 1. Показатели, отражающие качество электронных образовательных ресурсов (ЭОР):

• доступность (понятность);
• полнота;
• удобство реализации ЭОР.

Блок 2. Показатели, характеризующие качество электронной среды обучения (ЭСО):

• работа с системой тестирования;
• простота установления связи с участниками учебного процесса;
• удобство и простота интерфейса.

Проведен анализ результатов эксперимента для каждой экспериментальной группы и сравнение показателей на предмет значимости различий.

Для получения информации о показателях, использованных в анкете эксперимента, рассчитывались математическое ожидание m1 и несмещенная оценка дисперсии S² (квадрат среднеквадратичного отклонения S) по каждому показателю соответственно из выражений:

где xi, i = [1,n], n – объем выборки, m₁ – математическое ожидание (среднее значение показателей), S² – несмещенная дисперсия выборки, S – среднеквадратичное отклонение.

Математическое ожидание позволяет получить средние значения показателей по выборке для каждого показателя мониторинга с целью формирования устойчивых выводов и рекомендаций, а среднеквадратичное отклонение может быть использовано для характеристики разброса мнений испытуемых (степени единодушия в высказываниях и согласованности мнений). По значению среднеквадратичного отклонения можно опосредованно судить об однородности экспериментальной группы, с точки зрения уровня и состава их компетенций или осведомленности, по оцениваемым показателям анкеты.

Для оценки различий мнений обучающихся разных групп был использован критерий t-Стьюдента. Полученные результаты В табл. 1 представлены результаты опроса обучающихся по блоку 1 показателей «Качество электронных образовательных ресурсов» (ЭОР)

Статистическая обработка результатов эксперимента показывает достаточно высокие оценки по каждому из показателей данного блока в двух анкетируемых группах студентов.

Большинство обучающихся довольны полнотой электронных учебных ресурсов, удобством их размещения в электронной среде обучения, реализации и скачивания.

В группе студентов, обучающихся по заочной форме с удаленным доступом (группа 2) показатели выше, чем в группе студентов очной формы, имеющих электронную поддержку (группа 1). Несмотря на то, что различия между мнениями студентов обеих групп незначительны, видна тенденция к более высоким оценкам у студентов, обучающихся по комбинированной модели. Их оценки приближаются к наивысшему баллу – 6.

Вероятно, это можно объяснить усилиями преподавателей по разработке ЭОР, предназначенными непосредственно для работы дистанционно (с удаленным доступом), т.е. учитывающие требования к полноте учебных материалов, а также психологическими особенностями самих обучающихся, более привыкших к самостоятельной работе, чем студенты, обучающиеся по очной форме, постоянно имеющие преподавательскую поддержку.

Особого внимания заслуживают статистически более низкие результаты, полученные по показателям блока в группе обучающихся по программам ДПО направления «пожарная безопасность» с удаленным доступом (группа 3). Анализ полученных данных позволяет объяснить этот факт следующим образом. Низкий показатель по пункту 3 и отчасти пункту 1 (удобство реализации и доступность ЭОР) наводит на мысль о довольно низких информационно-коммуникативных компетенциях некоторых обучающихся, что подтверждается их обращениями за помощью в скачивании материалов и работе с системой тестирования. Надо отметить, что не все обучающиеся имели высокие навыки общения в интернет-среде, видимо, в силу своего возраста и недостаточного опыта. О том, что обучающиеся в своем мнении не единодушны, говорит и разброс показателя среднеквадратичного отклонения (вопрос 1, S = 0,76).

Статистически ниже, чем у студентов заочной формы обучения, оценен сотрудниками предприятий показатель по вопросу 2 «полнота ЭОР». Это также труднообъяснимо, т.к. теоретические материалы по «пожарной безопасности» состояли из 11 модулей (каждый модуль можно было скачивать отдельно), содержали большое количество информации, были представлены в текстовой форме в большом объеме.

Видимо, именно из-за вышеназванных особенностей электронные учебно-методические материалы были трудны для изучения. По данному факту авторам программы предложено дополнить материалы курса «Пожарная безопасность» конкретными примерами из практики, что сделало бы их более актуальными и легкими для восприятия.

Кроме того, практико-ориентированное обучение влияет на более эффективное усвоение профессиональных навыков. Требования современного рынка труда приводят к необходимости совершенствовать методы обучения специалистов по программам как профессионального, так и дополнительного профессионального образования.

С учетом вышесказанного, авторам программы даны рекомендации о дополнении и расширении электронных учебно-методических материалов, в основном представленных в текстовой форме, активными методами обучения, случаями из практики, а также мультимедийными ресурсами нового поколения (например, интерактивными стендами, флеш-моделями), сделав акцент на вовлекающее обучение.

Таким образом, по блоку показателей «Качество ЭОР» можно сделать вывод о достаточно высоких показателях качества электронных учебных материалов во всех группах, что подтверждается высокой оценкой доступности, полноты и удобства реализации ЭОР. Наивысшая степень удовлетворенности качеством электронных ресурсов выявлена в группе студентов заочной формы обучения с дистанционной поддержкой курса и студентов очной формы обучения с электронной поддержкой.

В табл. 2 представлены результаты анкетирования по блоку 2 показателей «Качество электронной среды обучения» для двух групп, непосредственно обучающихся с помощью электронной среды (студенты 2 группы и взрослые обучающиеся 3 группы).

Анализируя полученные данные, можно сделать вывод о высоком уровне оценивания качества электронной среды обучения обучающимися, которые практически полностью удовлетворены процессом обучения в ЭСО НГТУ Dispace 2.0. Как студенты, так и персонал предприятий одинаково высоко оценили удобство и простоту интерфейса, простоту установления связи с участниками учебного процесса – как с преподавателями, так и с тьюторской и технической поддержкой.

Наибольший разброс мнений наблюдался при оценке работы в системе тестирования, скорее всего этот инструмент электронной среды показался обучающимся чуть более сложным в использовании, но, тем не менее, общие оценки – на уровне «практической удовлетворенности».

Таким образом, хотя для проведения самоанализа педагогической деятельности можно использовать различные методы мониторинга: наблюдение, swot-анализ, опрос, автором выявлено, что эффективным методом оценки качества обучения с электронной поддержкой является метод анкетирования, который позволяет оценить качество условий, процесса и результатов своей деятельности. Согласно проведенному эксперименту, можно сделать следующие выводы.

Выводы:

• для проведения самооценки e-Learning процесса в образовательной организации вполне применим процессный подход, выявляющий сильные стороны процесса и область, подлежащую улучшению;
• метод анкетирования прекрасно зарекомендовал себя в проведении оценки и самооценки качества процесса обучения в электронной среде;
• уровень удовлетворенности обучающихся качеством электронной среды обучения НГТУ и размещенных в ней электронных ресурсов достаточно высок, что позволяет организовать обучение как студентов, так и сотрудников предприятий в удаленном доступе;
• существует необходимость доработки и дополнения ЭОР по программам ДПО направления обучения «пожарная безопасность» современными технологиями вовлекающего обучения.

Литература

1. Самойлов В.А., Семкина Т.А. UNIQUE – Ев- ропейский знак качества в e-Learning // Высшее об- разование в России. 2008. № 11. С. 50–56.

2. Рубин Ю.Б., Соболева Э.Ю. Управление качеством электронного обучения на основе евро- пейских стандартов // Высшее образование в Рос- сии. 2010. № 12 – С. 74-83.

3. Watson P., 2000. Applying the European Fo￾undation for Quality Management (EFQM) Model// Gornal of the Association of Building Engineers. – V.75(4) – рр.18-20.

4. Леган М.В., Яцевич Т.А. Комбинирован- ная модель обучения студентов на базе системы дистанционного обучения// Высшее образование в России», № 4, 2014, С. 136-141.

5. Приказ МЧС РФ от 12 декабря 2007 г. № 645 «Об утверждении Норм пожарной безопасности «Обучение мерам пожарной безопасности работ- ников организаций».