В последнее время е-Learning процесс стал объектом стандартизации во всем мире, что связано с необходимостью установления определенных критериев и показателей, говорящих о его эффективности. Задача международного проекта Europian University Quality in e-Learning, (UNIQUe) – способствовать повышению качества е-Learning процесса в образовательной организации путем определения степени соответствия критериям качества е-Learning. Получить знак качества UNIQUe – значит сопоставить свое учебное заведение с мировыми эталонами, по- высить его конкурентоспособность, гарантировать студентам предоставление современных и высококачественных образовательных услуг.

В рамках проекта UNIQUE разработана критериальная база для оценки качества процесса, включающая следующие области (критерии качества UNIQUE):

1. Образовательная политика образовательной организации (стратегия развития e-Learning, открытость и инновационность в образователь- ной деятельности).

2. Образовательные ресурсы (учебно-методические материалы, студенты, персонал вуза – ППС, тьюторы, методисты, технологическое и техническое оснащение).

3. Образовательные процессы (качество образовательных услуг, соблюдение прав на интеллек- туальную собственность, развитие человеческих ресурсов) [1].

Таким образом, в рамках стандартизации по UNIQUE образовательной организации необходимо полностью охватить все аспекты электронного обучения, дать оценку состояния системы управления, ИТ-инфраструктуры, подготовки педагогиче- ского и управленческого персонала, электронной информационно-образовательной среды, средств и технологий разработки ЭОР и организации электронного обучения. Методика UNIQUE является наиболее детальной методикой, охватывающей все аспекты процесса электронного обучения.

Методика оценки качества ЭО проекта e-Xcellence включает оценку качества по 6 областям и 35 критериям, являясь методикой, в большей степени нацеленной на самооценку. В соответствии с определением Европейского фонда управления качеством (EFQM), «самооценка» означает комплексную систематическую и регулярную оценку деятельности организации и ее результатов. Процесс самооценки позволяет определить сильные и слабые стороны образовательного процесса в организации и область ее деятельности, которые требуют изменений [2].

В порядке самооценки качества e-Learning процесса в НГТУ автором использовался процессный подход (модель управления качеством, разработанная Европейским фондом управления качеством EFQM). В рамках этой модели вопросы качества обучения рассматриваются с точки зрения удовлетворения потребностей обучающихся, а качество обучения обеспечивается за счет постоянного мониторирования и совершенствования учебного процесса [3].

С точки зрения процессного подхода (рис. 1), каждый педагогический процесс характеризуется ключевыми показателями и требованиями, описы- вающими его исполнение, результат или влияние на итог деятельности организации в целом. Проанализировав отдельный процесс, можно выделить его индивидуальное влияние и вклад в достижение результатов деятельности вуза, а управляя характеристиками процессов, можно влиять на результирующие составляющие всей образовательной деятельности.

Рис. 1. Модель управления качеством при процессном подходе

Согласно модели оценки качества обучения, при процессном подходе уровень удовлетворенности заинтересованных сторон (ЗС – обучающиеся, преподаватели) является одним из важнейших показателей эффективности обучения, а самооценка позволяет определить сильные и слабые стороны e-Learning процесса и выделить элементы для улучшения качества электронного обучения.

Автором сформированы некоторые показатели и критерии качества, разработаны инструменты (анкеты), выбраны методы анализа и представления результатов, согласно процессному подходу, проводился анализ удовлетворенности обучающихся e-Learning процессом [3].

Целью эксперимента стало оценивание качества электронных образовательных ресурсов (ЭОР) и электронной среды обучения (ЭСО) НГТУ DiSpace 2.0 заинтересованными сторонами (в нашем случае, обучающимися по направлению подготовки «техносферная безопасность» и по программам ДПО «пожарная безопасность»). В эксперименте принимали участие три группы обучающихся в НГТУ.

1-я экспериментальная группа (62 чел.) – студенты, очной формы обучения, обучающиеся с электронной поддержкой курса. Для студентов, обучающихся по очной форме с дистанционной поддержкой курса, электронная среда обучения используется для обеспечения доступа к информационным ресурсам (ЭОР по дисциплинам), проведения промежуточного и итогового тестирования с целью мониторинга оценки качества знаний.

2-я экспериментальная группа (56 чел.) – студенты заочной формы обучения, большую часть времени работающие с удаленным доступом в электронной среде обучения (ЭСО) НГТУ, непосредственно встречаясь с преподавателем во время сессии.

При обучении по заочной форме с дистанционной поддержкой используется комбинированная модель обучения, при которой технологии электронного обучения объединены с традиционным преподаванием в аудитории во время сессии. В электронной среде обеспечивается доступ к личной странице обучающегося с набором дисциплин, согласно учебным планам, и возможностью работы в удаленном режиме (выполнение контролирующих мероприятий, согласно назначенным, и отправка их преподавателю, участие в семинарах, отправка личных сообщений) [4].

3-я экспериментальная группа (37 чел.) анкетируемых – сотрудники предприятий г. Новосибирска, обучающиеся на курсах дополнительного профессионального образования (ДПО) по программам направления подготовки «пожарная безопасность» в удаленном режиме, в процессе обучения использовавшие электронные образовательные ресурсы (ЭОР), размещенные в ЭСО НГТУ (курсы ДПО по направлению «пожарная безопасность»). В процессе обучения группы участвовали в четырех вебинарах, на которых обсуждались наиболее сложные вопросы, и проходили итоговое и рубежное тестирование в электронной среде.

Согласно нормативным документам, обучение по пожарной безопасности обязаны проходить все руководители (собственники) предприятия, специалисты, назначенные ответственными за пожарную безопасность, а также лица, выполняющие работу с повышенной пожарной опасностью [5]. Но обучение работников предприятий по программам ДПО всегда связано с трудностями: отдаленностью от центра обучения, характером работ, материальными, бытовыми, хозяйственными проблемами слушателей при выезде на длительный срок. Таким образом, особую актуальность приобретают удаленные формы обучения – дистанционное и комбинированное обучение.

Для анализа вопросов были выделены некоторые показатели мониторинга мнений обучающихся о качестве e-Learning процесса, оформленные в виде вопросов анкеты. Показатели измерялись по шкале 0 1 2 3 4 5 6. «0» – не удовлетворен, «6» – удовлетворен в полной мере.

Все показатели (вопросы анкеты) сгруппированы в два блока по три показателя в каждом блоке.

Блок 1. Показатели, отражающие качество электронных образовательных ресурсов (ЭОР):

• доступность (понятность);
• полнота;
• удобство реализации ЭОР.

Блок 2. Показатели, характеризующие качество электронной среды обучения (ЭСО):

• работа с системой тестирования;
• простота установления связи с участниками учебного процесса;
• удобство и простота интерфейса.

Проведен анализ результатов эксперимента для каждой экспериментальной группы и сравнение показателей на предмет значимости различий.

Для получения информации о показателях, использованных в анкете эксперимента, рассчитывались математическое ожидание m1 и несмещенная оценка дисперсии S² (квадрат среднеквадратичного отклонения S) по каждому показателю соответственно из выражений:

где xi, i = [1,n], n – объем выборки, m₁ – математическое ожидание (среднее значение показателей), S² – несмещенная дисперсия выборки, S – среднеквадратичное отклонение.

Математическое ожидание позволяет получить средние значения показателей по выборке для каждого показателя мониторинга с целью формирования устойчивых выводов и рекомендаций, а среднеквадратичное отклонение может быть использовано для характеристики разброса мнений испытуемых (степени единодушия в высказываниях и согласованности мнений). По значению среднеквадратичного отклонения можно опосредованно судить об однородности экспериментальной группы, с точки зрения уровня и состава их компетенций или осведомленности, по оцениваемым показателям анкеты.

Для оценки различий мнений обучающихся разных групп был использован критерий t-Стьюдента. Полученные результаты В табл. 1 представлены результаты опроса обучающихся по блоку 1 показателей «Качество электронных образовательных ресурсов» (ЭОР)

Таблица 1. Результаты эксперимента по блоку 1 показателей «Качество электронных образовательных ресурсов»

Статистическая обработка результатов эксперимента показывает достаточно высокие оценки по каждому из показателей данного блока в двух анкетируемых группах студентов.

Большинство обучающихся довольны полнотой электронных учебных ресурсов, удобством их размещения в электронной среде обучения, реализации и скачивания.

В группе студентов, обучающихся по заочной форме с удаленным доступом (группа 2) показатели выше, чем в группе студентов очной формы, имеющих электронную поддержку (группа 1). Несмотря на то, что различия между мнениями студентов обеих групп незначительны, видна тенденция к более высоким оценкам у студентов, обучающихся по комбинированной модели. Их оценки приближаются к наивысшему баллу – 6.

Вероятно, это можно объяснить усилиями преподавателей по разработке ЭОР, предназначенными непосредственно для работы дистанционно (с удаленным доступом), т.е. учитывающие требования к полноте учебных материалов, а также психологическими особенностями самих обучающихся, более привыкших к самостоятельной работе, чем студенты, обучающиеся по очной форме, постоянно имеющие преподавательскую поддержку.

Особого внимания заслуживают статистически более низкие результаты, полученные по показателям блока в группе обучающихся по программам ДПО направления «пожарная безопасность» с удаленным доступом (группа 3). Анализ полученных данных позволяет объяснить этот факт следующим образом. Низкий показатель по пункту 3 и отчасти пункту 1 (удобство реализации и доступность ЭОР) наводит на мысль о довольно низких информационно-коммуникативных компетенциях некоторых обучающихся, что подтверждается их обращениями за помощью в скачивании материалов и работе с системой тестирования. Надо отметить, что не все обучающиеся имели высокие навыки общения в интернет-среде, видимо, в силу своего возраста и недостаточного опыта. О том, что обучающиеся в своем мнении не единодушны, говорит и разброс показателя среднеквадратичного отклонения (вопрос 1, S = 0,76).

Статистически ниже, чем у студентов заочной формы обучения, оценен сотрудниками предприятий показатель по вопросу 2 «полнота ЭОР». Это также труднообъяснимо, т.к. теоретические материалы по «пожарной безопасности» состояли из 11 модулей (каждый модуль можно было скачивать отдельно), содержали большое количество информации, были представлены в текстовой форме в большом объеме.

Видимо, именно из-за вышеназванных особенностей электронные учебно-методические материалы были трудны для изучения. По данному факту авторам программы предложено дополнить материалы курса «Пожарная безопасность» конкретными примерами из практики, что сделало бы их более актуальными и легкими для восприятия.

Кроме того, практико-ориентированное обучение влияет на более эффективное усвоение профессиональных навыков. Требования современного рынка труда приводят к необходимости совершенствовать методы обучения специалистов по программам как профессионального, так и дополнительного профессионального образования.

С учетом вышесказанного, авторам программы даны рекомендации о дополнении и расширении электронных учебно-методических материалов, в основном представленных в текстовой форме, активными методами обучения, случаями из практики, а также мультимедийными ресурсами нового поколения (например, интерактивными стендами, флеш-моделями), сделав акцент на вовлекающее обучение.

Таким образом, по блоку показателей «Качество ЭОР» можно сделать вывод о достаточно высоких показателях качества электронных учебных материалов во всех группах, что подтверждается высокой оценкой доступности, полноты и удобства реализации ЭОР. Наивысшая степень удовлетворенности качеством электронных ресурсов выявлена в группе студентов заочной формы обучения с дистанционной поддержкой курса и студентов очной формы обучения с электронной поддержкой.

В табл. 2 представлены результаты анкетирования по блоку 2 показателей «Качество электронной среды обучения» для двух групп, непосредственно обучающихся с помощью электронной среды (студенты 2 группы и взрослые обучающиеся 3 группы).

Таблица 2. Результаты эксперимента по блоку 2 показателей «Качество электронной среды обучения»

Анализируя полученные данные, можно сделать вывод о высоком уровне оценивания качества электронной среды обучения обучающимися, которые практически полностью удовлетворены процессом обучения в ЭСО НГТУ Dispace 2.0. Как студенты, так и персонал предприятий одинаково высоко оценили удобство и простоту интерфейса, простоту установления связи с участниками учебного процесса – как с преподавателями, так и с тьюторской и технической поддержкой.

Наибольший разброс мнений наблюдался при оценке работы в системе тестирования, скорее всего этот инструмент электронной среды показался обучающимся чуть более сложным в использовании, но, тем не менее, общие оценки – на уровне «практической удовлетворенности».

Таким образом, хотя для проведения самоанализа педагогической деятельности можно использовать различные методы мониторинга: наблюдение, swot-анализ, опрос, автором выявлено, что эффективным методом оценки качества обучения с электронной поддержкой является метод анкетирования, который позволяет оценить качество условий, процесса и результатов своей деятельности. Согласно проведенному эксперименту, можно сделать следующие выводы.

Выводы:

• для проведения самооценки e-Learning процесса в образовательной организации вполне применим процессный подход, выявляющий сильные стороны процесса и область, подлежащую улучшению;
• метод анкетирования прекрасно зарекомендовал себя в проведении оценки и самооценки качества процесса обучения в электронной среде;
• уровень удовлетворенности обучающихся качеством электронной среды обучения НГТУ и размещенных в ней электронных ресурсов достаточно высок, что позволяет организовать обучение как студентов, так и сотрудников предприятий в удаленном доступе;
• существует необходимость доработки и дополнения ЭОР по программам ДПО направления обучения «пожарная безопасность» современными технологиями вовлекающего обучения.

Литература

1. Самойлов В.А., Семкина Т.А. UNIQUE – Ев- ропейский знак качества в e-Learning // Высшее об- разование в России. 2008. № 11. С. 50–56.

2. Рубин Ю.Б., Соболева Э.Ю. Управление качеством электронного обучения на основе евро- пейских стандартов // Высшее образование в Рос- сии. 2010. № 12 – С. 74-83.

3. Watson P., 2000. Applying the European Fo￾undation for Quality Management (EFQM) Model// Gornal of the Association of Building Engineers. – V.75(4) – рр.18-20.

4. Леган М.В., Яцевич Т.А. Комбинирован- ная модель обучения студентов на базе системы дистанционного обучения// Высшее образование в России», № 4, 2014, С. 136-141.

5. Приказ МЧС РФ от 12 декабря 2007 г. № 645 «Об утверждении Норм пожарной безопасности «Обучение мерам пожарной безопасности работ- ников организаций».

Конечно, успешность электронного и дистанционного обучения зависит не только от программной платформы. Однако ее верный выбор является одним из основополагающих факторов. Например, низкая характеристика usability (концепция разработки пользовательских интерфейсов программного обеспечения, ориентированная на максимальное психологическое и эстетическое удобство для пользователя) может привести к полному провалу процесса внедрения электронного обучения в вузе.

Наиболее часто встречающиеся проблемы, с которыми сталкиваются пользователи систем e-learning.

1. Недружественный интерфейс (низкий уровень usability).
2. Не поддерживаются специфические, свойственные вузам России, бизнес-процессы. Например, групповое обучение по заданному учебному плану, разбитому на семестры, а также взаимодействие деканатов, кафедр и администрации вуза.
3. Сложность или невозможность интеграции систем ЭО с существующими в вузе корпоративными системами.
4. Многообразие задач, которые может решать система ЭО, порождает всевозможные варианты реализации таких систем. Вследствие этого практикуется модульность либо использование одновременно нескольких систем, которые реализуют полный набор необходимых функций. Однако при этом возникает вопрос совместимости систем/модулей электронного обучения между собой.
5. При использовании в рамках одного вуза нескольких программных систем ЭО или реализации проектов, которые предполагают обмен и/или объединение электронных ресурсов, возникает проблема организации единого доступа к электронным ресурсам. Частично ее решают путем выбора системы, поддерживающей широко распространенный стандарт. Однако в настоящее время стандарты являются только общим направлением для достижения совместимости, поэтому если учебный курс соответствует стандарту SCORM, то это не значит, что он автоматически может быть использован в другой системе ЭО, использующей SCORM.
6. Характерная, к сожалению, для всех программных продуктов высокая скорость устаревания и постоянное изменение требований пользователей к системе требует высокой степени настраиваемости (гибкости) программной платформы ЭО.
7. Ограниченность доступа к системе. Переход систем ЭО на web-платформу решило множество проблем по облегчению доступа. Теперь студентам и преподавателям достаточно иметь выход в Интернет и браузер для доступа к системе, однако в озникает д ругая сторона проблемы: например, некоторые технологии требуют установки дополнительных плагинов в браузеры, что не всегда возможно.

Для вуза возможны следующие варианты реализации программной платформы электронной среды обучения:

• использовать готовые решения;
• использовать и разрабатывать собственные программные решения;
• интегрировать в собственную систему готовые (чужие) решения;
• аутсорсинг.

В НГТУ в Институте дистанционного обучения (ИДО) уже более 10 лет ведутся проекты по разработке систем ЭО. Системы сменяли разработчиков и друг друга, в результате на сегодня в университете успешно используется семейство продуктов, получившее название DiSpace. Оно предназначено для поддержки электронного обучения, как на уровне преподавания отдельных дисциплин, так и на уровне планирования и организации учебного процесса.

Все программные продукты семейства DiSpace (рис. 1) являются веб-ориентированными приложениями. Они могут использоваться как независимо друг от друга, так и совместно. В НГТУ системы DiSpace частично интегрированы с информационной системой университета.

Рис. 1. Семейство программных продуктов DiSpace (ИДО НГТУ)

Система DiDesk (http://courses.edu.nstu.ru/) позволяет легко создавать сетевые версии электронных курсов. Процесс создания курса значительно ускоряется, если у преподавателя уже имеются материалы в электронном виде (например, в формате документов MS Word, презентаций MS PowerPoint и других файлов). Студенты получают возможность удаленного доступа к материалам курса, а также возможность скачивания файлов. В настоящее время в системе создано более 1000 электронных курсов (рис. 2).

Система управления учебным процессом DiClass (http://diclass.edu.nstu.ru/) была разработана для поддержки комбинированной формы обучения (заочной с применением дистанционных технологий). В системе DiClass преподавателям и студентам доступны лента новостей, журнал успеваемости, семинары и консультации, возможность получения и отправки контрольных работ и личных сообщений. Для тьюторов (менеджеров учебного процесса) предусмотрены возможности управления рабочими учебными планами, управления учебными группами, мониторинга учебного процесса.

Рис. 2. Количество электронных курсов в системе DiDesk

Система удаленного тестирования DiTest.v2 (http://ditest.edu.nstu.ru/) [2] предоставляет преподавателям возможность создания и редактирования тестов, а также проведения тестирования в удаленном режиме. За прошедший учебный год DiTest.v2 приобрела еще большую аудиторию пользователей. На конец 2008-го года количество преподавателей, использовавших систему тестирования, составляло 64 человека, общее количество заданий 12532, количество студентов, прошедших тестирование, 1736 человек. По данным на конец декабря 2010 года количество преподавателей, активно использующих систему тестирования, составляет 133 человека (увеличение примерно в 2 раза), количество заданий 22521 (увеличение примерно в 2 раза), количество студентов, прошедших тестирование, 15896 (увеличение более чем в 9 раз). Столь стремительное увеличение количества пользователей было бы невозможным без двух основных факторов развития: 1) проведение политики внедрения тестовых технологий в учебный процесс вуза; 2) значительное улучшение программной оболочки и качества технической поддержки.

Рис. 3. Система управления учебным процессом DiClass

Телекоммуникационная система Editoria (http://editoria.edu.nstu.ru/) – это «электронная аудитория» для проведения консультаций и занятий с удаленными студентами в режиме он-лайн, она позволяет проводить видеоконференцию с четырьмя точками одновременно.

В НГТУ по результатам опроса пользователи DiSpace (преподаватели, студенты, тьюторы и менеджеры) оценивают систему в целом положительно, отмечают ее простоту в использовании и достаточную функциональность. С точки зрения управления, реализованная прозрачность учебного процесса в системе позволяет отслеживать и устранять его организационные и методические недочеты.

Накопив достаточный опыт разработки собственных программных решений, в ИДО НГТУ было принято решение начать разработку единой системы, которая обладала бы возможностями всех существующих на текущий момент продуктов в институте (эти продукты перестанут быть самостоятельными единицами и станут модулями одной системы).

Основным отличием новой системы станет использование рабочих пространств (РП). Рабочие пространства – это группирующие множества, все пользователи которых наделены определенными ролями. Роли, рабочие пространства, их полномочия устанавливаются администраторами один раз и однозначно определяют права всех подключенных пользователей системы. Каждому РП на уровне ядра можно подключить доступные ему модули – например, DiClass, DiDesk, работу с Ядром и прочее (сам набор модулей можно расширять).

Рабочие пространства нужны для того, чтобы естественным образом разграничить доступ к информации системы. Например, пользователь, относящийся к заочному обучению, автоматически будет иметь доступ к студентам (если это преподаватель) или курсам, отнесенным только к заочному обучению.

Новая система обеспечит качественно новый уровень сопровождения процесса электронного обучения. Концепция рабочих пространств позволяет выйти на рынок услуг аутсорсинга, который становится все более привлекательным для вузов. Это особенно актуально для учебных заведений, которые только сейчас делают первые шаги в развитии инфраструктуры ЭО и не имеют достаточно квалифицированного персонала для поддержки и развития программной платформы собственными силами. Им будет предложено размещение курсов на сервере ИДО и проведение обучения в программной среде DiSpace.

В этом случае снизятся затраты на первоначальное внедрение системы elearning, а также ее поддержку и развитие.

 

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

 

1. Standish Newsroom – CHAOS 2009 [Электронный ресурс] / The Standish Group International, Inc. – Boston, Massachusetts, April 23 – Режим доступа: http://www.standishgroup.com, свободный.
2. Автоматизированная система удаленного тестирования «DiTest v.2» : Свидетельство об отраслевой регистрации разработки № 10742 / М. Э. Ильин, В. И. Гужов, Д. Д. Бочаров, Е. А. Зима, В. М. Козлов, Д. В. Емелин // Инновации в науке и образовании. − 2008. № 6(41). − С. 3.