Блок 1.Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании.

Блок 2.Знание традиционных методов контроля качества.

Блок 3.Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества.

Блок 4.Деятельность ОО в области менеджмента, мониторинга и контроля.

Обработка результатов эксперимента проводилась по каждому показателю анкеты. Инструментом сравнения значений показателей анкеты, полученных до и после обучения, для выявления значимости или незначимости проявившихся в результате повышения квалификации изменений послужил аппарат статистической проверки гипотез.

По первому блоку анкеты статистическая обработка результатов эксперимента группы до повышения квалификации показала, что большинство респондентов отмечают, что знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании. В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании. Ещё ниже показатель, отражающий осведомленность респондентов о состоянии, тенденциях и моделях в области менеджмента качества в Европе и мире.

Результаты анкетирования после обучения показывают, что показатели значительно выросли, в общем случае можно сделать вывод, что у преподавателей сформированы компетенции на уровне общих представлений, большей ориентированности в вопросах менеджмента качества.

По второму блоку анкеты большинство преподавателей дали высокие оценки. Каждый преподаватель в основном владеет методами контроля качества результатов обучения. В своей практике они широко используют методы входного, промежуточного и итогового контроля достижений обучающихся, умеют разрабатывать и используют при оценке достижений обучающихся тесты и комплексные задания. Ниже показатель, характеризующий знание методов контроля и оценивания качества ресурсов (условий) учебного процесса, и еще ниже отмечается знание методов мониторинга и контроля качества процессов в образовательной организации.

Результаты после обучения показывают, что показатели выросли значимо, это свидетельствует, что преподаватели признают значительный рост компетенций. Показатели данного блока определяют уровень сформированных компетенций, позволяющих преподавателям расширить круг инструментов для проведения мониторинга и управления качеством в своей деятельности. Традиционно преподаватели хорошо владеют методами контроля достижений обучающихся. Однако в современном менеджменте качества используется множество простых, понятных и опробованных на практике, но использованных в основном в производстве продукции и предоставлении услуг, методов. Очень важно, что существуют методы контроля процессов и условий (ресурсов), которые практически не используются в образовании. Перенос этих методов, и особенно методов мониторинга процессов, в профессиональное образование практически не осуществлялся. Некоторую проблему у обучающихся вызвали статистические методы контроля качества с точки зрения необходимости их применения для математической обработки данных и интерпретации полученных результатов. В дискуссиях и свободных высказываниях обучающиеся выразили тревогу, что математических знаний у них недостаточно. Но владение компьютером несколько смягчает ситуацию. Необходимость использования в практическом обучении компьютера, с одной стороны, делает проблему статистической обработки результатов мониторинга менее острой, а с другой стороны, приводит преподавателей к осознанию необходимости компетенций в области информационных технологий.

По третьему блоку анкеты большинство респондентов дали очень низкие оценки, что свидетельствует о том, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе. Так же слабо знакомы с методиками анализа выявленных несоответствий и практически не могут планировать и организовывать работу по устранению выявленных несоответствий и совершенствованию процессов.

После повышения квалификации большинство респондентов по третьему блоку анкеты дали ровные и высокие оценки по всем показателям. Это свидетельствует о том, что преподаватели приобрели навыки выявления несоответствий и последующей работы с ними. Очень важный результат, отраженный в показателях данного блока, это появление новых компетенций, связанных с решением вопросов планирования и проектирования работ по мониторингу некоторого объекта исследования. Важно, что обучающиеся понимают, как это необходимо делать, умеют разрабатывать методики мониторинга для конкретного объекта и предмета мониторинга, используя формат методики, разрабатывать измерительный материал для проведения контроля качества, выявлять проблемные точки в анализируемом процессе, результате, ресурсе, выбирать адекватные методы обработки информации, обрабатывать и интерпретировать полученные результаты.

Четвёртый блок анкеты отражает не уровень компетенций испытуемого, а уровень работ ОО и вовлеченность в эти работы основного персонала. Показатели данного блока важны, т. к. отражают отношение преподавателей к работам ОО в области менеджмента качества, информированность об этих работах и уровень их содержательного участия.

Результаты эксперимента до обучения показали следующее. По первому показателю блока большинство респондентов дали очень низкие оценки. Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК ОО, либо с тем, что основной персонал ОО не вовлечен в эти работы и не информирован об их значимости. Другой возможной причиной низких показателей блока 4 может быть отсутствие в проектируемой СМК ядра, связанного с практическим содержательным мониторингом качества основных процессов, результатов и ресурсов образовательного процесса. Именно в этой части работ должны принимать активное участие преподаватели и АУП образовательной организации, от которых зависят результаты деятельности и через которых проявляется вовлеченность основного персонала в процессы менеджмента качества.

После обучения показатели блока 4 анкеты изменились, но не значимо: персонал ОО, как правило, не вовлечен в процессы менеджмента качества.

Если сравнивать результаты до обучения и после, то изменения не значимы, этого и исследовало ожидать, т.к. повышение квалификации не должно было отразиться на мнении респондентов о работах ОО в области менеджмента качества, вовлеченности персонала в эти процессы и информированности академического сообщества о процессах в области менеджмента качества. Незначительное увеличение показателей можно предположительно связать со следующим. После повышения квалификации обучающиеся стали более квалифицированными для адекватной оценки работ ОО в области менеджмента качества, возможно, сформировалось более осознанное отношение к деятельности руководства в данном направлении и т.д. Тем не менее, данные изменения можно считать случайными и не отражающими значимых системных изменений.

Проведенный эксперимент подтвердил, что разработанная программа повышения квалификации формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и контроля качества в профессиональном образовании.

На основе проведенного эксперимента можно сделать вывод, что разработанная авторская программа повышения квалификации «Практический мониторинг и оценивание качества в профессиональном образовании», методика и технология организации учебного процесса приводят к устойчивому формированию и развитию компетенций преподавателей и АУП профессионального образования в области мониторинга, оценивания и управления качеством. В этом смысле можно считать, что программа повышения квалификации эффективна.

Прежде чем приступить к описанию эксперимента, определим содержание понятия «эффективность» процесса повышения квалификации, которая основывается на следующих двух показателях.

1. Первый показатель эффективности – значимое повышение (в смысле среднего значения, математического ожидания) формализованных показателей, полученных в результате самооценки обучающимися результатов обучения:
   • осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании;
   • знание традиционных методов контроля качества;
   • использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества.
2. Эффективность разработанной системы повышения квалификации преподавателей подтверждается также следующими показателями:
   • в результате повышения квалификации ППС и АУП отмечается значимая сформированность системы компетенций в области мониторинга, оценивания и менеджмента качества;
   • обучающиеся осознают важность новых компетенций, связанных с экспертно-аналитическими функциями, и именно, с исполнением функций практического мониторинга, оценивания и управления качеством в своей профессиональной деятельности и для управления деятельностью ОО;
   • отмечается высокая удовлетворенность преподавателей процессом и результатами повышения квалификации с целью приобретения новых профессиональных компетенций;
   • меняются ценностные установки ППС и АУП, прошедших повышение квалификации, относительно экспертно-аналитической составляющей своей деятельности и происходит осознание затруднений, связанных с процессами выявления и анализа проблем и поиска решений для их устранения.

Планирование и проведение эксперимента осуществлялось в соответствии с разработанной инвариантной методикой мониторинга, анализа и оценивания качества. В качестве измерительного инструмента была разработана анкета. Опрос обучающихся по программе ПК проводился на первом вводном занятии до повышения квалификации и на последнем занятии после защиты выпускной работы. В качестве показателей для оценки уровня компетенций обучающихся до и после повышения квалификации выбраны следующие блоки показателей анкеты.

Блок 1. Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании. Первый блок вопросов анкеты позволяет выявить уровень общей ознакомленности анкетируемых с понятиями менеджмента, мониторинга и оценивания качества в целом и в приложении к российскому и международному образованию; с состоянием, тенденциями и моделями менеджмента качества в данной области в России, Европе и мире.

Блок 2. Знание традиционных методов контроля качества. Второй блок вопросов анкеты ориентирован на определение уровня компетенций испытуемого по владению методами мониторинга, оценивания и контроля качества результатов, ресурсов (условий) и процессов обучения; на самооценку умений разрабатывать материалы для оценки качества результатов, ресурсов и процессов в образовании.

Блок 3. Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества. Третий блок вопросов определяет общий уровень компетенций анкетируемых по выявлению и анализу несоответствий (проблем, недостатков) в образовательном процессе; по обработке, анализу и интерпретации полученных результатов, формированию выводов и рекомендаций для устранения несоответствий и совершенствованию процессов; в вопросах планирования и организации работы по выявлению, анализу и устранению выявленных несоответствий.

Блок 4. Деятельность ОО в области менеджмента, мониторинга и контроля. Четвёртый блок вопросов анкеты позволяет установить общий уровень работ образовательных учреждений в области создания СМК, вовлеченности персонала в процессы менеджмента качества, использование информационной и рекламно-просветительской поддержки процессов создания СМК образовательного учреждения.

Обработка результатов эксперимента проводилась по каждому показателю анкеты. При этом рассчитывались математическое ожидание и среднеквадратическое отклонение по каждому показателю отдельно и в целом по блокам. Для анализа и формирования содержательных выводов сравнивались показатели, полученные для конкретной экспериментальной группы, до и после обучения.

Инструментом сравнения значений показателей анкеты, полученных до и после обучения, для выявления значимости или незначимости проявившихся в результате повышения квалификации изменений послужил аппарат статистической проверки гипотез.

По первому блоку анкеты «Осведомленность в вопросах менеджмента, мониторинга и оценки качества в российском и международном образовании» статистическая обработка результатов эксперимента группы до повышения квалификации показывает, что по первому показателю блока анкеты большинство респондентов отмечают, что знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании. В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании. Ещё ниже показатель, отражающий осведомленность респондентов о состоянии, тенденциях и моделях в области менеджмента качества в Европе и мире.

Результаты анкетирования после обучения показывают, что показатели значительно выросли, в общем случае можно сделать вывод, что у преподавателей сформированы компетенции на уровне общих представлений, большей ориентированности в вопросах менеджмента качества. Данной теме в программе курса было посвящено всего одно занятие с небольшой практической работой по документированию некоторого выбранного самостоятельно командой микропроекта процесса. Однако результаты свидетельствуют, что полученные на занятии теоретические сведения и некоторые практические навыки, подкрепленные далее большой практической работой по планированию и проведению мониторинга конкретного выбранного самостоятельно объекта и предмета мониторинга, формируют в результате устойчивые компетенции. Обучающиеся начинают грамотно использовать терминологию, активно участвовать в дискуссиях по проблемам менеджмента качества, ставить и решать вопросы практического мониторинга.

По второму блоку анкеты «Знание традиционных методов контроля качества» большинство преподавателей дали высокие оценки. Каждый преподаватель в основном владеет методами контроля качества результатов обучения. В своей практике они широко используют методы входного, промежуточного и итогового контроля достижений обучающихся, умеют разрабатывать и используют при оценке достижений обучающихся тесты и комплексные задания. Ниже показатель, характеризующий знание методов контроля и оценивания качества ресурсов (условий) учебного процесса, и еще ниже отмечается знание методов мониторинга и контроля качества процессов в образовательной организации. Полученные до обучения результаты анкетирования свидетельствуют об отсутствии у ППС и АУП компетенций в области практического мониторинга, оценивания и управления на основе качества не только результатами, но также условиями и процессами. Исключение составляют методы промежуточного и итогового контроля достижений обучающихся, как формы мониторинга, которая традиционно используется в образовании.

Результаты после обучения показывают, что показатели выросли значимо, это свидетельствует, что преподаватели признают значительный рост компетенций. Показатели данного блока определяют уровень сформированных компетенций, позволяющих преподавателям расширить круг инструментов для проведения мониторинга и управления качеством в своей деятельности. Традиционно преподаватели хорошо владеют методами контроля достижений обучающихся. Однако в современном менеджменте качества используется множество простых, понятных и опробованных на практике, но использованных в основном в производстве продукции и предоставлении услуг, методов. Очень важно, что существуют методы контроля процессов и условий (ресурсов), которые практически не используются в образовании. Перенос этих методов, и особенно методов мониторинга процессов, в профессиональное образование практически не осуществлялся. В дискуссиях, которые проходили в группе в процессе обучения, обучающиеся критически отнеслись к возможности и необходимости использования новых методов в своей деятельности. Когда же в процессе обучения преподаватели ознакомились с методами, и каждая группа микропроекта вынуждена была выбрать 2-3 новых метода для проведения мониторинга, то после практической их апробации у преподавателей изменилось мнение по данному вопросу. Некоторую проблему у обучающихся вызвали статистические методы контроля качества с точки зрения необходимости их применения для математической обработки данных и интерпретации полученных результатов. В дискуссиях и свободных высказываниях обучающиеся выражают тревогу, что математических знаний у них недостаточно. И действительно, временные ограничения курса не позволяют уделить больше внимания вопросам простейшей статистической обработки данных и снять тревогу по данному вопросу. Но владение компьютером несколько смягчает ситуацию. Необходимость использования в практическом обучении компьютера, с одной стороны, делает проблему статистической обработки результатов мониторинга менее острой, а с другой стороны, приводит преподавателей к осознанию необходимости компетенций в области информационных технологий.

По третьему блоку анкеты «Использование в собственной деятельности процессов менеджмента, мониторинга и контроля качества» большинство респондентов дали очень низкие оценки, что свидетельствует о том, что ППС и АУП практически не знакомы с методиками выявления несоответствий в образовательном процессе. Так же слабо знакомы с методиками анализа выявленных несоответствий и практически не могут планировать и организовывать работу по устранению выявленных несоответствий и совершенствованию процессов.

После повышения квалификации большинство респондентов по третьему блоку анкеты дали ровные и высокие оценки по всем показателям. Это свидетельствует о том, что после практического обучения преподаватели приобрели навыки выявления несоответствий и последующей работы с несоответствиями. Очень важный результат, отраженный в показателях данного блока, это появление новых компетенций, связанных с решением вопросов планирования и проектирования работ по мониторингу некоторого объекта исследования. Важно, что обучающиеся понимают, как это необходимо делать, умеют разрабатывать методики мониторинга для конкретного объекта и предмета мониторинга, используя формат методики, разрабатывать измерительный материал для проведения контроля качества, выявлять проблемные точки в анализируемом процессе, результате, ресурсе, выбирать адекватные методы обработки информации, обрабатывать и интерпретировать полученные результаты. Проектная технология обучения позволила обучающимся, объединенных в рабочие группы, исполняющие микропроект, пройти через все этапы комплексного мониторинга, оценивания и контроля качества: от выбора объекта и предмета мониторинга до формирования рекомендаций по устранению выявленных проблем, несоответствий, недостатков.

Четвёртый блок анкеты «Деятельность ОО в области менеджмента, мониторинга и контроля» отражает не уровень компетенций испытуемого, а уровень работ ОО и вовлеченность в эти работы основного персонала. Показатели данного блока важны, т. к. отражают отношение преподавателей к работам ОО в области менеджмента качества, информированность об этих работах и уровень их содержательного участия.

Результаты эксперимента до обучения показали следующее. По первому показателю блока большинство респондентов дали очень низкие оценки. Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК ОО, либо с тем, что основной персонал ОО не вовлечен в эти работы и не информирован об их значимости. Некоторые ОО для разработки и сертификации СМК приглашают специалистов в этой области со стороны, в лучшем случае создают группу менеджмента качества и совсем редко в содержательных работах по созданию СМК принимают участие преподаватели и АУП ОО. Другой возможной причиной низких показателей блока 4 может быть отсутствие в проектируемой СМК ядра, связанного с практическим содержательным мониторингом качества основных процессов, результатов и ресурсов образовательного процесса. Именно в этой части работ должны принимать активное участие преподаватели и АУП образовательной организации, от которых зависят результаты деятельности и через которых проявляется вовлеченность основного персонала в процессы менеджмента качества.

После обучения показатели блока 4 анкеты изменились, но незначимо: персонал ОО, как правило, не вовлечен в процессы менеджмента качества.

Если сравнивать результаты до обучения и после, то изменения незначимы, этого и исследовало ожидать, т.к. повышение квалификации не должно было отразиться на мнении респондентов о работах ОО в области менеджмента качества, вовлеченности персонала в эти процессы и информированности академического сообщества о процессах в области менеджмента качества. Незначительное увеличение показателей можно предположительно связать со следующим. После повышения квалификации обучающиеся стали более квалифицированными для адекватной оценки работ ОО в области менеджмента качества, возможно, сформировалось более осознанное отношение к деятельности руководства в данном направлении и т.д. Тем не менее, данные изменения можно считать случайными и не отражающими значимых системных изменений.

Проведенный эксперимент подтвердил, что разработанная программа повышения квалификации формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и контроля качества в профессиональном образовании.

На основе проведенного эксперимента можно сделать вывод, что разработанная авторская программа повышения квалификации «Практический мониторинг и оценивание качества в профессиональном образовании», методика и технология организации учебного процесса приводят к устойчивому формированию и развитию компетенций преподавателей и АУП профессионального образования в области мониторинга, оценивания и управления качеством. В этом смысле можно считать, что программа повышения квалификации эффективна.

Можно с достаточной степенью уверенности предположить, что большинство такого рода программных систем, разработанных для использования в корпоративном обучении, в центрах дополнительного профессионального образования, не всегда пригодны для целей общего, начального, среднего и высшего профессионального образования. Здесь, пожалуй, более востребованными являются разработки, выполненные в университетах, тем более что зачастую они распространяются в режиме OpenSource.

В сфере виртуальных сред обучения современные тенденции их применения обусловливают ряд принципов их организации и функционирования, как то:

• модульность;
• низкие системные требования как к клиенту, так и к серверу;
• кроссплатформенность программных систем обучения;
• ориентированность на малоподготовленного пользователя;
• Интеграция профессионального и общего образования на основе e-Learning
• минимальный набор функций, основными из которых являются:
• размещение учебных материалов различных типов;
• размещение заданий;
• контроль/слежение за процессом обучения;
• возможности студентов объединяться в группы и планировать ресурсы для решения поставленных задач;
• общение участников процесса обучения в синхронном и асинхронном режимах;
• интерфейсы взаимодействия преподавателя со студентами и студентов друг с другом.

Понятно, что построенные по таким принципам программные системы могут быть использованы и в электронном корпоративном обучении, но в первую очередь они ориентированы на использование в вузах, учебных заведениях начального и среднего образования, в школах. Подобные системы должны быть недорогими при их закупке, установке и сопровождении, простыми в установке и настройке, иметь «предельно » дружественный интерфейс, доступный для слабо подготовленных пользователей.

В связи с этим видится необходимым добавить в ряд принципов организации и функционирования виртуальных сред обучения принцип адаптивности для различных целевых групп, например для общеобразовательной школы и вуза. Этот принцип реализуется при разработке таких систем электронного обучения, которые позволили бы решать широкий круг задач за счет своей адаптивности к конкретным функциональным уровням, необходимым учебной организации.

Один из вариантов достижения адаптивности подобных систем — использование интерфейсов, предназначенных для работы конкретной целевой группы и позволяющих отфильтровать ненужный функционал и сосредоточиться на задачах конкретной целевой группы.

Другой вариант достижения адаптивности — использование ядерной структуры систем с дополнительным предметно-ориентированным функционалом (рис. 1). Это позволяет оптимизировать ресурсы за счет использования общей части систем — ядра.

В качестве примера реализации такой структуры можно привести разработанную в ИДО Новосибирского государственного технического университета систему разработки и доставки электронных учебных курсов DiDesk. В настоящее время от существующих аналогов ее выгодно отличают:

• модульность;
• возможность интеграции в электронные системы обучения других учебных заведений независимо от их уровня;
• низкие системные требования как к клиенту, так и к серверу;
• простота в применении;
• удобный пользовательский интерфейс, ориентированный на «малоподготовленного» пользователя.

Благодаря двум разным предметно-ориентированным функционалам эта система применяется сегодня для обучения студентов НГТУ очной и заочной форм обучения, комбинированной формы обучения, для Центра дистанционного довузовского образования НГТУ, поствузовского дополнительного образования. Будучи web-ориентированной, система находится в постоянном развитии: постепенно меняются технологии, появляются новые сервисы, добавляются возможности для работы преподавателей и т.д.

Различные организационные модели дистанционного обучения на платформе е-Learning в вузах могут быть в какой-то степени тиражированы в общем образовании. Комбинированная форма (КФ) обучения, которая реализуется в НГТУ, открыла новые возможности для обучения разнообразных целевых групп как внутри университета, так и за его пределами.

Как показывает опыт, для успешного обучения по комбинированной форме требуется высокая степень мотивации. Учащиеся общеобразовательных заведений являются одной из таких целевых групп, поскольку заинтересованы пройти обучение на подготовительных курсах именно в том вузе, куда планируется поступление, и в этом случае географическая удаленность не является препятствием, поскольку электронное обучение предоставляет практически равные условия для абитуриентов, а также способствует повышению уровня их подготовки.

Дистанционная составляющая обучения по КФ осуществляется с помощью образовательного портала ИДО НГТУ (http://edu.nstu.ru) и позволяет организовывать регистрацию, предварительное вступительное тестирование, удаленное сопровождение учебного процесса в течение семестра, реализовать сочетание очных и дистанционных сессий.

Организация учебного процесса по КФ обучения имеет ряд особенностей: во-первых, это разработка учебного плана, учитывающего специфику обучения (сохранение очной зимней сессии); во-вторых, это создание, наполнение и работа в электронной обучающей среде. В этом случае перед преподавателем стоит целый ряд задач, с которыми он в своей повседневной практике, скорее всего, еще не сталкивался: это подготовка комплектов электронных учебно-методических материалов по дисциплинам, размещение их в системе обучающего портала ИДО НГТУ, а также работа в электронной учебной среде в режиме консультаций (on-line и/или off-line), семинаров (форумов), тестирования.

На базе портала функционирует целый ряд модулей различного назначения, благодаря которым и создается виртуальная среда обучения, ядром которой является система управления курсами DiDesk, позволяющая размещать готовые учебно-методические материалы, формировать электронные УМК и делать их доступными.

Созданная в НГТУ технологическая платформа комбинированной формы обучения применяется также для послевузовского дополнительного образовании, что позволяет работающему человеку пройти переподготовку, специализацию, обучение профилю должности, обучение под проект, обучение для карьерного роста без отрыва от работы, дома. Причем комбинированная форма обучения позволяет предоставить постоянный доступ к учебным материалам, консультационную связь в различных режимах с преподавателями, кураторами; обучение может проходить в гибкой форме в удобное время: дома, на работе, в пути. Среди основных факторов, влияющих на качество обучения по КФ, являются следующие: мотивация к обучению, образовательные ресурсы, преподаватель, телекоммуникационные связи, учебные материалы {рис. 2).

На базе созданной в ИДО НГТУ технологической платформы развиваются три основные модели: комбинированное обучение по программам высшего и второго высшего образования, довузовская дистанционная подготовка, а также дистанционное дополнительное профессиональное образование [1] (рис. 3).

Помимо виртуальной среды обучения в НГТУ в соответствии с указанным выше принципом адаптивности для разных целевых групп разрабатывается и система мониторинга информатизации и качества образования.

Пилотная версия системы позволила провести мониторинг и оценку влияния обеспечения доступа сельских школ к телекоммуникационным ресурсам на ключевые индикаторы качества образования (на примере регионов Сибирского федерального округа). Основные группы показателей, по которым проводился мониторинг, следующие: общая характеристика школы, способ подключения к Интернету, стоимость оплаты трафика, техническая поддержка связи с Интернетом, обеспеченность электронными ресурсами, компетенции преподавателей в информационно-коммуникационных технологиях, повышение квалификации, характеристика качества результатов обучения в школе [2].

Предположив в качестве основных принципов мониторинга его непрерывность, достоверность и полноту собираемых данных, оперативность представления результатов и невысокие затраты на реализацию и проведение мониторинга, мы сформулировали ряд требований к программной системе мониторинга качества и информатизации образования. А именно:

• распределенный характер сбора и хранения данных;
• возможность реализации различных методик мониторинга;
• адаптивность для решения широкого круга задач;
• хранение данных за длительный промежуток времени;
• высокая скорость работы и защищенность информации;
• низкая стоимость используемого программного обеспечения и внедрения.

Структура системы мониторинга проектировалась на основании идеи ярусного сбора данных, предполагающего сбор данных нижними ярусами системы, генерирование сводной информации и объединение с данными текущего яруса. Так, например, из собранных данных о школах района генерируются сводные. Затем они дополняются собственными данными района, и так далее. На основании этой схемы возможен мониторинг и на уровне федерального округа. В этом случае в каждом субъекте Федерации устанавливается свой модуль системы. Идентичность структуры всех модулей обеспечивает их взаимодействие.

Благодаря усилиям вузов в решении проблемы интеграции профессионального и общего образования в ЕОИС школы и учебные заведения начального и среднего профессионального образования могут овладеть необходимым для обучения и работы инструментарием, который способствует повышению как квалификации преподавателей, так и качества обучения в целом, а создание программных систем на основе ядерной структуры и принципа адаптивности интенсифицирует процессы интеграции профессионального и общего образования в рамках единой образовательной информационной среды.

Литература

1. Андрюшкова О.В., Казанская О.В. Высшее образование и комбинированная форма дистанционного обучения // Открытое и дистанционное образование. — 2006. — № 4.
2. Казанская О.В., Паршукова Г.Б. Методика оценки уровня интеграции высшего профессионального и общего образования в единой образовательной информационной среде // Открытое и дистанционное образование. — 2006. — № 1.

• создание и поддержание процессов непрерывного совершенствования,
• обеспечение вовлеченности персонала и формирование в вузовском сообществе приверженности культуре качества.

Данные проблемы не разрешимы без создания системы комплексного мониторинга – простого и технологичного механизма, в котором найдется место для каждого участника процессов подготовки специалистов как управленца на собственном уровне. В данной статье представлен формат методики мониторинга и оценки качества различных компонентов системы подготовки специалистов в вузе, инвариантной к объектам мониторинга. Будем рассматривать мониторинг как внутреннюю процедуру вуза, проводимую либо специально подготовленными, наделенными полномочиями и ответственностью внутривузовскими экспертами по заранее разработанной и утвержденной программе, либо как самооценку – распространенный инструмент улучшения и управления процессами и результатами персональной деятельности участника образовательного процесса.

Мониторинг и оценивание качества услуги или продукции (УП) согласно [1-2] состоит из следующих этапов: мониторинг удовлетворенности разнообразных категорий потребителей; аудиты объектов мониторинга – компонентов образовательного процесса; обработка и анализ результатов мониторинга, подготовка отчетов и рекомендаций; информирование всех заинтересованных сторон и принимающих решение специалистов об обнаруженных в процессе мониторинга несоответствиях; разработка программ устранения несоответствий и формирование управляющих воздействий с целью исполнения этих программ и улучшения качества.

Здесь приведен формат инвариантной методики мониторинга, которым можно пользоваться независимо от объекта мониторинга, и который определяет логику мониторинга, его основную структуру. К формату необходимо относиться творчески, изменяя и развивая его в зависимости от целей, объектов и субъектов мониторинга. Любой участник образовательного процесса, не только эксперт по качеству, может воспользоваться данной методикой, модифицировать и использовать ее для самооценки, самоанализа и совершенствования собственной деятельности.

Будем исходить из того, что методика – это установленный способ осуществления некоторой деятельности [5]. Методика обычно включает в себя: цели и область деятельности; что должно быть сделано и кем; когда, где и как это должно быть осуществлено; какие материалы, документы и какое оборудование будет использовано, какие методы и инструменты обработки должны быть применены; каким образом результаты должны быть зарегистрированы и проконтролированы.

В ГОСТ Р ИСО 9001: 2001 [6] мониторингу и оцениванию качества посвящены разделы: «Процессы жизненного цикла УП» и «Измерение, анализ и улучшение». В них определяются: деятельность по мониторингу, оценке и испытаниям УП; необходимый мониторинг, измерения, устройства и средства; регламент мониторинга удовлетворенности потребителей, внутренних аудитов, самооценки; анализ данных и управления несоответствиями.

Уровень удовлетворенности измеряют, сопоставляя цели и показатели качества с ожиданиями заинтересованных сторон. Объектами мониторинга могут быть:

• качество нормативной базы, абитуриентов, персонала, ресурсов, административных систем, видов занятий, практик, методик преподавания и процессов обучения;
• системы технологической и информационной поддержки;
• условия работы и учёбы, безопасность и другое.

Важным аспектом является мониторинг процессов проектирования образовательной услуги. При этом проверяют и измеряют характеристики процессов: их непрерывность, соблюдение графика обучения, результативность и эффективность прочее. При этом не следует забывать об адекватности заинтересованным сторонам методов сбора и хранения данных. Мониторинг должен осуществляться в сроки, допускающие возможность введения улучшений, устранения выявленных проблем (несоответствий). В образовании как нигде важно уметь выявлять несоответствия в сроки, допускающие их своевременное устранение или исправление. Данные о результатах мониторинга должны быть доступны участникам соответствующих процессов – педагогическим дизайнерам, преподавателям, консультантам, менеджерам, экспертам по качеству, обучающимся и другим участникам процессов.

Методы измерений и мониторинга также определяются методиками, являются объектом планирования и обеспечиваются ресурсами, в частности квалифицированным персоналом. Сотрудники, отвечающие за процессы мониторинга, должны уметь не только планировать и проводить мониторинг и оценку качества, но и грамотно использовать его результаты. Все мероприятия по измерениям и мониторингу документируются, и это также должно быть частью методики мониторинга.

С точки зрения ГОСТ Р ИСО 9001: 2001 под несоответствиями понимают отклонение результатов функционирования системы управления качеством, характеристик УП от ожидаемых (запланированных, востребованных). Примерами несоответствий в образовании могут служить следующие: несоответствие основной образовательной программы (ООП) ГОСу; ресурсов – лицензионным требованиям; результатов деятельности – аккредитационным и аттестационным нормативам; несоответствие требованиям федеральной нормативной базы, например, к состоянию здоровья, мерам безопасности и другое. Методики управления несоответствиями должны содержать:

• перечни действий, обеспечивающих исправление несоответствий;
• списки сотрудников, обладающих соответствующей компетенцией, ответственностью, полномочиями и ресурсами для разрешения проблем;
• ответственных за доведение информации о несоответствиях до заинтересованных сторон;
• доклады руководству о возникших проблемах для последующего анализа.

Любой вуз для совершенствования качества своей деятельности должен собирать и использовать данные об ожиданиях и потребностях заинтересованных сторон; о соответствии образовательной УП ожиданиям и требованиям; о функционировании процессов, производящих УП. Информация должна собираться систематически с применением специальных методик и использоваться для оценки эффективности СМК сотрудниками вуза, отвечающими за процессы, и для корректировки процессов, методик, учебных материалов; а также высшим руководством для планирования и анализа, выявления областей деятельности, требующих совершенствования и др. Информация – это основа непрерывного совершенствования.

Корректирующие (КД) и предупреждающие действия (ПД) – составные части процесса повышения качества подготовки специалистов. Потребность в КД – основа для недопущения повторного их проявления. ПД связаны с анализом информации для выявления причин и предупреждения потенциально возможных несоответствий. Для проведения КД и ПД необходимы специальные методики, устанавливающие распределение полномочий и ответственности; методики, обеспечивающие анализ претензий заинтересованных сторон и несоответствий, выявленных при аудите. Для вуза или его подразделения особенно актуальным является определение действий, направленных на устранение причин возникновения потенциальных несоответствий и предупреждения их повторного появления.

Процедура формирования ПД определяет требования к установлению потенциальных несоответствий, выявлению причин их возникновения, оцениванию необходимости действий для предупреждения несоответствий; к определению и осуществлению ПД, анализу результативности предпринятых ПД. В качестве примеров ситуаций, требующих введения ПД в образовании могут служить следующие:

• выявление студентов, у которых могут возникнуть затруднения при обучении;
• студентов, которым угрожает невозможность успешного завершения курса обучения;
• студентов, у которых могут возникнуть проблемы с внесением платы за обучение;
• выявление потенциально опасных ситуаций и введение мер по охране здоровья и труда и другое.

В Новосибирском государственном техническом университете (НГТУ)

Методика мониторинга. Описание методики мониторинга, анализа и оценки качества подготовки специалистов в вузе приведено в виде некоторого формата с последовательностью этапов и их краткой характеристикой.

МЕТОДИКА мониторинга, анализа и оценки качества

___________________________________________________________________________

(наименование методики)

Наименование организации __________________________________________________

Наименование подразделения ________________________________________________

Примечания к таблице мониторинга.Цели и задачи методики исследования можно разделить на три основные подгруппы: оправдательные, поисковые, описательные [7]. Оправдательные цели и задачи призваны: подтвердить или опровергнуть потребительские требования; сравнить результаты данного исследования с оценками, полученными ранее, если имеет место корректировочный этап методики; на основании полученных результатов исследования сформировать рекомендации по улучшению качества исследуемого объекта, устранению несоответствия.

Поисковые цели и задачи направлены на изучение отношения потенциальных потребителей к проблеме качества услуги и отдельных этапов ее создания и предоставления; определение потребительских проблем, предпочтений, особенностей и факторов мотивации; изучение степени удовлетворённости целевой группы по отношению к решаемым проблемам.

Описательные цели и задачи должны помочь выяснить отношение целевой группы к проблеме качества процесса и уровень информированности о ней; исследовать мотивацию потенциальных потребителей процесса.

Объекты мониторинга. Объекты мониторинга тесно связаны с задачами, которые предстоит решить для достижения соответствующих конкретных целей. К объектам мониторинга в контексте качества учебного процесса можно отнести условия (ресурсы), процессы и результаты, их отдельные компоненты [8].

Целевые группы в области образования очень многообразны. Приведем лишь некоторые из них: сотрудники; студенты; работодатели; родители [1-2]. В частности в качестве особенностей целевых групп могут отмечаться социальные, социально-психологические и профессиональные характеристики, место работы, учебы, образование; половозрастная структура; территориальные особенности; распределение респондентов по сферам деятельности; различия в мировоззренческих взглядах и установках и т.д.

Методы мониторинга. Методы мониторинга очень разнообразны. Они зависят от объектов мониторинга и задач, которые решает мониторинг. Отметим, что в образовании могут найти применение как традиционные методы управления качеством (семь простых, семь новых и семь новейших методов), так и методы прикладного статистического анализа, экспертное оценивание и др.

Одним из наиболее распространённых на данном этапе методом исследования продолжает оставаться опрос респондентов [7, 9, 10]. При разработке метода сбора данных происходит переход от теоретического уровня исследовательской проблемы на уровень эмпирического описания и анализа. Это обеспечивает основу для проверки рабочих гипотез и получения нового теоретического знания. Опрос представляет собой вопросно-ответный метод сбора данных, при котором источником информации служат письменные или словесные сообщения респондентов. Однако в [11-12] показана эффективность применения других методов, ранее не применяемых при исследовании социальных систем.

Выводы. Настоящую методику предполагается использовать в системе повышения квалификации преподавателей и специалистов профессиональных образовательных учреждений разного уровня, а также в учебном процессе подготовки преподавателей по программе «Преподаватель высшей школя». Инвариантность методики делает ее легко адаптируемой под различные потребности образовательных учреждений, подразделений, субъектов, объектов мониторинга. На основе методики мониторинга и оценивания качества планируется разработка программы повышения «Мониторинг и оценивание качества в профессиональном образовании». Обучение по программе позволит специалистам образования освоить простейшие методы контроля качества, научиться применять их в практике на примере управления, например, собственным учебным курсом. Основной ожидаемый результат – вовлечение преподавателей и руководителей разного уровня в процессы управления качеством.

Список использованных источников

1. Никитина, Н. Ш. Мониторинг и оценка качества процессов оказания образовательных услуг в вузе / Н. Ш. Никитина, Н. В. Николаева // Университетское управление: практика и анализ. – 2007. – №3 (49). – С. 91-96.
2. Никитина, Н. Ш. Модель процессов производства и оказания услуг в образовании // Университетское управление: практика и анализ. – 2007. – №1 (47). – С. 62-68.
3. Никитина, Н. Ш. Системы менеджмента качества в образовании. Модель совершенного бизнеса в соответствии с международными стандартами ИСО серии 9000: 2000 / Н. Ш. Никитина // Проблемы высшего технического образования : межвуз. сб. науч. тр. / под общ. ред. А. С. Вострикова. – Новосибирск : Изд-во НГТУ, 2003. – Вып. 24: Программно-информационная поддержка систем управления качеством образования. – С. 10-15.
4. Никитина, Н. Ш. Словарь терминов в области менеджмента качества в применении к образовательной организации / Н. Ш. Никитина // Проблемы высшего технического образования : межвуз. сб. – Новосибирск : Изд-во НГТУ, 2003. – Вып. 24: Программно-информационная поддержка систем управления качеством образования. – С. 4-10.
5. Международный стандарт ИСО 8402: 1994 (E/F/R). Управление качеством и обеспечение качества. Словарь. ИСО. – 1994. – 34 с.
6. ГОСТ Р ИСО 9000: 2001. Системы менеджмента качества. Основные положения и словарь. – М. : ИПК «Изд-во стандартов», 2001. – 25 с.
7. Капитонов, Э. А. Социология XX века / Э. А. Капитонов. – Ростов/Д : Феникс, 1996. – 512 с.
8. Скок, Г. Б. Как спроектировать учебный процесс по курсу : учеб. пособие / Г. Б. Скок, Н. И. Лыгина. – Изд. второе, перераб. и доп. – М. : Пед. о-во России, 2003. – 96 с.
9. Харчева, В. Основы социологии : учебник для ссузов / В. Харчева. – М. : Логос, 1997. – 304 с. : ил.
10. Добреньков, В. И. Методы социологического исследования : учебник / В. И. Добреньков, А. И. Кравченко. – М. : ИНФА – М., 2004. – 768 с.
11. Гличев, А. В. Основы управления качеством продукции / А. В. Гличев. – 2-е изд., перераб. и доп. – М. : РИА «Стандарты и качество», 2001. – 424 с.
12. Брагин, Ю. В. Путь

• создание и поддержание процессов непрерывного совершенствования,
• обеспечение вовлеченности персонала и формирование в вузовском сообществе приверженности культуре качества.

Данные проблемы не разрешимы без создания системы комплексного мониторинга – простого и технологичного механизма, в котором найдется место для каждого участника процессов подготовки специалистов как управленца на собственном уровне. Мониторинг и оценивание качества услуги или продукции (УП) согласно [1-2] состоит из следующих этапов: мониторинг удовлетворенности разнообразных категорий потребителей; аудиты объектов мониторинга – компонентов образовательного процесса; обработка и анализ результатов мониторинга, подготовка отчетов и рекомендаций; информирование всех заинтересованных сторон и принимающих решение специалистов об обнаруженных в процессе мониторинга несоответствиях; разработка программ устранения несоответствий и формирование управляющих воздействий с целью исполнения этих программ и улучшения качества.

Будем исходить из того, что методика – это установленный способ осуществления некоторой деятельности [3]. Методика обычно включает в себя: цели и областьдеятельности; что должно быть сделано и кем; когда, гдеи как это должно быть осуществлено; какие материалы, документыи какое оборудование будет использовано, какие методы и инструментыобработки должны быть применены; каким образом результаты должны бытьзарегистрированы и проконтролированы.

Объектами мониторинга в образовании могут быть [4-5]:

• качество нормативной базы, абитуриентов, персонала, ресурсов, административных систем, видов занятий, практик, методик преподавания и процессов обучения;
• системы технологической и информационной поддержки;
• условия работы и учёбы, безопасность и др.

Важным аспектом при оценивании качества образования является мониторинг процессов проектирования образовательной услуги. При этом проверяют и измеряют характеристики процессов: их непрерывность, соблюдение графика обучения, результативность и эффективность и прочее. Не следует также забывать об адекватности заинтересованным сторонам методов сбора и хранения данных. Мониторинг должен осуществляться в сроки, допускающие возможность введения улучшений, устранения выявленных проблем (несоответствий). В образовании как нигде важно уметь выявлять несоответствия в сроки, допускающие их своевременное устранение или исправление. Данные о результатах мониторинга должны быть доступны участникам соответствующих процессов – педагогическим дизайнерам, преподавателям, консультантам, менеджерам, экспертам по качеству, обучающимся и другим участникам процессов [4-6].

Методы измерений и мониторинга также определяются методиками, являются объектом планирования и обеспечиваются ресурсами, в частности квалифицированным персоналом. Сотрудники, отвечающие за процессы мониторинга, должны уметь не только планировать и проводить мониторинг и оценку качества, но и грамотно использовать его результаты. Все мероприятия по измерениям и мониторингу документируются, и это также должно быть частью методики мониторинга.

С точки зрения ГОСТ Р ИСО 9001: 2001 под несоответствиями понимают отклонение результатов функционирования системы управления качеством, характеристик УП от ожидаемых (запланированных, востребованных). Примерами несоответствий в образовании могут служить следующие: несоответствие основной образовательной программы (ООП) ГОСу; ресурсов – лицензионным требованиям; результатов деятельности – аккредитационным и аттестационным нормативам; несоответствие, например, состояния здоровья, мер безопасности требованиям федеральной нормативной базы и другое. Разработанные в вузе методики управления несоответствиями должны содержать:

• перечни действий, обеспечивающих исправление несоответствий;
• списки сотрудников, обладающих соответствующей компетенцией, ответственностью, полномочиями и ресурсами для разрешения проблем, связанных с выявленными несоответствиями;
• ответственных исполнителей за доведение информации о несоответствиях до заинтересованных сторон;
• доклады руководству о возникших проблемах (несоответствиях) для последующего анализа.

Любой вуз для совершенствования качества своей деятельности должен собирать и использовать данные об ожиданиях и потребностях заинтересованных сторон; о соответствии образовательной УП ожиданиям и требованиям; о функционировании процессов, производящих УП. Информация должна собираться систематически с применением специальных методик и использоваться для оценки эффективности СМК сотрудниками вуза, отвечающими за процессы, и для корректирования процессов, методик, учебных материалов и пр.; а также высшим руководством для планирования и анализа, выявления областей деятельности, требующих совершенствования. Следовательно, информация – это основа непрерывного совершенствования.

Корректирующие (КД) и предупреждающие действия(ПД) – составные части процесса повышения качества подготовки специалистов. Потребность в КД – основа для недопущения повторного их проявления. ПД связаны с анализом информации для выявления причин и предупреждения потенциальновозможных несоответствий. Для проведения КД и ПД необходимы специальные методики, устанавливающие распределение полномочий и ответственности; методики, обеспечивающие анализ претензий заинтересованных сторон и несоответствий, выявленных при аудите. Для вуза или его подразделения особенно актуальным является определение действий, направленных на устранение причин возникновения потенциальных несоответствий и предупреждения их повторного появления.

В Новосибирском государственном техническом университете (НГТУ) разработана и используется в практическом мониторинге качества инвариантная к объекту мониторинга методика мониторинга [7-8].

Описание методики мониторинга, анализа и оценивания качества подготовки специалистов в вузе приведено ниже в виде некоторого формата, определяющего последовательность этапов методики и их краткую характеристику.

Цели и задачи методики. Цели и задачи методики мониторингового исследования можно разделить на три основные подгруппы: оправдательные, поисковые, описательные [9-10]. Оправдательные цели и задачи призваны подтвердить или опровергнуть потребительские требования; сравнить результаты данного исследования с оценками, полученными ранее, если имеет место корректировочный этап методики; на основании полученных результатов исследования сформировать рекомендации по улучшению качества исследуемого объекта, устранению несоответствия.

Поисковые цели и задачи направлены на изучение отношения потенциальных потребителей к проблеме качества УП и отдельных этапов ее создания и предоставления; определение потребительских проблем, предпочтений, особенностей и факторов мотивации; изучение степени удовлетворённости целевой группы по отношению к решаемым проблемам. 

Описательные цели и задачи должны помочь выяснить отношение целевой группы к проблеме качества процесса и уровень информированности о ней; исследовать мотивацию потенциальных потребителей процесса.

Объекты мониторинга. Объекты мониторинга тесно связаны с задачами, которые предстоит решить для достижения соответствующих конкретных целей. К объектам мониторинга в контексте качества учебного процесса можно отнести условия (ресурсы), процессы и результаты, и их отдельные компоненты [4-5].

Целевые группы в области образования очень многообразны. Приведем лишь некоторые из них: сотрудники; студенты; работодатели; родители [7]. В частности в качестве особенностей целевых групп могут отмечаться социальные, социально-психологические и профессиональные характеристики, место работы, учебы, образование; половозрастная структура; территориальные особенности; распределение респондентов по сферам деятельности; различия в мировоззренческих взглядах и установках и т.д.

Методы мониторинга. Методы мониторинга очень разнообразны. Они зависят от объектов мониторинга и задач, которые призван решать мониторинг. Отметим, что в образовании могут найти применение как традиционные методы управления качеством (семь простых, семь новых и семь новейших методов) [7-8], так и методы прикладного статистического анализа, экспертное оценивание и др.

Одним из наиболее распространённых на данном этапе методом исследования продолжает оставаться опрос респондентов [9-10]. При разработке метода сбора данных происходит переход от теоретического уровня исследовательской проблемы на уровень эмпирического описания и анализа. Это обеспечивает основу для проверки рабочих гипотез и получения нового теоретического знания. Опрос представляет собой вопросно-ответный метод сбора данных, при котором источником информации служат письменные или словесные сообщения респондентов. Однако в [7-8] показана эффективность применения и других методов, ранее не применяемых при исследовании социальных систем, в частности педагогических.

Выводы. Настоящая методика используется в системе повышения квалификации преподавателей и специалистов профессиональных образовательных учреждений разного уровня. Она также может быть использована в учебном процессе подготовки преподавателей по программе «Преподаватель высшей школы». Инвариантность методики делает ее легко адаптируемой под различные потребности образовательных учреждений, подразделений, субъектов, объектов мониторинга. Авторская методика мониторинга опробована коллективом ведущих преподавателей и специалистов факультета повышения квалификации и института дистанционного обучения НГТУ при оценивании уровня информационно-коммуникационных технологических (ИКТ) компетенций преподавателей НГТУ с целью определения необходимого и достаточного их уровня для проектирования качественных учебно-методических материалов по учебному курсу и представления их в компьютерной сети для организации обучения в дистанционных технологиях с электронной поддержкой. Для использования методики разработан измерительный материал (анкета для экспертов качества электронного обучения), позволяющий оценить качество ИКТ-компетентности преподавателей и рекомендовать адекватное выявленным проблемам повышение квалификации.

Разработанная авторами методика мониторинга и оценивания качества легла в основу программы повышения квалификации «Мониторинг и оценивание качества в профессиональном образовании». Обучение по программе позволит специалистам профессионального образования освоить простейшие методы контроля качества, научиться применять их в практическом мониторинге качества, в частности, в деятельности преподавателей для управления качеством собственного учебного курса. Основной ожидаемый результат – вовлечение преподавателей и руководителей разного уровня в процессы управления качеством.

Список использованных источников

1. Никитина, Н. Ш., Николаева Н. В. Мониторинг и оценка качества процессов оказания образовательных услуг в вузе / Н. Ш. Никитина, Н. В. Николаева // Университетское управление: практика и анализ. – 2007. – №3 (49). – С. 91-96.
2. Никитина, Н. Ш., Николаева, Н. В. Модель процессов производства и оказания услуг в образовании / Н. Ш. Никитина, Н. В. Николаева // Университетское управление: практика и анализ. – 2007. – №1 (47). – С. 62-68.
3. Капитонов, Э. А. Социология XX века / Э. А. Капитонов. – Ростов н/Д : Феникс, 1996. – 512 с.
4. Никитина, Н. Ш. Системы менеджмента качества в образовании. Модель совершенного бизнеса в соответствии с международными стандартами ИСО серии 9000: 2000 // Проблемы высшего технического образования: межвуз. сб. науч. тр. / под общ. ред. А. С. Вострикова. – Новосибирск, Изд-во НГТУ, 2003. – Вып. 24: Программно-информационная поддержка систем управления качеством образования. – С. 10-15.
5. Никитина, Н. Ш. Словарь терминов в области менеджмента качества в применении к образовательной организации / Н. Ш. Никитина // Проблемы высшего технического образования : межвуз. сб. науч. тр. / под общ. ред. А. С. Вострикова. – Новосибирск: Изд-во НГТУ, 2003. – Вып. 24: Программно-информационная поддержка систем управления качеством образования. – С. 4-10.
6. Международный стандарт ИСО 8402: 1994 (E/F/R). Управление качеством и обеспечение качества: Словарь. ИСО. – 1994. – 34 с.
7. Никитина, Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 1. Методика мониторинга : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева. – Новосибирск : Изд-во НГТУ, 2008. – 32 c.
8. Никитина, Н. Ш. Мониторинг и оценивание качества в образовании. Ч. 2. Методы мониторинга. Обучение менеджменту качества в образовании : учеб. пособие / Н. Ш. Никитина, Н. В. Николаева. – Новосибирск : Изд-во НГТУ, 2008. – 60 с.
9. Харчева, В. Основы социологии : учебник для ссузов / В. Харчева. – М. : Логос, 1997. – 304 с. : ил.
10. Добреньков, В. И. Методы социологического исследования : учебник / В. И. Добреньков, А. И. Кравченко. – М. : ИНФА-М., 2004. – 768 с.