Реферат: Методические рекомендации по разработке контрольно измерительных материалов для выявления уровня подготовки студентов спо по материалам входной диагностики

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

Государственное образовательное учреждение высшего профессионального образования

Ульяновский государственный технический университет


Л.А. Маттис, З.В. Степчева


14.15.25

УДК 371


Методические рекомендации

по разработке контрольно - измерительных материалов для выявления уровня

подготовки студентов СПО


По материалам входной диагностики
студентов ГОУ СПО «Ульяновский электромеханический колледж»


Исследование выполнено при финансовой поддержке РГНФ

в рамках научно-исследовательского проекта РГНФ

«Формирование профессионально-значимых компетентностей специалистов машиностроительного профиля в условиях непрерывного профессионального образования»,

проект № 10-06-21605а/В


Ульяновск


2010


СОДЕРЖАНИЕ


Введение 3

1.Теоретические основы тестирования 4

1.1.Измерения в педагогическом контроле 4

1.2.Что такое тест? 4

1.3.Форма тестовых заданий 10

1.4.Влияние формы тестов на качество педагогических измерений 13

1.5.Компьютерный тест как средство педагогического измерения 15

2.Методика разработки контрольно-измерительных материалов 15

2.1.Рабочая программа учебных дисциплин 17

2.2.Диагностическая карта соответствия КИМ требованиям ГОС СПО 19

2.3.Разработка структуры КИМ 20

2.4.Составление тестовых заданий 20

2.5.Оформление паспорта КИМ 21

2.6.Аудит КИМ 22

2.7.Составление компьютерной программы теста 22

2.8.Анализ качества КИМ и их коррекция 23

Заключение 24

Список литературы 26

Приложения …………………………………………………………………….. 27
Введение
Происходящие в современном обществе социально-экономические изменения выдвигают высокие требования к системе образования, к обучению и воспитанию специалистов различного уровня подготовки.

В концепции модернизации российского образования на период до 2010 года сформулированы требования к системе образования в следующем виде: «Развивающемуся обществу нужны современно образованные, нравственные, предприимчивые люди, которые могут самостоятельно принимать ответственные решения в ситуации выбора, прогнозируя их возможные последствия, способные к сотрудничеству, отличающиеся мобильностью, динамизмом, конструктивностью и обладающие развитым чувством ответственности за судьбу страны».

Отношение к выбранной профессии, умение увидеть ее со стороны и себя в ней играет большую роль в становлении человека как профессионала.

В процессе обучения каждый студент в сравнительно небольшой промежуток своей жизни должен получить представление о выбранной профессии, базовые знания, умения и навыки, найти свое место в обществе. Уровень получаемых знаний, умений и навыков определяется разнообразными видами и формами контроля.

Успешное развитие профессионального образования во многом будет зависеть от того, насколько оно сумеет вписаться в общемировые образовательные процессы и играть в них роль, соответствующую его потенциальным возможностям. С этих позиций, исследование основных тенденций разработки контрольно-измерительных материалов для выявления уровня подготовки специалистов на основе информационных компьютерных технологий, способствующую повышению эффективности образовательного процесса представляется весьма актуальным.
^ Теоретические основы тестирования Измерения в педагогическом контроле
Педагогическое измерение – это процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками эмпирической шкалы, в которой отношения между различными оценками характеристик выражены свойствами числового ряда [3].

При педагогическом измерении в качестве характеристик обучаемых обычно выступают знания и умения, освоенные ими на момент выполнения теста. Роль единицы измерения играют тестовые задания, объектом оценки являются сами обучаемые, а результатом измерения – шкала баллов тестируемых студентов. Среди современных способов педагогических измерений (наблюдение, устная форма проверки знаний, письменная форма проверки знаний, собеседование в виде интервью, тестирование) наиболее объективным способом является тестирование [4].
^ Что такое тест?
Тест – это инструмент, краткое стандартизованное испытание, в основе которого лежит специально подготовленный набор заданий, позволяющих объективно и надежно оценить исследуемые качества на основе использования статистических методов.

Временем возникновения теста считается конец XIX века, когда для изучения индивидуальных различий начинают применяться различные способы измерения. Нужно отметить значительный вклад американского психолога Дж. Кеттела в развитие идеи статистического анализа при определении индивидуальных различий. Считая тест средством для проведения научного эксперимента, он выделил ряд требований к его чистоте.

Требования к чистоте теста по ДЖ. Кеттеллу:

– «одинаковость условий для всех испытуемых» (положено в основу принципа стандартизации процедуры проведения тестирования);

– «ограничение времени» (используется в зависимости от целей тестирования);

– «отсутствие зрителей» (реализуется как учет влияния внешних факторов);

– «статистическая обработка результатов (отражается в методах статистического анализа).

Структурные компоненты теста


^ Тестовое задание

Эталон

Задача в тестовой форме, предназначенная для выполнения

Образец полного и правильного выполнения действия служащий для сравнения достигнутого уровня с планируемым



При разработке и использовании уже готовых тестов важно знать, насколько они соответствуют запроектированным целям. Ответ на этот вопрос дают критерии качества теста.

Надежность – характеристика теста, показывающая обеспечивает ли тест объективность результатов; отражающая точность диагностических измерений; устойчивость результатов теста к действию случайных факторов.

Валидность (пригодный) – характеристика теста, указывающая на то, что тест измеряет и насколько хорошо он это делает; пригодность тестовых результатов для той цели, ради которой проводится тестирование (качество заданий, их число в тесте, глубина охвата содержания, баланс распределения заданий в тесте по степени трудности).

Объективность – оценивания, как показала практика, обеспечивается максимальной стандартизацией ее проведения. Объективность процедуры измерения возможна лишь при одинаковых условиях для всех участников. Кроме того, эта процедура должна дополняться объективностью обработки данных и интерпретации полученных результатов [3].

Разновидности типов заданий в зависимости от уровня познавательной деятельности приведены в табл. 1.


Таблица 1

^ Уровни познавательной

деятельности

Типы контрольных заданий

Восприятие информации, знакомство с предметом. Признак – опознавание объектов, явлений.

1. Задания (вопросы, задачи), способствующие усвоению информации на уровне знакомства, в т.ч. на узнавание, воспроизведение отдельных фактов, понятий, правил.

2. Восприятие и механическое отображение полученной информации. Признак – передача, пересказ информации.

2. Задания, предполагающие усвоение и воспроизведение информации на уровне простых мыслительных операций. Формируются навыки деятельности по образцу в стандартах, известных условиях.

3. Информация воспринимается, отображается, анализируется, осмысливается и на основе этого применяется. Признак – практическое применение полученных знаний в различных ситуациях.

3. Задания, требующие для усвоения информации сложных мыслительных операций и формирующие умения действовать в нестандартной обстановке: проблемные, предполагающие мыслительные действия на интерпретацию.

4. Полученные знания не только применяются, но на их основе создаются новые. Признак – творческое репродуцирование нового знания.

4. Проблемные задания, развивающие продуктивно-творческое мышление, в т.ч. задания по анализу сложных ситуаций.


Существует несколько уровней познавательной деятельности.

На первом уровне происходит восприятие информации, знакомство с предметом. Его признаком является опознавание объектов, явлений.

На втором – происходит не только восприятие информации, но и механическое отображение полученной информации.

На третьем – информация воспринимается, отображается, анализируется, осмысляется и на основе этого применяется. Признак третьего уровня – практическое применение полученных знаний в различных ситуациях.

На четвертом уровне полученные знания не только применяются, но на их основе создаются новые. Характерный признак – творческое репродуцирование нового знания.

В соответствии с уровнями познавательной деятельности можно выделить четыре типа контрольных заданий.

К первому типу относятся задания (вопросы, задачи), способствующие усвоению информации на уровне знакомства, в том числе на узнавание (опознавание, различие), воспроизведение отдельных фактов, данных, понятий, определений, норм, нормативов, правил.

Ко второму типу относятся задания, предполагающие усвоение и воспроизведение обучаемым информации на уровне простых мыслительных операций. Выполнение подобных заданий формирует у обучаемого навыки деятельности по образцу в известных условиях. Содержание заданий различно, в том числе определение, перечисление, описание фактов, процессов и приемов деятельности, анализ и синтез, предполагающие действия сравнения и различия, упорядочения. Например, последовательность расчетных операций при покупке товара в магазине, показатели, используемые для оценки существенных недостатков в товаре.

К третьему типу относят задания, требующие для усвоения информации относительно сложных мыслительных операций и формулирующие умение действовать в нестандартной обстановке. По содержанию задания этого типа являются, в основном, проблемами и предполагают мыслительные действия на интерпретацию (объяснение смысла, значения), аргументацию, оценку. Например, чем объяснить, чем вызвано, почему происходит. Традиционные вопросы предполагают многословные ответы, поэтому формулирование подобных заданий в тестовой форме с краткими ответами – сложная и трудоемкая работа.

Четвертый тип составляют проблемные задания, развивающие продуктивно-творческое мышление, в том числе задания по анализу сложных ситуаций, на эвристический поиск, формулировку проблемных вопросов. В таких заданиях возможны несколько, в принципе, правильных решений, отличающихся незначительно от эталонного (наилучшего). Кроме того, важно знать, как обучаемый пришел к тому или иному решению, выяснить ход его рассуждений, ознакомится с приводимыми выкладками, расчетами. Для выполнения и оценки подобных проблемных заданий четвертого типа используются в основном письменные работы. Разработка четвертого типа проблемных заданий в тестовой форме и автоматизированная проверка умений, навыков их выполнения – сложная научно-методическая проблема.

Следует отметить, что имеются и другие трактовки уровней знаний и умений, например: 1 – иметь представление; 2 – знать и уметь использовать; 3 – знать, понимать и уметь грамотно использовать; 4 – владеть.

Более детальную классификацию видов знаний для их измерений дает Аванесов В. С. («Теоретические основы разработки заданий в тестовой форме» стр. 84-85):

1 – знание названий, имен;

2 – знание смысла названий и имен;

3 – фактуальные знания;

4 – знание определений;

5 – сравнительные сопоставительные знания;

6 – классификационные знания;

7 – знание противоположностей, противоречий, синонимичных и антонимичных объектов;

8 – ассоциативные знания;

9 – причинные знания; знания причинно-следственных отношений, знание оснований, принципов классификации;

10 – алгоритмические, процедурные знания;

11 – технологические знания;

12 – обобщенные, системные знания;

13 – оценочные знания;

14 – вероятностные знания;

15 – процессуальные знания;

16 – абстрактные знания;

17 – структурные знания.

При разработке дисциплинарных и других тестов рекомендуется использовать задания:

на сравнение («В чем сходство…», «Чем отличается …», «Признаки, отличающие … от … »);

на установление причинно-следственных связей («Что произойдет, если .…», «Как изменится …», «Что послужило причиной …», «Какие причины …», «Какая связь существует…», «Чем объясняется …», «От чего зависит …», «Почему …»);

на определение цели действия процесса («Какую цель преследует…», «Каково назначение …», «Для чего выполняется …»);

на установление характерных черт, признаков или качеств предметов, явлений («Укажите особенности…», «Укажите признаки, характерные для…»);

на классификацию предметов, явлений по указанному признаку («Укажите… , относящуюся к …», «На какие группы подразделяют …», «Что относится к …» ;

на установление значения того или иного явления, процесса (Какое влияние оказывает…);

на объяснение, обоснование («Чем объяснить …», «Увеличение … при сокращении … объясняется…»);

на выводы и обобщения («Какой вывод можно сделать …», «Сущность … заключается в …»).


Классификация тестов по уровню усвоения учебного материала (по Беспалько В.П.) приведена на рис. 1.

Уровень усвоения, на который рассчитан тест, зависит не столько от его формы, сколько от содержания задания и от того, как проходило обучение по соответствующим учебным элементам.



^ Форма тестовых заданий
Используемые на устных и письменных зачетах и экзаменах традиционные задачи и вопросы, без переработки не могут быть использованы в тестах. Для них специально разрабатываются задания в тестовой форме. Как показывает опыт, значительная часть первоначально составленных заданий многократно перерабатывается. По результатам проверки на разных обучаемых исключаются самые простые, очень сложные, плохо сформулированные задания.

Тестовые задания – это материал учебной дисциплины определенного объема, содержания и формы, предназначенные для контроля знаний. По определению Аванесова В. С. (Научные проблемы тестового контроля знаний стр. 38-39), тестовое задание – варьирующая по элементам содержания и по трудности единица контрольного материала, сформулированная в утвердительной форме предложения с неизвестным. Цель разработки заданий – создание теста для объективной проверки и оценки знаний.

Для подготовки дисциплинарных, квалификационных и других тестов используются различные формы (виды, типы) тестовых заданий. Выделяют четыре основные формы (табл. 2):

закрытые;

на установление соответствия;

на установление правильной последовательности;

открытые.

Таблица 2

^ Формы тестовых заданий

Модификация

Закрытые

Вопросы с выбираемыми ответами, вариантами ответов, множественным выбором. К ним относят: фасетные задания, задания-задачи с предлагаемым вариантом ответов – числами.

На установление соответствия

Устанавливается соответствие элементов одного множества элементам другого. К ним относят: термины-определения, показатели-способы расчета, хозяйственные операции.

На определение правильной последовательности

Необходимо указать порядок выполнения процессов, операций, вычислений. Обучаемый вводит номера предлагаемых операций в нужной последовательности.

Разновидность – задания на ранжирование: расположение элементов по возрастанию их значимости.

Открытые

Задания на заполнение пропусков, на завершение фраз, предложений: в месте пропуска (точек) указывается слово или несколько слов.


На практике применяются различные модификации закрытых заданий, называемых также вопросами с выбираемыми ответами, вариантами ответов, множественным выбором. К закрытым относят фасетные задания (с изменяющимся ключевым словом), задания-задачи с предлагаемыми вариантами ответов – числами. При контроле знаний обучаемый из предлагаемых вариантов ответов выбирает один или несколько правильных.

В заданиях второй формы устанавливается соответствие элементов одного множества элементам другого. Иногда их называют заданиями на совмещение.

В заданиях на определение правильной последовательности необходимо указать порядок выполнения процессов, операций, вычислений. Обучаемый вводит номера предлагаемых в задании операций в нужной последовательности. Это форма заданий может использоваться также для проверки знаний определений, последовательности дают правильную их формулировку.

Похожими являются задания на ранжирование – расположение элементов по возрастанию или убыванию их значимости, свойств, количественных характеристик.

Открытые задания называют также заданиями на заполнение пропусков, на завершение фраз, предложений. При контроле знаний обучаемый должен вспомнить и написать в поле ввода экранной формы слово, несколько слов.

По содержанию действий обучаемого при контроле знаний можно выделить задания на:

− выбор одного ответа;

− выбор нескольких ответов;

− установление соответствия;

− установление правильной последовательности;

− ранжирование;

− заполнение пропусков, завершение предложений;

− подстановку;

− составление ответа;

− вычисление ответа;

− вычисление и выбор ответа.

Все перечисленные формы тестовых заданий имеют определенные достоинства и недостатки. Выбор их зависит от учебной дисциплины, назначения теста, ориентации на студентов различных специальностей, возможностей системы компьютерного тестирования.
^ Влияние формы тестов на качество педагогических измерений

В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм.

Содержание теста не может быть только легким, средним или трудным. Здесь в полной мере проявляется известная мысль о зависимости результатов применяемого метода. Легкие задания теста создают только видимость наличия знаний у учащихся, потому что ими проверяются минимальные знания. В этой связи можно заметить, что ориентация федерального органа управления образованием на проверку минимального уровня знаний не дает, и не может, даже по определению, дать представление о реальном уровне знаний, т.е. дать ту информацию, которая давно уже нужна обществу и органам управления. Искажает результаты тестирования и подбор заведомо трудных заданий, в результате чего у большинства обучаемых оказываются заниженные баллы. Ориентация на трудные задания нередко рассматривается как средство усиления мотивации к учебе. Однако это средство действует неоднозначно. Одних трудные задания могут подтолкнуть к учебе, других − оттолкнуть от нее. Подобная ориентация искажает результаты и в итоге, снижает качество педагогического измерения.

При определении теста уже отмечалось, что все задания теста, хотелось бы подчеркнуть, независимо от содержания тем, разделов и от учебных дисциплин, располагаются в порядке возрастающей трудности. Распространенная, до недавнего времени, рекомендация включать в тест больше заданий средней трудности, оправдана с точки зрения определения надежности измерения по формулам классической теории тестов. Существующие в этой теории методы оценки надежности теста дают снижение надежности при включении в тест легких и трудных заданий. В то же время увлечение заданиями одной только средней трудности приводит к серьезной деформации содержания теста: последний теряет способность нормально отображать содержание изучаемой дисциплины, в которой всегда есть легкий и трудный материал. Таким образом, в погоне за теоретически высокой надежностью теряется содержательная валидность тестовых результатов. Стремление же поднять валидность результатов теста нередко сопровождается снижением их точности.

Если тестируется слабая, по подготовленности, группа учащихся, то оказывается, что трудные задания теста просто не работают, потому что ни один учащийся не может правильно на них ответить. Такие задания из дальнейшей обработки данных изымаются. В адаптивных контролирующих системах они не предлагаются. Содержание теста для слабых учащихся будет заметно отличаться от содержания теста для сильных учащихся. У последних, наоборот, не работают легкие задания, так как все знающие испытуемые на легкие задания отвечают правильно. Таким образом, содержание традиционного теста существенным образом варьирует в зависимости от уровня подготовленности тех групп учащихся, на измерение знаний которых нацелен тест.

Оптимальное отображение содержания учебного материала в тестовые задания требуемого уровня трудности предполагает возможность выбора подходящей формы.

Содержание теста выражается в одной из четырех основных форм заданий. Это:

1) задания с выбором одного или нескольких правильных ответов из числа предложенных;

2) задания открытой формы, где ответ испытуемый дописывает сам, в отведенном для этого месте;

3) задания на установление соответствия;

4) задания на установление правильной последовательности действий.

(Формы тестовых заданий приведены в приложении 10).
^ Компьютерный тест как средство педагогического измерения
В последнее время благодаря развитию информационных технологий и компьютерной техники, широкое применение в образовании получают компьютерные тесты в качестве эффективных средств педагогического измерения. Их эффективность обуславливается возможностью оперативного проведения тестового контроля и быстротой обработки результатов.

Известные теории тестов и методики их конструирования [7] распространяются и на компьютерные тесты.

Однако, компьютерные тесты имеют ряд особенностей, которые обусловлены спецификой компьютерного тестирования и автоматизированной обработки результатов.

Ниже приведена методика разработки контрольно-измерительных материалов на основе компьютерных тестов.
^ Методика разработки контрольно-измерительных материалов
Технологические этапы методики разработки контрольно-измерительных материалов (КИМ) представлены на рис. 2.



Поскольку государственные требования к уровню подготовки выпускников определены государственными стандартами (ГОС СПО), этот документ взят за основу в технологии проектирования контрольно-измерительных материалов (КИМ).

Другим документом, определяющим содержание контрольно-измерительных материалов, является учебный план специальности, который разрабатывается в учебном заведении в соответствии с выше названным стандартом. Отметим, что неотъемлемой частью учебного плана является вариативная часть, которая формируется по результатам входной диагностики на каждом этапе непрерывного образования.

Таким образом, эти два документа являются основой и исходными данными при проектировании контрольно-измерительных материалов.

На основе этих документов устанавливается полный состав требований к первокурснику, студенту на разных этапах обучения и выпускнику, требования, содержащиеся в конкретных ГОС СПО с учетом дополнений выраженных вариативной частью.
^ Рабочая программа учебных дисциплин
Первым этапом технологии разработки КИМ является составление рабочих программ по дисциплинам специальности. Поскольку в существующих образовательных учреждениях рабочие программы приобретены или разработаны, то данный этап практически сводится к анализу этих документов и установлению соответствия их тематического содержания требованиям ГОС и учебного плана. На этом этапе создается перечень формируемых компетенций по уровням обучения, начиная со студентов первого курса, приступающих к освоению ООП ФГОС СПО (компетентностный подход) и до выпускников ссуза, с учетом дополнительных компетенций, обусловленных спецификой специальности или направления подготовки.

На этом же этапе проводится выделение массива основных учебных модулей (ОУМ), участвующих в формировании конкретных компетенций, или ряда основных модулей, относящихся к различным дисциплинам, но формирующих одно и то же интегральное знание или умение студента.

Результатом всего этапа в целом является разработка структурной матрицы оценки уровня сформированности компетенций, разрабатываемая в контексте реализации непрерывного образования на основе аналогичной матрицы уровня ВПО (табл. 3) [8].

Таблица 3

Макет структурной матрицы оценки уровня сформированности компетенций



Обозначения в таблице [8]: ^ ГСЭ – гуманитарный, социальный и экономический цикл; МЕН – математический и естественнонаучный цикл; Проф. – профессиональный цикл.
УО – устный опрос: собеседование (УО-1), коллоквиум (УО-2), зачет (УО-3), экзамен по дисциплине, модулю (УО-4). (ПР) – письменные работы: тесты (ПР-1), контрольные работы (ПР-2), эссе (ПР-3), рефераты (ПР-4), курсовые работы (ПР-5), научно-учебные отчеты по практикам (ПР-6). ТС – технические средства контроля: программы компьютерного тестирования (ТС-1), учебные задачи (ТС-2), комплексные ситуационные задания (ТС-3) и др.

Важная роль на этом этапе отводится обязательной входной диагностике сформированности компетенций и компетентностей (табл. 4). При этом на этапе проектирования содержания входной диагностики и ее критериев, необходимо формулировать совокупность ожидаемых результатов в форме компетенций в контексте непрерывного образования. Для этого из полного набора компетенций достаточно выделить индикативные показатели результатов (прил. 4), которые, например, для направления «Металлургия» (ВПО)/«Обработка металлов давлением» (СПО) определяются из прил. 1.

Таблица 4

^ ОСНОВНОЕ СОДЕРЖАНИЕ КОМПЛЕКСНЫХ «ВХОДНЫХ» ИСПЫТАНИЙ СТУДЕНТОВ 1 КУРСА [8]


Коды

Совокупность ожидаемых результатов обучения студентов в форме компетенций по ООП

Содержание оценочных заданий для выявления сформированности

у студентов 1-го курса
общих компетенций (ОК) и профессиональной ориентации на получение СПО

«Допороговый» уровень сформированности общих компетенций или профессиональной ориентации

«Пороговый» уровень сформированности общих компетенций
или профессиональной ориентации

«Повышенный (продвинутый)» уровень сформированности общих компетенций или профессиональной ориентации

ОК

^ ОБЩИЕ КОМПЕТЕНЦИИ










ОК – 1










…













ОК – …

























ПК

^ ПРОФЕССИОНАЛЬНЫЕ КОМПЕТЕНЦИИ










ПК – 1










…













ПК – …



























^ Диагностическая карта соответствия КИМ требованиям ГОС СПО
С целью снижения трудоемкости, повышения наглядности и удобства анализа соответствия содержания рабочей программы требованиям стандарта в настоящей методике используется в качестве технологического инструмента диагностическая карта соответствия контрольно-измерительных материалов требованиям Государственного стандарта среднего профессионального образования.

Диагностическая карта содержит следующие разделы:

Наименование учебной дисциплины;

Объем курса;

Требования к уровню подготовки выпускника по дисциплине;

Перечень контролируемых компетенций;

Количество контрольных точек измерений (контрольных тестов, срезов);

Вид и назначение тестов;

Тема теста;

Тематическое содержание теста (проверяемое содержание – перечень и кодировка дидактических единиц);

Количество часов по программе (с выделением практических занятий);

Количество тестовых заданий.

При разработке диагностической карты выполняется расчет контрольных точек измерений, который зависит от объема часов дисциплины в соответствии со стандартом.

Структурированные и наглядным образом представленные в диагностической карте данные составляют основу для разработки структуры КИМов и их содержания. Таким образом, диагностическая карта является основным технологическим документом настоящей методики.

^ Разработка структуры КИМ
Заполненная диагностическая карта является также основой для разработки структуры КИМ и выделения в ней совокупности дидактических единиц (ДЕ).
^ Составление тестовых заданий
Следующим технологическим этапом проектирования КИМ является подбор или составление тестовых заданий, их комплектование в соответствии со структурой и определение оценочных критериев выполнения тестовых заданий и теста в целом.

Для тестов, ориентированных на критерии (критериально-ориентированных), отбор содержания теста является важным этапом его создания, так как для принятия решения о дос­тижении данной цели обучения, например, стандарта, необходимо достаточно точно и полно описать содержание стандарта и выразить его совокупностью заданий, которая была бы предста­вительной для этой цели. Следует отметить, что в при проектировании содержания оценочных заданий разных уровней рекомендуется использовать широко применяемую таксономию Л. Ан­дерсон и Д. Красвол (2001) [9], приведенную в прил. 3, 4.

Поэтому главной проблемой в разработке тестов, используемых для оценки достижения образовательных стандартов, является достижение соответствия содержания стандарта и содержания теста.

На данном этапе важным моментом является разработка критериев оценивания выполнения заданий студентами. Следует отметить, что в зависимости от целей и назначения диагностики существуют различные рекомендации и теории по оценке результатов измерений. Поскольку настоящая методика представляет собой универсальный технологический инструмент, который может быть использован в различных образовательных процессах и для различных целей диагностики, в ней не ставится целью определение и обоснование каких-либо конкретных оценочных критериев. При этом необходимо обратить внимание, что использование тех или иных критериев зависит от целей и задач проводимой диагностики и является прерогативой организации, производящей замеры.
^ Оформление паспорта КИМ
Паспорт КИМ (паспорт теста) является итоговым проектным нормативным документом, в котором отражается в полном объеме вся информация о тесте, указанная в диагностической карте. На основании информации, представленной в паспорте, в дальнейшем производится разработка тестовых программ, анализ тестовой базы и анализ качества подготовки студентов по результатам диагностики.
^ Аудит КИМ
Оформленный разработчиком паспорт теста проходит внутренний аудит:

экспертиза КИМа методической службой учебного заведения;

экспертиза КИМа цикловой комиссией и согласование председателем ПЦК;

рассмотрение и утверждение Экспертным советом.

После проведения внутреннего аудита оформленный и утвержденный паспорт теста сдается в соответствующую службу образовательного учреждения, в функцию которой входит организация мониторинга.
^ Составление компьютерной программы теста
На основании оформленных и утвержденных паспортов КИМов разрабатываются компьютерные тестовые программы, которые используются впоследствии для тестирования студентов. Следует отметить, что на рынке программных продуктов создано достаточное количество тестовых оболочек (конструкторов тестов), предназначенных для программирования КИМов. Однако, как показывает практика, такие оболочки сложны и трудоемки для использования педагогами, имеют ограниченные возможности встраивания в автоматизированную систему комплексной диагностики, и мониторинга в целом.

В результате проведенного анализа различных тестовых компьютерных систем, их технических возможностей и стоимости для применяемого мониторинга выбрана универсальная автоматизированная система диагностики качества образования «Дикобраз». Выбранная система позволяет не только провести тестирование по какому-либо тесту, но и сформировать, хранить и обработать все снятые показатели в процессе диагностики.

Теоретически в предлагаемой методике можно использовать и другие инструментальные средства (оболочки) с аналогичными возможностями, а тестовые программы разрабатывать силами преподавателей. Но как показывает практика, вовлечь в этот процесс всех педагогов-предметников, задействованных в мониторинге, не представляется возможным (в силу отсутствия навыков, подготовки и времени).

Компьютерный банк тестовых заданий хранится на сервере и периодически пополняется новыми вариантами тестовых заданий.
^ Анализ качества КИМ и их коррекция
Оценка качества разработанных контрольно-измерительных материалов определяется после проведения компьютерного тестирования студентов. Тестирование проводится в соответствии с графиком, разработанным на основе матрицы и КТП педагогов. Инструментальная программная среда позволяет сразу по окончании тестирований автоматически сформировать и распечатать выходные формы для анализа качества тестовой базы (прил. 5):

Карта анализа ТБ;

График решаемости заданий;

Ведомость результатов тестирований в разрезе групп.

Полученные документы являются основой для дальнейшего анализа качества тестовой базы, по результатам которых составляется сводный перечень тестовых заданий, подлежащих корректировке.

Выходные формы анализа тестовой базы изучаются преподавателями, обсуждаются со студентами, после чего принимается решение о коррекции тестовой базы.

Коррекцию тестовой базы по утвержденным графикам проводят разработчики совместно с преподавателями-предметниками. Это один из ответственных этапов технологии, который является необходимым условием для составления качественных тестовых заданий.
Заключение
Настоящая методика характеризует этап проектирования контрольно-измерительных материалов (КИМ), являющегося составной частью системы автоматизированного мониторинга качества подготовки студентов.

Технология разработки КИМ, так же как и вся система диагностики, в целом, построена по принципу замкнутого жизненного цикла процесса разработки КИМ, который в менеджменте качества известен как цикл Деминга.



Рис. 3. Цикл Деминга

Оперативная информация, получаемая автоматизированным способом о результатах тестирования (в данном случае качестве теста), позволяет быстро оценить текущее состояние процесса, выделить недостатки и своевременно устранить их. Поскольку процесс разработки КИМ, как и любой другой, не является постоянным и находится под воздействием различных факторов внешней среды, то предлагаемая методика позволяет осуществлять непрерывное динамичное функционирование процесса, своевременно корректируя ход его выполнения. Таким образом, тестовая база, используемая в процессе мониторинга качества подготовки студентов, не является постоянной составляющей процесса, а находится в условиях постоянного совершенствования в зависимости от многообразия воздействия внешних фактов (в том числе и изменения образовательных стандартов). В конечном итоге такая схема может гарантировать соответствие цели прогнозируемым результатам, что и является самым главным эффективным показателем качества, в данном случае педагогическо