Реферат: У. Т. Кельвин Хотеть совершить что-либо значит хотеть всё то, что необходимо для достижения цели, в том числе хотеть приобрести те качества, которые нужны для воплощения замысла. Во всех прочих случаях вы не хоти

ПРОБЛЕМА РАЗВИТИЯ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ

Вадим Аванесов

testolog@mail.ru


Каждая вещь известна настолько,

насколько её можно измерить.

У.Т. Кельвин


Хотеть совершить что-либо - значит хотеть всё то, что необходимо для достижения цели, в том числе хотеть приобрести те качества, которые нужны для воплощения замысла. Во всех прочих случаях вы не хотите, а просто стремитесь к чему-то, находитесь в плену собственной фантазии, сладостно упиваетесь задуманным1.


В статье определены пять основных направлений развития теории и практики педагогических измерений. Первое – это демаркация (отграничение) педагогических измерений от контрольных материалов государственных экзаменов и от иных псевдометрических форм и методов, распространяемых сейчас в России под видом средств педагогических измерений. Второе направление – разработка вопросов формы тестовых заданий. Третье- содержание теста и тестовых заданий. Четвёртое направление - разработка критериев качества и эффективности педагогических измерений. И пятое направление – улучшение языка этой прикладной педагогической науки.

Развитию педагогических измерений препятствует проведение т.н. единого государственного экзамена, c его некачественными контрольными материалами. Эти материалы функционируют в России как подмена подлинных педагогических измерений. В статье обобщены ранее опубликованные факты и доказательства некачественности контрольных материалов российских государственных экзаменов.


Ключевые слова: педагогические измерения, демаркация, форма, содержание, язык, критерии качества результатов.


Введение

Педагогические измерения относятся к числу сравнительно малоисследованных направлений педагогической науки и образовательной практики. Они возникли в конце ХIХ-го – начале ХХ-го века за рубежом, вначале в Англии, США и Франции. В течение ста лет к этим трём странам добавились Австралия, Нидерланды, Израиль, Южная Корея, Япония. За прошедший век педагогические измерения превратились в одно из развивающихся направлений зарубежной педагогической науки.

В России сложилась иная ситуация. Здесь педагогические измерения заметного развития не получили. В ХХI век Россия вошла с контрольными материалами государственного экзамена, созданными на основе политически привлекательной, но метрически ошибочной идеи - одновременной оценки выпускников школ и абитуриентов вузов общим (единым) набором заданий единого государственного экзамена (ЕГЭ). Качественно измерить заметно различающиеся уровни подготовленности выпускников российских школ и абитуриентов вузов бланковыми методами не удаётся в течение вот уже десяти лет. Контрольные материалы превратились, по сути, в антагонистов подлинных педагогических измерений.


Проблемная ситуация

Зримым поворотным моментом к ухудшению ситуации с педагогическими измерениями стало решение Правительства РФ о проведении в стране единого государственного экзамена (ЕГЭ)2. В распоряжении Правительства РФ №910-з- объяснялось, что ЕГЭ вводится с целью обеспечения объективности и унификации итоговой аттестации и вступительных испытаний в системе профессионального образования3.

Дело казалось нужное – обеспечение равного доступа граждан к высшему образованию и ликвидация разросшейся коррупции при приёме в вузы. Но идея унификации итоговой аттестации и вступительных испытаний в вузы не сочеталась с традициями российского образования, научными положениями социологии, педагогики, психологии и педагогических измерений, зато легко укладывалась в логику трансформации образовательного процесса в сторону усиления авторитарных бюрократических элементов.

Ответом на такую трансформацию стал ежегодный рост число нарушений правил проведения ЕГЭ. Результаты фабрикуются в невиданных ранее масштабах, коррупция растёт, качество образования ухудшается. Информация о всех зафиксированных нарушениях в целом по стране и по отдельным территориям не публикуется; десять лет она оставалась скрытой образовательным ведомством.

Спорная, изначально, цель оценить, единовременно и качественно, разные по уровню подготовленности контингенты школьников и абитуриентов вузов не могла продуцировать позитивные результаты. Одновременно это делать можно, но качественно, бланковыми формами, нельзя. А потому не случайно в реальном исполнении контрольные материалы для достижения этой спорной цели оказались некачественными.

Ошибочные цели введения единого государственного экзамена и некачественные инструменты достижения этих целей привели к тому, что в России педагогическое оценивание и педагогические измерения были заменены бюрократическим контролем посредством некачественных «материалов». Все исходные и подлинные результаты засекретили, после чего вместо разработки научно-обоснованных методов педагогических измерений и улучшения качества образования бюджетные средства стали тратиться на проведение государственного экзамена.

Сама идея отбирать абитуриентов одинаковыми «материалами» в разные вузы – тоже ошибочная и вредная. Если вузы разные, и туда идут студенты с разной подготовкой, то и задания должны быть разные по уровню трудности, такие, которые позволяют каждому вузу точнее отобрать искомый контингент. При проверке всех одним и тем же набором «материалов» точность оценок резко ухудшается. Это особенно сказывается на правой стороне распределения исходных баллов, у наиболее подготовленных испытуемых.

Неоднократные обращения автора этой статьи и многих представителей научно-педагогической общественности к чиновникам всех уровней с предложениями прекратить производство некачественных материалов и проведение единого министерского контроля уровня подготовленности выпускников школ и абитуриентов различных вузов, успеха не имели. Ответом было полное молчание. А это самый грубый способ защиты - притвориться глухим или непонимающим, как писал Э. Каннети. «Молчащий не раскрывается, но выглядит при этом опаснее, чем он есть на самом деле. В нём подозревают большее, нежели он скрывает. Он молчит, потому что ему есть что скрывать»4.

И действительно, с научно-педагогической точки зрения идея ЕГЭ оказалась уязвимой5. Преобладание внешней заданности в целях, содержании и технологии образования приводит к ослаблению внутренней мотивации учеников… , к гиперболизации формальных ценностей образования – получение отметки, сдачи экзаменов, поступление в вуз, его окончание6.

Ещё более идея ЕГЭ оказалась несостоятельной с точки зрения теории педагогических измерений. Похоже, что исполнители и чиновники не понимали сложности самой проблемы. Чтобы убедиться в некачественности заданий, с которых начинался на так называемый «эксперимент по ЕГЭ», достаточно взглянуть на один пример контрольного «материала», не имеющего ничего общего с педагогическими измерениями7. Такой плохой старт стал одной из причин неудовлетворительного финиша. Некачественные контрольные «материалы» ЕГЭ дискредитировали благие замыслы Правительства РФ.

Последовало вынужденное признание В.В.Путиным справедливости критики ЕГЭ, сделанное, однако, вместе с предложением совершенствовать этот экзамен8. Но как это сделать? Конструктивных предложений по совершенствованию госэкзамена, созданного без науки об измерениях и мало-мальски обоснованного научно-педагогического проекта9, не было ни до, ни во время, ни после десятилетнего срока его проведения.

Между тем, подлинные трудности с проведением ЕГЭ связаны не только, и не столько с проведением экзаменов, сколько с контрольными заданиями. Завеса секретности, незаконно возведённая вокруг исходных, реальных результатов, обернулась отрицательным образом для всей страны, в виде повсеместного ухудшения образовательной деятельности.

В органах управления образованием не считали нужным отвечать на обращения, критику, или вступать в дискуссию со своими многочисленными оппонентами. Такого вызывающего отношения чиновников к своим оппонентам в истории России не было никогда. Это был новый стиль, утвердившийся в сфере управления образованием. Как отмечалось в литературе, особенно удручала полная глухота реформаторов к мнению педагогической науки и народа10.

В ситуации заинтересованности большинства сторон процесса ЕГЭ в повышении баллов испытуемых любыми способами, ЕГЭ начал саморазрушаться. В недавно опубликованном отчёте Общественной Палаты РФ перечислено семь сторон социума, заинтересованных в завышении результатов ЕГЭ, общим числом миллион человек11.

В результате справедливая, казалось бы, идея проведения в России ЕГЭ, но бездарно исполненная, стала с каждым годом терять своих сторонников. Надо подчеркнуть, что в западных странах ЕГЭ нет. Там проводится независимое, общественно-профессиональное тестирование, текущий и итоговый компьютерный адаптивный контроль в самих образовательных учреждениях, автоматизированный учёт всех решённых заданий, каждым учащимся или студентом, используется также рейтинг.

А потому ловчить невозможно и незачем, потому что при приёме смотрят не только на бумаги и в кошелёк родителей, но и на реальные компетенции, которыми владеют поступающие в вузы. О подлинных учебных достижениях каждого абитуриента известно всё, и в любое время. Вот истинная польза открытости результатов и образовательных технологий для возможного свободного развития каждого гражданина, в зависимости от его способностей, прилежания и учебной мотивации.

Влияние ЕГЭ и контрольных материалов российского государственного экзамена на систему российского образования оказалось отрицательным. Давно известно, что вред от некачественных оценок в сфере образования существенно выше, чем кажущаяся от них польза12.

Ещё раз подтвердилось на практике мнение выдающегося русского учёного и педагога Н.И.Пирогова. «Я почти ежедневно убеждаюсь из опыта, что экзаменационное направление в наших училищах не приносит никаких благих результатов. Оно вредно, оно возбуждает наклонность в учащихся учиться для экзамена, а не для науки13. Государственный экзамен довёл отмеченную наклонность до абсурда.

Странным образом верховная власть дала исполнителям ЕГЭ право игнорировать всенародную, по существу, критику в их адрес, дала бюджетные средства на проведение асоциального бюрократического контроля14 и на производство некачественной15 продукции. И сверх того дала право не отчитываться должным образом о своей работе.

Тем не менее, В.В.Путин не потерял ещё надежды на возможность совершенствования госэкзамена. Его понять можно. В 2000 году ЕГЭ казался важным фактором образовательной политики, утверждения идей усиления борьбы с коррупцией и установления справедливых форм приёма в вузы. Спустя 11 лет этот фактор обернулся ростом коррупции, снижения социальных гарантий обеспечения реального доступа граждан к высшему образованию. Сейчас госэкзамен стал похож на тяжёлый чемодан без ручки, который нести неудобно, а бросить, похоже, жалко.

Только в последнее время власть стала видеть глубину ямы под названием ЕГЭ, вырытой ошибочными целями, негодными инструментами (контрольными материалами) и бюрократическим режимом исполнения. Фактическое введение полицейских мер в образовательный процесс - незаконные обыски учащихся16, слежка за детьми в туалетах17 и т.п. – прямая дорога к разрушению не только ЕГЭ, но и нравственных основ российской педагогики и российского государства.

Государственный экзамен теперь становится отрицательным предвыборным фактором. Уже давно надо было начать поиск достойного способа его прекратить18, что могло бы дать некоторым избирателям новую надежду. Однако свой элемент неожиданности привнёс А.А.Фурсенко, заявивший, что этот экзамен – навечно! Неужели ему непонятно, что своеволие, которое позволяли себе чиновники все годы силового внедрения ЕГЭ, дошло до терпимых пределов. А потому его притязания увековечить бездарный ЕГЭ лишь ускорят созревание ситуации, о которой говорил известный классик: когда низы больше не хотят, а верхи уже не могут.


ЕГЭ провалился?

В критической литературе обнаруживается много мнений о провале ЕГЭ. В министерстве образования и науки, а также в Правительстве РФ, так не считают. Хотя и об успехах тоже благоразумно перестали говорить. Видимо, играет свою роль периодическая замена кадров главных неудачников-толкачей ЕГЭ. Очевидно, вопрос в критериях - что считать провалом? Президент РФ Д.А.Медведев и Председатель Правительства РФ В.В.Путин считают, что у ЕГЭ есть плюсы и минусы, но что в целом он эффективен19.

Никто из них, а также из министерства образования и науки, не назвали конкретные минусы ЕГЭ, и что они считают нужным совершенствовать? Из чего можно понять, что их позиция имеет лишь общую, но не конкретно определённую направленность на сохранение этого экзамена. Но такая позиция не имеет положительной перспективы. Между тем, конкретные недостатки ЕГЭ уже давно были выделены и названы в сотне научных работ многих авторов20. Но них не обращали внимания. Эта критика считалась маргинальной, а сами критики в кулуарных обсуждениях относились к маргиналами. На самом деле маргинальной и ригидной оказалась позиция разработчиков ЕГЭ21 и их заказчиков.

Важным объективным свидетельством провала ЕГЭ стал уже упоминавшийся выше документированный отчёт Общественной Палаты РФ22. В нём, в общем, в очередной раз показана неприемлемость и абсурдность сложившейся бюрократически-режимной практики проведения ЕГЭ. Сделанные там выводы, ввиду документированности событий и обращений, никем не опровергаются, но и опять не принимаются чиновниками, как нужные и полезные для исправления положения дел. В общем, для постсоветской России – это обычная практика. Как тогда совершенствовать ЕГЭ? В этих условиях он и начал разваливаться.

Ссылаясь на выводы независимой общественной комиссии, куда входил и автор этого доклада, С.М. Миронов заявил, что эксперимент по введению единого госэкзамена в стране провалился23. «ЕГЭ не устранил коррупцию при поступлении в вузы и не позволил объективно выставлять оценки выпускникам школ», - пояснил он. Судя по смещению его с должности Председателя Совета Федерации, последовавшим вслед за этим, эти его правильные слова пришлись не ко двору.

^ В.В. Черников тоже считает, что попытки повышения качества обучения через введение ЕГЭ провалились. Как известно, считает он, в тонущем корабле никакие прогрессивные способы мытья стаканов на кухне не спасают корабль. И пока критерии работы системы образования не будут напрямую встроены в стратегию выживания социума, результат будет плохим24.

Все попытки властей собственными силами улучшить ситуацию и остановить разрушительный процесс оказались неудачными; они принесли лишь новые, очередные трудности. Это следствие системных дефектов самого российского государственного экзамена и используемых там материалов. На критику дефектов разработчики этих материалов не реагировали должным образом, как будто они жили в другом государстве. В таком асоциальном варианте ЕГЭ был, конечно же, обречен на провал25.

Реакция на этот прогноз была неожиданной. Вместо привычного молчания в министерстве образования и науки РФ, без какого-либо признания ошибочности ЕГЭ, тихо и быстро отказались от идеи единых экзаменов для большинства школьных предметов, равно как и от единых контрольных материалов. И в нарушение закона переналадили большинство единых экзаменов только на приём абитуриентов в вузы. А норму статьи закона о едином экзамене сохранили, похоже, лишь для двух предметов - русского языка и математики. Генпрокуратура и министерство юстиции РФ заняли привычную отстранённую от ЕГЭ позицию.

К слову, оба упомянутых выше экзамена имеют наибольшие метрические погрешности. Остальные т.н. «единые» госэкзамены после такой операции фактически перестали быть едиными, а потому уже больше не применяются для итоговой государственной аттестации выпускников школ. Бюрократическая логика незатейлива: меньше экзаменов для выпускников школ, меньше двоек, меньше станет и неприятностей.

Хотя буква «Е» в аббревиатуре ЕГЭ для большинства экзаменов стала обречённой на фактическое вымирание, во всех бумагах и в средствах массовой информации она сохранялась. Пропагандистский прессинг создавал в социуме ложное представление, что единый государственный экзамен жив, и вечно будет жить. Случившаяся в министерстве образования и науки подмена большинства ранее единых экзаменов не едиными экзаменами осталась в Правительстве РФ и в Госдуме как бы незамеченной. А потому финансирование провальной затеи продолжается.


ЕГЭ провалили некачественные контрольные «материалы» ФИПИ

Для реализации правительственной идеи проведения единого государственного экзамена был создан Федеральный институт педагогических измерений (ФИПИ). Ему и была поставлена задача создать новые, доселе неизвестные в мире, методы унификации двух экзаменов. На наше предупреждение о ложности самой идеи и об ошибочности принятого правительственного распоряжения чиновники привычно не реагировали26.

ФИПИ погрузился в бесплодный «эксперимент» на целых восемь лет, без опубликованной научной программы. Отчёта о результатах этого пролонгированного поиска нет, и, видимо, никогда не будет. К 2009 году терпение оппонентов и власти иссякло, а потому было приказано «Пора»! После чего материалы ФИПИ для единого государственного экзамена объявили пригодными для масштабного применения на массах школьников и абитуриентов, в штатном, как было отмечено, «режиме». Смысл последнего слова был тогда явно не понят и не оценён должным образом. Никто не мог тогда предположить, в ФИПИ создавался не научно-педагогический метод, как это должно было быть, а новый контрольно-бюрократический режим проведения массового государственного экзамена.

Отсюда становятся понятными две главные причины провала ЕГЭ: авторитарный бюрократический режим, установленный для его проведения, и некачественный инструментарий, созданный в ФИПИ для реализации такого режима контроля знаний.

Сам ФИПИ был превращён в исполнительный придаток министерства образования и науки. В условиях зависимости от ошибочной воли чиновников институт не получил возможности стать подлинным научным учреждением. То же произошло с Центром тестирования, который стал, по той же воле, головной организацией Рособрнадзора по организационно - технологическому обеспечению проведения ЕГЭ и по трансформации исходных результатов ЕГЭ в производные. Надо было так менять результаты ЕГЭ, чтобы мало кто мог понять - что происходит в реальности. После чего Централизованное тестирование, проходившее ранее, на добровольной основе, во многих регионах России, перестало существовать27. Оно стало частью бюрократического режима контроля.

Настоящие научные статьи и научные монографии по педагогическим измерениям в ФИПИ не готовились и не издавались. Похоже, что писать их там было некому или некогда. И сейчас на сайте института нет таких изданий. Бюрократическому режиму контроля знаний это и не надо. По полезности и информативности публикуемой научной литературы по проблеме педагогических измерений этот сайт целого института заметно уступает сайтам отдельных авторов.

Быстро нашлось размытое и ложное название производимым там изделиям: контрольно-измерительные материалы (КИМы) ЕГЭ.Размытое, потому что под название «материалы» можно подвести даже канцелярский чих, попавший на служебную бумагу. Ложное, потому что эти КИМы не являются ни тестами, ни обычными экзаменами28, ни педагогическими измерениями29.

В ситуации отсутствия объективной статистики и вакуума эмпирических данных, общественное обсуждение проблем ЕГЭ было искусственно направлено исключительно в бездоказательный мир мнений. Это позволяло инициаторам и лоббистам ЕГЭ несколько лет держать оборону. Факты качественности материалов они представить не смогли, а факты некачественности – не могли, пришлось скрывать.

В данной статье сделана попытка собрать некоторые факты, указывающие на непригодность контрольных материалов ЕГЭ, в предположении, что это поможет, наконец, перевести общественный дискурс из сферы мнений в область бесспорных, эмпирически установленных фактов.

Начнём с того факта, что большинство единых госэкзаменов уже не дожили до прогнозированного автором этой статьи срока в своём прежнем, подчеркнём, едином виде30. Разве это не признак провала прежнего ошибочного замысла проведения единого государственного экзамена?

А кто, кроме чиновников, сейчас считает, что новый вариант проведения ЕГЭ, ориентированного преимущественно на приём в вузы, лучше? Никто. Сама идея отбирать абитуриентов, одинаковыми «материалами», в разные вузы – такая же ошибочная и вредная, какой была и идея единого экзамена. Если вузы разные, и туда идут студенты с разной подготовкой, то в соответствии с требованиями постулата соответствия теории педагогических измерений, задания должны быть разные по уровню трудности, такие, которые позволяют, соответственно, каждому вузу точнее отобрать искомый контингент. При проверке всех одним и тем же набором «материалов» точность оценок резко ухудшается. Это особенно сказывается на правой стороне распределения исходных баллов, у наиболее подготовленных испытуемых, что видно на приводимых далее гистограммах.

Коррупция не уменьшилась, а увеличилась, теперь уже вокруг ЕГЭ. И это уже не мнение, а профессионально установленный точный факт31. А значит, это, одновременно, и факт провала одной из главных целей введения ЕГЭ – снижения коррупции. В министерстве образования и науки все годы т.н. «эксперимента по ЕГЭ» убаюкивали себя тем, что этот факт их не касается, что борьба с коррупцией вокруг ЕГЭ – дело других ведомств. Никто в Правительстве РФ их не поправил. Хотя без шума меняли, время от времени. Именно такая негласная позиция и привела к всплеску коррупции.


Факты непригодности «материалов» ЕГЭ

На рис. 1 представлено трансформированное распределение т.н. «тестовых» баллов ЕГЭ по русскому языку, полученное благодаря запросу комиссии при Совете Федерации. Реальное распределение так и не удалось получить даже этому представительному органу.



Представленное распределение похоже на гребёнку, вызванную, скорее всего, искусственным нарушением ранее выбранных интервалов построения гистограммы. Что само по себе, при отсутствии реальных результатов, может свидетельствовать о стремлении исполнителей скрыть настоящую картину - непригодность исходных «материалов» и полученных по ним результатов ЕГЭ. Реальное распределение было бы много полезнее для улучшения дел. Но и это слышать не хотели.

Здесь неработающей оказалась правая часть, связанная с использованием части «С». Разве это не признак провала некачественного контрольного «материала» и самого ЕГЭ? Справа на рисунке 1 два всплеска, в районе девяносто четырёх и ста баллов, могут интерпретироваться как коррупционные, в принципе не вытекающие из логики распределения результатов. А это тоже вполне статистически доказательный признак провала.

Другой факт искусственно сжатого (справа) трансформированного распределения результатов по русскому языку, но теперь уже во всероссийском масштабе представлен на рис. 232. Этот т.н. «тест», сделан избыточно лёгким. Таким смещённым, асимметричным тест не позволяется делать даже студентам. По приведённым данным, только 3,3 % испытуемых не смогли преодолеть минимально определённый в кабинетах Рособрнадзора порог, который устанавливали, в нарушение существующих на Западе этических норм, не до, а после проведения экзамена.

Рис. 2 Распределение участников экзамена по полученным тестовым баллам в 2010 г.



Слева, на рис. 2, возник своеобразный «проходной двор» - почти все испытуемые (96,7%) успешно сдали требования единого государственного экзамена к владению русским языком. Это очевидный артефакт, вызванный завышенной лёгкостью, высокой вероятностью угадывания правильных ответов в первой части и массовыми нарушениями процесса проведения государственного экзамена.

Реально дети говорят на русском языке, а особенно пишут, не лучше, а хуже, чем это было до введения ЕГЭ. Похоже, что именно про такой случай разработки контрольных «материалов» прочувственно говорила пожилая учительница из Самарской области, позвонившая в Общественную палату РФ: «Я хотела бы передать благодарность тому, кто придумал ЕГЭ. ЕГЭ построен таким образом, что почти невозможно сдать на двойку!» (документированная запись № 2128, Самарская область)33. Разве эта благодарность опытного педагога, довольного таким удачным исходом государственного экзамена - не убедительный пример некачественности используемого тем же государством контрольного «материала» ЕГЭ?

Справа, на рис. 2, распределение сжато так, что коррупционные всплески исчезли совсем, появилось немало отличников. Таким ЕГЭ тоже оказались довольными большинство испытуемых, часть родителей. Довольны и чиновники министерства образования, создавшие видимость большого скачка в работе министерства, хотя на самом деле, по общему мнению, образование в стране деградирует.

Напрашиваются вопросы. Сколько времени всё это шоу будет ещё продолжаться? Так же «вечно», как и ЕГЭ? Тогда надо быть готовым к тому, что ЕГЭ, независимо от желания толкачей этого экзамена, закончится очень скоро! Похожая на ЕГЭ система была в Древнем Китае, но она рухнула под напором коррупции34.

Шансы закончить среднюю школу с документом об успешном окончании школы даёт большинству экзаменуемых и т.н. «КИМ» по математике (Рис.3). Но здесь распределение исходных баллов оказалось асимметричным в противоположную сторону.

Распределение в левой части шкалы исходных результатов по математике похоже на нормальное, но это характерно лишь для слабой части испытуемых, с модальными значениями 8 и 9 баллов, близких к минимально «проходным». Иначе говоря, массовое математическое образование у нас достигло минимального одобренного порога.

Из-за стремления разработчиков этого «материала» выполнить министерские установки «единого» экзамена, точность оценок у хорошо подготовленных выпускников школ на российском государственном экзамене оказалась недопустимо низкой. В зоне чрезмерно высокого риска получения ошибочных оценок оказались самые подготовленные выпускники школ. Разве это не метрический аргумент провала ЕГЭ?

Рис. 3 . Распределение исходных результатов по ЕГЭ (математика - 2010).



При сравнении результатов получается, что математику в российских школах дети знают много хуже, чем русский язык. Именно на такой вывод наталкивает единственный, в истории проведения ЕГЭ, случай публикации распределения исходных результатов ЕГЭ по математике в 2010 г. (рис.3 (рис. 1.1 второй главы отчёта (с.5)35. Если это считать фактом, то он указывает на провал образовательной политики. А если это артефакт, вызванный неправильной разработкой контрольных «материалов», то это - очередное свидетельство непригодности контрольных «материалов» проведения единых государственных экзаменов.

В классической (статистической) теории педагогических измерений уже давно сложилась традиция считать результаты тестов с асимметричным распределением баллов как относительно невалидные по двум возможным причинам: либо трудность большинства заданий не соответствует уровню подготовленности большинства испытуемых, либо наоборот, уровень подготовленности большинства испытуемых не соответствует уровню трудности большинства заданий. И то, и другое снижает качество измерений и практическую полезность.

Посмотрим ещё на один факт36, представленный в табл. 1.

Решаемость заданий ЕГЭ по физике в 2007 году, по вариантам (1 волна).

Задания группы « A, B»

Табл.1

Номер варианта

A1

A2

A3

A4

A5

A6

A7

1

79,71%

60,87%

43,48%

55,07%

72,46%

81,16%

40,58%

2

52,17%

53,62%

60,87%

62,32%

65,22%

78,26%

30,43%

3

70,67%

58,67%

49,33%

50,67%

69,33%

68,00%

32,00%

4

72,22%

52,78%

48,61%

66,67%

66,67%

37,50%

58,33%

5

45,83%

47,22%

58,33%

40,28%

54,17%

38,89%

83,33%

6

55,41%

20,27%

55,41%

89,19%

83,78%

27,03%

66,22%

7

50,00%

25,00%

56,94%

84,72%

86,11%

69,44%

76,39%

8

76,81%

56,52%

47,83%

50,72%

69,57%

78,26%

34,78%

9

58,57%

47,14%

38,57%

72,86%

68,57%

71,43%

41,43%

10

77,46%

50,70%

56,34%

67,61%

64,79%

73,24%

43,66%

11

72,06%

66,18%

64,71%

94,12%

82,35%

48,53%

75,00%

12

54,55%

36,36%

57,58%

86,36%

59,09%

34,85%

71,21%

13

54,69%

32,81%

65,63%

50,00%

84,38%

54,69%

60,94%

14

50,00%

51,52%

71,21%

89,39%

83,33%

56,06%

86,36%

15

В69,49%

22,03%

64,41%

81,36%

69,49%

32,20%

74,58%

Среднее

62,64%

45,66%

55,69%

69,21%

71,91%

56,85%

58,01%

Продолжение таблицы 4

Номер варианта

A8

A9

A10

A11

A12

A13

A14

A15

1

23,19%

31,88%

34,78%

60,87%

50,72%

56,52%

34,78%

44,93%

2

24,64%

37,68%

39,13%

59,42%

59,42%

63,77%

50,72%

17,39%

3

42,67%

36,00%

37,33%

45,33%

56,00%

69,33%

48,00%

14,67%

4

36,11%

16,67%

34,72%

41,67%

63,89%

79,17%

47,22%

19,44%

5

45,83%

11,11%

31,94%

48,61%

37,50%

58,33%

70,83%

40,28%

6

32,43%

54,05%

56,76%

18,92%

29,73%

64,86%

41,89%

18,92%

7

62,50%

12,50%

43,06%

50,00%

38,89%

63,89%

29,17%

27,78%

8

33,33%

36,23%

56,52%

52,17%

63,77%

62,32%

33,33%

15,94%

9

45,71%

35,71%

57,14%

50,00%

62,86%

70,00%

52,86%

57,14%

10

43,66%

47,89%

46,48%

69,01%

61,97%

66,20%

32,39%

23,94%

11

63,24%

22,06%

51,47%

29,41%

42,65%

83,82%

63,24%

29,41%

12

51,52%

13,64%

65,15%

48,48%

78,79%

68,18%

42,42%

19,70%

13

50,00%

57,81%

43,75%

57,81%

26,56%

62,50%

34,38%

32,81%

14

36,36%

25,76%

53,03%

53,03%

42,42%

71,21%

56,06%

43,94%

15

62,71%

15,25%

55,93%

57,63%

28,81%

86,44%

55,93%

37,29%

Среднее

43,34%

30,41%

46,91%

49,23%

49,81%

68,24%

46,14%

29,34%



Анализ таблицы позволяет доказательно утверждать, что в этом материале, созданном для проверки знаний по физике, нет ничего похожего на тест как систему заданий возрастающей трудности, имеющих параллельные варианты. Они совсем не параллельны по уровню трудности. В таблице видна недопустимо большая вариация заданий по трудности, между вариантами одного и того же номера контрольного «материала». Из-за чего ЕГЭ превратился не в средство педагогического измерения, а в форму проведения лотереи.

Уже по одной этой причине единый экзамен, как государственный, не имеет права на применение, поскольку этим некачественным экзаменом нарушаются права испытуемых и их родителей на объективную и справедливую оценку уровня подготовленности. Баллы испытуемых сильно зависят от попавшегося варианта экзамена. И это ещё одно доказательство некачественности контрольных материалов государственных экзаменов. Разве и это не провал ЕГЭ?


Три вопроса

В связи с представленными здесь фактами могут возникнуть три вопроса и три вероятных ответа.

Первый вопрос: Могли бы данные 2011 года стать свободными от недостатков, или стать лучше ранее полученных результатов, представленных в этой статье? Ответ прост: из-за режима секретности результатов ЕГЭ это науке это неизвестно. Надо открыть исходные распределения прошлых лет и новые данные. Эти данные не конфиденциальны по смыслу, но превратились в конфиденциальные по антиобразовательному замыслу и исполнению. Только после этого можно узнать – новые контрольные «материалы» стали лучше или, скорее всего, ещё хуже? Неужели гражданам страны и Правительству РФ неинтересно знать ответ на такой вопрос?

Второй вопрос: а сколько нужно ещё привести фактов некачественности контрольных материалов государственных экзаменов, чтобы Министерство образования и науки, а также Правительство РФ приняли, наконец, решение о прекращении проведения единых государственных экзаменов для выпускников школ и абитуриентов различных вузов?

До выборов 2012 года мы вряд ли получим ответ и на этот вопрос. Пока только видно, что власть, похоже, стремится сохранить «навечно» асоциальный вариант экзамена и хочет засекречивать некачественные материалы далее. А после 2012 года ответ будет зависеть от результатов выборов и от исхода возможных послевыборных событий.

Третий вопрос – а что, если всё продолжится так же, как сейчас? Тогда можно предположить, что государственные экзамены развалятся, и окончательно. Никакой бюрократический режим их проведения и никакие контрольные «материалы» их не спасут. А образование в стране начнёт деградировать ещё сильнее. Россия, с её природными ресурсами и огромными территориями, останется без качественно образованного населения. Как писал О. Шпенглер, сегодняшняя мощь "наций" есть следствие всего-навсего прошлой школьной политики. Пусть каждый читатель решит для себя - правильно ли будет сказать, что возможная завтрашняя немощь страны станет результатом сегодняшней образовательной политики?


Спорное решение Государственной Думы

Развитию педагогических измерений в России мешают контрольные материалы для проведения государственных экзаменов. Теперь они станут мешать ещё больше. Наметившаяся тенденция законодательного усиления ответственности за нарушения режима проведения единого государственного экзамена – это ещё один шаг к сторону разрушения образования в стране.

Госдума приняла законопроект, в котором написано, что контрольные измерительные материалы (КИМы) ЕГЭ признаются конфиденциальной информацией37. Это было сделано, опять-таки, казалось бы, из благих побуждений – сохранить упомянутые материалы от несанкционированного доступа до начала экзаменов, обеспечивая, тем самым, равный доступ граждан к высшему образованию.

Факты нарушения сохранности используемых в ЕГЭ заданий возникают ежегодно, во многих местах и в массовом порядке, что, очевидно, указывает на несовершенство идейных основ, проектной схемы, процедуры и самой организации этого экзамена. Достаточно привести один самый массовый пример. В 2011 году, во время ЕГЭ по математике многие выпускники получали ответы на мобильные телефоны из популярной социальной сети «В Контакте». В специально созданной в этой сети группе, которая существует уже несколько лет, и в которую вступили около 300 тысяч человек, размещались варианты ответов ЕГЭ, причем информацию предлагали купить за деньги38.

По замыслу депутатов Госдумы, придание материалам юридического статуса конфиденциальности позволит удержать ЕГЭ от дальнейшего интенсивного саморазрушения. Но это очень спорный, если не ошибочный, замысел. Он укладывается в логику бюрократического режима проверки знаний, но противоречит логике научной организации системы педагогического контроля, с педагогическими принципами этой системы39.

Само слово "конфиденциаль