Главная/Материалы/Современные подходы к оценке учебных достижений учащихся

Материалы к Ученому совету ОИУУ по теме:

Современные подходы к оценке учебных достижений учащихся

докладчик - зав. лаб. ПК Алиджанов Э.К.

Проблема методологии оценивания учебных достижений в свете современной образовательной парадигмы

Современный человек живет и действует в условиях, требующих высокого профессионализма и значительных интеллектуальных усилий для принятия правильных решений в различных жизненных и рабочих ситуациях. Усложнившиеся социально-экономические процессы, уплотнившиеся информационные потоки, явный недостаток времени на их осмысление, возросшие конкурентность и агрессивность — все это обусловливает довольно высокие требования к выпускникам образовательных учреждений. Сегодня перед всеми участниками образовательного процесса стоит проблема повышения качества образования, его адаптации к складывающимся жизненным реалиям (экономическим, социальным, культурным, демографическим, и т.д.).

В настоящее время в преподавательских кругах активно обсуждается тема разработки общих принципов и методологии оценивания.

Разработка этой методологии до сих пор остается проблемой потому, что исключительно трудно осуществить последовательное сопоставление целей образования с достигаемыми результатами обучения. Цели образования выражены, как правило, в весьма общих и потому абстрактных категориях: «подготовить квалифицированного специалиста», «сформировать научное мировоззрение», «вооружить научной методологией» и т. п. Измерение же результатов обучения проводится на совсем ином уровне — более узком, более конкретном, более осязаемом. Получается, что конечные цели образования и результаты обучения, проверяемые в конкретной оценочной ситуации, формулируются на разных языках. Цели — на языке интегральных, общих категорий, а результаты — на языке конкретных знаний, умений, навыков, то есть языке действий. Для выработки эффективных и достаточно строгих критериев оценивания необходимо стараться излагать цели и результаты обучения на одном и том же языке, в одних и тех же понятиях и терминах, что не всегда представляется возможным.

Сложность оценивания усугубляется тремя глобальными тенденциями, свойственными мировой педагогической практике.

Во-первых, в индивидуальном плане происходит переход от так называемой «классической культуры» к «мозаичной культуре», описанный французским социологом А. Молем. Классическая система образования, сложившаяся в 17— 18 вв. давала относительно стройную, иерархическую систему знаний о мире, отличающуюся системным характером. Учащийся усваивал их по принципу «ступеней», отталкиваясь от ядра фундаментальных понятий, он овладевал другими понятиями, спускаясь к ним с помощью системы логических связей.

В нашем веке характер приобретения знаний существенно изменился. Современный человек значительную, если не большую, часть знаний получает не в системе рационального образования. «Оснащение» его ума происходит сейчас не столько через систему образования, сколько через средства массовой коммуникации. А. Моль называет такую культуру «мозаичной».

Во-вторых, отчетливо проявляется тенденция технократизма в сфере образования. В значительной мере это связано с резко возросшей технической мощью и энергетическим оснащением человечества. Произошло перемещение центра тяжести в сторону функциональных характеристик личности, в сторону профессионализма, дефицит которого уже невозможно компенсировать простым усердием, что привело к нарушению в образовании гармонии между специальными знаниями и духовной культурой.

В-третьих, качественно изменяется само положение педагога в системе образования, что вызывается прежде всего, интенсивной компьютеризацией всех сторон общественной жизни, в том числе учебного процесса. Информационный взрыв привел к ситуации, когда ни вузовский профессор, ни тем более преподаватель школы или колледжа, уже не являются «передним краем» знания. Учебные дисциплины, построенные на упрощенной классификации наук уже почти «вышли из игры», демонстрируя иногда чуть ли не полувековое отставание. Сообщество педагогов уже не может быть основным носителем всех новейших знаний. Мощные компьютерные системы, интегрированные в глобальные сети, открывают принципиально иные перспективы для творчества. Возникает проблема частичного обесценивания традиционного «книжного» образования. Она наиболее реальна, когда индивид по тем или иным причинам выпадает из системы компьютерной грамотности и вытесняется поэтому на обочину жизни. Меняется и роль преподавателя. Если раньше он, в основном, выполнял функцию накопителя и распространителя научной информации, то теперь ему нужно превратиться в фигуру, центральная задача которой управлять познавательной активностью учащихся и контролировать ее результаты.

Осознание перечисленных выше тенденций подтолкнуло педагогическое сообщество к поиску альтернативных форм обучения, к отходу от привычных стандартов, к свободному педагогическому эксперименту. Однако этот закономерный процесс поставил под угрозу существование единого образовательного пространства, так как в той или иной степени покушался на его разумную унификацию. Начались поиски равновесия между раскрепощением технологической стороны обучения и жесткими, едиными требованиями к качеству подготовки выпускников. Девизом нового подхода стал лозунг «Любое проявление творчества при обязательном выполнении нормативов базисного учебного плана и обеспечении достаточного качества знаний».

Заключительная часть этого лозунга сразу жестко ставит вопрос о критериях минимальной достаточностизнаний, то есть о критериях отметки «удовлетворительно». Казалось бы, можно поступить просто и использовать в наших учебных заведениях уже существующие стандартные тесты по различным предметам, которые разработаны на основе требований учебных программ, научно-теоретических представлений о необходимой степени усвоения учебного материала, степени овладения умениями и навыками и т. п. /такие тесты широко используются в западной педагогической практике/. Бесспорно, что предметные тесты обеспечат большую объективность контроля знаний, придавая отметкам достаточную надежность. Однако опыт такого пути предостерегает от поспешности.

Например, аттестационно-диагностический центр Нижегородского института развития образования с1992 г. по поручению департамента образования области начал экспериментальные исследования, связанные с разработкой региональных стандартов уровня предметной подготовленности учащихсясредней школы. Широкомасштабный эксперимент, охватывающий десятки тысяч школьников, показал, что нормальная кривая распределения «тестовых» отметок заметно сдвинулась влево относительно кривой распределения «журнальных» отметок, т. е. в сторону снижения итоговых баллов по всей оценочной шкале. При этом нередкими оказались случаи, когда троечники одной школы обнаружили более высокий уровень подготовленности, нежели хорошисты и отличники другой.

«Нетрудно представить, — предостерегают авторы нижегородского эксперимента, — возможные разрушительные для школы последствия, когда не прошедшие эмпирической проверки нормативные требования, исходящие из априорных соображений научности, минимальной достаточности и т. п., будут внедряться в практику». Означает ли это отказ от использования стандартных предметных тестов в оценочной практике. Ни в коем случае. Это предостережение от поспешных, непродуманных шагов в этой области, пренебрегающих большой подготовительной работой: сближение тестового контроля знаний с традиционными методиками оценивания, тщательная эмпирическая проверка и шлифовка предметных тестов. Необходима психологическая привычка к процедуре тестирования как обучающихся, так и обучающих и т. п. Иными словами, резкое «хирургическое» вмешательство в существующую практику оценивания знаний является нежелательным.

Следует сказать, что использование на практике того или иного нововведения, если оно осуществляется в отрыве от других инновационных составляющих реформирования образовательной системы, представляется методологически несостоятельным. Если посмотреть на существующую практику контроля и оценки знаний в зарубежных колледжах, то можно выделить следующие взаимосвязанные тенденции.

1. Явный приоритет письменной формы оценки знаний перед устной. Устный - экзамен, например, при всех своих достоинствах, обладает рядом существенных недостатков, снижающих объективность и надежность оценивания. При устном экзамене гораздо острее экзаменационный стресс у учащихся. Больше возможностей для проявлений субъективизма экзаменатора, связанного с симпатиями и антипатиями, возможностью наказать студента баллом за различные проступки. Утомляемость экзаменатора резко возрастает во второй половине экзамена, что приводит к ошибкам в оценивании. Кроме того, устный экзамен не оставляет «следов» в виде письменной работы, что рождает проблемы в спорных ситуациях. Из-за дефицита времени преподаватели нередко формулируют некорректные вопросы.
2. Суммирование результатов текущего /рубежного/ контроля и экзаменационного контроля в итоговой оценке. Акцент только на экзаменационный контроль, как это сложилось в нашей практике, неизбежно рождает «штурмовщину» у значительной части учащихся, что приводит к низкому качеству знаний. Если же ученик заранее знает, что баллы полученные им в семестре, составят 50% итоговой оценки, то это стимулирует его к систематической работе в течение года.
3. Использование индивидуального рейтинга как основного показателя успехов в обучении. Рейтинговая система контроля обучения рождает состязательность в учебе, положительно влияет на мотивацию учащихся, сводит до минимума случайность в оценивании и т. п.
4. Использование компьютерного тестирования как вспомогательного средства, освобождающего экзаменатора от рутинной части его работы.
5. Использование многобалльных шкал оценивания наряду с сохранением классической 5-балльной шкалы в качестве основы. Многобалльные шкалы обладают большими дифференцирующими возможностями, позволяют экзаменатору отображать нюансы оценки. Наши преподаватели, пользуясь грубой, фактически трехбалльной, шкалой, лишены этой возможности, поэтому вынуждены дополнять отметку «плюсом» или «минусом».

Интегративные процессы, характерные для современных образовательных систем, требуют от нас учета перечисленных выше тенденций в области контроля и оценки знаний. Введение жестких нормативов и стандартов уровня предметной подготовленности учащихся с помощью эталонных тестов будет успешным только в том случае, когда оно будет осуществляться комплексно, в единстве с другими необходимыми нововведениями. Прежде чем применять тестовые процедуры, их нужно хорошенько изучить и адаптировать к нашим реалиям. Не следует идти путем механического копирования, теряя при этом наработки собственной практики. Целесообразно осуществлять серьезные преобразования лишь после тщательной методической и психологической подготовки к ним преподавателей и учащихся.

Современная школьная реформа и проблема управления качеством образования

В настоящее время происходит переход от системы централизованного управления образованием к региональному. Прежние структуры уже не могут достаточно эффективно решать современные задачи управления. Практикам и ученым приходится трудиться в режиме интенсивного инновационного поиска, разрабатывая сбалансированную разноуровневую систему управления образованием, учитывающую специфику современного социально-экономического развития России и ее регионов, переориентацию управления на развитие региональных образовательных систем. Наиболее важная задача современного этапа реформы системы образования - управление качеством образования.

Необходимо управлять не тем или иным компонентом образовательного процесса, а свойствами этих компонентов, их соответствием определенным нормам. Важнейшей процедурой управления является обеспечение проектирования качества образования. Содержание процедуры проектирования заключается в определении образовательных стандартов. Основное назначение образовательных стандартов состоит в организации деятельности людей, направляемой на производство продукции с определенными свойствами, которые удовлетворяют индивидуальным и общественным потребностям.

С определенной долей упрощения можно сказать, что качество есть соответствие неким заданным стандартам, а управление качеством - процесс приведения системы к некоторому стандарту.

Недостаточно разработать стандарт, нужно добиться его выполнения. Следовательно, следующей процедурой управления качеством образования является образовательный мониторинг (постоянное наблюдение за процессом образования с целью выявления его соответствия желаемому результату и прогнозирования развития системы образования).

Основные этапы образовательного мониторинга:

• сбор информации о состоянии объекта и внешней среды;
• анализ полученной информации;
• принятие управленческих решений и выдача командной информации.

Для построения эффективной системы педагогического мониторинга необходимо определить, какие показатели деятельности системы образования наиболее важны для управления (уровень учебной подготовки учащихся, методическая культура педагогов, мотивация к получению образования, социальные, психологическиеи экономические условия реализации образовательного процесса и т.д.).

Разрозненные психолого-педагогические и социологические исследования, каждое со своим инструментарием (даже если он и хорошего качества), не позволяют сравнивать получаемые результаты и проводить обобщающий анализ динамики развития системы образования.

В настоящее время управленцы всех уровней не располагают инструментальными средствами педагогического контроля. Школы (методисты) самостоятельно разрабатывают мониторинговый инструментарий, содержание и структура которого определяются спецификой изучаемого объекта, особенностями форм и методов мониторинга. Качество такого инструментария не подвергается серьезной проверке, что делает проблематичным принятие обоснованных управленческих решений по результатам контроля.

Многообразие форм и методов обучения должно сопровождаться объективной информацией о качестве оказываемой образовательной услуги. Необходимо создать условия для обеспечения гражданских прав учащихся и их родителей на получение полноценного, удовлетворяющего личные потребности каждого индивидуума образования.

Необходима централизованная организация разработки инструментальных средств педагогического контроля уровня учебной подготовки учащихся, заканчивающих начальную, основную среднюю и полную среднюю школу.

Проблема качества и объективности оценки учебных достижений

Для повышения качества обучения педагогу необходимо уметь грамотно и к месту выбирать и применять существующие формы и методы педагогического контроля, четко определять его цели и функции.

В теории и практике внутришкольного управления наибольшее распространение получили следующие формы и методы педагогического контроля:

1. тематический - глубокое изучение знаний и умений учащихся по ключевым темам учебной программы (изучение системы работы учителя в границах учебной темы);
2. фронтально-обзорный - пилотажное изучение знаний и умений коллектива учащихся (успешность работы группы учителей) по общим вопросам;
3. сравнительный - параллельное изучение личности учащихся, учебных групп, отдельных педагогов;
4. персональный - всестороннее изучение личности конкретного ребенка, системы профессиональной деятельности отдельного педагога;
5. классно-обобщающий - изучение качеств знаний и умений учащихся (качества преподавания) в конкретном классе;
6. предметно-обобщающий - изучение качеств знаний и умений учащихся (качества преподавания) по отдельным учебным курсам;
7. комплексно-обобщающий - всестороннее изучение качеств знаний и умений учащихся (качества преподавания) в конкретном классе на начальной, основной средней или полной средней ступени школы;
8. оперативный - изучение неожиданно возникших проблем в образовательном процессе.
9. формулирующий - оценивание осуществляется в течение всего времени обучения для установления обратной связи от обучаемых к преподавателю;
10. итоговый (суммативный) - оценивание направлено на подведение конечных результатов обучения (аттестация).

Выявляются четыре основные функции педагогического контроля :

• диагностическая (оценка степени усвоения учебной программы и уровня профессионализма и квалификации слушателей);
• обучающая (повышение мотивации и индивидуализация темпа обучения);
• организующая (совершенствование организации учебного процесса за счет подбора оптимальных форм, методов и средств обучения);
• воспитывающая (выработка структуры ценностных ориентаций).

При организации педагогического контроля рекомендуется соблюдать следующие принципы:

• связь с процессом образования и воспитания;
• объективность, справедливость и гласность;
• надежность, эффективность, валидность;
• системность и всесторонность.

Измерение считается объективным, если удается максимально уменьшить интерсубъективные воздействия исследователей. Достичь унификации и уменьшения субъективных воздействий на процедуру педагогического контроля можно за счет обеспечения объективности проведения измерения, обработки данных, интерпретации результатов измерения.

Степень надежности измерения определяется коэффициентом надежности (корреляционный коэффициент), который показывает, в какой мере совпадают результаты измерений, проведенных в одинаковых условиях. Понятие надежности непосредственно связано со стандартной измерительной ошибкой, информацией о том, между какими значениями полученной численной оценки находится истинное значение успеваемости индивидуума. Учителям полезно знать, что измерительная ошибка пятибалльной системы оценок составляет ±1 балл .

Валидность измерения показывает то, что данная методика позволяет измерять действительно требуемые критерии (характеристики) исследуемого педагогического явления. Валидность подразделяется на несколько типов:

1. содержательная валидность - экспертное подтверждение соответствия диагностического материала программе и основным целям обучения в контролируемой предметной области, согласованности результатов диагностики с другими независимыми формами контроля знаний;
2. критериальная валидность - достаточный уровень корреляции результатов тестирования по отдельным заданиям и по всему тесту в целом;
3. техническая валидность - обеспечение достаточного числа эквивалентных форм измерителей (вариантов заданий, вопросов), предотвращающих возможность механического заучивания правильных ответов.

Совершенствование системы педагогического контроля можно вести в двух основных направлениях.

Первое - это совершенствование традиционных форм и методов за счет их критического осмысления.

Организация эффективной системы педагогического контроля предполагает обязательный переход к процедуре педагогических измерений с использованием различных методов обоснования выносимых педагогических оценок. При этом оценка выступает как характеристика некоторой абстрактной величины (знание предмета, общественная активность, свойства личности студента и др.).

Оценочные суждения отличаются друг от друга своей инференцией (уровнем восприятия исследуемого педагогического явления). Оценки преподавателей обобщающего характера (вежлив, внимателен, прилежен), не опирающиеся на заранее определенные, однозначные категории наблюдения, являются, как правило, высокоинферентными.

Оценки с низкой инференцией (количество оговорок во время декламации, скорость чтения, и т.д.) проводятся по заранее разработанной инструкции и обладают достаточно высокой объективностью, но несут информацию только об отдельных сторонах педагогического процесса. Они не дают полной картины исследуемого явления.

Педагоги предпочитают высокоинферентные оценки как более содержательные и информативные, хотя они часто носят субъективный характер.

Повысить объективность высокоинферентной оценки можно путем систематизации и уточнения критериев, по которым выносится оценочное суждение, и использования оценочных шкал.

Процедуру педагогической диагностики следует организовывать так, чтобы вначале по разработанной системе критериев выносились несколько низкоинферентных оценок. Затем путем их обобщения (шкалирования) выносилась общая высокоинферентная оценка. Ниже приведен пример построения системы такой диагностики.

Система частных (низкоинферентных) оценок работы ученика на занятиях.

Общая (высокоинферентная) оценка ученика

Часто оценки (оценочные суждения) ставят в соответствие с их численными аналогами - отметками. Измерение, в отличие от оценки и оценивания, представляет собой конкретную процедуру количественного сопоставления изучаемого педагогического свойства (признака) с некоторым эталоном.

В педагогике нет материального объекта измерения, фиксированной единицы измерения и нулевой точки отсчета. Поэтому приходится преодолевать концептуальные трудности выделения измеряемого свойства, определить систему взаимосвязанных на разных уровнях абстракции понятий, начиная с самых общих определений на философском уровне (например, что такое знание вообще), переходя затем к определению знания конкретного предмета и операциональным определениям, в которых общие понятия выражаются правилами измерения и перечислениями конкретных измеряемых элементов (например, должен знать принципы, формы, методы, формулы, уметь их применять и т.д.). Операционализация объекта измерения заканчивается выработкой системы эмпирических индикаторов (с их помощью проверяют уровень сформированности исследуемых понятий эмпирически). В качестве эмпирических индикаторов выступают контрольные задания, подобранные с целью проверки знания по какому-либо предмету.

Результат педагогического измерения - численная оценка степени выраженности исследуемого признака (знание темы, раздела ). Нужно учитывать, что чем больше дифференцирующее воздействие на учащихся оказывает тот или иной метод обучения, тем более дифференцирующей должна быть методика педагогического контроля, оценивающая эти достижения.

Широко используемая в педагогической практике методика оценивания по пятибалльной шкале проста и привычна. Но она имеет ряд существенных недостатков:

• субъективность и зависимость от оценщика;
• слабая дифференцирующая способность.

В вузовской практике широкое распространение получила система рейтинга. Суть этого метода, нередко называемого экспертным, сводится к оценке студента каждым педагогом по 5-11 балльной шкале по ряду показателей, включая плохо поддающиеся измерению (например, активность на семинарских занятиях). Если студент оценивается по нескольким характеристикам, то результаты оценки могут суммироваться, если операция суммирования имеет смысл с точки зрения сущности изучаемого явления. Иногда прибегают к сравнительному взвешиванию значимости каждого свойства (шкалированию). Надежность рейтинга сильно зависит от степени "строгости" или "снисходительности" экспертов и общего восприятия обучаемого экспертами. Это приводит к тому, что на результаты рейтинга начинают влиять качества и особенности личности, не относящиеся прямо к учебной характеристике студента (внешность, голос, манера держаться). В этой связи возникает вопрос об определении качества выставляемой оценки. Чем более согласованы оценки экспертов (высокая корреляция), тем больше вероятность приближения к истинному результату.

Второе направление предусматривает использование технических средств в сочетании с тестовой методикой.

Педагогический тест - это инструментальное средство контроля знаний, при использовании которого можно с заданной точностью определить надежность и валидность проводимых измерений. Применение тестовой методики позволяет осуществлять количественный анализ успешности обучения по различным учебным группам (классам, отдельным учебным заведениям, районам), что невозможно в рамках традиционной школьной системы оценивания. Профессионально составленный тест позволяет за короткий промежуток времени проверить знания большого количества учащихся (ограничение накладывает только наличие посадочных мест) по полной программе преподаваемой дисциплины, в то время как традиционные экзамены позволяют проводить только выборочную проверку знаний. При осуществлении тестового контроля проверяющим не требуется наличия специальных предметных знаний, что значительно упрощает организацию процедуры. Однако простота и технологичность использования тестовых процедур сочетается со значительными интеллектуальными и материальными затратами, необходимыми для его разработки.

В настоящее время преподаватели, руководители образовательных учреждений начинают достаточно широко применять тестовую форму контроля знаний, используя при этом либо опубликованные в педагогических изданиях тесты, либо тесты собственной разработки. Отмечая эту тенденцию, как безусловно положительную, следует отметить, что, как правило, при этом используются так называемые неформальные педагогические тесты, которые не удовлетворяют требованиям, предъявляемым к инструментальным диагностическим средствам педагогического контроля. Управленцы всех уровней не располагают стандартизованными инструментальными средствами педагогического контроля. Учебные заведения (методисты) самостоятельно разрабатывают мониторинговый инструментарий, содержание и структура которого определяются спецификой изучаемого объекта, особенностями форм и методов диагностики. Качество диагностических средств не подвергается серьезной проверке, что делает проблематичным принятие обоснованных управленческих решений по результатам контроля.

Вероятно, пришло время органам управления образованием серьезно заняться вопросом разработки региональной системы измерителей учебных достижений.

Система измерителей учебных достижений - это нормативные требования к учащимся, заявленные в форме, позволяющей проконтролировать соответствие объекта измерения требованиям стандарта. В качестве таких измерительных средств предлагается использовать критериально-ориентированные тесты.

Для эффективного внедрения стандартизированных тестов учебных достижений в педагогическую практику региона необходимо разработать и утвердить:

• единые унифицированные требования к составлению тестовых заданий;
• стандартные требования к тесту как инструментальному средству педагогической диагностики (валидность, надежность и тд.);
• единые требования к технологии проведения тестирования;
• общие научно-обоснованные подходы к интерпретации результатов тестирования.

Такого рода стандартизация создаст условия, позволяющие проводить сравнительный анализ результатов тестирования и получать общую картину динамики развития системы образования региона.

Разрабатываемые нормативные требования не должны вступать в противоречие со сложившейся практикой оценивания знаний. Для того, чтобы система стандартизированных тестов выполняла свою организующую и стимулирующую роль, необходимо обеспечить ее преемственность с существующей системой оценивания. На начальном этапе не следует жестко увязывать требования стандарта со знаниями отдельно взятого ученика (особенно с неудовлетворительной оценкой). Используя стандартизированные тесты, следует ориентироваться на получение обобщенных показателей уровня преподавания в учебной группе, образовательном учреждении, районе, реализуя, таким образом, мониторинг качества учебного процесса, аттестацию учебных заведений, сертификацию учащихся. При разработке стандартизированных средств контроля важно учитывать реально существующий уровень учебной подготовки учащихся в каждом конкретном районе (учебном заведении). Необходимо понимать, что использование новых программ, технологий, методик преподавания позволит добиться позитивных перемен в профессиональном образовании только в результате кропотливой, многолетней работы.

Создание измерительных стандартов и их внедрение в систему образования не может основываться исключительно на теоретическом обосновании минимальной достаточности знаний. Требуется постоянная работа по созданию, усовершенствованию измерительных средств, по уточнению статистических критериев оценки качества учебной подготовки. Нужно не допустить возможных разрушительных последствий использования нормативных требований, не прошедших серьезной эмпирической проверки, построенных исключительно на априорных соображениях педагогов.

При выполнении указанных выше требований стандартизация региональной системы измерителей учебных достижений станет определяющим фактором развития системы образования региона, массовое применение образовательных стандартов и тестовых технологий позволит не на словах, а на деле гуманизировать образование, создать условия для реализации творческого потенциала учащихся и преподавателей.

Практика внедрения элементов образовательного мониторинга в систему образования Оренбургского региона.

Проект «Централизованное тестирование»

В 1997г. Оренбургская область включилась в общероссийскую программу Централизованного тестированияв которой приняло участие 2205 человек. Для проведения процедуры тестирования было организовано пять пунктов: ОренбургИУУ; Бузулук ГОО; Бугуруслан ГОО; Орск ГОО; Красногвардейский район РОО.

В этом году учащимся было предложено пройти тестирование по всей совокупности предметов предлагаемых в качестве выпускных экзаменов по выбору в 9-х и 11-х классах. Подведение итогов результатов тестирования и выписка сертификатов общероссийского подводились в Московском Центре. Результаты по всем предметам представлялись в двадцати балльнойшкале (независимой от количества вопросов текущего теста). Для перевода тестовых баллов в традиционную школьную оценку Центром тестирования (на основе статистикираспределениятестовых баллов) разработана специальная переводная шкала (таблица 1).

Основные результаты тестирования по предметам представлены в табличной и графической форме. По каждому предмету приведено общее количество тестируемых, количество учащихся получивших соответствующий тестовый балл, процент неудовлетворительных, удовлетворительных, хороших и отличных оценок, гистограмма характеризующая распределение тестовых результатов по конкретному предмету.

При анализе представленных данных тестирования следует учитывать, что добровольный характер процедуры предопределяет не соблюдение репрезентативности выборки учащихся. То есть реальная картина обученности школьников в городе и области может отличаться от полученных данных. В данном случае можно вести речь лишь об общих тенденциях успеваемости имеющих место в тех или иных предметных областях.

Для научных и методических структур института наиболее ценным является возможность проанализировать результаты централизованного тестирования в свете типологии характерных ошибок допущенных учащимися в процессе ответа на предложенные тестовые материалы. Такой анализ должен дать некоторые предпосылки для проставления акцентов в процессе проведения курсовой подготовки с преподавателямиучебных заведений области.

Русский язык.

Анализ результатов тестирования показывает, что наибольшие затруднения при работе с тестом у учащихся вызывает разделы "культура речи" и "пунктуация" (72% и 75% правильных ответов соответственно).

Математика.

Результаты тестирования по данной предметной области демонстрируют большое число неудовлетворительных оценок (45.5%).

Анализ по количеству правильных ответов полученных по различным разделам данной предметной области показывает, что наибольшие затруднения у учащихся вызывает:

1. Решение тригонометрических уравнений - 25% правильных решений;
2. Решение линейных алгебраических уравнений и их систем - 38% правильных решений;
3. Действия с обратными тригонометрическими функциями - 40% правильных решений;
4. Исследование функций с помощью производной - 44% правильных решений;
5. Решение задач по планиметрии и стереометрии (пирамиды и круглые тела) - 44% правильных решений.

Относительные затруднения вызвали также задачи из разделов: исследование квадратного трехчлена и решение квадратных уравнений; приложение теоремы Виета; показательные и логарифмические неравенства; тригонометрические преобразования и вычисления. Задачи этих разделов решили правильно около 50% учащихся.

Физика.

Анализ результатов централизованного тестирования показывает, что наибольшие затруднения у учащихся нашего региона вызывают следующие разделы:

1. Механическая работа, мощность, кинетическая и потенциальная энергия - 23% правильных ответов;
2. Законы Паскаля и Архимеда, принцип действия гидравлического пресса, давление столба жидкости, сообщающиеся сосуды - 22% правильных ответов;
3. Первое начало термодинамики, закон сохранения энергии в термодинамических процессах, количество теплоты, внутренняя энергия, КПД тепловой машины - 31% правильных ответов;
4. Уравнение теплового баланса, изменения агрегатного состояния вещества, удельная теплота сгорания вещества - 27% правильных ответов;
5. Движение заряженных частиц в магнитном поле (скрещенном магнитном и электрическом), сила Лоренца - 28% правильных ответов;
6. Квантовая оптика, формула Планка, энергия и импульс фотона, фотоэффект и работа выхода - 32% правильных ответов;

Следует отметить, что и все остальные задания теста по физике вызвали относительно большие затруднения у учащихся - только 40% правильных ответов.

Информатика.

Особые затруднения у учащихся вызвали следующие разделы теста

по информатике :

1. Информационные модели и алгоритмизация - 38% правильных ответов;
2. Логика - 23% правильных ответов;
3. Операционные системы и пакеты прикладных программ - 38% правильных ответов.

Химия

Затруднения у учащихся вызвали следующие разделы теста по химии:

1. Практические аспекты применения знаний по неорганической химии - 30% правильных ответов;
2. Решение задач с применением понятий о массовой доле растворенного вещества - 37% правильных ответов;
3. Классы неорганических веществ - 44% правильных ответов;
4. Химические свойства неорганических простых и сложных веществ - 36% правильных ответов;
5. Классы органических соединений и генетическая связь между ними - 36% правильных ответов.

Относительные затруднения вызвали также задачи из разделов: химическая связь и строение молекул, химические свойства органических соединений, промышленные и лабораторные способы получения неорганических и органических продуктов. Задачи этих разделов решили правильно около 50% учащихся.

Биология.

Следует отметить, что практически на все разделы теста процент правильных ответов превышает уровень 50%. Лишь только по отдельным заданиям раздела «эволюционное учение», «растения и животные» наблюдается пониженный процент (41-45%) правильных ответов.

География.

Особые затруднения у учащихся вызвали следующие разделы теста по географии:

1. История географических открытий - 13% правильных ответов.
2. Климатообразующие факторы - 39% правильных ответов.
3. Распределение температур и осадков 39% правильных ответов.
4. Климатические пояса - 26% правильных ответов.
5. Растительность и животный мир - 39%и 26% правильных ответов соответственно.
6. Городское и сельское население - 22% правильных ответов.
7. Угольная и нефтяная промышленность 17% и 30% правильных ответов соответственно.
8. Цветная металлургия - 26% правильных ответов.
9. Химико-лесной комплекс и водный транспорт - 35% правильных ответов.

Средний процент правильно выполненных заданий по региону составляет 50.6%, что совпадает с общероссийским среднем уровнем. Однако это не может уменьшить обеспокоенности по поводу низкого уровня общих показателей учебной подготовки учащихся по данной предметной области.

История

Особые затруднения вызвали ответы на следующие задания теста:

1. Образование российского государства (вопрос №6) - 28% правильных ответов;
2. Россия 1725-1801 годов (вопрос №15-16) - 28% и 30% правильных ответов соответственно.
3. Общественное и политическое развитие России в п.ч. XIX века - 39% правильных ответов.
4. Культура России в первой половине XIX века - 29% правильных ответов.
5. Культура России во второй половине XIX века - 37% правильных ответов.

Средний процент правильности выполнения всех заданий теста по Оренбургской области составляет 46,6%, что несколько ниже общероссийского уровня - 50,5% правильных ответов.

Английский язык.

Особые затруднения вызвали ответы на следующие задания теста:

1. Притяжательные местоимения - 43% правильных ответов.
2. Предлоги - 47% правильных ответов.
3. Задание по лексике (№ 25) - 38% правильных ответов.
4. Задание по страноведению англоязычных стран (№ 44) - 43% правильных ответов.

Средний процент правильности выполнения всех заданий теста по Оренбургской области составляет 71,1%, что несколько ниже общероссийского уровня - 77,8% правильных ответов.

Проект «Телетестинг»

В 1998г. Оренбургскому региону предложено принять участие во Всероссийской дистанционной олимпиаде для старшеклассников "Телетестинг-98". Научное руководство проектом осуществляет профессор факультета психологии МГУ, зам. председателя оргкомитета Олимпиады в МГУ, А.Г. Шмелев.

В соответствии с приказом ректора 19-24 мая 1997 годавМГУбылапроведенапервая дистанционная Олимпиада. "Телетестинг-97" - новая экспериментальная форма проведения предметныхолимпиаддля старшеклассников. Ее цель - содействиевыявлениюи привлечению в лучшие вузыстраныи,вчастности,вМГУ наиболееталантливыхиподготовленных выпускников школ из различныхрегионовРоссии.Посравнениюстрадиционным бланковым тестированием, организуемым Федеральным центром на базеМПГУ,"Телетестинг"призванобеспечитькачественно новый уровень стандартизации,достоверности и оперативности в сборе и обработке данных за счет использования современных компьютерныхиинформационных технологий.Для привлечения участников к Олимпиаде спонсором - газетой "Первое сентября"- учреждены призы - персональные стипендии для победителей.

Центром "Гуманитарные технологии"засчетсредств спонсора Олимпиады были подготовлены специализированные для условий телекоммуникации компьютерные тестовые программы и банки тестовых заданийпо 9основнымпредметамшкольнойпрограммы. В разработке тестовых заданий принимали участие преподаватели 9 факультетовМГУ - (всего33автора.В результате отбора заданий в банк вошло1687 заданий,по каждому предмету-в среднем188заданий.Разработанныйкомпьютерный алгоритм осуществлял автоматическую подготовкууникальныхвариантов из50заданийдля каждого испытуемого по одному предмету. Продолжительность каждого теста - менее часа. Файлы-протоколыдолжныобязательнопересылаться в Центр вдень тестирования - по электронной почте. Программа ТЕЛЕТЕСТ реализовала записьвпротоколнетольковсех выбранных ответов (из 4 вариантов),ноивремени,затраченногонаобдумываниекаждогозадания.Этиданные позволяют точнее установить уровень достоверности каждого присланного в Центр протокола.

В 1997г, в программе «Телетестинга» приняло участие 27 городов Российской Федерации (по алфавиту): Астрахань, Белорецк (Башкортостан), Волгоград, Губаха (Пермская обл), Екатеринбург, Ижевск, Иркутск, Казань, Калуга,Красноярск, Нижнекамск, Новосибирск, Новочеркасск, Норильск, Омск, Псков, Пятигорск, Ростов-на-Дону, Рыбинск, Санкт-Петербург, Саратов, Сосновый Бор (Ленинградская обл.), Тольятти,Тюмень, Улан-Удэ, Черноголовка (Московская обл.), Шахты.В четырех городах (Екатеринбург,Ижевск,Калугаи Тольятти) образовалось по 2 независимые организации, проводящие «Телетестинг». Итого - 31 Региональный центр. Этим центрамбылапредоставленасвободавопределенииформы оплаты - от бесплатного участия до 50 тысяч за одинпредмет (эта верхняя "планка" была достигнута только в Норильске). 7 центров работали по бесплатному варианту.

В дистанционной Олимпиаде приняло участие 2075 человек,выполнивших разное количество тестовпо разным предметам. Общее число присланных изрегионовдостоверных протоколов (т. е. проведенных "человеко-тестов") оказалось 5055. Свыше 200 протоколов были автоматически отсеяны как не достоверные. В разных Региональных центрах была обеспечена совершенно различная массовость участиявОлимпиаде.Вот число участников в самых массовых центрах: Ижевск - 304, Калуга - 252, Пятигорск - 196, Улан-Удэ - 167, Иркутск-145, Губаха - 118, Астрахань - 116, Шахты - 106. Больше всего участников выполняли тест по русскому и математике (около 1000), меньше - по географии (346).

Все протоколы немедленно проходили первичную обработку (подсчитывалось число правильных ответов)и на следующий день все участники во всех регионах могли узнать свои первичные результаты. После формирования полной выборки производился подсчет стандартизированных тестовых баллов.

Стандартизированный тестовый балл фиксирует сравнительную рейтинговую оценку достижений каждого испытуемого - по сравнениюсдостижениями других участников Олимпиады, выполнявших аналогичный тест. Выводится также приближенный условный эквивалентв форме традиционной 5-балльной оценки. По условиям Олимпиады на призовые стипендии могли претендовать только те участники, которые выполнят с максимально высокими результатами,не менее 3-х различных тестов. Рейтинг многоборья подсчитывался как средний тестовый балл по трем лучшим ("зачетным") тестовым результатам каждого участника. В список из15 участников, лучших по многоборью по предварительным данным вошли представители из следующих городов: Калуга, Белорецк, Пятигорск, Иркутск, Черноголовка, Ижевск, Псков, Норильск. Проведенная процедура перетестирования (ее удалось организовать путем командирования сотрудника Центра в Белорецк и приглашения ряда участников в Москву) подтвердила высокие достижения претендентов из указанного списка.Эти данные в сочетании с развернутыми характеристиками претендентов, присланными с мест (широкий перечень достиженийучастников в различных традиционных олимпиадах), говорят о перспективности технологии «Телетестинга» в решении задачи выявления талантов из российской "глубинки".

Участникам Олимпиады выдаются два основных документа, фиксирующих результаты их выступления:

• дипломы 1, 2 и 3 степени для лучших;
• справки - для всех обладателей высоких результатов (выше балла 3по традиционной шкале,или медианы на процентильной шкале).

Реализация проекта проводится на хорошем техническом и научном уровне, что делает перспективным расширение проекта в будущем. По сути идет отработка практической реализации методик дистанционного обучения.

Выводы

• Современная реформа системы образования и реалии нашей жизни требуют совершенствования методологии и методики оценивания личностных и учебных достижений учащихся.
• Разработка проблемы оценки личностных достижений учащихся требует серьезных теоретических и прикладных исследований, тщательного планирования и координации действий всех участников образовательного процесса.
• Для обеспечения объективности и надежности оценки учебных достижений необходимо начинать планомерную работу по внедрению тестовых методик оценки учебных достижений школьников в педагогическую практику региона.
• Поскольку разработка профессиональных педагогических тестов требует значительных интеллектуальных и материальных затрат их, целесообразно разрабатывать на уровне федеральных и региональных органов управления образованием. Необходимо обеспечить наше учительство надежным, валидным и простым в использовании инструментом педагогической диагностики, который бы облегчал работу педагога, а не создавал ему дополнительные трудности.
• Для эффективного внедрения стандартизированных тестов учебных достижений в педагогическую практику региона необходимо разработать и утвердить:
  • единые унифицированные требования к составлению тестовых заданий;
  • стандартные требования к тесту как инструментальному средству педагогической диагностики (валидность, надежность и т.д.);
  • единые требования к технологии проведения тестирования;
  • общие научно-обоснованные подходы к интерпретации результатов тестирования.

    Такого рода стандартизация создаст условия, позволяющие проводить сравнительный анализ результатов тестирования и получать общую картину динамики развития системы образования региона.

• Разрабатываемые нормативные требования не должны вступать в противоречие со сложившейся практикой оценивания знаний. Для того, чтобы система стандартизированных тестов выполняла свою организующую и стимулирующую роль, необходимо обеспечить ее преемственность с существующей системой оценивания.
• Необходимо организовать систематическое повышение квалификации педагогических и руководящих работников системы общего среднего образования в области теории и практики использования тестовых методик. Учитель должен достаточно свободно ориентироваться в складывающемся рынке тестовых услуг, определять качество тестов, область их возможного применения, грамотно интерпретировать результаты тестового контроля.
• Тестовые методики при всех своих преимуществах имеют целый ряд ограничений и условий при их использовании. Попытки использовать педагогические тесты в областях для них не предназначенных обречены на неудачу.
• Наряду с тестовыми, следует активно развивать и совершенствовать другие методики оценки личностных достижений учащихся: профориентационное психологическое тестирование, социологические опросы, психологическое консультирование и т.д.
• Необходимо активно включаться в федеральные и международные программы по мониторингу учебных и личностных достижений учащихся. Участие в таких программах позволяет перенимать положительный опыт по организации педагогической диагностики, получать дополнительную информацию, необходимую для стандартизации тестовых процедур на Российской выборке, соотносить уровень учебной подготовки учащихся нашего региона с требованиями к абитуриентам ведущих вузов России.

Литература.

1. Стрюков Т.А. "Стандартизация уровня подготовки и оценивания знаний учащихся" // Педагогика №6 1995 г. стр.12-18.
2. Репин С.А. "Опыт реализации региональной программы управления образованием" // Педагогика №6 1995 г. стр.32-36.
3. Горбатов Д.С. "Тестирование учебных достижений: критериально-ориентированный подход" // Педагогика №4 1995 г. стр.105-111.
4. Арефьев И.П. "Профориентация: ученик; учитель; вуз" // Педагогика №3 1995 г. стр.65-69.
5. Худоминский П.В. "Управление школой в условиях рынка" // Педагогика №3 1995 г. стр.124-126.
6. Вройенстийн А.И. "Внешняя оценка качества образования: некоторые вопросы и ответы" // Высшее образование в Европе. Т.XVII. - №3. - 1993 г. - стр.66-88.
7. Каган М.С. "Системный подход и гуманитарное знание" Л.:ЛГУ, 1991 г. - 384 с.
8. "Качество знаний учащихся и пути его совершенствования" / Под ред. М.Н.Скаткина, В.В.Краевского. - М.: Педагогика, 1978 г. - 208 с.
9. Конаржевский Ю.А. "Совершенствование функций внутришкольного управления" Челябинск: ЧГПИ, 1988 г. - 133 с.
10. Громыко Ю. и др. "Концепция прогноза и развития образования до 2015 г." // Народное образование №1 1993 г. стр.17-27.
11. К работе над единой городской научно-методической темой "Образовательный мониторинг и стандарты": Метод.рекомендации. - Челябинск, 1994 г. - 45 с.
12. Малькова З.А. "Качество образования в массовой школе" // Перспективы: вопросы образования №1 1990 г. стр.25-37.
13. Рыжаков М. "Стандарты образования и современная российская школа" // Народное образование №8-9 1995 г. стр.8.
14. Майоров А.Н. и др. "Элементы педагогического мониторинга и региональных стандартов в управлении" - СПб: 1992 г. 79 с.
15. Типовое положение об образовательном учреждении // Учительская газета №46 1996 г. стр.11.
16. Даринский А.В. "Региональный компонент содержания образования" //Педагогика N1, 1996, стр.18-20.
17. Бобков Н.Е., Контроль за усвоением учебного материала//Советская педагогика, N9, 1984, с.53-56; N8,1985, с.82-86.
18. Питишикин-Потанич В., Контроль знанийучащихся //Народное образование, N3, 1985, с.68-71.
19. Усанов В.,Кузнецова А., Красновский Э., Проверка и оценка знаний и умений школьников// Народное образование, N6, 1985, с.74-77;Совершенствовать проверку и оценку знанийучащихся//Советскаяпедагогика, N10, 1986, с.42-46.
20. Касьяненко М.Д.,Комплексныйконтрольучебнойдеятельности//Советская педагогика, N 10, 1986, с.46-49.
21. Армутлийска Д.,Количественные оценки успеваемости//Советская педагогика N 10, 1986, с.49-52.
22. Селезнев Н.В., Роль педагогической оценки// Советская педагогика, N10, 1986, с.52-55.
23. Кобардин О.Ф.,ЗемляковА.Н.,Тестированиезнаний и умений учащихся// Советская педагогика, N12, 1991, с.26-33.
24. Грабарь М.И.,Факторныйанализконтрольныхработ// Советская педагогика, N3, 1991, с.49-55.
25. Симонов В.П., Черненко Е.Г., Образовательный минимум: Измерения, достоверность, надежность//Педагогика, N4,1994, с.30-33.
26. Битинас Б.П., Катаева Л.И., Пед.диагностика:Сущность, функции, перспективы// Педагогика, N2, 1993, с.10-15.
27. Шмелев А.Г.,Многомерный статистический анализ межкультурных и дифферинциальных педагогических исследований.//Статистические методы в общественных науках.Сборник обзоров, М.,1982,с. 63-96.
28. Денисова Л.Г.,СимкинВ.Н.,Об итоговом контроле обученности иностранным языкам// Ин. язык в школе, N2, 1995.
29. Рапопорт И.А.,Сельг Р., Соттер И., Тесты в обучении иностранным языкам:Итоги двадцатилетнего эксперимента//Ин.языкв школе, N6,1989.
30. Харман Г. "Современный факторный анализ" ,М., 1972г.
31. Битинас Б.П."Многомерный анализ в педагогике ипедагогической психологии", Вильнюс, 1971, 347с.
32. Бешелев С.Д.,ГуревичФ.Г."Математико-статистическиеметоды экспертных оценок", М., 1980, 263с.
33. Анастази А. "Психологическое тестирование", М. Педагогика, 1982, 318с.
34. Михеев В.И."Моделированиеи методы теории измерений в педагогике", М. Высшая школа, 1987, 198с.
35. Аванесов В.С."Контроль зазнаниямистудентов:методвалидных тестов", М., 1983.
36. Беспалько В.П."Основы теории педагогических систем", Воронеж,1977.
37. Рисе В.Л. "Контроль знаний учащихся" М., 1982.
38. Суппез П., Зиасс Дж. "Основы теории измерений" , Мир, 1987.
39. Ebel R.L."Measuring education achivements" ,1965, Pentia-Hall Englewood Cliffs, New Jersey.
40. Общая психодиагностика,под редакцией Бодалева А.А., Из. МГУ, 1987.
41. Грабарь М.И. "Применение мат.статистики в педагогических исследованиях".
42. Ингенкамп К. "Педагогическая диагностика" М."Педагогика" 1991г. 239 с.

Понятийный словарь

Образовательный мониторинг - постоянное наблюдение за процессом образования с целью выявления его соответствия желаемому результату и прогнозирования развития системы образования.

Коэффициент надежности теста -корреляционный коэффициент, который показывает, в какой мере совпадают результаты измерений, проведенных в одинаковых условиях. Понятие надежности непосредственно связано со стандартной измерительной ошибкой - информацией о том, между какими значениями полученной численной оценки находится истинное значение успеваемости индивидуума

Валидность измерения - характеристика показывающая то, что данная методика позволяет измерять действительно требуемые критерии (характеристики) исследуемого педагогического явления.

Валидность подразделяется на несколько типов:

1. содержательная валидность - экспертное подтверждение соответствия диагностического материала программе и основным целям обучения в контролируемой предметной области, согласованности результатов диагностики с другими независимыми формами контроля знаний;
2. критериальная валидность - достаточный уровень корреляции результатов тестирования по отдельным заданиям и по всему тесту в целом;
3. техническая валидность - обеспечение достаточного числа эквивалентных форм измерителей (вариантов заданий, вопросов), предотвращающих возможность механического заучивания правильных ответов.

Инференция оценки - уровень восприятия исследуемого педагогического явления.

Оценки преподавателей обобщающего характера (вежлив, внимателен, прилежен), не опирающиеся на заранее определенные, однозначные категории наблюдения, являются, как правило, высокоинферентными.

Оценки с низкой инференцией (количество оговорок во время декламации, скорость чтения, и т.д.) проводятся по заранее разработанной инструкции и обладают достаточно высокой объективностью, но несут информацию только об отдельных сторонах педагогического процесса.

Педагогическое измерение - представляет собой конкретную процедуру количественного сопоставления изучаемого педагогического свойства (признака) с некоторым эталоном.

Педагогический тест - это инструментальное средство контроля знаний, при использовании которого можно с заданной точностью определить надежность и валидность проводимых измерений.

Источник поступления: http://ooipkro.nm.ru/Text/t47_268.htm