Главная/Материалы/Современная типология педагогических тестов

Современная типология педагогических тестов

Самара 2000

Джефри Вялфорд, Великобритания (перевод и адаптация к отечественной терминологии - Кузнецов В. Г., к. п. н.)

Теория и практика современного педагогического тестирования имеет не более чем столетнюю историю. Развитие психологии и педагогики с конца XIX века до начала первой мировой войны было тесно связано со становлением тестовых технологий. Социальные и научные условия конца XIX и начала XX веков заставляли педагогов и психологов рассматривать результаты тестирования с точки зрения сравнения относительных способностей испытуемый, что стало со временем называться нормативно-ориентированным подходом к интерпретации результатов тестирования.

Когда индивидуальные баллы интерпретируются по отношению к подготовленности самого экзаменующегося на данной области содержания, а не сравниваются с результатами других экзаменующихся из группы, то в этом случае говорят о критериально - ориентированном подходе к тестированию [3, 6].

Идея критериально - ориентированного тестирования и сам термин появились в 60-е годы нашего столетия. К этому времени нормативно-ориентированное тестирование развивалось уже более полувека. Начиная с 70-х годов, критериально - ориентированные тесты получили всеобщее признание и стали широко применяться в сфере образования и профессиональной аттестации кадров.

Они получили в настоящее время широкое применение в образовании, индустрии и вооруженных силах США, Великобритании, Голландии, Японии и в других развитых странах. Они обеспечивают пользователей тестов ценной информацией, причем отличной от той, которая может быть получена в результате проведения нормативно-ориентированных тестов.

Критериально - ориентированные тесты или как их еще называют domain-referenced tests (тесты, ориентированные на область содержания) и mastery tests (квалификационные тесты) используются во многих образовательных учреждениях развитых стран и решают различные задачи.

За последнее время стало обычным для государственных образовательных институтов определять совокупность знаний, умений и навыков, которые студенты должны усвоить, чтобы перейти с одного курса на другой или чтобы получить соответствующий диплом. В России эта совокупность получила свое воплощение в создании государственных образовательных стандартов. Использование критериально - ориентированных педагогических тестов, основанных на государственных образовательных стандартах, для итоговой и поэтапной аттестации студентов является чрезвычайно перспективным.

Одно изсамых важных приложений критериально - ориентированных тестов - это сертификация и лицензирование в сфере профессиональной деятельности. В США, например, стало весьма распространенным явлением, когда профессиональные организации устанавливают аттестационный экзамен в виде критериально - ориентированного теста (или батареи тестов), который испытуемые должны успешно пройти, чтобы получить возможность практики в выбранной сфере профессиональной деятельности. Многие из этих профессиональных организаций применяют критериально - ориентированные тесты для повторной сертификации испытуемых. Типичный профессиональный экзамен, основанный на критериально - ориентированных тестах, измеряет знания, умения и навыки, необходимые для профессиональной деятельности, а результаты тестирования интерпретируются по отношениюк минимальному установленному стандарту оценивания.

Понятие нормативно-ориентированного и критериально - ориентированного педагогического теста

В настоящеевремя существует два основных подхода к разработке тестов для конкурсного, а также профессионального отбора, и для аттестации учащихся и специалистов: нормативно - ориентированный и критериально - ориентированный. Эти два подхода различаются навсех этапах разработки с момента выбора содержания до момента интерпретации результатов.

Самая общая их характеристика заключается в следующем [3].

Нормативно - ориентированный подход (по-английски norm-referenced) позволяет сравнивать учебные достижения (уровень подготовки, уровень профессиональных знаний и умений) отдельных испытуемых друг с другом.

Критериально - ориентированный подход (по-английски criterion-referenced) позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом

Для аттестационного контроля уровня обученности более привычной и естественной является задача, решаемая в рамках критериально - ориентированного подхода. Тем не менее, в процессе тестового контроля оба подхода важны необходимы.

Тесты измеряют степень усвоения учебного материала овладения необходимыми знаниями, умениями и навыками уровень профессиональной квалификации кадров. В результате измерения степень проявления какого-либо свойств испытуемых выражается в тестовом балле, представляющем собой определенное число. Тестовые баллы располагайте на специальных шкалах, выбранных разработчиками.

Нормативно-ориентированные педагогические тест используются для того, чтобы получить надежные и нормально распределенные баллы длясравнения тестируемых.

Критериально-ориентированные педагогические тесты применяются для того, чтобы интерпретировать результат тестирования в соответствии уровнем обученности испытуемых на хорошо определенной области содержания.

Хотя различия нормативно-ориентированных и критериально-ориентированных тестов существенны,они имеют много общего. С первого взгляда на сам тест, довольно трудно определить какой из этих двух типов имеет место. Он используют те же формы тестовых заданий и подобные инструкции для испытуемых.

Первое различие - это цель создания теста. Нормативно-ориентированные тесты составлены специально для того, чтобы получить возможность сравнения испытуемых в той области содержания, для которой тест предназначен. Для этого используются нормативные или стандартные шкалы.

Критериально-ориентированные тесты составлены для того, чтобы аттестовать результаты испытуемого в соответствии с областью определенных знаний, умений и навыков. Результаты критериально-ориентированного тестирования могут быть использованы для:

1. оценки итогового уровня обученности испытуемого, соответствия этого уровня государственным образовательным стандартам или программе обучения;
2. отбора студентов, достигших необходимого уровня обученности, в том числе и профессиональной компетенции;
3. оценки эффективности программы обучения в том или ином учебном заведении.

Результаты критериально-ориентированного тестирования также могут быть использованы для сравнения между собой уровней подготовки студентов, однако в этом случае можно получить сравнительно низкую надежность, если распределение баллов однородно и имеет малую вариацию.

Второе различие этих двух типов тестов состоит в уровне детализации области содержания. От разработчиков обоих типов тестов обычно требуется формирование спецификации его содержания. Создатели критериально-ориентированных тестов должны, в типичных случаях, подготовить значительно более детализированную спецификацию содержания,чем составители нормативно-ориентированных тестов. Это необходимо для того, чтобы пользователи теста были уверены в адекватной интерпретации тестовых баллов.

Третье различие лежит в плоскости проведения статистической обработки результатов тестирования. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев для этого типа тестов применяются специальные нормативные шкалы. Каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе. Если для индивидуального балла данного испытуемого процентильный эквивалент равен 75, то это означает, что у 75% тестируемых из нормативной группы результаты тестирования были такие же или хуже. Обработанные индивидуальные баллы по результатам критериально-ориентированного тестирования не относятся к какой-либо нормативной группе или выборке испытуемых. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается в шкале процентов.

Четвертое основное различие лежит в плоскости технологии анализа и отбора тестовых заданий. В нормативно - ориентированных тестах статистические показатели тестовых заданий (уровень трудности и различающая способность) играют важную, а часто определяющую роль в отборе заданий. В общем случае задания со средним уровнем трудности и высокой различающей способностью имеют больший шанс быть отобранными для использования в тесте этого типа, таккак они вносят существенный вклад в вариацию индивидуальных баллов студентов. Надежность теста, в общем случае, будет выше, если вариация тестовых баллов увеличится. Напротив, в критериально - ориентированных тестах статистические характеристики (уровень трудности и различающая способность) заданий не является основной причиной для их включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий в критериально - ориентированный тест - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм критериально - ориентированных тестов и для выбора оптимального стандарта оценивания.

Эти два типа тестов различаются и по методам конструирования, и по особенностям применения. Однако, основным критерием для разделения тестов на нормативно- и критериально - ориентированные является подход к интерпретации тестового балла.

Существует и ряд других важных различиймежду ними. Характерные особенности этих двух типов тестов можно свести в таблицу 4.2.

Нормативно-ориентированные тесты

В большинстве тестовых программах за рубежом использовались и используются в настоящее время различные виды шкалированных (обработанных) баллов. В практике массового педагогического тестирования существует более или менее стандартный набор шкалированных баллов, которые информируют пользователей теста об относительных способностях испытуемых [3, 4, 5, б].

К таким шкалированным (обработанным) баллам относятся: процентильные эквиваленты; стандартные линейные шкалы; стандартные нормативные шкалы и другие виды педагогических шкал [4]. Шкалированные баллы помогают пользователям тестов получить информацию о позиции экзаменуемого по отношению к хорошо определенной группе, определенной специфической выборке испытуемых.

Эта специфическая выборка испытуемых часто называется нормативной группой, и так как обработанные баллы ориентированы на баллы в нормативной группе, они называются нормативно-ориентированными баллами.

В основе нормативно-ориентированной интерпретации лежит сопоставление индивидуального тестового балла данного студента с баллами, полученными другими испытуемыми. Самый простой способ провести нормативно-ориентированную интерпретацию тестового балла состоит в том, чтобы сообщить, сколько процентов учащихся из учебной группы, в которой проводилось тестирование, выполнили тест хуже (получили болеенизкий балл) и сколько процентов выполнили тест лучше (получили более высокий балл). Однако при такой интерпретации возникает следующая трудность: оценка индивидуальных учебных достижений оказывается зависимой от уровня подготовленности всей группы студентов, в которой проводилось тестирование. Гипотетически преодолеть эту проблему можно было бы следующим образом [13]: протестировать всю популяцию, для которой разрабатывался тест, и сравнить индивидуальный балл с полученными результатами. Под популяцией понимается все множество учащихся, которые обучаются данной дисциплине и по данное программе. Если тест разрабатывается для применения в каком-либо одном учебном заведении, то в популяцию включают все учебные группы, обучающиеся по одной программе. Если тест разрабатывается для применения в рамках регионе или страны, то популяция принимает весьма внушительные размеры. Протестировать такое количество испытуемых практически невозможно. Поэтому, чтобы получить информацию с том, как выполнили тест все испытуемые, прибегают к формированию так называемой выборке стандартизации. Это специально подобранная группа испытуемых, которая адекватно репрезентирует популяцию, для которой разрабатывается этот тест. В выборке стандартизации пропорционально представляются все возрастные, социальные и другие группы испытуемых, из которых состоит популяция. Результаты проведения теста на образованной таким образом выборке называются тестовыми нормами. Отсюда происходит термин "нормативно-ориентированное тестирование". По нормам судят с том, как выполнили бы тест все испытуемые, для которых он предназначен. Если выборка стандартизации адекватно репрезентирует популяцию, то, сопоставляя индивидуальный балл с нормами, можно получить оценку уровня учебных достижений испытуемого по сравнению с уровнем учебных достижений других учащихся. Такая оценка уже не зависит от группы, в которой проводилось тестирование [3, 4].

Педагогические тесты, специально разработанные для того, чтобы провести нормативно-ориентированную интерпретацию, называются нормативно-ориентированными тестами.

Нормативно-ориентированные тесты имеют свою специфику, связанную с их основной задачей - дифференцировать испытуемых. При разработке этого типа стараются добиться высокой вариативности тестовых баллов. Если большинства испытуемых получает только низкие, или только средние или только высокие баллы, то труднее установить между ними различия. Если же вариативность баллов высокая (встречаются и низкие, и средние, и высокие баллы), то дифференцировать испытуемых легко. Нормативно-ориентированные тесты разрабатываются таким образом, чтобы распределение баллов было близко к нормальному. Математические методы, применяемые при конструировании и оценке нормативно-ориентированных тестов, рассчитаны на модель нормального распределения и основываются в основном на корреляционном анализе [4, 5].

Нормативно-ориентированный подход чрезвычайно полезен, когда необходима информация об испытуемом, связанная с его относительными способностями или относительной обученностью по сравнению с другими испытуемыми. Естественно, потенциальная ценность интерпретации нормативно-ориентированного подхода зависит и от соответствия нормативной группы целям тестирования, и от чистоты и тщательности, с которой была составлена нормативная группа.

Для того чтобы определить способности абитуриента по математике очень важно знать, что нормативная группа является репрезентативной для всей группы абитуриентов. Иногда для принятия важных решений необходимо ориентироваться на более специфическую нормативную группу. Например, нормативная группа абитуриентов на инженерные специальности будет более подходить для интерпретации относительной способности абитуриента на инженерные специальности по результатам нормативно-ориентированного тестирования,чем просто, нормативная группа всех абитуриентов.

Отметим основные недостатки нормативно-ориентированного подхода к педагогическому тестированию. Для большинства педагогических тестов необходимо знать гораздо больше об испытуемом,чем дает нормативно-ориентированный подход. Например, для некоторого абитуриента мы получили 65 процентильных эквивалентов в результате тестирования. Это означает, что данный абитуриент ответил на задания данного теста не хуже, чем 65% испытуемых из всей, достаточно большой нормативной группы. Но мы не знаем,какие именно понятия усвоены данным абитуриентом, икакие задачи он может решать. Требовалось ли в данном тесте от данного абитуриента только легко запоминаемых для решения алгоритмов, или от него требовалось творческое решение, творческий подход для решения заданий. Более того, мы незнаем, какую долю от всей программы твердо усвоил данный испытуемый. Подобного рода вопросы становятся важными тогда, когда намеченное использование теста выходит за рамки определения относительных способностей экзаменующегося. Определение относительных способностей абитуриентов может быть важным для конкурсных экзаменов, но после проведения учебного процесса в течение некоторого времени, преподавателям необходимо узнать какого вида понятия каждый студент усвоил, и какие типы задач может решать данный студент, фактически какую долю от изученного материала он усвоил.

Критериально-ориентированные тесты

Существует, однако, и подход отличный от нормативно-ориентированного, когда обработанные баллы интерпретируются по отношению к подготовленности самого экзаменующегося на данной области содержания, а не сравнительные способности с другими экзаменующимися из нормативной группы. В этом случае говорят о критериально-ориентированном подходе [3,4].

Такие тесты называются критериально-ориентированными. Однако педагогический тест может при специальной технологии составления и интерпретации предоставлять как нормативно-ориентированную, так и критериально - ориентированную информацию для пользователей.

В литературе существует много определений критериально-ориентированного теста. Авторы используют этот термин различно, поэтому необходимо однозначно определить критериально - ориентированный подход. Каждый вид критериально-ориентированного теста составлен для того, чтобы интерпретировать результаты тестирования по отношению к определенной области содержания. Эта интерпретация может совершаться различными способами, которые зависят от цели тестирования. Определение теста должно служить базисом для установления границ данной концепции. Критериально-ориентированный тест - это такой тест, который намеренно составлен, чтобы производить педагогические измерения и напрямую интерпретироваться в терминах точно определенного стандарта. Данные педагогические измерения производятся путем выбора репрезентативного набора тестовых заданий на соответствующей области содержания. Критериально-ориентированные тесты специально составлены таким образом, чтобы обобщить результаты индивидуальных баллов относительно точно определенного домейна или области содержания [3]. Причем тестовые задания могут включать как проверку содержания, так и проверку навыков и умений. Домейн, или область содержания называются хорошо определенными, если совершенно ясно, какая категория тестовых заданий потенциально принадлежит данной области содержания. Основное использование критериально-ориентированного тестирования - это определение статуса испытуемого по отношению к некоторому количеству тестовых заданий выбранных, или с определенной области содержания, причем таким образом, который позволяет пользователю теста сделать заключение об учебных достижениях испытуемого. Таким образом, хорошо определенная область содержания является необходимым, но недостаточным условием критериально-ориентированного тестирования.

Часто можно встретить довольно узкие определения, подразумевающие только один из видов критериально-ориентированных тестов. Более широкие определения нередко страдают неточностью формулировок. В работе [3] приведено определение, которое, пожалуй, наиболее точно раскрывает сущность и специфику этого типа тестов.

«Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися».

Мы будем называть областью содержания теста тот полный объем знаний, умений и навыков, которые должны быть усвоены студентами в результате определенного курса обучения и овладение которыми измеряется критериально-ориентированным тестом. Выполнение критериально-ориентированного теста описывается, как правило, в терминах содержания учебной дисциплины. Например, результаты проведения теста позволяют судить о том, какую долю области содержания освоил студент, какие задачи и какого уровня сложности может решать испытуемый, и т.п.

Два основных вида критериально - ориентированных тестов

В литературе по тестологии (или педагогическим измерениям) выделяют два основных вида критериально - ориентированных тестов, отличающихся друг от друга по ряду характеристик. Установившихся названий для этих видов на русском языке пока не существует. В зарубежной литературе терминология окончательно также еще не установилась. Критериально - ориентированные тесты намеренно составляются таким образом, чтобы аттестовать уровень индивидуальных достижений студентов по отношению к заранее определенной области содержания. Принципиальный интерес при их разработке представляет строгая и точная спецификация области содержания теста. Это необходимо для того, чтобы увеличить до максимального уровня обоснованность интерпретации индивидуальных баллов студентов [З, 4, 6]. Именно акцентированное внимания на области содержания (по англ. - domain) внушило некоторым исследователям идею наименования таких тестов как domein-referenced, что можно перевести как «тесты, ориентированные на область содержания».

Создание заданий для теста, ориентированного на область содержания, требует более детальных и точных правил. Для этого требуется точная и строго определенная спецификация области содержания теста. Этот тип критериально - ориентированных тестов предназначен для оценки доли от полного объема учебного материала, которую усвоил испытуемый. В зарубежной литературе его обычно называют domein-referenced test. Мы будем называть этот тип критериально - ориентированных тестов термином: тесты, ориентированные на определенную область содержания. Предполагается, что в результате обучения учащиеся должны приобрести определенную сумму знаний, умений и навыков, которая является областью содержания теста и условно принимается за 100 процентов. Уровень учебных достижений каждого испытуемого можно выразить в проценте от полного объема области содержания теста. Для итогового контроля наиболее естественно применять именно этот тип тестов.

На практике существует и другой тип критериально - ориентированных тестов. Называются такие тесты mastery tests, то есть «тесты на мастерство» или «квалификационные тесты» [З, 4]. Они применяются для определения в группе испытуемых квалифицированных и неквалифицированных (masters and nomasters) в какой-то области. Эмпирическая процедура анализа тестовых заданий в данном случае рекомендована для того, чтобы определить «чувствительность» тестовых заданий к различию между обученными и необученными испытуемыми.

Этот вид используется для классификации испытуемых и разделения их на группы на основании заранее выбранного стандарта оценивания (критериального балла). Чаще всего такие тесты используются для разделения испытуемых на две группы: усвоивших и не усвоивших необходимый навык на базе определенной области содержания. Иногда происходит деление на большее количество групп. Например, на тех, которые полностью овладели навыком, и на тех, которым лучше закрепить его, а также на группу учащихся, которым надо начать изучение материала с самого начала. Для отнесения к определенной группе испытуемый должен достичь необходимого минимального стандарта оценивания. Этот стандарт устанавливается разработчиками теста и является критерием, на основании которого принимается решение относительно испытуемого. В тесте данный стандарт выражается определенным количеством правильно выполненных заданий. Важными элементами разработки таких тестов являются: методы установки стандарта оценивания квалификации по результатам тестирования, оценка уровня ошибки этого стандарта, определение последовательности принятия решения о квалификации или о недостаточной подготовке студента [4].

Многие ученые [З, 4, 5] отмечают, что термин "критериально-ориентированное тестирование" является неудачным. Он создает впечатление, будто существует некий критерий, с которым сопоставляются результаты тестирования. Одно из заблуждений относительно критериально-ориентированного тестирования, это неправильное понимание того, что данный термин означает использование так называемого критерия или "критериального (проходного) балла". Критериально - ориентированное тестирование не всегда требует наличия проходного балла, хотя для определенных практических приложений при данном виде тестировании могут потребоваться так называемые стандарты оценивания или проходные баллы. Такой критерий, а точнее стандарт оценивания, в самом деле, используется, но его наличие не является обязательным. Ошибочная трактовка критерий, как уровня подготовленности является одним из заблуждений относительно критериально - ориентированного тестирования. Это неправильное понимание того, что данный термин означает использование так называемого "проходного балла". На самом деле критериально - ориентированное тестирование не обязательно требует наличия проходного балла, хотя для определенных практических приложений при данном типе тестировании могут потребоваться так называемые стандарты оценивания. Дело в том, что пользователь теста может использовать или установить проходной балл для любого теста – критериально - ориентированного или не критериально - ориентированного. Если просто установить 80% правильно решенных заданий как "проходной балл" для любого теста, это не означает автоматически, что вы используете хорошо определенную область содержания и описываете результаты тестирования по отношению к этой области содержания. Способность самого теста давать данную информацию об испытуемых, то есть давать статус испытуемых по отношению к данной области содержания и делает тест критериально - ориентированным, а не тот факт, что вы использовали проходной балл или другой критерий оценивания.

Существует и другое заблуждение, а именно о связи критериально - ориентированного теста с критериальной интерпретацией педагогического измерения. Иногда тест составляется таким образом, чтобы прогнозировать статус испытуемого для другого теста, или для других педагогический измерений, таких как экзамены, зачеты и т.д. Например, некоторые тесты, такие как широко известные SAT-I и SAT-II, составлены для того, чтобы помочь предвидеть, прогнозировать учебные успехи абитуриентов в университетах США [4]. Та переменная величина, которая определяется для данного прогноза, называется критериальной величиной. Таким образом, итоговые оценки студента в университете являются критериальным измерением для вступительного теста. Данное педагогическое исследование, например тест SAT, проводится для того, чтобы установить полезность, обоснованность и фактически критериальную валидность самого вступительного теста, как прогностического теста установления статуса испытуемых, по отношению к критериальной переменной. Использование термина "критериальный" в данном случае отличается от использования этого же термина в связи с критериально-ориентированным тестированием.

Таблица 4.1

Характерные особенности нормативно-ориентированных и критериально-ориентированных тестов

Рекомендуемая литература

1. Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. Учебное пособие. - М.: Исследовательский центр, 1989 – 167 с.
2. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс. 1976 – 495 с.
3. Berk R.A. Criterion-referenced measurement: The state of art. Baltimor, MD: Johns Hopkins University Press, 1980.
4. Educational measurement (Ed. by Linn R.) N.Y. Macmillan, 1989 – 610 с.
5. Edcational Testing Service. Standards for quality and fairness. Prinston, NJ. 1987.
6. Keeves J.P. (Ed.) Educational Research, Metodology and Measurement: An International Handbook. Oxford, Pergamon press, 1988.

Источник поступления: Евсигнеев А. Е., Самарский государственный технический университет, Факультет повышения квалификации преподавателей, Проектирование информационных технологий, Информационный бюллетень  №1, Самара 2000.