В настоящее время традиционный экзамен по иностранному языку за базовый курс проводится в устной форме и проверяет навыки ознакомительного чтения, а также умения устной монологической и диалогической речи. Экзаменатору надлежит оценить проявленные учеником коммуникативные умения и выставить итоговую оценку. Существующие традиционные шкалы оценивания устного высказывания [2] не позволяют экзаменатору абстрагироваться от фактора симпатии или антипатии по отношению к тому или иному ученику, т.е. от сугубо субъективного восприятия ответа. У каждого преподавателя есть свое понимание принципов требовательности и справедливости, свои критерии качества знаний. На оценку существенно влияет и предыдущий процесс общения с экзаменуемым. Определенное воздействие может оказать даже внешний вид учащегося и приобретенное им умение ясно излагать свои мысли, а также ряд других факторов, условно называемых «эмоциональной составляющей». Школа крайне заинтересована в разработке такой системы контроля, которая сделала бы оценку за устный экзамен максимально свободной от субъективизма экзаменатора и позволила бы измерить реальный уровень владения иностранным языком.

Когда речь идет о субъективном оценивании, т.е. оценивании при обязательном участии контролирующего учителя, которому приходится принимать решение о присвоении соответствующих баллов, здесь в качестве измерителей используются специальные шкалы, состоящие из набора определенных характеристик. В зарубежной литературе выделяется два подхода к субъективному оцениванию: холистический (целостный)
и аналитический [3]. Холистический (целостный) подход к измерению отражает степень владения говорением на иностранном языке в пределах одного уровня. Критерии оценки здесь, как правило, носят довольно общий характер, и экзаменатор учитывает лишь степень успешности решения коммуникативных задач. При аналитическом подходе (в отечественной научной литературе он получил название критериального или критериально-ориентированного) экзаменатор оценивает ответ по отдельным конкретным аспектам: точность в использовании языковых форм, решение коммуникативной задачи, длина высказывания и др. Баллы, полученные по отдельным аспектам, суммируются, и результат объявляется в виде общей суммы баллов.

В методической литературе приводятся следующие доводы в пользу аналитического (критериального) подхода. Во-первых, поскольку невозможно предсказать в каждом конкретном случае, для чего и в какой ситуации учащемуся может потребоваться использовать иностранный язык, то следует выявить как можно больше характеристик владения языком во время тестирования при минимально достаточном наборе ситуаций. Во-вторых, измерение одновременно по нескольким параметрам позволит решить проблему диагностирования слабых мест в говорении на иностранном языке и наиболее точно определить степень способности и готовности испытуемого вступать в устноречевое взаимодействие.

Итак, можно предположить, что для того, чтобы максимально уменьшить степень субъективизма при итоговой оценке устных речевых умений, следует применить критериальный подход, и тогда ключевой проблемой организации экзамена становится создание соответствующих шкал итогового оценивания.

Опишем кратко опыт создания методики итогового оценивания устных речевых умений девятиклассников. Работа над разработкой методики включала несколько этапов.

Этап 1. Определение значимых параметров оценивания. Разработка шкал оценивания устного ответа ученика началась с получения опытным путем (анкетирование 16 преподавателей иностранных языков) перечня параметров, значимых для оценивания монологического и диалогического высказываний. По результатам обработки данных и были определены по 11 наиболее значимых (с точки зрения экспертов) параметров для монолога (содержание, т.е. соответствие высказывания заданной теме; полнота раскрытия предложенной темы, логичность высказывания, объем высказывания; лексический запас; грамматическая правильность речи; произношение и т.д.) и диалога (содержание, взаимодействие с собеседником, эмоциональность,
лексический запас и т.д.). Наборы параметров для монолога и диалога во многом совпадали (содержание, полнота раскрытия темы, лексический запас, грамматическая правильность и т.д.). Специфическими параметрами оказались лишь «взаимодействие с собеседником» для диалога, и «спонтанность речи» и «уверенность» для монолога. Некоторые параметры были объединены в группы (например, в группу «содержание» попали: соответствие высказывания теме; полнота раскрытия темы; объём и логичность высказывания; умение обосновывать свою точку зрения).

Этап 2. Определение общей суммы баллов. Для удобства дальнейшего сопоставления результатов было решено установить максимальную сумму баллов по всем параметрам = 100 (в том числе 50 для монолога, и 50 для диалога).

Этап 3. Присвоение тестовых баллов по каждому параметру оценивания. Из данных опроса экспертов ясно видно, что не все отобранные параметры значимы в равной степени. Так, за «лексический запас» (для диалога) было отдано 15 голосов из 16, а «способность начинать беседу» упомянули всего два человека. Нами было решено определить значимость каждого конкретного параметра, исходя из числа экспертов, упомянувших этот параметр в своей анкете. Соответственно для каждого параметра был рассчитан его «удельный вес» (доля от общей суммы баллов), выраженный конкретным числом (например, для «лексического запаса» эта величина составила 10,56, а для «способности начинать беседу» – всего 1,41.

Этап 4. Разработка шкал и инструкции по оцениванию для учителя. Для удобства использования разработанной методики на итоговом экзамене шкалы оценивания устного речевого высказывания (монолог и диалог), были представлены в доступной форме, и к ним приложены инструкции, позволяющие учителям применять предложенные шкалы на практике.

Этап 5. Определение индивидуальной суммы баллов ученика. Полученные от учителей оценки по шкалам «взвешивались» в соответствии с удельным весом соответствующих параметров – отдельно для монолога и диалога. Полученные суммы баллов складывались и определялась общая индивидуальная сумма баллов для каждого испытуемого (максимальная сумма составляла ровно 100).

Этап 6. Стандартизация полученных результатов. Чтобы решить, насколько «хорош» полученный учеником балл, и какую оценку (5, 4, 3 или 2) следует поставить в зависимости от набранной им суммы баллов, была проведена специальная процедура: все полученные результаты были ранжированы по величине суммарного балла от большего к меньшему и поделены на четыре группы так, чтобы в одну группу попали близкие значения показателя, а между группами был существенный «скачок».

Для подтверждения эффективности разработанной методики итоговой оценки устных речевых умений девятиклассников и доказательства нашего предположения о том, что разработанная система оценивания является менее субъективной по сравнению с традиционной, был проведен эксперимент. В ходе эксперимента сравнивались отметки за одни и те же ответы, поставленные по традиционной схеме и по разработанной методике оценивания с оценками, которые a priori строятся на более объективной основе:

- общая оценка знаний ученика его учителем (основана на успеваемости ученика за прошедший год);

- балл, полученный учеником в ходе письменного теста.

Основное предположение состояло в том, что отметка, полученная по разработанной процедуре оценивания, лучше коррелирует с этими двумя оценками.

План экспериментального исследования включал следующие этапы:

1. Получение экзаменационных оценок испытуемых традиционным способом.
   
2. Получение экзаменационных оценок испытуемых с применением разработанной методики оценивания.
   
3. Получение эталонных оценок испытуемых (экспертная оценка преподавателя и результаты теста на выявление степени владения английским языком).
   
4. Сопоставительный анализ экзаменационных, тестовых и экспертных оценок.
   

Представим схему эксперимента в сжатом виде:

Экспериментально проверяемая гипотеза состоит в следующем. Оценки 3 и 4 будут в какой-то мере различны, и каждый раз при не совпадении оценка 4 будет ближе к эталонной оценке, поскольку по предположению автора эталонные оценки наилучшим (объективным) образом отражают уровень владения языком, а критериальная шкальная оценка обладает значительно большей степенью объективности.

В экспериментальном исследовании приняли участие 26 учащихся 9 «А» и 9 «Б» классов средней общеобразовательной школы при Губернском профессиональном колледже города Серпухова Московской области, которые выбрали английский язык в качестве итогового экзамена. Все участники эксперимента обучались на протяжении последних пяти лет (с 5-ого по 9-ый класс) у одного учителя. Итоговый экзамен по английскому языку проводился в устной форме и проверял умения чтения и говорения в двух его видах: монолог и диалог. Таким образом, билет включал в себя 3 задания: задание 1 – на проверку умений ознакомительного чтения, задание 2 – на проверку умений учащихся в устной монологической речи, а задание 3 – умений диалогической речи. В качестве экзаменаторов выступали три учителя английского языка: один оценивал устный ответ по традиционным шкалам оценивания, второй – по разработанной системе оценивания, а третий выступал в роли собеседника в речевом взаимодействии с экзаменуемым.

Этап 1. Получение экзаменационных оценок испытуемых традиционным способом. Экзаменатор оценивал ответ ученика, опираясь на традиционные шкалы оценивания, приведенные в «Вестнике образования России» [2]. Традиционные отметки распределились примерно так, как они практически всегда распределяются на школьных экзаменах: двоек не было вообще, а подавляющее большинство учеников получили «отлично» или «хорошо». Общеизвестно, что в практике проведения экзаменов учителя избегают ставить «двойки», да и «тройки» встречаются относительно редко. В этом смысле распределение оценок, полученных на экзамене в традиционной форме, можно признать типичным.

Этап 2. Получение экзаменационных оценок испытуемых с
применением разработанной шкалы. Экзаменатор оценивал ответ ученика по разработанной системе оценивания, основанной на критериальном подходе. Для удобства работы преподавателю выдавались для заполнения два бланка (один для монолога, другой для диалога), содержащие перечень параметров, а также инструкцию по оцениванию. При окончательном подведении итогов оценивания, данные ученика по монологу и диалогу суммировались. Для дальнейшего сопоставления результатов полученные баллы учеников стандартизировались по описанной выше процедуре. Полученный результат оказался вполне ожидаемым: четвертая часть участников эксперимента (6 человек) получили «5», большинство учащихся (14 человек) – «4», пятая часть группы (5 человек) – «3», а один ученик даже получил «2».

Этап 3. Получение эталонных оценок испытуемых. В качестве «эталонных оценок» рассматривались оценки двух типов: экспертная оценка преподавателя и результаты теста на выявление степени владения английским языком. Экспертная оценка давалась учителем, обучающим учеников экспериментальной группы на протяжении пяти лет. Для получения тестовых баллов был выбран стандартизированный тест А.П. Василевича [1], ставший лауреатом конкурса Министерства образования РФ 2001 г. Тестирование экспериментальной группы учащихся было проведено в конце учебного года, незадолго до устного экзамена. Таким образом, оно отражает именно тот уровень знания английского языка, который был у учащихся на момент экзамена. Эталонные оценки были получены по 100-балльной шкале. Для сопоставления результатов полученные баллы учеников стандартизировались по описанной выше процедуре.

Этап 4. Сопоставительный анализ тестовых, экзаменационных и экспертных оценок. Анализ результатов выявил небезынтересный факт: полное совпадение всех четырех оценок зафиксировано только у 4 учеников, показавших самые лучшие результаты. Из этого следует такой вывод: для учащихся, обладающих достаточно высокой степенью знания языка, выбор конкретного варианта оценки знаний несущественен. Не представляли интереса для анализа и те ученики, которые получили одинаковые результаты по двум сравниваемым вариантам оценки ( 3 и 4 ). Разошлись оценки у 12 человек, и во всех случаях с эталоном коррелировала именно оценка 4 (оценка, поставленная по разработанной методике): она каждый раз либо совпадала с эталонной, либо была к ней ближе, чем традиционная отметка (следует отметить, что в 4 случаях разрыв традиционной и эталонной оценок достигал двух баллов).

Полученные данные свидетельствуют о том, что выдвинутая гипотеза подтверждается: оценка устного речевого высказывания на итоговом экзамене в 9 классе, выполненная в форме критериального оценивания, является более объективной, чем традиционная отметка. Этот результат подкрепляется также данными статистического анализа.

В статистике общепризнанным является подход, при котором нормальное распределение данных свидетельствует об их достоверности. На диаграмме 1 приведены результаты теста Андерсон-Дарлинга для разных типов оценивания. Пунктирной линией обозначена кривая нормального распределения. Расчеты выполнены с использованием программного обеспечения Minitab 16. Параметр P-Value характеризует соответствие распределения Гауссовскому (нормальному) распределению. В случае P-Value > 0,05 тест считается пройденным.

Диаграмма 1.

Тест Андерсон-Дарлинга для разных типов оценивания

Исходя из значения
P-Value можно сделать вывод о том, что оценки по разработанной методике оценивания имеют нормальный характер распределения (как и в случае двух эталонных оценок), в то время как распределение оценок, поставленных по традиционной системе оценивания, теста на нормальное распределение не прошли, т.к. P-Value < 0,005.

При получении результатов тестирования большой группы испытуемых мы, безусловно, сможем провести стандартизацию и определить более точное соотношение между суммой баллов, полученных при оценивании по разработанным нами шкалам, и отметкой, которую следует выставить в результате экзамена. Однако, уже на данном этапе проверки данной методики оценивания, можно сделать вывод о том, что она в максимальной степени позволяет дифференцировать учеников, и, что особенно важно, дает возможность «уйти» от субъективной оценки, когда экзаменационная отметка выставляется по совокупности ряда неформализованных «ощущений». Кроме того, она может способствовать осуществлению обратной связи, позволяющей всем участникам учебного процесса (и учителям, и ученикам, и родителям) понимать уровень освоения изученного материала.

1. Василевич А.П. Хорошо ли вы знаете английский? Are you sure of your English? Тесты для тех, кто хочет проверить себя, и тех, кому надо оценить знания других: Учебное пособие [Текст] / А.П. Василевич – М.: КомКнига, 2005. – 104 с.
2. Экзаменационные билеты. Иностранные языки [Текст] // Вестник образования России. № 6, 2007. С.71 – 88.
3. Mcnamara T.F. Language Testing [Text] / T.F. Mcnamara. – Oxford: Oxford University Press, 2000. – 192 p.

Все статьи автора «elena nickonova»