Проблема выбора метода оценки качества усвоения знаний является важной и значимой при выполнении стандарта образовательной программы. В связи с этим сегодня актуален вопрос о том, как правильнее и справедливее определить это качество. Для формирования успешного и объективного подхода важно, чтобы система контроля знаний обучающихся являлась разноплановой: ориентированной на проверку навыков, знаний и умений а также на выявление творческих способностей учащихся и их целостного личностного и связанного с ним эмоционального отношения к изучаемым предметам.

Следует отметить, что проблемы измерения уровней учебных достижений обсуждаются в трудах многих ученых – В.П. Беспалько, В.Г. Королева, В.П. Симонова, Безух К.Е., Казаковой С.С., Столярова А.Н. и др.

В целом, педагогический тест – это система заданий специфической формы, определенного содержания, возрастающей трудности, позволяющая качественно оценить структуру и измерить уровень знаний, умений и навыков. Чтобы выполнять функцию инструмента измерения, тест должен состоять из достаточного количества тестовых заданий, число которых определяет длину теста. По своей длине тесты могут быть короткими (10-20 заданий), средними и длинными (до 500 и более заданий) [1].

Различают два метода контроля знаний студентов: субъективный и объективный [2].

Субъективный метод контроля означает выявление, измерение и оценку знаний, умений, навыков, исходящую из личных представлений экзаменатора. Этот метод оценки знаний пригоден для итогового контроля, так как не обладает необходимой точностью и воспроизводимостью результатов.

Под объективным контролем подразумевают контроль, который обладает необходимой точностью, воспроизводимостью результатов. Инструментом, который позволяет объективно оценивать качество усвоения, является тест, сочетающий в себе контрольное задание и эталон, по которому можно судить по качеству усвоения.

Тесты можно классифицировать по различным признакам [3]:

* по целям — информационные, диагностические, обучающие, мотивационные, аттестационные;

* по процедуре создания — стандартизованные, не стандартизованные;

* по способу формирования заданий — детерминированные, стохастические, динамические;

* по технологии проведения — бумажные, в том числе бумажные с использованием оптического распознавания, натурные, с использованием специальной аппаратуры, компьютерные;

* по форме заданий — закрытого типа, открытого типа, установление соответствия, упорядочивание последовательности;

* по наличию обратной связи — традиционные и адаптивные

Важно составлять тесты таким образом, чтобы свести к минимуму вероятность их угадывания студентом наугад.

В среднем, многие исследователи полагают, что угадывающий наугад тесты студент пользуется следующим алгоритмом [например, 4]:

* предпочитать более развернутые, более обоснованные ответы, которые учитывают частные случаи, и избегать кратких, менее развернутых. Разработчик теста знаний может этим воспользоваться и сделать верный ответ кратким;

* если ответы образуют последовательность (например, на вопрос о дате Куликовской битвы: (1) 1200 год, (2) 1240 год, (3) 1300 год, (4) 1380 год), респондент будет стремиться дать средний ответ, предполагая, что правда в золотой середине. И ошибется, потому что Куликовская битва была в 1380 году, а автор задания позаботился о том, чтобы поставить верный ответ с краю;

* выбирать более наукообразные ответы, содержащие малоизвестные или иностранные слова;

* выбирать ответы, напоминающие по стилю написания что-то очень знакомое, ассоциирующееся с известной частью предметной области.

Для противодействия угадывания в своих тестах автор использует 6 вариантов правильного ответа, при этом, только один является верным. Таким образом, вероятность «угадать» правильный ответ составляет 1/6. Угадывая данный тест математически только каждый 1 студент из 28 430 288 029 929 700 000 студентов решит тест на 100%.

Именно данную вероятность и призван увеличить описанный ранее алгоритм, используемый студентами при угадывании тестов.

В целом, студентов, полагающихся при тестировании на интуицию можно условно разделить на 3 группы:

* Везучие студенты – при данном тесте ответят на 8 и более правильных ответов из 25; Таких, в среднем, оказывается 7%.

* Средневезучие студенты – при данном тесте ответят на 5 – 7 правильных ответов из 25; Таких, в среднем, оказывается 67%.

* Невезучие студенты – при данном тесте ответят менее чем на 5 правильных ответов из 25; Таких, в среднем, оказывается 26%.

На взгляд автора статьи, тесты, в которых число везучих угадывающих студентов превосходит ¼ являются недостаточно эффективными. Такие тесты следует доработать таким образом, чтобы свести названный процент в рамки нормального распределения вероятности – хотя бы в пределы 10 – 15%.

Важной формой тестирование является компьютерное тестирование, которое, с одной стороны, способно свести к минимуму объемы используемых печатных бланков при тестировании, и, с другой стороны, привнести инновативную компоненту в деятельность вуза.

Необходимость внедрения системы компьютерного тестирования в вузе диктуется введением с 2004г. обязательной процедуры тестирования оценки качества подготовки студентов по дисциплинам федерального компонента при Аттестационной экспертизе вузов Министерством науки и образования РФ [5].

Существует ряд эффективных рекомендаций к составлению компьютерных тестов [6]:

* Все ответы к данному вопросу должны выглядеть правдоподобно, заставляя учащегося анализировать каждый вариант ответа и выявлять в нем неточность или ошибку.

* Там, где это возможно, стоит привести несколько истинных ответов, каждый из которых, являясь верным, в той или иной степени дополняет остальные правильные ответы.

* Правильное утверждение не должно быть полностью созвучно определению, данному в учебнике, чтобы в нем сразу не угадывался правильный ответ. Для этого же допускается приводить заведомо неверные ответы, созвучные приведенным в учебниках определениям.

* Вопросы по каждой теме стоит подбирать таким образом, чтобы они наиболее полно охватывали все разделы курса и позволяли контролировать как усвоение учащимися теоретических знаний, так и навыки применения этих знаний на практике.

* Выбор способа оформления заданий обусловлен как возможностями применяемых тестирующих программ (в случае применения для тестирования компьютерной техники), так и психологическими особенностями учащихся.

* Процесс создания вариантов тестов всегда должен включать опытную стадию, т.е. прежде чем предложить всему потоку, целесообразно дать тест для небольшой группы учащихся. Этот метод в сочетании с разбором ответов наиболее эффективно выявляет все ошибки, допущенные при составлении тестов.

Для анализа эффективности тестирования автор статьи отбирал группы из потоков из успевающих и активных студентов. 94% названных студентов смогли выполнить наиболее сложные задания тестов. Таким образом можно проверять сложность и выполняемость тестов в рамках ограниченного интервала времени.

На взгляд автора, если из успевающих студентов 1/3 и более группы не смогли выполнить сложные задания тестов, то в данных условиях необходимо упрощать тест.

Финансовые и управленческие дисциплины связаны с расчетами. Важно умение студентов правильно и адекватно проводить расчеты. Поэтому важно использовать в тестах элементы задач.

В авторских тестах 16 теоретических вопросов и 9 задач. У задач может иметься несколько математических методов выполнения, однако правильный ответ всегда будет только 1.

Примерно до 12% учащихся могут применять нестандартные метода решения задач, которые теоретически должны решаться стандартными для данных заданий математическими инструментами. Например, бывают студенты, которые вместо методов теории вероятностей и математической статистики для расчета портфеля по Гарри Марковицу решают задачу составлением пропорций и вычислением погрешностей. Математическая логика присутствует у обоих методов, хотя второй – нестандартный.

Тест сглаживает все методы решения – важен сам правильный ответ.

Таким образом, тесты позволяют добиться объективности и унифицированности проверки знаний студентов.

Основные задачи, согласно европейскому соглашению, которые рекомендуется выполнить до 2010 г., включают 5 условий, одним из которых является «развитие сотрудничества в сфере обеспечения качества образования с целью создания сопоставимых критериев и методологий». В этой связи создание методики объективной оценки образовательной деятельности вуза и её подсистемы оценки учебных достижений студентов приобретает исключительное значение [5].

Система тестирования – это универсальный инструмент для определения обученности студентов на всех уровнях образовательного процесса. В современных условиях овладение методикой тестирования и создание баз тестовых заданий по учебным дисциплинам требует больших трудозатрат педагогов. В связи с этим тестирование медленно внедряется в учебный процесс [7].

Можно выделить три уровня: тестирование для проведения оперативного и текущего контроля (темы семинаров, разделы и собственно тестирование по дисциплине); тестирование для проведения рубежного контроля (по дисциплинам любого содержательного или временного модуля, по блокам дисциплин ГСЭ, ЕН, ОПД, СД, по дисциплинам специализации или совокупности дисциплин, выделенных по любому другому основанию); тестирование для проведения итогового контроля (междисциплинарный экзамен, предварительный этап госэкзаменов) результирующее тестирование в конце обучения – проверка уровня готовности специалиста, его соответствие требованиям ГОС. Единая система тестирования позволяет комбинировать тестовые задания разных дисциплин в рамках одного блока или дисциплин одной тематической направленности [7].

Создание тестов на высоком методологическом уровне требует от преподавателя разработки четкой понятийно-терминологической структуры курса, т.е. таблицы проверяемых в тестах понятий и тезисов, структурированных по темам и разделам программы учебной дисциплины.

Такая разработка, наряду с программой, является самостоятельным методическим материалом обеспечения качества преподавания. Кроме того, дает возможность на макроуровне устранять дублирование тем в дисциплинах в образовательных профессиональных программах.

Понятийно-терминологические структуры курсов – тезаурусы – основа для сопоставимости образовательных программ, образовательных уровней при разработке совместных образовательных программ с зарубежными вузами [7].

В системе высшего образования применение тестирования знаний студентов имеет свои предпосылки. Традиционные способы контроля знаний студентов страдают рядом недостатков. Обычная практика проведения зачетов и экзаменов предполагает непосредственное общение преподавателя и студента, что вообще хорошо. Но на этом все плюсы заканчиваются, далее пошли минусы. Во-первых, готовясь к ответу на экзаменационный билет, студенты обычно активно прибегают к шпаргалкам, списыванию из конспектов и книг, обмену информацией друг с другом. Зачеты и экзамены обычно растягиваются на длительное время, что создает благоприятные возможности для указанных действий. Экзаменационные билеты обычно содержат два – три вопроса, поэтому круг проверяемых знаний небольшой. Преподаватель тратит еще время на дополнительные вопросы, чтобы полнее выяснить степень владения студентом учебного материала. Зачеты и экзамены в их традиционной опросной форме настраивают студента на «зубрежку», натаскивание на готовые ответы. Проверка способности студента к анализу связана с дополнительными усилиями преподавателя и дополнительной тратой времени. Объективная оценка результатов зачета или экзамена под силу только весьма опытному преподавателю, а у молодых преподавателей возможны конфликты со студентами при их неудовлетворенности оценкой. Субъективности трудно избежать при классической форме экзамена/зачета [8].

К тестам же нужно готовиться. Зубрежка и «шпаргалки», а также «помощь друзей» здесь не помогут. В обычном билете 2-3 вопроса. И незнающий студент может спросить друга: как и что ответить.

В тестах «друзья» вряд ли смогут помочь, тратя свое ограниченное время на решение, например, уже 25 вопросов, а не 2-3 как при классическом экзамене.

К тому же, при тестовой форме контроля знаний студенты сразу же вовлечены в экзаменационный процесс: имеется возможность рассадить студентов и раздать им всем тесты сразу после официального начала экзамена либо зачета.

В классической форме экзамена студент может за время подготовиться и начать помогать другим. Возможны списывания, шпаргалки, интернет и так далее.

В целом, достоинства тестирования и недостатки классического метода приведены в Таблице 1.

Таблица 1. Достоинства тестового метода контроля знаний и недостатки классического метода при зачетах и экзаменах

При образовательных подходах в рамках тестового метода сами материалы для подготовки к тестам должны быть грамотно оформлены и адекватно представлены студентам. С этим соглашаются многие специалисты, например, Радушинский Дмитрий Александрович [9] и Пушкарева Людмила Васильевна [10].

Для обеспечения доступа всех желающих к материалам теста, а также к материалам по предметам, к датам консультации у преподавателя и к обоснованному рейтингу студентов, Шеметевым А.А. используется облачная платформа [11, 12].

Каждый студент имеет возможность узнать и повлиять на свой рейтинг, а работающие либо тяжело болеющие студенты могут дистанционно загружать материалы и готовиться к итоговому контролю.

В целом, тесты мотивируют студенты учиться. По данным исследований автора, посещаемость занятий с введением тестовой формы увеличилась в 3,4 раза; активность студентов (по количеству научных публикаций и их попыток студентов; участие студентов в конференциях; выполнении студентами различных инициативных практических проектов; участии в деловых играх; общий интерес к материалам) – вырос во много раз (более подробно – в конце статьи).

Студенты активнее ведут научную деятельность, а также активно изучают предмет. Так, только по инновационному менеджменту за осень 2013 года студентами подготовлено 217 инициативных докладов с презентациями (при базисной форме экзамена за аналогичный период выполнялось не более 5 – 8 таких докладов), исследующими различные инновации прошлого и будущего в детальном аспекте.

По инвестиционному менеджменту за аналогичный период предложено 28 инициативных проектов инвестиций, полностью выполненных студентами со всеми расчетами, графиками, таблицами, схемами и презентациями (при базисной форме экзамена за аналогичный период выполнялось не более 1 – 2 таких докладов).

Количество попыток публикаций студентами своих научных работ без соавторства со стороны профессорско-преподавательского состава увеличилось с 1-3 за год при классической форме экзамена (из 5 выборочных групп) до 17 за полугодие (из 5 выборочных групп).

Рост посещаемости студентов составил 3,4 раза. Работающие студенты стали ходить на пары. Даже больные студенты стали стараться посещать все занятия.

Проблема посещаемости студентов – одна из важных проблем современных образовательных технологий. Студенты получили возможность учиться дома, и необходимость посещения лекций сокращается. Автор сталкивался с государственным юридическим вузом, где были группы 5 курса, в которых лекции посещал 1 выбранный из группы студент с диктофоном, который передавал аудиозапись другим студентам и те все конспектировали. Однако преподавателям не всегда было удобно читать лекции одному студенту с диктофоном…..

В авторской практике часто приходят студенты – «конспектеры», которые записывают лекции для того, чтобы выложить их в соцсети и распределить таким образом по всей группе. Причем часть студентов часто отстраненно соотносятся с образовательным процессом. Очевидно, что качество восприятия материала при личном присутствии на лекции преподавателя в разы выше, чем скачанная в группе «в Контакте» лекция.

Относительно сложные тесты по всему материалу с задачами мотивируют студентов приходить на занятия к преподавателю «сложных предметов» для того, чтобы лично усвоить материал и, возможно, заработать баллы на получение оценки «автоматом».

В общем, эффект от внедрения тестов по данным авторских исследований составил:

* По показателю вовлеченности в изучение связанных тем по инновационным проектам: в 36,17 раз;

* По показателю инициативных инвестиционных проектов студентов: в 18,67 раз;

* По показателю инициативных попыток научных публикаций собственных исследований студентов: в 17 раз;

* Рост посещаемости студентов: в 3,4 раза.

Все это достигнуто наряду с очевидной эффективностью самого тестового метода как такового. Важнейшее требование – это адекватно составленные комплексные (относительно сложные) тесты для студентов с большим количеством вариантов. Студенты могут знакомиться с экзаменационными тестами заранее. Примеры тестов можно посмотреть в облачном онлайн журнале автора по ссылкам [11, 12].

Общий эффект от внедрения тестов по совокупности показателей составил: увеличение качества образовательного процесса в 18,8 раза.

1. Олейник Н.М.  Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения. – Донецк: Донецкий государственный университет//Учебное пособие по спецкурсу.
2. Помякшева Н.Н. Тест, как форма контроля знании студентов 1 – 2 курсов применяемая на дисциплине «математика и информатика»// Педагогические чтения на комиссии гуманитарных социально-экономических дисциплин 2009 – 2010 учебный год. – Самара. – 2009.
3. Аванесов В. С. Композиция тестовых заданий. — М., Центр тестирования, 2002.
4. Данные проекта Использование тестов в учебном процессе (адрес доступа: testobr.narod.ru).
5. Евдокимов В.В., Шамурова Ю.Ю., Григоричева Е.А., Празднов А.С., Михайлов Е.В.,Колесникова А.А., Беседина Н.А., Девальд И.В., Иванова Е.Л. Система компьютерного тестирования как инновационная форма обучения. – Челябинск. – 2012.
6. Спихина И.Н., Миронова Е.Ю. Использование тестирования на уроках русского языка как форма   текущего контроля знаний учащихся. – Владимир: Владимирский институт повышения квалификации работников образования// Учебные материалы для работников образования. – 2011.
7. Артамонова М.В., Киринюк А.А., Назарова И.Б., Тягунова Т.Н. Культура компьютерного тестирования// Методические рекомендации по введению системы тестирования учебных достижений студентов в вузе. – М.: ВШЭ. 2006.
8. Ковалев А.П., Крючкова Е.В. Тестирование – инструмент контроля знаний и активизации учебного процесса//ВЕСТНИК МГТУ СТАНКИН. – №2 (2009). – С. 46 – 50.
9. Радушинский Д.А. Устное выступление на научно-методической конференции Методика преподавания экономических дисциплин. – СПб: Государственная полярная академия. – 2014.
10. Пушкарева Л.В. Устное выступление на научно-методической конференции Методика преподавания экономических дисциплин. – СПб: Государственная полярная академия. – 2014.
11. Шеметев А.А. Пример онлайн журнала для студентов экономических специальностей: электронный ресурс. Адрес доступа: http://tinyurl.com/pmf6f8p
12. Шеметев А.А. Пример заполненного онлайн журнала для студентов экономических специальностей: электронный ресурс. Адрес доступа: https://docs.google.com/spreadsheet/ccc?key=0AjWMqnl1lCTedFN1THoxUlN0MGFuUVNOSTRiQUVIdlE&usp=sharing#gid=0
13. И. А. Максимцев, А. Е. Карлик, Е. А. Горин Привлечение иностранных инвестиций в инновационное развитие (шанхайский опыт)// Экономика и управление. – 2007. – №6. – С. 114-118.
14. Тарасевич А.Л. Устойчивость коммерческих банков, экономические и социальные последствия их банкротства: Дис. … канд. экон. наук: 08.00.10: СПб., 2000 251 c.
15. Тарасевич Л.С., Курманбаева Б.Ж. Финансирование инновационной деятельности: мировой опыт и российская практика//Вестник кыргызско-российского славянского университета. – 2008. – №9. – С. 181 – 184.
16. Ангеловская А.А. Анализ формирования денежных потоков по МСФО и российским стандартам//Международный бухгалтерский учет. – 2013. – №3. – С.47-51.
17. Очередько В.П., Басангова К.М. Оценка состояния республики Калмыкия с позиций обеспечения экономической безопасности//Вестник санкт-петербургского университета МВД России. – 2006. – №2. – С. 151 – 157.

Все статьи автора «Шеметев Александр Александрович»