В общем широком смысле – моделирование является главным и научно обоснованным методом для исследований практически во всех областях знаний, а также служит для оценки различных характеристик сложных систем, используемых для принятия решений в различных сферах технической, социальной, экономической или иной деятельности.

Математические модели (аналитические и имитационные) эффективно используются с целью исследования существующих и проектируемых систем. В данном случае модели реализуемые на современных ЭВМ выступают в качестве инструмента экспериментатора применяемым к моделям проектируемых систем.

Внедрение в практику современных методов исследования таких как: системы проектирования с множеством критериев, автоматизированные системы научных исследований и комплексных испытаний, системы автоматизации проектирования, комплексов и сетей, информационных систем и прочее, являет собой одну из проблем современной науки и техники.

При моделирование систем проектирования с многими критериями возникает большое количество задач, требующих количественных и качественных оценок закономерностей процессов функционирования таких систем, а также проведения структурного алгоритмического и параметрического синтеза. При моделирование многокритериальных систем проектирования необходимо учитывать следующие особенности:

большое объем параметров и переменных, неполноту исходной информации и её недетерминированность;

сложность структуры и стохастичность связей между элементами, неоднозначность алгоритмов поведения при различных условиях;

различные условия воздействий внешней среды.

C позиций теории систем [1] любые технические, экономические или социальные объекты, при моделирование систем проектирования, можно рассматривать как элементы или подсистемы систем более высокого уровня или как самостоятельные подсистемы.

Технические, экономические или социальные объекты, как самостоятельные системы, определим в виде набора [2,3]

Sº<A, Q_A, R, Q_R, Z, SZ, B, DT, N, L_N>,                (1)

где A={a_i}, iÎI={1,2,…,n} – множество элементов исследуемого объекта, n – некоторое количество элементов в самом объекте; Q_A – некоторое множество свойств элементов объекта; R={r_j}, jÎJ={1,2,…,m} – множество связей между элементами исследуемого объекта, m – количество связей между элементами объекта, Q_R множество свойств связей элементов объекта, Z цель, совокупность или структура целей функционирования объекта, которая связана с требованиями обеспечения экстремальных значений выбранных критериев оптимизации функционирования объекта; SZ условия образования целей; B вектор состояний (вектор конструктивных параметров); DT интервал времени, в течение которого будет существовать объект; N – наблюдатель принимающий управляющие решения, в зависимости от поведения объекта; L_N язык наблюдателя.

Элемент неделимая часть рассматриваемого объекта. Элементы объекта могут быть объединены в подсистемы, решающие одну задачу. Связи характеризуют статику и динамику объекта и могут быть экономическими, физическими, правовыми, административными, информационными, функциональными и прочими. Особо следует отметить обратную связь, которая может быть положительной или отрицательной. Обратная связь является основой саморегулирования, развития объекта, как системы, приспособления его к условиям внешней среды.

Функционирование любого технического, экономического или социального объекта формально представим как взаимодействие с внешней средой, как это показано на рис. 1.

Рис. 1. Взаимодействие рассматриваемого объекта с внешней средой

Компоненты вектора Х имеют природу, связанную с назначением объекта и в общем случае делятся на управляемые и направляемые. Для управляемых компонент вектора Х задается, как модель, отображение Х=L(t), сопоставляющее каждому моменту времени t некоторое значение хÎХ. Отображение L(t) ещё называют входным процессом.

Возмущения F – это входные параметры, которые невозможно учесть.

Компонентами вектора выходных параметров Y являются параметры, на основании которых, а также компонент вектора состояний объекта B, судят об эффективности функционирования объекта. По аналогии с входным процессом можно ввести понятие выходного процесса Y=M(t) [4]. В теории управления [5] выходные сигналы называются фазовыми координатами (переменными состояния).

Определение (1) объекта, как отображение на языке наблюдателя элементов системы, свойств и связей между ними в виде некоторых отношений, отражает концепцию системного подхода к постановке и решению задач принятия решений в условиях неполноты данных. Принятие управляющих решений связано с управлением функционированием объекта, а функционирование объекта характеризуется целями и выполняемыми задачами. Оценка эффективности функционирования осуществляется с применением выбранных критериев, параметрами которых могут быть компоненты вектора Y и вектора B или их комбинации.

Из определения (1) системного подхода к моделированию сложных систем проектирования следует необходимость разработки модели управляемого объекта, позволяющей исследовать процесс принятия управляющих решений с целью выработки рекомендаций как относительно последствий принятия управляющих решений, так и прогноза эволюции управляемого объекта.

Согласно [6] к управляемой системе поступают от внешней среды управляющие воздействия Х и возмущающие воздействия Z. На выходе управляемого объекта существуют выходные параметры Y, которые измеряются с применением прибора P. На прибор P также воздействуют возмущения D, а на выходе прибора P имеется результат наблюдений V за изменением параметра Y. Пример управляемого объекта приведен на рис. 2.

Рис. 2. Управляемый объект

На концептуальном уровне моделирование является нахождением математической схемы, которая описывающей функционирование управляемого объекта и его взаимодействие с окружающей средой. Известно [6], что определение понятия «модель» может быть представлено по-разному, поэтому концептуальную модель управляемого объекта будем рассматривать, «как упрощенное отображение существенных сторон реальных процессов функционирования системы, выраженное в некоторой формальной форме и позволяющее описать правило (оператор) преобразования входных Х параметров в выходные Y»:

Y=W(Z, Х),                        (2)

где W – некоторый оператор, под которым могут понимать математические действия, стохастические зависимости, логические формулы, теоретико-множественные преобразования и другие схемы преобразований.

Также можно задать модель прибора P в виде

V=L(Y, D),                        (3)

где L оператор, преобразующий параметры Y и D в выходные параметры в параметры наблюдения V.

Оператор W в общем случае устанавливает соответствие между входными параметрами, состояниями и выходными параметрами. Данный оператор в моделировании систем [6] представляют в виде двух операторов – оператор переходов и оператор выходов, которые и определяют концептуальную модель в виде соответствий.

Вектор конструктивных параметров управляемого объекта B={B₁´B₂´…´B_m} имеет компоненты B_i, рассматриваемые, в свою очередь, как векторы B_i={bⁱ₁,bⁱ₂,… bⁱ_n}, параметры которых могут быть константами, функциональными зависимостями, нестационарными распределениями вероятностей случайных величин или лингвистическими переменными и прочее. Между элементами множеств Х´B и множества B установим соответствие:

,                    (4)

где график нечеткого соответствия (в общем случае нечеткого соответствия).

Между элементами множеств Х´B и элементами множества Y установим соответствие:

,                    (5)

где нечеткий график нечеткого соответствия (в общем случае нечеткого соответствия).

Задание соответствия в виде (4) представляет собой реализацию оператора в виде функции переходов, а задание соответствия в виде (5) представляет собой реализацию оператора в виде функции выходов.

Графики , нечетких соответствий подлежат идентификации в зависимости от поставленных задач при управлении теми или иными объектами.

Функционирование любых сложных систем, к которым и относится системы проектирования, определяется, как правило, несколькими критериями, определенными на разных базовых множествах. Существуют разные подходы к определению многокритериальной эффективности функционирования сложной системы, причем, часть из них основана на ранжировании экспертами локальных критериев. Рассмотрим особенности ранжирования критериев в условиях неполноты данных.

Ранжирование оценка в ранговой шкале. Под ранжированием критериев f₁, f₂, …, f_mбудем понимать представление ранговой последовательности в соответствии с убыванием их предпочтительности. Например, семь критериев эксперт может ранжировать следующим образом: (4; 2; 1, 3; 5 - 7). Ранговая последовательность означает, что самый предпочтительный критерий f₄, за ним следует критерий f₂, затем идут равноценные критерии f₁ и f₃, и, наконец, также равноценны критерии f₅, f₆ и f₇.

Рангом r(a) критерия f в рассмотренном примере является номер места, которое критерий занимает в ранговой последовательности (номер места). Для рассмотренного примера критерий f₄ получает ранг 1, критерий f₂   ранг 2, критерии f₁, и f₃ ранг 3, критерии f₅, f₆ и f₇ ранг 4.

Метод попарного сравнения при ранжировании критериев применим для более достоверного выявления предпочтения эксперта, так как при обычном сравнении существует проблема транзитивности предпочтений: если критерий f_iлучше критерий f_j, а критерий f_j лучше критерия f_k, то и критерий f_iлучше критерия f_k. Метод попарного сравнения такой транзитивности заранее не предполагает.

Например, при выборе критериев f₁, f₂, …, f_m способ попарного сравнения состоит в указании большего критерия в каждой возможной паре из множества критериев f₁, f₂, …, f_m. Может также быть, что оба из критериев в паре равноценны или несравнимы. В теории множеств известно отношение предпочтения. Рассмотрим применение этого отношения к задаче ранжирования критериев.

Экспертами произведено попарное сравнение критериев из множества f₁, f₂, …, f_m и в результате получено множество двоек , в каждой из которых критерий f_i предпочтительнее критерия f_j. Например, на множестве критериев f₁, f₂, …, f₇ экспертами определено отношение предпочтения, графическое задание которого показано на рис. 3. График бинарного отношения на множестве <f₁, f₂, …, f₇> это подмножество PÍ<f₁, f₂, …, f₇>´<f₁, f₂, …, f₇> = <<f₁, f₂>, <f₁, f₄>, <f₁, f₇>, <f₂, f₄>, <f₂, f₅>, <f₂, f₆>, <f₃, f₁>, <f₃, f₂>, <f₃, f₄>, <f₃, f₅>, <f₃, f₆>, <f₄, f₅>, <f₄, f₆>, <f₅, f₁>, <f₅, f₆>, <f₅, f₇>, <f₆, f₁>, <f₆, f₇>, <f₇, f₂>, <f₇, f₃>, <f₇, f₄>>.

Рис. 3. Графическое задание отношения предпочтения

В результате получено отношение предпочтения <<f₁, f₂, …, f₇>,Р>, причем, (f_i,f_j)ÎPтогда и только тогда, когда критерий f_iпредпочтительнее критерия f_j.

На множестве Р можно задать нечеткое отношение предпочтения , где график содержит множество двоек <<m_P(f_i,f_j)>,<f_i,f_j>>, . Значения степеней предпочтения m_P(f_i,f_j) задаются экспертами.

Четкое отношение предпочтения порождает многозначное отображение P<f_i>={f_j½<f_i,f_j>ÎP}, где P<f_j> совокупность всех критериев менее предпочтительных, чем f_i.

Нечеткое отношение предпочтения порождает многозначное нечеткое отображение <f_i>={f_j½<<m_P(f_i,f_j)>,<f_i,f_j>>Î}, где <f_i> совокупность всех критериев, нечетко менее предпочтительных, чем f_i. Со степенью принадлежности m_P(f_i,f_j) [7].

Задание нечеткого отношения предпочтения на множестве критериев f₁, f₂, …, f₇ является более общим подходом к задаче ранжирования критериев. Нечеткие отношения содержат практически полную информацию об оценках в ранговой шкале при их попарных сравнениях.

Следует отметить также и то, что количественные и балльные измерения критериев содержат больше информации, чем отношения, задаваемые на множестве критериев f₁, f₂, …, f₇. Действительно, знание отношений позволяет сказать, что лучше критерий f_i, или критерий f_j, но нельзя сказать во сколько раз.

В тоже время в практике принятия управленческих решений, при моделирование систем проектирования с многими критериями, выводы, делаемые на основе числовых измерений критериев, могут носить и качественный характер, например, для систем управления запасами ранжирование предприятий поставщиков, комплементарных товаров, транспортных средств и прочее.

Качественную информацию о критериях, а также элементах системы получить проще, чем числовую, т.к. не нужно производить измерений. Качественная информация обеспечивает большую надежность вывода, т.к. часто нет гарантии, что критерии f_iи f_j измерены с требуемой точностью, но практически всегда существует гарантия, что значение критерия f_iбольше значения критерия f_j.

Комплексный анализ критериев, измеренных в разных шкалах, требует осуществления перехода к одному типу данных: числовому или качественному. Можно свести все критерии к количественному виду за счет сужения множества допустимых преобразований, но в этом случае в качественные критерии вносится новая, искажающая информация.

Возможности теории нечетких множеств и теории возможностей позволяют произвести комплексный анализ критериев путем сведения числовых показателей к качественному виду, переходя к соответствующим нечетким отношениям предпочтения. Часть информации может быть потеряна, поэтому следует применять выводы, как на основе «количественной» обработки результатов измерения критериев, так и на основе «качественной» обработки. Если же эти выводы совпадают, то будет подтверждена их адекватность на основе исходных данных.

Так как моделирование сложных систем проектирования определяется несколькими критериями, определенными на разных базовых множествах, а задача определения многокритериальной эффективности в условиях неполноты исходных данных остается актуальной, то в рамках данной статьи предложен метод оптимизации одновременно по многим критериям при неполноте исходных данных. Отличие описанного метода заключается в том, что экспертное ранжирование критериев позволяет формально задать нечеткие графики предпочтения позволяющие получить исчерпывающую информацию об оценках в ранговой шкале при попарных сравнениях, с целью последующего поиска Парето-оптимальных решений в многокритериальных задачах.

Разработка новых моделей принятия решений при тестировании знаний должна позволять проектировать программное обеспечение, обеспечивающего поддержку различных форм заданий, реализацию разных сценариев контроля и адекватную обработку результатов тестирования.

В традиционной системе тестирования уровень знаний определяется долей правильных ответов, следовательно, оценка уровня знаний зависит от трудности заданий в тесте и не может считаться объективной. Для измерения уровня знаний стали применять модель Раша [1,2], позволяющая в отличие от традиционной системы тестирования получить объективные оценки знаний студентов за счет того, что оценка уровня знаний не зависит от трудности теста.

Применяют модели оценки тестирования на основе системологического классификационного анализа [3], позволяющего рассматривать знания системно для сложных неформализованных слабоструктурированных предметных областей.

Существуют модели на основе нейронных сетей, позволяющие реализовать обучение с учителем, обладающие свойствами адаптивности, увеличивающие достоверность принимаемого решения. Знания представляются в нейронной сети с помощью ее состояния активации и, как следствие, существование нейронной сети связано с контекстной информацией. Нейронные сети являются универсальным механизмом обработки информации.

Для оценки уровня обучения и для аттестации образовательного учреждения профессионального образования разработана технология [4] Центром государственной аккредитации, которая включает в себя модель формирования аттестационных педагогических измерительных материалов (АПИМ), методику обработки результатов и организацию педагогических измерений на основе выборочных методов как по отношению к дисциплинам, так и к контингенту обучающихся.

Модели оценивания при аттестационно-педагогических измерениях относятся к вероятностным моделям. Модель АПИМ есть совокупность независимых разделов дисциплин с одинаковой вероятностью решения. Следует получить значение вероятности решения совокупности всех групп заданий. Основу расчетов составляет формула Бернулли [5], которая при принятых условиях позволяет рассчитать вероятности не менее k благоприятных событий из общего числа n независимых событий

.

Применение теории нечетких множеств, введение понятия лингвистической и нечеткой переменной [6] предоставляют возможность экспертным путем задать степень истинности ответа в виде функции принадлежности его к используемой шкале оценивания истинности. Данная модель позволяет получать количественную оценку принимаемых решений по их качественным описаниям. Тестируемому выдают варианты ответов, степень истинности которых не может быть однозначно определена в категориях «правильно» или «неправильно». Количественная оценка истинности выбираемых ответов и принятие решения об итоговой оценке осуществляется с применением нечеткой логики [6].

В работе [7] оценка знаний осуществляется с применением лингвистических переменных на базовой шкале оценивания. Лингвистические переменные (ЛП): a₁ – правильно; a₂ – не совсем правильно; a₃ – неполно; a₄ – неточно;
a₅ – неопределенно;
a₆ – неправильно.

Пример оценки знаний [7] фактически осуществляется не по лингвистическим, а по нечетким переменным, т.к. оценка знания вариантов ответов на каждое тестовое имеет вид:

{a₁/0,8; a₂/0,4; a₃/0,2; a₄/0,1; a₅/0; a₆/0}.

Данная модель показывает, что степень суммарной истинности ответов тестируемого оценивается путем подсчета результирующей функции принадлежности с использованием нечеткой алгебры. Окончательное принятие решения об оценке знаний принимают путем сравнением полученной результирующей функции принадлежности с эталонными функциями принадлежности каждой оценки применяемой шкалы итогового оценивания. В качестве итоговой оценки принимается та, для которой скалярное расстояние между ее функцией принадлежности и результирующей функцией принадлежности всего теста оказывается минимальным [7].

Развитие данного подхода состоит в том, что для каждой ЛП может быть задано собственное терм-множество с нечеткими переменными и функциями принадлежности на базовом множестве, определенном диапазоном оценок теста. Для вывода оценки знаний могут применяться продукционные модели, например модель принятия решений при
композиции нечетких правил вывода.

Пусть при тестировании испытуемые могут получить от нуля до ста баллов. Рассмотрим применение модели, имеющей название «модель композиции» [6]. Применение этой модели нечеткого логического вывода, как дополнение к полученным результатам тестирования, позволит не только снизить степень информационной неопределенности, но и повысить объективность оценки результатов тестирования. Модель композиции нечетких правил вывода задают в виде набора множеств (X, T, H), где X и H определены так же, как и в модели классификации нечетких ситуаций, Т – множество, элементы которого представляют собой формальную запись в виде продукций словесно-качественной информации экспертов.

Пусть входные переменные задачи тестирования в виде лингвистических переменных определены так же, как и для модели классификации. Результат тестирования определен в виде лингвистической переменной b «оценивание знаний» с терм-множеством: Т(b)={b₁ – неудовлетворительно; b₂ –удовлетворительно;
b₃ –хорошо;
b₄ отлично}. Базовое множество принимаемых решений задано на отрезке [0, 100] баллов. На рис. 1 показан вариант задания функций принадлежности лингвистической переменной «результат тестирования».

Рис.1. Функции принадлежности лингвистической переменной «оценивание знаний»

Оценка «отлично» соответствует 80 – 100 набранным баллам, оценка «хорошо» соответствует 65 – 79 набранным баллам и т.д.

Рассмотрим работу модели принятия решений при композиции нечетких правил вывода на примере задания множества Т={R_i}, где R_i
i-ое нечеткое продукционное правило, сформулированное экспертным путем. Пусть экспертами будут заданы правила {R₁,R_2,R₃,…,R₂₂}. Например:

R₁: если недостаточное количество выполненных заданий «А» и недостаточное количество выполненных заданий «В» и – среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и значащие ошибки задания «А» и значащие ошибки задания «В» и низкое качество обучения, то b₁ – неудовлетворительный результат тестирования.

R₂: если недостаточное количество выполненных заданий «А» и недостаточное количество выполненных заданий «В» и – среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и значащие ошибки задания «А» и значащие ошибки задания «В» и среднее качество обучения, то b₁ – неудовлетворительный результат тестирования.

…

R₂₁: если очень большое количество выполненных заданий «А» и очень большое количество выполненных заданий «В» и среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и незначащие ошибки задания «А» и незначащие ошибки задания «В» и среднее качество обучения, то b₄ – отличный результат тестирования.

R₂₂: если очень большое количество выполненных заданий «А» и очень большое количество выполненных заданий «В» и среднее число ошибок в решаемых заданиях «А» и среднее число ошибок в решаемых заданиях «В» и значащие ошибки задания «А» и значащие ошибки задания «В» и хорошее качество обучения, то b₄ – отличный результат тестирования.

Зная функции принадлежности нечетких переменных входных лингвистических переменных a₁, a₂, a₃, a₄, a₅, a₆ и a₇ и функции принадлежности лингвистической переменной «результат тестирования», можно для каждого правила R_i вывести функцию принадлежности .

Получив для каждого правила R_i функции принадлежности определяют функцию принадлежности для отношения Т по формуле

.        (1)

Исходя из заданных функций принадлежностей нечетких переменных входных лингвистических переменных a₁, a₂, a₃, a₄, a₅, a₆
и a₇ для результатов тестирования испытуемого определяют конкретные значения степеней принадлежности нечетких переменных терм-множеств этих лингвистических переменных и подставляют их в формулу (1).

Поиск значения h_s базового множества H лингвистической переменной b «результат тестирования», доставляющего наибольшее значение функции принадлежности возможен только за счет обычного перебора значений функций принадлежности для b₁, b₂, b₃ и b₄.

Выводы

Результаты анализа известных подходов к оценке знаний с применением тестирования показали, что применять классические методы теории вероятностей и математической статистики недостаточно, как для моделирования систем управления качеством образования, так и для получения адекватных оценок знаний при проведении тестирования обучаемых.

Это связано, в первую очередь, с тем, что итоговые оценки по результатам тестирования частично неопределенны, т.е. имеют нечеткое описание в терминах естественного языка. Так же разной может быть степень неопределенности погрешности тестирования.

Для установления адекватной оценки знаний тестируемого необходимо применять методы ситуационного анализа в условиях неполноты данных относительно объектов тестирования и самого теста. Применение данного подхода может быть связано с принятия решений с учетом нескольких заданных критериев, задание которых может быть как четким, так и нечетким.