Способ оценки соответствия компетенций обучаемого заданному уровню

Способ относится к области информационных технологий, используемых в учебном процессе в качестве технических средств обучения, в частности при тестировании обучаемых с целью определения соответствия формируемых компетенций требованиям федерального государственного образовательного стандарта (ФГОС). Способ автоматизирует процесс проверки гипотезы об отсутствии корреляции ответов обучаемых с ответами, полученными по эталонной модели путем преобразования ответов обучаемых в сигнал, сравниваемый с пороговым уровнем. Теоретическим обоснованием выбора порогового значения является модификация метода проверки статистических гипотез на основе выявления ранговой корреляции. 1 ил., 1 табл.

 

Способ относится к области информационных технологий, используемых в учебном процессе в качестве технических средств обучения, в частности при тестировании обучаемых с целью определения соответствия формируемых компетенций требованиям федерального государственного образовательного стандарта (ФГОС). Предлагаемый в данном способе подход позволяет совместить традиционную «знаниевую» парадигму с требованиями работодателя, стремящегося получить специалиста, обладающего сформировавшейся системой профессиональных качеств, сопоставимой с эталоном.

Большинство известных процессов тестирования основаны на выборе правильного, неправильного или одного, наиболее правильного ответа из предлагаемых вариантов ответов. Оценка компетенций тестируемого сводится к подсчету количества «правильных» ответов и выставлению соответствующего им количества баллов.

Таким образом, существующие процессы тестирования позволяют проверить способность обучаемого правильно решать рутинные задачи и лишь косвенно отражают способность тестируемого делать обобщения, решать практические задачи и претворять в жизнь свои решения, т.е. демонстрировать свои компетенции в определенной области знаний (в рамках дисциплины, модуля, образовательной программы). Для исключения случайных «удач» количество вопросов и вариантов ответов увеличивают. При этом возникает проблема защиты предъявляемой при тестировании информации от дидактических ошибок [1]. Подобное тестирование, основанное на бинарных ответах (да-нет), использует шкалу наименований [2].

Представляется, что более перспективным средством формирования суждений о компетенциях тестируемого человека является сравнение направленности, последовательности и его результатов решения поставленных задач с направленностью, последовательностью и результатами решения профессионала (эталонной моделью). В качестве подобного средства сравнения предлагается статистический анализ результатов тестирования на основе выявления корреляционной связи в действиях человека, проходящего тестирование, и действиях профессионала. В качестве шкалы измерений предлагается использовать шкалу порядков [2].

Современные методы тестирования, например решение ситуационных задач (выполнение кейсовых заданий), широко используют проверку готовности тестируемого к обобщению информации, анализу и оценке влияния различных факторов. Примерами подобного подхода могут служить задания:

- ранжируйте … и обоснуйте,

- расположите в определенном порядке,

- оцените важность факторов для решения поставленной задачи,

- сопоставьте оптимальность решений для …,

- оцените значимость вариантов для …,

- составьте перечень основных свойств и оцените их влияние на …,

- напишите наиболее вероятные сценарии развития,

- постройте классификацию на основании …,

- постройте прогноз развития …,

- определите возможные критерии оценки,

- оцените возможности … для …,

- проведите экспертизу состояния …,

- сравните … и …, а затем обоснуйте.

Результат решения большинства подобных задач, направленных на оценку способности тестируемого применять полученные теоретические знания в типовых профессиональных ситуациях, можно представить в виде совокупности оценок, что дает возможность преподавателю (тьютору) сопоставить используемые оценки с эталонными и сформулировать субъективную оценку уровня компетенций тестируемого требованиям ФГОС. Предлагаемая модель позволяет автоматизировать процесс сопоставления ответов тестируемых и эталонной модели.

Техническим результатом способа является автоматизация проверки гипотезы об отсутствии корреляции ответов обучаемого с эталонными ответами.

Известен электронный обучающий тренажер [3], включающий блок обучения, блок тренировки и блок контроля, позволяющий обучать решению задач, развивать практические навыки, осуществлять проверку знаний обучающихся. К недостаткам данного тренажера следует отнести его ограниченные функциональные возможности и необходимость участия преподавателя в оценке результатов проверки знаний.

Известна система автоматизированной оценки профессионального мастерства летного экипажа, выполненная в виде тренажера летного экипажа, содержащего вычислительный комплекс, блока сравнения текущих параметров с летными ограничениями и рекомендациями, блока оценки частных показателей профессионального мастерства летного экипажа, блока оценки качества пилотирования летным экипажем, базы данных летных ограничений и рекомендаций, блока оценки последствий авиационных происшествий и инцидентов. К недостаткам данной системы следует отнести ее проблемно-ориентированную направленность.

Наиболее близким техническим решением является устройство для тестирования обучаемых, включающее прямоугольную матрицу ячеек с учебной информацией, блок элементов перестановок ячеек с учебной информацией, генератор случайных чисел, шифратор, блок коммутаторов, блок оценивания, блок предъявления оценок, элементы ввода ответа «Не знаю». В данном устройстве частично компенсируются недостатки многих традиционных методов тестирования. Тем не менее, к недостаткам данного устройства следует отнести недостаточный уровень автоматизации в оценке компетенций обучаемого по результатам выполнения сложных заданий.

Технический результат способа достигается тем, что для проверки гипотезы об отсутствии корреляции ответов обучаемого с эталонными ответами сигналы, пропорциональные амплитудам оценок обучаемым значимости факторов решаемой задачи, преобразуются совместно с эталонными сигналами в сигнал, пропорциональный коэффициенту ранговой корреляции, который сравнивается с заданным пороговым значением.

Система, с помощью которой может быть реализован данный способ, включает: блок загрузки набора тестовых заданий и регистрации результатов тестирования 1, блок ввода ответов обучаемых 2, блок проверки гипотезы об отсутствии корреляции ответов обучаемого с эталонными ответами 3, блок накопления данных 4, блок отображения 5 (Фиг. 1).

Сплошные линии отражают направления передачи информации, пунктирные - управляющих сигналов.

Процесс тестирования включает выполнение обучаемым набора тестовых заданий, обработку и запоминание полученных результатов, повторение данного процесса для группы обучаемых, обработку и запоминание результатов тестирования группы обучаемых. Обработка результатов тестирования одного обучаемого позволяет с заданной вероятностью проверить соответствие (наличие корреляции) результатов тестирования с эталонными ответами. Результаты тестирования отражают способность обучаемого применять приобретенные знания, умения и навыки при решении практических профессиональных задач.

Ответы обучаемых, продемонстрировавших наличие корреляции результатов тестирования с эталонными ответами для всего набора тестовых заданий, если это необходимо, могут пройти дополнительную обработку. Обработка результатов тестирования группы обучаемых позволяет присвоить обучаемым рейтинги, отражающие сравнительные результаты освоения компетенций внутри группы обучаемых.

Рассмотрим структурную схему системы реализации способа. Перед началом процесса тестирования обучаемый формирует сигнал запроса (например, нажатием кнопки на блоке ввода ответов обучаемых 2) на загрузку тестового задания. Блок загрузки набора тестовых заданий и регистрации результатов тестирования 1 загружает текстовую и расчетную информацию текущего тестового задания и передает на блок накопления данных 4. Блок отображения 5 визуализирует содержимое области памяти блока накопления данных 4: текстовую часть тестового задания. Используя блок ввода ответов обучаемых 2, человек, проходящий тестирование, дает субъективную оценку значимости факторов, предлагаемых в тестовом задании, для решения поставленной задачи. Текущие значения оценок в ранговой шкале поступают на блок накопления данных 4, а затем отображаются рядом с пунктами тестового задания на блоке отображения 5. Выставив все оценки, человек, проходящий тестирование, нажимает кнопку (формирует сигнал запроса), сигнализируя о готовности получить новое тестовое задание и продолжить тестирование. По этому сигналу текущие значения оценок и расчетная информация тестового задания из блока накопления данных 4 поступают на блок проверки гипотезы об отсутствии корреляции ответов обучаемых с эталонными ответами 3, который проводит необходимые расчеты и возвращает результат проверки гипотезы на блок накопления данных 4. Результаты выполнения теста блок отображения 5 запрашивает из памяти блока 4. Блок отображения 5 запрашивает данные из памяти блока 4 периодически и обновляет отображение без использования специальных управляющих сигналов. Передача информации и управляющих сигналов между блоками реализуется на основе стандартных интерфейсов, например I2C.

Вопросы идентификации личности обучаемых выходят за рамки предлагаемого технического решения. Для долговременного хранения и протоколирования результатов тестирования могут быть использованы энергонезависимые носители информации, например CD диски.

Блок загрузки набора тестовых заданий и регистрации результатов тестирования 1 может быть реализован в виде устройства чтения - записи сменных CD дисков, работающего под управлением контроллера.

Блок ввода ответов обучаемых 2 состоит из кнопки формирования сигнала запроса, набора средств ввода оценок, выполненных, например, в виде набора выставляемых вручную потенциометров (переменных резисторов), АЦП с коммутатором на входе и регистров, хранящих цифровые коды введенных тестируемым оценок.

Программируемый контроллер блока проверки гипотезы об отсутствии корреляции ответов обучаемых с эталонными ответами 3 реализует необходимые вычисления, которые описаны ниже.

Блок накопления данных 4 хранит входную, промежуточную и выходную информацию процесса тестирования и содержит многопортовый модуль статической памяти.

Блок отображения 5 может быть реализован в виде ЖК дисплея с видеоконтроллером.

Рассмотрим подробнее используемый математический аппарат [6]. Будем считать результаты ответов обучаемых и эталонную модель ответов случайными величинами. Отсутствие априорной информации о параметрах закона распределения анализируемых случайных величин предполагает использование непараметрических методов статистического анализа. В силу того что большинство сравниваемых параметров носит качественный характер, предлагается использовать в качестве единой шкалы измерений шкалу порядков. Если потребуется использовать количественные оценки, их можно перевести в шкалу порядков, как более «слабую».

Так же, как в классическом корреляционном анализе для метода ранговой корреляции Спирмена существуют методики проверки статистических гипотез. Для того чтобы проверить нулевую гипотезу об отсутствии корреляции, сравнивают полученный коэффициент ранговой корреляции с критической точкой, вычисленной по табличным значениям для заданного уровня значимости. Иными словами, мы отклоняем сформулированную гипотезу, если результаты вычислений маловероятны в рамках данной гипотезы. Границу оценки величины вероятности называют уровнем значимости α. Превышение сигнала, пропорционального коэффициенту ранговой корреляции порогового уровня, задаваемого критической точкой, означает необходимость отвергнуть гипотезу. Причем правильная гипотеза будет отклонена не более чем в α⋅100 процентах случаев. Как известно, дополнение уровня значимости до единицы называют доверительной вероятностью. Таким образом, предлагаемый подход позволяет отклонить или принять гипотезу о согласованности вариантов решения задачи тестируемого и эталонной модели.

Приведем пример численного расчета. Предположим, что нам необходимо оценить согласованность двух групп из десяти оценок факторов в шкале порядка: оценок обучаемого и оценок эталонной модели. Для того чтобы подчеркнуть отсутствие математических преобразований значений оценок, воспользуемся буквенно-цифровой шкалой: а9, а8, а7, …, а0, б9, …, б0, в9, … (а9 - максимальное значение шкалы). Результаты сравнения позволяют однозначно пронумеровать оценки эталонной модели А в порядке убывания.

Припишем каждой оценке фактора эталонной модели ранг х_i=i, равный порядковому номеру фактора. Сформируем аналогично ранги y_i по совокупности оценок обучаемого Б и сведем данные в таблицу. Для формирования рангов y_i оценки обучаемого Б сравниваются между собой и им присваивается ранг оценки, равный порядковому номеру фактора по мере убывания оценки. В столбцах таблицы расположены данные оценок обучаемого Б и оценок эталонной модели А, а также их ранги х_i, у_i для каждого оцениваемого фактора.

Чарльз Спирмен использовал в качестве меры, характеризующей согласованность изменения данных, сумму квадратов разностей их рангов: , где n - размер выборки (совокупности оценок), в нашем случае равный 10. Если последовательности изменения рангов совпадают, то сумма принимает минимальное значение S_min=0. Если ранги в последовательностях диаметрально противоположны, то достигается максимальное значение данной конечной суммы S_max=(n³-n)/3. Для приведения к диапазону от -1 до +1 выборочный коэффициент ранговой корреляции Спирмена вычисляется по формуле:

где d_i=x_i-y_i - разность рангов исследуемых величин. В нашем случае ρ=0.636.

Для проверки нулевой гипотезы о равенстве нулю коэффициента ранговой корреляции Спирмена вычисляем критическую точку T_кр, задав уровень значимости α=0.01:

где t_кр(α,k)=3.36 - табличное значение: критическая точка распределения Стьюдента для числа степеней свободы k=n-2=8.

Как мы видим, ⎜ρ⎜<T_кр и у нас нет оснований отвергать нулевую гипотезу. Следовательно, корреляция между совокупностями оценок А и Б отсутствует. Обучаемый не обладает необходимым уровнем компетенций.

Для вычислений в процессе проведения тестирования значения n и α, а следовательно, k и t_кр(α,k) известны априорно. Совокупность эталонной модели ответов упорядочена. Тогда формулу сравнения для проверки нулевой гипотезы можно привести к виду:

Блок загрузки набора тестовых заданий и регистрации результатов тестирования 1 загружает расчетную информацию текущего тестового задания: значение количества оценок факторов n, а также пороговое значение Р с учетом количества оценок факторов n, числом степеней свободы k=n-2, уровнем значимости α, критической точкой распределения Стьюдента t_кр(α,k):

Теперь можно перечислить последовательность преобразований сигналов данного способа:

- перед началом использования способа необходимо сформировать сигналы, пропорциональные количеству оцениваемых факторов n, пороговому значению Р и оценке значимости факторов, предлагаемых в тестовом задании, для решения поставленной задачи в ранговой шкале значений по эталонной модели;

- формируют сигналы, пропорциональные оценке обучаемыми значимости факторов, предлагаемых в тестовом задании, для решения поставленной задачи в ранговой шкале значений;

- по результатам сравнения и упорядочивания оценок по убыванию формируют сигналы, пропорциональные рангу оценок;

- формируют суммарный сигнал, пропорциональный сумме квадратов разностей рангов оценок обучаемого и рангов оценок эталонной модели;

- суммарный сигнал сравнивают с пороговым значением Р, пропорциональным количеству оцениваемых факторов n и критической точке распределения Стьюдента t_кр(α,k);

- решение о соответствии уровня компетенций обучаемого заданному уровню принимают при превышении суммарным сигналом порогового уровня Р.

Необходимо отметить резкое повышение количества возможных вариантов ответов в изложенном подходе, использующем шкалу порядков (m градаций) вместо шкалы наименований (да-нет). Для n вопросов имеем соответственно mⁿ и 2ⁿ вариантов ответов. Указанное обстоятельство резко снижает вероятность случайных совпадений и повышает достоверность тестирования, что может иметь решающее значение для ограниченного количества вариантов вопросов.

Система реализации предлагаемого технического решения обладает дополнительной (не претендующей на патентование) возможностью формирования рейтинговых оценок обучающимся. В общем случае сравнивать совокупности оценок обучаемых между собой затруднительно [7]. Для выставления рейтинговых оценок внутри группы тестируемых предлагается принимать во внимание важность оцениваемого фактора: в нашем случае порядковый номер оцениваемого фактора в упорядоченном списке. Ответы обучаемых, продемонстрировавших наличие корреляции результатов тестирования с эталонными ответами для набора j=1…M тестовых заданий, проходят дополнительную обработку в блоке 3 по команде преподавателя. Наивысший рейтинг получают тестируемые, набравшие минимальную сумму «штрафных» баллов:

Обучаемые с большим числом «штрафных» баллов получают места в конце списка.

Литература

1. Патент на полезную модель №: 102820 от 10.03.2011. Устройство для защиты предъявляемой при обучении информации от дидактических ошибок.

2. РМГ 83-2007 ГСИ. Государственная система измерений. Шкалы измерений. Термины и определения. - М.: Стандартинформ, 2008.

3. Электронный обучающий тренажер. Патент №DGU 02028 от 09.08.2010 г.

4. Патент на полезную модель №: 109600. Система автоматизированной оценки профессионального мастерства летного экипажа.

5. Патент на полезную модель №: 136216 от 16.05.2013. Устройство для тестирования обучаемых.

6. Сидоренко Е.В. "Методы математической обработки в психологии". СПб.: ООО "Речь", 2007 г.

7. Миркин Б.Г. Введение в анализ данных. - М.: Юрайт, 2015, 175 с.

8. Бродунов А.Н., Руденко Ю.С. Создание фондов оценочных средств по учебной дисциплине как условие компетентностно-ориентированной модели обучения // Мир образования - образование в мире. 2014. №2. С. 140-148.

Способ оценки соответствия компетенций обучаемого заданному уровню, характеризующийся тем, что

с целью автоматизации проверки гипотезы об отсутствии корреляции ответов обучаемых с эталонными ответами

- в ранговой шкале формируют сигналы, пропорциональные оценке обучаемого значимости факторов, предлагаемых в тестовом задании, для решения поставленной задачи;

- путем сравнения сигналов оценки формируют сигналы, пропорциональные рангу оценок;

- формируют суммарный сигнал, пропорциональный сумме квадратов разностей рангов оценок обучаемого и рангов оценок эталонной модели;

- суммарный сигнал сравнивают с пороговым значением, пропорциональным количеству оцениваемых факторов и критической точке распределения Стьюдента;

- решение о соответствии уровня компетенций обучаемого заданному уровню принимают при превышении суммарным сигналом порогового уровня.