Устройство для оценки качества экспертных систем

Авторы патента:

G09B7 - Учебные устройства и приборы с электроприводом, снабженные вопросами и ответами (механические учебные устройства G09B 3/00; вычислительные устройства G06F)

Владельцы патента RU 2466461:

Закрытое акционерное общество "Комплексный технический сервис" (RU)

Изобретение относится к автоматике и вычислительной технике и может быть использовано для оценки качества экспертных систем. Техническим результатом является повышение точности оценки качества экспертных систем за счет учета степени грубости каждой из совершенных ошибок. Устройство содержит блок анализа ответа, дешифратор кодов задания, дешифратор вопросов, формирователь коэффициентов сложности вопросов, формирователь импульсов, дешифратор кодов сложности вопросов, два счетчика, распределитель импульсов, блок адаптивного формирования оценки, индикатор оценки, дешифратор кода уверенности ответа, дешифратор кодов вариантов ошибок, блок анализа ошибок, формирователь коэффициентов ошибок и блок умножения. 1 ил.

Изобретение относится к автоматике и вычислительной технике и может быть использовано для оценки качества экспертных систем.

Устройства для оценки ответов учащихся (т.е. качества экспертных систем) широко известны. Они представляют собой устройства (авторское свидетельство СССР 826391, 1981 г.), сравнивающие ответы, поступающие на вопросы, с эталонными. Устройства фиксируют правильные ответы и, в зависимости от количества правильных ответов относительно общего числа вопросов, оценивают учащихся.

Для повышения точности оценки осуществляется учет сложности вопросов и уверенности ответов. Это достигается путем корректирования суммы весов правильно отвеченных вопросов в соответствии со сложностью вопросов и уверенностью ответов.

Наиболее близким по технической сущности к заявляемому устройству является устройство для оценки ответов учащихся, принятое за прототип (авторское свидетельство СССР 830501, 1981 г.). Устройство содержит блок анализа ответа, дешифратор кодов задания, дешифратор вопросов, формирователь коэффициентов сложности вопросов, формирователь импульсов, дешифратор кодов сложности вопросов, два счетчика, распределитель импульсов, блок адаптивного формирования оценки, индикатор оценки, дешифратор кода уверенности ответа, причем блок анализа ответа соединен с дешифратором кодов задания, дешифратором вопросов и формирователем коэффициентов сложности вопросов. Формирователь коэффициентов сложности вопросов соединен с формирователем импульсов, дешифратором кодов сложности вопросов и первым счетчиком. Блок адаптивного формирования оценки соединен с первым счетчиком, дешифратором кодов задания и индикатором оценки. Распределитель импульсов соединен с блоком анализа ответа, формирователем импульсов, дешифратором кода уверенности ответа и вторым счетчиком, подключенным к блоку адаптивного формирования оценки.

Недостатком прототипа является отсутствие учета степени грубости совершенной ошибки при оценке качества экспертных систем, а следовательно, грубые и незначительные ошибки воспринимаются устройством одинаково.

Цель настоящего предложения состоит в обеспечении учета степени грубости каждой из совершенных ошибок при оценке качества экспертных систем.

Поставленная цель достигается тем, что в устройство дополнительно введены дешифратор кодов вариантов ошибок, блок анализа ошибок, формирователь коэффициентов ошибок и блок умножения.

При ответе на вопрос экспертная система (в том числе обучаемый) выбирает ответ из ряда предложенных альтернатив. Качественно результат такого выбора может быть описан кодом ошибки Q_i∈{1, 2, 3,…, N}, где i - номер вопроса, а коды от 1 до N имеют, например, при N=4 следующий смысл:

«1» - правильный ответ;

«2» - незначительная ошибка;

«3» - значительная ошибка;

«4» - грубая ошибка.

Количественно качество ответа может быть описано коэффициентом ошибки K_OШ__i. При уверенном ответе на вопрос (вероятность правильности выбранной альтернативы выше пороговой) коэффициент ошибки может принимать, например, следующие значения

При неуверенном ответе (вероятность правильности выбранной альтернативы ниже пороговой, но является выше, чем каждой из остальных) на вопрос коэффициент ошибки может принимать, например, следующие значения

Таким образом, количество «баллов», набранных за ответ на i-й вопрос с учетом грубости совершенной ошибки, определяется как K_OШ__i*K_СЛОЖН__i, где K_СЛОЖН__i - коэффициент сложности вопроса.

Структурная схема заявляемого устройства представлена на Фиг.1.

Устройство для оценки качества экспертных систем состоит из блока 1 анализа ошибок, первый и второй входы которого соединены соответственно с вторым выходом дешифратора 2 кодов задания и выходом дешифратора 3 кодов вариантов ошибок, на входы которых подаются соответствующие составляющие кода ответа на вопрос. Второй выход блока 1 анализа ошибок соединен с вторым входом формирователя 4 коэффициентов сложности вопросов, первый вход которого соединен с выходом дешифратора 5 кодов сложности вопросов, на вход которого подается соответствующая составляющая кода ответа на вопрос. Первый выход блока 1 анализа ошибок соединен с вторым входом формирователя 6 коэффициентов ошибок, первый вход которого соединен с выходом дешифратора 7 кода уверенности ответа, на вход которого подается соответствующая составляющая кода ответа на вопрос. Выход формирователя 6 коэффициентов ошибок соединен с первым входом блока 8 умножения, второй вход которого соединен с выходом формирователя 4 коэффициентов сложности вопросов и входом счетчика 9, выход которого соединен с первым входом блока 10 адаптивного формирования оценки, второй вход которого соединен с выходом счетчика 11, вход которого соединен с выходом блока 8 умножения. Третий вход блока 10 адаптивного формирования оценки соединен с первым выходом дешифратора 2 кодов задания, а выход соединен с входом индикатора 12 оценки.

Устройство работает следующим образом. На вход устройства оценки качества экспертных систем подается код ответа на вопрос, содержащий код уверенности ответа, код задания, код сложности вопроса и код вариантов ошибок, показывающий степень грубости ошибки (от «правильный ответ» до «грубая ошибка») для каждого из альтернативных вариантов ответов. Эти коды поступают на соответствующие дешифраторы 7, 2, 5 и 3. В результате на выходе дешифратора 7 уверенности ответа будет код уверенности ответа (0 -«неуверен» или 1 - «уверен»), на втором выходе дешифратора 2 кодов задания будет код варианта ответа, на выходе дешифратора 3 кодов вариантов ошибок будут коды ошибок для всех вариантов ответов (эталон), на выходе дешифратора 5 кодов сложности вопросов - код сложности текущего вопроса. В блоке 1 анализа ошибок выбранный вариант ответа сравнивается с кодами вариантов ошибок и определяется код ошибки Q_i полученного ответа.

При поступлении на второй вход формирователя 4 коэффициентов сложности вопросов кода ошибки ответа на i-й вопрос Q_i последний на основании кода сложности вопроса с дешифратора 5 кодов сложности вопросов формирует коэффициент сложности текущего вопроса K_СЛОЖН__i, соответствующий «весу» вопроса.

На основании поступающего на второй вход формирователя 6 коэффициентов ошибок кода ошибки ответа на 1-й вопрос Q_i последний в зависимости от кода уверенности ответа (1 - "уверен", 2 - "неуверен"), который поступает на первый его вход, формирует коэффициент ошибки i-го вопроса K_ОШ__i, причем в зависимости от уверенности ответа

Значения коэффициентов и выставляются заранее.

В блоке 8 умножения полученные коэффициенты K_СЛОЖН__i, и K_ОШ__i перемножаются и полученное новое значение, соответствующее «баллам» за выданный на i-й вопрос ответ, поступает на суммирующий (если величина положительна) или вычитающий (если величина отрицательна) вход счетчика 11, на выходе которого формируется сигнал, соответствующий общему количеству «баллов», набранных за ответы на все поставленные вопросы.

Счетчик 9 суммирует все коэффициенты сложности вопросов, формируется сигнал, соответствующий K_СЛОЖН__i, и на его выходе формируется сигнал, соответствующий сумме весов всех поставленных вопросов.

При ответе на последний вопрос в дешифраторе 2 на основании кода этого вопроса, в котором есть информация о том, что это последний вопрос теста, вырабатывается сигнал номера последнего вопроса. Этот сигнал поступает в блок 10 адаптивного формирования оценки, который по его поступлении на основании суммы «весов» всех вопросов с счетчика 11, суммы «баллов» набранных за ответы на эти вопросы и соотношения, задаваемого в самом блоке 10, формирует итоговую оценку. Визуализацию полученной оценки осуществляет индикатор 12 оценки.

Для предотвращения повторных ответов на вопросы в дешифраторе 2 кодов задания предусмотрено запоминание кодов отвеченных вопросов.

Таким образом, предлагаемое устройство позволяет осуществлять оценку качества экспертных систем с учетом как сложности вопросов и уверенности ответов на них, так и степени грубости допускаемых при ответах ошибок.

Заявитель просит рассмотреть представленные материалы на предмет выдачи патента РФ на изобретение.

Устройство для оценки качества экспертных систем, содержащее дешифратор кода уверенности ответа, дешифратор кодов задания, дешифратор кодов сложности вопросов, формирователь коэффициентов сложности вопросов, два счетчика, блок адаптивного формирования оценки и индикатор оценки, причем на входы дешифраторов кода уверенности ответа, кодов задания и кодов сложности вопросов подаются соответствующие составляющие кода ответа на вопрос, выход дешифратора кодов сложности вопросов соединен с первым входом формирователя коэффициентов сложности вопросов, выход которого соединен с входом первого счетчика, выход которого соединен с первым входом блока адаптивного формирования оценки, второй и третий входы которого соединены с выходом второго счетчика и первым выходом дешифратора кодов задания соответственно, а выход соединен с индикатором оценки, отличающееся тем, что дополнительно введены дешифратор кодов вариантов ошибок, блок анализа ошибок, формирователь коэффициентов ошибок и блок умножения, причем первый и второй входы блока анализа ошибок соединены соответственно с вторым выходом дешифратора кодов задания и выходом дешифратора кодов вариантов ошибок, на вход которого подается соответствующая составляющая кода ответа на вопрос, второй выход блока анализа ошибок соединен с вторым входом формирователя коэффициентов сложности вопросов, а первый его выход соединен с вторым входом формирователя коэффициентов ошибок, первый вход которого соединен с выходом дешифратора кода уверенности ответа, а выход - с первым входом блока умножения, второй вход которого соединен с выходом формирователя коэффициентов сложности вопросов и входом первого счетчика, а выход соединен с входом второго счетчика.

Изобретение относится к области технологий компьютерного тестирования при обучении и подготовке специалистов для различных отраслей знаний и специальностей. .

Система проведения интернет-экзамена по дисциплинам профессионального образования // 2413994

Изобретение относится к вычислительной технике, в частности к системе проведения Интернет-экзамена по дисциплинам профессионального образования, реализующего применение новых информационных технологий в учебном процессе.

Система проведения интернет-экзамена по дисциплинам профессионального образования // 2411583

Устройство для контроля знаний // 2405212

Изобретение относится к системе образования и обучения. .

Учебный комплекс // 2405211

Изобретение относится к устройствам обучения и предназначено для использования в различных учебных заведениях с использованием очного и дистанционного форм обучения.

Система рейтингового тестирования // 2356100

Изобретение относится к области образовательных систем с аудиовизуальными и компьютерными технологиями. .

Учебный комплекс // 2343555

Изобретение относится к устройствам обучения и предназначено для использования при изучении электротехнических дисциплин. .

Способ контроля уровня получаемых знаний // 2338264

Изобретение относится к области технологий компьютерного тестирования при обучении и подготовке специалистов для различных отраслей знаний и специальностей в условиях, когда обучающийся и обучающий лишены возможности прямого контакта.

Система дистанционного обучения студентов // 2315364

Изобретение относится к вычислительной технике, в частности к системе дистанционного обучения, используемой для обучения студентов. .

Система дистанционного обучения // 2282247

Изобретение относится к средствам обучения, в частности к системе дистанционного обучения, используемой в информационно-маркетинговом центре. .

Тестер уровня инновационного интеллекта личности // 2522992

Изобретение относится к вычислительной технике, в частности к устройствам, используемым для психологических измерений интеллекта. Техническим результатом является повышение оперативности тестирования сложного конструкта инновационного интеллекта личности. Тестер состоит из блоков: управления 1, датчиков 2, кодирования ответов 3, предварительных подсчетов баллов 4, вычисления частных показателей 5, вычисления обобщенного показателя 6, индикации 7, синхронизации 8. Тестер снабжен: P-разрядным и W-разрядным входами исходных данных. Блоки управления 1 и синхронизации 8 совместно с другими блоками и соответствующими связями между ними обеспечивают возможность проведения тестирования произвольного числа испытываемых, оперативное изменение содержания тестов и обработку результатов тестирования. 3 з.п. ф-лы, 17 ил.

Устройство определения ролевой функции участника творческого коллектива // 2541431

Изобретение относится к вычислительной технике, в частности к устройствам психологического моделирования действий лиц, вовлеченных в практически важные ситуации. Техническим результатом от использования заявленного устройства является повышение оперативности оценки характеристик испытуемых. Устройство состоит из блока синхронизации 8, снабженного шиной ввода исходных данных, блоков датчиков 2, кодирования ответов 3, предварительных подсчетов баллов 4, вычисления частных показателей 5, выбора членов коллектива 9, оценки ролевой функции 10, вычисления обобщенного показателя 6, индикации 7 и блока управления 1, снабженного шиной ввода исходных данных. Управляющие входы/выходы блока управления 1 соединены с управляющими выходами/входами соответствующих блоков. Техническим результатом изобретения является повышение оперативности и точности оценки характеристик испытуемых. 5 з.п. ф-лы, 17 ил.

Прибор для рейтинговой оценки уровня готовности к инновационной деятельности // 2548478

Изобретение относится к вычислительной технике, в частности к устройствам психологического моделирования действий лиц, вовлеченных в практически важные ситуации. Прибор состоит из блока кодирования ответов (БКО), блока вычисления частных показателей (БВЧП), блока индикации (БИ), блока синхронизации (БС), блока предварительных подсчетов баллов (БППБ), блока вычисления обобщенного показателя (БВОП), блока выбора членов коллектива (БВЧК), блока оценки ролевой функции (БОРФ) и блока рейтинговых оценок (БРО). Техническим результатом изобретения является повышение оперативности проведения исследований. Устройство позволяет осуществлять отбор кандидатов по заданным критериям, определять для каждого участника предпочитаемый характер решаемых задач инновационного процесса и выполнять ранжирование кандидатов по значению обобщенного показателя интеллекта с отображением текущего и обобщенного рейтинга каждого испытуемого в группе кандидатов - участников творческого коллектива. 6 з.п. ф-лы, 22 ил.

Устройство для осуществления таможенного контроля // 2551306

Изобретение относится к устройству для осуществления таможенного контроля. Технический результат заключается в повышении достоверности получаемых результатов проводимого опроса за счёт получения информации от датчиков психофизического состояния человека в процессе опроса и выполняемого с помощью вычислительного средства анализа этих данных. Устройство содержит корпус, кнопки, соединённые с датчиками для съёма данных психофизических параметров человека, электронный блок и блок питания, электронное табло, а также закреплённые на корпусе более двух кнопок включения устройства с дополнительной функцией установки языка общения, диалоговое окно с возможностью появления в нём вопросов, ответы на которые осуществляют с помощью кнопок с бирками на разных языках «да» и «нет», соединённых с датчиками для снятия данных психофизических параметров человека и передачи их сигналов на электронный блок приёма, хранения, анализа, сравнения и выдачи результатов, при этом при каждом нажатии указанных кнопок электронный блок сохраняет в своей памяти данные о психофизическом состоянии человека, переданные от связанных с этим блоком датчиков для снятия психофизических параметров человека, связанных с соответствующими кнопками с бирками «да» и «нет», для дальнейшего сравнения психофизического состояния человека при ответах на нейтральные вопросы и конкретные вопросы на причастность к преступлению, окно результатов. 1 з.п. ф-лы, 1 ил.

Типовой программно-аппаратный тренажер цифровых систем передачи // 2630770

Изобретение относится к области технических средств обучения, построенным на базе ЭВМ и периферийного оборудования, построенного на электронных компонентах, и может быть применено для разработки конкретных программно-аппаратных тренажеров и последующего обучения специалистов связи работе на средствах связи цифровых систем передачи, а также для обеспечения совместной работы с другими программно-аппаратными тренажерами. Тренажер содержит модуль управления процессом обучения и взаимодействия, модуль выбора заданий, интерактивный модуль, модуль взаимодействия с базой данных, модуль сравнения параметров, интерфейсный модуль, центральное процессорное устройство, устройство хранения информации, устройство ввода-вывода и визуализации информации, блок абонентских устройств, блок линейных окончаний, блок индикации. Указанный тренажер обеспечивает возможность разработки конкретных программно-аппаратных тренажеров для последующего обучения специалистов основам применения и порядку работы на средствах связи цифровых систем передачи, а также возможность совместной работы разработанных конкретных программно-аппаратных тренажеров с другими программно-аппаратными тренажерами в составе программно-аппаратного комплекса в качестве средства имитации абонентских и линейных сигналов аппаратуры цифровых систем передачи. 1 ил.

Способ оценки знаний учащегося при компьютерном тестировании // 2640709

Заявленное изобретение относится к средствам обучения, в которых обучающийся выбирает ответ на поставленный вопрос из набора ответов одновременно с регистрацией связанных с событием потенциалов, и может быть использовано для автоматизированной оценки знаний. По наличию компонента Р300 вид решения классифицируют с помощью набора решающих правил на соответствие случайному угадыванию, списыванию, частичному знанию, неуверенному знанию или уверенному знанию. В результате эксплуатации средства обучения повышается достоверность оценки знаний учащегося. 4 з.п. ф-лы, 1 табл., 5 ил.

Способ управления учебным процессом на основе оценки компетенций обучающихся // 2647249

Способ относится к области информационных технологий, используемых для управления учебным процессом на основании непрерывной текущей оценки знаний, умений и навыков по каждой из компетенций обучаемых, и может найти применение в образовательных учреждениях для приведения компетенций обучаемых в соответствие с требованиями федеральных государственных образовательных стандартов. Для увеличения количества обучаемых, которые приобрели необходимые компетенции на заданном интервале времени, и роста формируемого уровня знаний, умений и навыков обучаемых формируются сигналы, пропорциональные оценке компетенций обучающихся, и сравниваются с порогом, определенным заданиями фонда оценочных средств, проводится подсчет количества сигналов, превысивших уровень порога, затем определяются медианные значения сигналов, корректируются сигналы управления пропорционально количеству и медианным значениям сигналов, превысивших уровень порога. 2 ил.