Способ тестирования и/или опроса удаленных пользователей

Изобретение относится к способам использования сетей передачи данных для проведения тестирования и/или опроса удаленных пользователей. Техническим результатом является повышение достоверности результатов проведения тестирования. Способ включает создание вопросной базы данных с правильными и неправильными вариантами ответов для проведения тестирования и/или опроса удаленных пользователей, отправление удаленными пользователями результатов ответов на вопросы тестирования и/или опроса посредством сетей передачи данных на сервер компании, первоначально устанавливают предельное значение вероятности того, что значения поведенческих параметров двух и/или более удаленных пользователей совпадают, и предельное значение вероятности того, что значения поведенческих параметров одного удаленного пользователя различаются, определяют и передают в базу данных путем запроса через сети передачи данных значения поведенческих параметров удаленных пользователей, полученные в процессе тестирования, анализируют полученные значения параметров взаимодействия и на основе их распределения получают текущее значение вероятности того, что значения поведенческих параметров двух и/или более удаленных пользователей, включая рассматриваемого, совпадают, и текущее значение вероятности того, что значения поведенческих параметров рассматриваемого пользователя отличаются, сравнивают значения текущих вероятностей с предельными значениями, при нахождении текущих вероятностей в допустимых пределах, и если текущие значения вероятностей и меньше предельных значений вероятностей и соответственно, то результаты считаются подлинными. 1 ил., 1 табл.

 

Изобретение относится к области использования сетей передачи данных для проведения тестирования и/или опроса удаленных пользователей и может быть использовано для реализации систем профессионального тестирования и/или опроса посредством сетей передачи данных.

Известен способ (см. патент RU №2564224 от 12.12.2013) экспресс-тестирования знаний обучаемых, заключающийся в предъявлении тестируемым фиксированного множества вопросов и различных вариантов ответов на каждый вопрос, в анализе выбранных тестируемыми вариантов ответов и выводе итоговых оценок всем тестируемым предъявляется одинаковый набор вопросов, ответы тестируемые заносят в стандартные бумажные бланки, причем под правильные варианты ответов на бумажном бланке рядом с номерами вопросов выделены несколько белых полей, обозначенные цифрами номера правильного ответа, для обозначения десятков из номера тестируемого на бумажном бланке выделены десять белых полей, обозначенных цифрами от 0 до 9, десять белых полей для обозначения единиц из номера тестируемого, обозначенные цифрами от 0 до 9, правильные варианты ответов и номер тестируемого отмечаются тестируемыми путем закрашивания соответствующих белых полей, правильные варианты ответов на вопросы, с учетом номеров вопросов, номер тестируемого в общем списке тестируемых автоматически считываются оптическим методом, для автоматического определения позиции, ориентации и масштабирования бумажного бланка в оптическом считывателе на бланке присутствуют оптически считываемые графические метки, выполненные в виде трех черных кругов, которые расположены в двух верхних углах и в нижнем левом углу бумажных бланков, оптическим методом определяется яркость каждого поля Ai, все яркости Ai выстраиваются по возрастанию значения яркости, получая новый массив Aij, где i - номер поля, j - номер в списке яркостей по возрастанию яркости, Ajj<Ak(j+1), определяется разность яркостей соседних полей dAj=Ai(j+1)-Akj, если существует разность dAj, которая вдвое больше всех остальных разностей, то данная разность разделяет закрашенные и незакрашенные поля, все поля Akj с данным j и меньшими значениями j закрашены, все поля Akj с большими j не закрашены.

Недостатками способа являются использование бумажного носителя для предъявления тестируемым вопросов и множества ответов на них, что затрудняет анализ и обработку результатов тестирования, а также невозможность проведения удаленного тестирования.

Известен способ (см. патент RU №2408925 от 30.06.2006 г.) тестирования и/или опроса удаленных пользователей, включающий создание вопросной базы данных с правильными и неправильными вариантами ответов для проведения тестирования и/или опроса удаленных пользователей, получение удаленными пользователями с сервера указанной компании задания для участия в тестировании и/или опросе путем запроса через сети передачи данных, отправление удаленными пользователями результатов ответов на вопросы тестирования и/или опроса посредством сетей передачи данных на сервер компании, автоматическое подведение итогов и выбор победителей сервером компании по результатам участия удаленных пользователей в тестировании и/или опросе, и отправление всем удаленным пользователям сигналов с информацией об итогах тестирования и/или опроса посредством сетей передачи данных, вопросы и варианты ответов могут быть как в текстовом виде, так и в графическом, анимационном, звуковом, аудивизуальном статическом и динамическом, пользователи отвечают на вопросы путем выбора правильных ответов, для проведения тестирования и/или опросов, для обеспечения надежности используют СУБД промышленного уровня, все удаленные пользователи, принимающие участие в тестировании и/или опросе, получают задания, одинаковые по форме и уровню сложности, но разные по содержанию, пользователей заранее оповещают о проведении тестирования и/или опросов, они заранее получают информацию о предметной области проведения тестирования и/или опроса, кроме того перед проведением тестирования и/или опроса пользователи имеют возможность заранее изучить материалы для успешных ответов на вопросы и имеют возможность контролировать собственную статистику и проведенные транзакции.

Недостатком способа является невозможность гарантировать, что в процессе удаленного опроса и/или тестирования компьютерное оборудование использует именно тот удаленный пользователь, персональные данные которого занесены в систему, то есть невозможность определения подлинности полученных результатов тестирования удаленных пользователей.

Разработанный способ направлен на решение актуальной задачи, которая заключается в повышении достоверности результатов тестирования и/или опроса по определению уровня профессиональных знаний и умений удаленных пользователей.

Поставленная задача решается за счет того, что в способе тестирования и/или опроса удаленных пользователей, включающем создание вопросной базы данных с правильными и неправильными вариантами ответов для проведения тестирования и/или опроса удаленных пользователей, получение удаленными пользователями с сервера указанной компании задания для участия в тестировании и/или опросе путем запроса через сети передачи данных, отправление удаленными пользователями результатов ответов на вопросы тестирования и/или опроса посредством сетей передачи данных на сервер компании, вопросы и варианты ответов могут быть как в текстовом виде, так и в графическом, анимационном, звуковом, аудивизуальном статическом и динамическом, пользователи отвечают на вопросы путем выбора правильных ответов, для проведения тестирования и/или опросов, для обеспечения надежности используют СУБД промышленного уровня, все удаленные пользователи, принимающие участие в тестировании и/или опросе, получают задания, одинаковые по форме и уровню сложности, но разные по содержанию, пользователей заранее оповещают о проведении тестирования и/или опросов, они заранее получают информацию о предметной области проведения тестирования и/или опроса, кроме того перед проведением тестирования и/или опроса пользователи имеют возможность заранее изучить материалы для успешных ответов на вопросы и имеют возможность контролировать собственную статистику и проведенные транзакции, первоначально устанавливают предельное значение вероятности того, что значения поведенческих параметров двух и/или более удаленных пользователей совпадают, и предельное значение вероятности того, что значения поведенческих параметров одного удаленного пользователя различаются, определяют и передают в базу данных путем запроса через сети передачи данных значения поведенческих параметров удаленных пользователей, полученные в процессе тестирования и/или опроса, анализируют полученные значения параметров взаимодействия и на основе их распределения получают текущее значение вероятности того, что значения поведенческих параметров двух и/или более удаленных пользователей, включая рассматриваемого, совпадают, и текущее значение вероятности того, что значения поведенческих параметров рассматриваемого пользователя отличаются, сравнивают значения текущих вероятностей с предельными значениями, при нахождении текущих вероятностей в допустимых пределах, и если текущие значения вероятностей и меньше предельных значений вероятностей и соответственно, то результаты считаются подлинными.

Схема иллюстрируется чертежом, на котором представлена схема использования сетей передачи данных: А - удаленный пользователь; Б - манипуляторы; В - компьютерное оборудование удаленного пользователя; Г - база данных; Д - вспомогательный сервер анализа поведенческих параметров; Ε - вспомогательный сервер анализа результатов тестирования и/или опроса удаленных пользователей; 1, 2 - процесс взаимодействия удаленного пользователя с манипуляторами; 3, 4 - фиксация поведенческих параметров компьютерным оборудованием удаленного пользователя; 5, 6 - взаимодействие удаленного пользователя с компьютерным оборудованием; 7 - передача значений поведенческих параметров в базу данных; 8 - передача значений поведенческих параметров на вспомогательный сервер для анализа значений поведенческих параметров; 9 - получение результатов обработки значений поведенческих параметров - определение значения текущих вероятностей и ; 10 - передача значений текущих вероятностей и на компьютерное оборудование удаленного пользователя; 11 - передача результатов удаленного тестирования и/или опроса в базу данных; 12 - передача значений результатов тестирования и/или опроса удаленных пользователей на вспомогательный сервер для анализа результатов; 13 - получение обработанных результатов тестирования и/или опроса удаленных пользователей; 14 - передача обработанных результатов тестирования и/или опроса на компьютерное оборудование удаленного пользователя.

Предложенный способ реализуется следующим образом. Первоначально устанавливают предельное значение вероятности того, что значения поведенческих параметров двух и/или более удаленных пользователей совпадают, и предельное значение вероятности того, что значения поведенческих параметров одного удаленного пользователя различаются. По умолчанию, в соответствии с величиной доверительной вероятности, указанной в ГОСТ Ρ 8.736-2011, значения устанавливают следующим образом: и . Установленные значения фиксируют в базе данных и выступают в качестве эталонных. Тестирование и/или опрос удаленных пользователей проводят на любом компьютерном оборудовании В, имеющем возможность работы с сетями передачи данных общего пользования с любой сетевой операционной системой, с подключенными манипуляторами Б - любыми доступными устройствами ввода информации. Вопросная база с текстами вопросов и правильными и неправильными вариантами ответов на них расположена на физическом сервере Г - любом компьютерном оборудовании, имеющем возможность работы с сетями передачи данных общего пользования с любой серверной операционной системой. Задание для участия в тестировании и/или опросе для удаленных пользователей представлено в виде темы, включающей в себя определенное заданием количество вопросов. В процессе тестирования и/или опроса удаленными пользователями А правильные и неправильные ответы отправляются на сервер базы данных по защищенному протоколу передачи данных в зашифрованном виде 11. Подведение итогов происходит на стороне сервера Ε в автоматическом режиме, итоги тестирования и/или опроса и подробные результаты отправляются удаленным пользователям по защищенному протоколу передачи данных в зашифрованном виде 14. Удаленные пользователи получают информацию о завершении и результатах тестирования и/или опроса в процентном соотношении, где за 100% взят результат, в котором все данные ответы верны. Вопросы, предлагаемые удаленным пользователям для тестирования и/или опроса, могут быть представлены в текстовом, графическом, анимационном и аудиовизуальном видах. Материал, представленный в тестировании и/или опросе, может быть изучен как заранее, так и во время тестирования и/или опроса. Пользователи имеют возможность контролировать статистику обучения и динамику результатов как в численной интерпретации, так и в интуитивно понятной и наглядной форме. В процессе тестирования и/или опроса удаленного пользователя регистрируются его поведенческие параметры 3, основанные на значениях параметров взаимодействия удаленного пользователя с манипуляторами:

- длительность нажатия манипулятора - период времени, в течение которого часть манипулятора остается в отличном от стационарного состоянии, для определения которого используют цифровой таймер;

- направление вектора перемещения манипулятора - угол наклона прямой, соединяющий две точки в плоскости манипулятора, в которых манипулятор находился в разные моменты времени и в которых манипулятор оставался в неподвижном стационарном состоянии некоторое время, для определения которого используют цифровой таймер;

- длительность перемещения манипулятора - период времени между двумя различными моментами времени, в которых манипулятор находится в неподвижном стационарном состоянии. Полученные значения поведенческих параметров удаленного пользователя передают в базу данных путем запроса через сети передачи данных 7. Текущее значение вероятности того, что значения поведенческих параметров двух и/или более удаленных пользователей, включая рассматриваемого, совпадают, и текущее значение вероятности того, что значения поведенческих параметров рассматриваемого пользователя отличаются, определяют путем математической обработки распределений значений поведенческих параметров Д. Значение вероятности // определяют по формуле:

где F^-1 - обратная функция к распределению Фишера, х - совокупность значений поведенческих параметров удаленного пользователя за все сеансы тестирования и/или опроса, у - значение поведенческих параметров удаленного пользователя за текущий сеанс тестирования и/или опроса, n - количество сеансов тестирования и/или опроса и значение вероятности - по формуле:

где t^-1 - обратная функция к распределению Стьюдента, х - совокупность значений поведенческих параметров удаленного пользователя за все сеансы тестирования и/или опроса, у - значение поведенческих параметров удаленного пользователя за текущий сеанс тестирования и/или опроса, n - количество сеансов тестирования и/или опроса и если текущие значения вероятности не превышают установленных пределов, то есть или , результаты считают подлинными с погрешностью не более 5%, иные - фальсифицированными.

Предложенный способ был опробован при тестировании и/или опросе работников предприятия АО «Вагонная ремонтная компания - 1». Тестирование и/или опрос удаленных пользователей проводилось на персональных компьютерах с операционной системой семейства Windows, с тактовой частотой процессора не менее 1,2 ГГц, с объемом оперативной памяти не менее 512 Мб, с минимально допустимым объемом свободного места на жестком диске 500 Мб, с монитором разрешения не менее 1024 на 768 точек, с подключением к локальной сети предприятия, подключенным манипулятором выступало устройство ввода. Вопросная база с текстами вопросов и правильными и неправильными вариантами ответов на них располагалась на физическом сервере с операционной системой семейства Windows Server, с тактовой частотой процессора не менее 2 ГГц, с объемом оперативной памяти не менее 2048 Мб, с минимально допустимым объемом свободного места на жестком диске не менее 20Гб, с подключением к локальной сети предприятия, в качестве системы управления базами данных используется Microsoft SQL Server 2012 R2. В таблице 1 приведены значения поведенческих параметров пяти удаленных пользователей по пяти сеансам тестирования и/или опроса. Как видно из таблицы, значения поведенческих параметров удаленного пользователя 1 за сеанс 4 тестирования и/или опроса отличаются, вероятность . Значения поведенческих параметров удаленного пользователя 2 за сеанс 3 тестирования и/или опроса отличаются, вероятность . Значение поведенческих параметров удаленного пользователя 5 за сеанс 5 тестирования и/или опроса отличаются, вероятность . Во всех описанных случаях условие подлинности результатов не выполняется, что позволяет признать результаты тестирования и/или опроса фальсифицированными.

Преимущество предлагаемого способа по сравнению с прототипом заключается в том, что анализ параметров взаимодействия пользователя с манипуляторами позволяет выявлять попытки фальсификации результатов, тем самым повышая эффективность проведения тестирования и/или опроса удаленных пользователей. В процессе опробования предлагаемого способа из 25 рассматриваемых результатов было выявлено 3 фальсифицированных результата тестирования и/или опроса удаленных пользователей.

Способ тестирования и/или опроса удаленных пользователей, включающий создание вопросной базы данных с правильными и неправильными вариантами ответов для проведения тестирования и/или опроса удаленных пользователей, получение удаленными пользователями с сервера указанной компании задания для участия в тестировании и/или опросе путем запроса через сети передачи данных, отправление удаленными пользователями результатов ответов на вопросы тестирования и/или опроса посредством сетей передачи данных на сервер компании, вопросы и варианты ответов могут быть как в текстовом виде, так и в графическом, анимационном, звуковом, аудивизуальном статическом и динамическом, пользователи отвечают на вопросы путем выбора правильных ответов, для проведения тестирования и/или опросов, для обеспечения надежности используют СУБД промышленного уровня, все удаленные пользователи, принимающие участие в тестировании и/или опросе, получают задания, одинаковые по форме и уровню сложности, но разные по содержанию, пользователей заранее оповещают о проведении тестирования и/или опросов, они заранее получают информацию о предметной области проведения тестирования и/или опроса, кроме того перед проведением тестирования и/или опроса пользователи имеют возможность заранее изучить материалы для успешных ответов на вопросы и имеют возможность контролировать собственную статистику и проведенные транзакции, отличающийся тем, что первоначально устанавливают предельное значение вероятности того, что значения поведенческих параметров двух и/или более удаленных пользователей совпадают, и предельное значение вероятности того, что значения поведенческих параметров одного удаленного пользователя различаются, определяют и передают в базу данных путем запроса через сети передачи данных значения поведенческих параметров удаленных пользователей, полученные в процессе тестирования, анализируют полученные значения параметров взаимодействия и на основе их распределения получают текущее значение вероятности того, что значения поведенческих параметров двух и/или более удаленных пользователей, включая рассматриваемого, совпадают, и текущее значение вероятности того, что значения поведенческих параметров рассматриваемого пользователя отличаются, сравнивают значения текущих вероятностей с предельными значениями, при нахождении текущих вероятностей в допустимых пределах, и если текущие значения вероятностей и меньше предельных значений вероятностей и соответственно, то результаты считаются подлинными.