Icl-тест - инструмент по измерению информационно-коммуникационной компетентности в цифровой среде

Изобретение относится к системе автоматической оценки информационно-коммуникационной компетентности учащегося. Технический результат заключается в повышении точности и надежности оценки результатов тестирования информационно-коммуникационной компетентности учащихся. Система состоит из системы разработки тестовых заданий, содержащей сервер, взаимодействующей, посредством системы доставки теста до тестируемого, представляющей собой каналы и флэш-накопители, с системой предъявления варианта теста тестируемому, содержащей компьютер, взаимодействующей с системой обработки результатов теста, содержащей сервер, а также библиотеки тестовых заданий, результатов тестирования, анкет и ответов на вопросы анкет, представляющей собой базу данных, связанную со всеми упомянутыми системами. 5 ил., 5 табл.

 

Изобретение относится к области инструментов (систем оценки), определяющих информационно-коммуникационные компетенции учащихся, а более конкретно - к способу определения готовности обучающихся и выпускников общеобразовательных организаций использовать цифровые информационные и коммуникационные технологии с целью получения доступа к информации, ее определения, оценки, управления, интеграции, создания и передачи, соблюдая этические и правовые нормы.

Известны аналогичные системы тестирования, связанные с оценкой владения информационно-коммуникационными технологиями, которые направлены на определение сформированности технологических навыков и алгоритмического мышления. ICL-тест позволяет определить уровень владения когнитивными умениями и навыками, необходимыми для успешной жизни в постиндустриальном обществе.

Число инструментов, измеряющих информационно-коммуникационную компетентность, информационную грамотность и близкие конструкты (медиаграмотность, цифровая компетентность - [12], [14], [24], [31], [35]) превышает 50 ([25], [34], [37], наиболее свежий обзор - [28]). Разработкой этих инструментов занимались специалисты разных дисциплин - библиотечного дела, информационных наук, компьютерных наук, прикладных исследований и психометрики. Большинство этих инструментов измеряют технические знания и навыки о работе компьютера, сетей, базовых программ ([23]), часть из них - информационную грамотность вне цифрового контекста ([13]), есть инструменты, измеряющие как технические, так и когнитивные навыки ([6], [7], [20], [21], [28], [30], [36]), в большинстве которых авторы сознательно совмещают когнитивные и технические навыки в одну шкалу, в некоторых их них ([28]), вопреки тенденциям развития, используется классическая теория тестов.

В отличие от вышеперечисленных инструментов, ICL-тест позволяет измерить когнитивные навыки работы с информацией, в нем используется систематический подход к разработке тестовых заданий - метод, основанный на системе свидетельств ([32], [33]). Главное достоинство такого подхода -его систематичность, ясность и обратимость логики, - разработчик тестового задания всегда понимает, как конкретное свидетельство связано с измеряемым конструктом, а, следовательно, и как латентные (не измеряемые впрямую) переменные (информационно-коммуникационная компетентность и ее составляющие) связаны с их наблюдаемыми индикаторами (свидетельствами), что подтверждает высокую конструктную валидность ICL-теста. Кроме того, систематический подход к разработке тестовых заданий позволяет использовать сети Байеса для автоматической обработки результатов и тестируемый сразу же после прохождения теста получает свои результаты на экране компьютера. В США компанией ETS (Educational Testing Service) был разработан инструмент iSkills assessment ([26], [27], измеряющий ИК компетентность в цифровой среде у студентов американских вузов, при этом измерение свободно от технических компетенций студентов. В данной системе автоматической оценке ИК компетентности для обработки результатов тестирования используется метод IRT ([22]), отсутствует автоматическая обработка результатов с предъявлением результатов тестирования сразу же после прохождения теста, отсутствует согласованность с российскими образовательными стандартами; тест разработан для тестирования другой целевой аудитории. Аналогичных ICL-тесту систем автоматической оценки когнитивных умений и навыков для работы с информацией (информационно-коммуникационной компетентности и других схожих конструктов) у учащихся средней школы (так и у других целевых групп) в российской системе образования не разработано.

ICL-тест - система автоматической оценки информационно-коммуникационной (ИК) компетентности 13-15-летних учащихся общеобразовательной организации ([1], [2] ([1]).

Система автоматической оценки ИК компетентности учащихся состоит из (рис. 1):

1. Системы разработки тестовых заданий.

2. Системы доставки теста до тестируемого.

3. Системы предъявления варианта теста тестируемому.

4. Системы обработки результатов теста.

5. Библиотеки тестовых заданий, результатов тестирования, анкет и ответов на вопросы анкет и т.п.

Система разработки тестовых заданий

Каждое задание начинается с короткого текста, описывающего общий контекст ситуации и призванного приблизить тестовую задачу к реальной жизни. На последующих экранах представлено само задание (пример на рис. 2): в левой части экрана сформулирована конечная цель задания и даны все необходимые инструкции, справа - материал задания и инструменты, представленные как имитация широко распространенных программ, таких как веб-браузер, текстовый редактор, электронная таблица, база данных и т.д.

Система автоматической оценки ИК компетентности ориентирована на определенный возраст целевой аудитории (13-15 лет), поэтому перед разработчиками стояла задача сформировать задания таким образом, чтобы у учащихся не возникало проблем с их восприятием и пониманием.

В мировой практике при оценке качества текста используется понятие «readability», что трактуется как понятность, читабельность или удобочитаемость. Иногда в это же понятие включают и графическую форму подачи материала (шрифты, формат, стиль), но в первую очередь имеется в виду вербальная форма, то есть сам текст, слова и синтаксис.

Методы оценки читабельности основываются на количестве слогов в слове, слов в предложении, предложений в абзаце и т.д. Количественная оценка этих параметров позволяет определить степень понятности текста, соответствия возрасту и образовательному уровню (классу), на который рассчитан текст. Для проверки заданий ICL-теста использовалась формула легкости чтения Flesch Reading Ease ([18], [19]), которая прогнозирует легкость чтения, а также формула Флеша-Кинкейда ([29]) преобразующая эту оценку в уровень образования, необходимый для понимания оцениваемого текста. Поскольку формулы были разработаны для текстов на английском языке, коэффициенты для русского языка были скорректированы с учетом большей средней длины слов и предложений ([3]).

В ходе исследования были проверены все тестовые задания на русском и английском языках. В таблице 1 показана доля тестовых заданий в соответствии с тем возрастом и уровнем образования, который необходим для их легкого понимания. Анализ показал, что тексты не менее 90% тестовых заданий соответствуют целевой возрастной группе (выпускники основной средней школы) или является более младшему возрасту. Следовательно, тексты сценариев тестовых заданий, используемые для формирования варианта ICL-теста, имеют высокий уровень доступности для заявленной целевой группы с различным уровнем читательской грамотности.

Система доставки теста до тестируемого

Система доставки теста до тестируемого предусматривает три возможности выполнения тестовых заданий:

1. Тестирования в on-line режиме. Этот режим возможен, когда в месте проведения тестирования есть интернет-канал не менее 256 Кб/с.В этом случае учащийся сразу после прохождения тестирования сможет увидеть свои результаты и получить рекомендации для улучшения своей ИК компетентности. Результаты всех тестируемых собираются на центральном сервере и могут быть использованы для дальнейших исследований и анализа.

2. Тестирование с использованием локального сервера. Этот режим используется в случае, когда пропускная способность интернет-канала недостаточна, но в помещении, где проходит тестирование, есть локальная сеть. В этом случае разворачивается локальный сервер, на котором устанавливается ICL-тест, и тестируемый получает результаты и рекомендации сразу после завершения тестирования.

3. Тестирование с использованием флэш-накопителей. Этот режим используется только в тех случаях, если в помещении, где проходит тестирование есть только отдельные, не подключенные к сети интернет и не связанные локальной сетью компьютеры. После прохождения тестирования результаты передаются на сервер, там обрабатываются и помещаются в общую базу результатов. В этом случае тестируемые получают свои результаты и рекомендации только после обработки данных на сервере.

Различные способы проведения тестирования не влияют на полученную оценку уровня ИК компетентности и рекомендации, поэтому результаты, полученные разными способами, можно считать полностью эквивалентными.

Система предъявления варианта теста тестируемому

Тест, оценивающий ИК-компетентность, включает 16 тестовых заданий сценарного типа (13 простых, 2 средних и 1 сложное), а само тестирование занимает 2 академических часа. Такая структура, сочетающая простые, средние и сложные задания, требует использования познавательных стратегий и необходимости соблюдения условной независимости тестовых заданий, подлежащих количественной оценке.

Учитывая, что целью оценки является проверка сформированности когнитивных (а не технических) навыков, каждый тест сочетает в себе необходимое количество познавательных и технических элементов. Естественно, что более сложные тестовые задания тестируют более сложные когнитивные навыки, чем простые задания, оценивающие одну из составляющих ИК-компетентности.

Тестовые задания предполагают использование широкого спектра цифровых технологий, в том числе интернет-приложений, баз данных, моделирующих сред, средств мультимедиа, электронных таблиц и др. Контекст заданий может быть учебным или может быть с связан с реальной жизненной ситуацией. Серьезные учебные задачи чередуются в тесте с заданиями, позволяющими оценить опыт тестируемых в использовании ИКТ, их знания современной культуры и способность решать практические задачи.

Структура, конфигурация и один из возможных вариантов спецификации теста представлены в таблице 2.

Перед тестированием следует устная инструкция администратора тестирования, демонстрируется экран с ключевыми правилами тестирования и предлагается выполнить три простейших задания для ознакомления с интерфейсом теста. Как правило, по завершении тестирования, но перед предъявлением предварительных результатов, учащимся предлагается заполнить анкету с различными вопросами об учебе и использовании компьютеров дома и в школе, которая необходима для исследования факторов формирования ИК компетентности. Также анкета может включать различные методики для изучения валидности теста (см. ниже).

Навыки и знания о конкретных компьютерных программах для выполнения тестового задания не требуются, за исключением наиболее базовых, таких как выбор из выпадающего списка, перетаскивание элементов и другие, но и их применение описано в разделе «Помощь». Таким образом, система автоматической оценки ИК компетентности - ICL-тест доступен и тестируемым, фактически не знакомым с компьютером. В ходе выполнения задания, в зависимости от его длительности, могут использоваться одна или несколько имитаций программных приложений, могут использоваться «окна» различных приложений с возможностью переключения между ними.

Тестируемый сам принимает решение, когда считать задание выполненным. На верхней панели отображается количество оставшихся заданий и кнопка «Далее», которая позволяет прервать выполнение задания и перейти к следующему. Если тестируемый даже не приступал к выполнению, выводится дополнительное предупреждение, чтобы избежать «прощелкивания» теста.

Система обработки результатов теста

Каждое тестовое задание направлено на измерение одной или нескольких составляющих ИК компетентности. Действия и комбинации действий тестируемого записываются в базу данных. Обработка действий тестируемого происходит автоматически, и по завершении выполнения всех заданий или по истечении времени тестирования, тестируемому предъявляется экран с его результатом и, если он не наивысший, сопровождается рекомендациями по тому, как ему повысить свой уровень ИК компетентности. Рекомендации по отдельным компонентам ИК компетентности предъявляются в зависимости от уровня каждой составляющей ИК компетентности.

Система обработки результатов использует возможности систематического подхода к разработке разработки тестовых заданий (метода, основанного на системе свидетельств - [32], [33]). Несмотря на то, что тест, предъявляемый тестируемому состоит из 16 тестовых заданий, оценка его уровня ИК компетентности происходит при помощи существенно большего числа индикаторов (свидетельств). Эти индикаторы называются наблюдаемыми переменными, их общее число составляет 60-67 в зависимости от того, какие задания используются в конкретном варианте теста. Каждое задание включает от 3 до 7 наблюдаемых переменных, которые оценивают те или иные аспекты выполнения задания. Каждая наблюдаемая переменная имеет 3 уровня, характеризующие низкое, среднее или высокое соответствие деятельности тестируемого заданным критериям. Оценка тестируемого происходит по 7 составляющим ИК компетентности (перечень всех составляющих ИК компетентности приведен на рис. 3), каждая из которых имеет также по 3 уровня: неприемлемый, приемлемый и компетентный. Средние и сложные тестовые задания включают доказательства о нескольких составляющих ИК компетентности.

Наиболее распространенная модель оценки результатов тестов, современная теория тестов (IRT - [6], [17], [38]), по нескольким причинам не пригодна для решения данной задачи. Во-первых, латентный конструкт является многомерным, так как у ИК компетентности семь взаимосвязанных составляющих. Во-вторых, поскольку наблюдаемые переменные сгруппированы в тестовые задания, проблема локальной зависимости заложена в самом дизайне теста. В рамках IRT есть модели для работы с многомерными конструктами (многомерные модели), есть также и модели, позволяющие контролировать локальную зависимость (фасеточные модели). Однако в случае, когда данные и многомерны, и имеют группы локально зависимых тестовых заданий, IRT не позволяет производить полностью корректный расчет результатов. Наконец, все латентные переменные в данном случае являются дискретными, в то время как IRT направлено на получение непрерывной латентной переменной.

Чтобы решить перечисленные проблемы, для оценки результатов тестирования в ICL-тесте используются Байесовские сети ([8], [9]. [40]). Байесовская сеть - направленный ациклический граф, который отражает причинно-следственные связи между наблюдаемыми и латентными переменными (составляющим ИК компетентности, пример на рис. 4). Байесовские сети удобно представлять в виде блок-схем, в которых латентные переменные являются независимыми переменными, а наблюдаемые - зависимыми. Отношения между переменными описываются таблицами условной вероятности, которые можно задавать с помощью математических функций. Например, простой граф, в котором одна латентная переменная, а отношения между ней и каждой из дихотомических наблюдаемых переменных можно описать логистической функцией, которая будет аналогична типичной IRT-модели. В Байесовских сетях можно дополнять эти взаимосвязи любыми другими, например, между наблюдаемыми переменными, чтобы отразить локальную зависимость. Байесовский характер сетей выражается в том, что исходно каждый узел этой сети имеет априорное значение, которое затем, с помощью полученных данных, обновляется в соответствии с формулой Байеса. Важным преимуществом Байесовских сетей является то, что они хорошо сочетаются с систематическим подходом к созданию тестов, поскольку в них отражены причинно-следственные отношения, а значит легко проследить цепочку от доказательства (наблюдаемой переменной) до конкретного уровня измеряемого конструкта (ИК компетентности и ее составляющих).

Описание связей между переменными в ICL-тест описывается логистической функцией Самеджима-Дибелло ([9], [32]). Этот подход отличается от классического IRT тем, что использует метод «эффективной тэты» для дискретизации латентной переменной, то есть распределение измеренной в логитах латентной переменной (составляющей ИК компетентности) делится по квартилям и после округления соответствует -1 для неприемлемого уровня, 0 для приемлемого и 1 для компетентного.

Поскольку составляющие ИК компетентности определены тремя уровнями, требуется две ступени правильности: переход от низкого уровня к среднему, и от среднего - к высокому. Поэтому для каждого узла наблюдаемой переменной использовалось по два параметра трудности.

Пары узлов латентных и наблюдаемых переменных составляют большую часть сети, но кроме них мы используем также дополнительный узел для учета общей компоненты 7 составляющих ИКК, то есть собственно ИКК. Так как результаты по 7 составляющим высоко коррелируют, этот узел нужен для того, чтобы «впитывать» их общую дисперсию. Этот узел имеет для удобства три дискретных состояния, а таблицы условной вероятности между ним и составляющими ИК-компетентности заполнены экспертами.

Байесовские сети встроены в систему обработку результатов ICL-теста, причинные связи в модели эксплицированы, что обеспечивает концептуальную целостность системы обсчета и общей рамки теста.

Один из методов анализа точности функционирования сети основан на сравнении «истинных» оценок с предсказанными сетью, который иногда называют статистическим экспериментом. Для этого имитировались данные, полностью соответствующие заложенным в сети параметрам, а на следующем этапе в сеть вводились только значения наблюдаемых переменных и вычислялась доля правильно предсказанных значений латентных переменных (составляющих ИКК). Эта процедура повторялась тысячи раз и в результате вычислялась частота верной классификации в один из уровней каждой составляющей ИКК. Кроме того, вычислялась средняя вероятность правильных предсказаний. Сравнение истинных и предсказанных значений позволяет судить о том, насколько точно работает модель. Как видно из таблицы 3, доля правильно предсказанных значений высока и колеблется от 0,87 до 0,90, то же можно сказать и про среднюю вероятность верных предсказаний. Это говорит о высокой точности функционирования Байесовской сети, используемой для подсчета результатов теста, по оценке ИК-компетентности.

Таким образом, главным техническим результатом заявленной системы автоматической оценки является повышение точности и надежности оценки результатов тестирования ИК компетентности учащихся.

Валидность ICL-теста

Анализ результатов тестирования основывался на понятии валидности, определение которого дано в Стандартах образовательного и психологического тестирования (Standards for Educational and Psychological Testing): «Валидность - характеристика того, насколько эмпирические данные и теоретические построения поддерживают адекватность интерпретации результатов измерения».

Для исследования валидности ICL-теста было проведено несколько процедур. Одним из источников конструктивной валидности является собственно сам систематический подход к разработке теста. Поскольку ICL-тест разрабатывался на основе обобщенных стандартов, было проведено исследование на его соответствие российским и международным образовательным стандартам.

Согласованность с образовательными стандартами (alignment)

Соответствие теста образовательным стандартам определялось с помощью специальной процедуры, разработанной Веббом ([39]). Под согласованностью подразумевается степень совпадения прогнозируемых результатов освоения образовательной программы и их оценок, полученных с помощью тестового инструментария, а также степень их соответствия друг другу. Тест, согласованный с образовательными стандартами, позволяет продуктивно его использовать в целях оценки эффективности как всей системы образования, так и конкретных методов обучения. Согласованность по сути представляет собой свидетельство содержательной валидности теста.

Тест ИК компетентности проверялся на согласованность с тремя видами образовательных стандартов: Стандарты ИКК для высшего образования Американской библиотечной ассоциации ([10]), на них частично основывалась рамка теста, общие стандарты тестирования «Качество и справедливость» ETS ([16]) и часть нового российского Федерального государственного образовательного стандарта ([4]) основного общего образования, касающаяся ИКТ, а также его уточнение в виде и Примерной основной образовательной программы образовательного учреждения ([5]). Со стороны теста в сравнении участвовали теоретическая рамка, спецификация, банк наблюдаемых переменных (доказательств) и тексты тестовых заданий.

Процедура определения согласованности по Веббу заключается в сопоставлении каждого из стандартов с соответствующими частями теста. Для каждой части Вебб разработал специальный критерий. Результаты представляют собой долю стандартов, которым было найдено соответствие в тесте. Часто конкретную долю вычислить не представляется возможным, поскольку образовательные стандарты могут носить нарративный характер, что вынуждает пользоваться «качественными» критериями и основываться на суждениях экспертов и разработчиков. В этом случае результатом выступает одно из возможных значений: «слабая», «приемлемая» или «полная» согласованность.

Вебб выделил несколько групп критериев для проверки согласованности: содержательная, понимание прогресса, равенство и справедливость, педагогические выводы и применимость к системе образования. Каждый из критериев указывает на часть документации, которая подвергалась сравнению. Например, при использовании критерия «соответствие общего измеряемого понятия» сравнению подвергались определения измеряемого конструкта.

Стандарты ИКК для высшего образования Американской библиотечной ассоциации состоят из пяти частей, согласно которым ИКТ-компетентный студент должен быть способен оценивать достаточность информации, получать ее эффективно, критически оценивать информацию и ее источники, встраивать информацию в свои собственные знания и т.д. По большинству критериев согласованность полная или приемлемая. Слабое совпадение знаниевого диапазона объясняется тем, что данный критерий предполагает сравнение конкретного варианта теста со всеми стандартами. Разумеется, один вариант теста не может соответствовать всем перечисленным стандартам, в силу ограниченности по времени и количеству заданий. Полный же банк заданий покрывает до 75% индикаторов в стандартах.

В соответствии с «Примерной основной образовательной программой образовательного учреждения», разработанной в рамках требований ФГОС, ИКТ-компетенция включает в себя не только умение учащегося работать с информацией, но и технический аспект, который относится к навыкам работы с определенным оборудованием, программным обеспечением и пр., в то время как в рамке инструмента ICL-тест техническая компетентность отсутствует. Именно этим объясняется неполная согласованность стандартов и теста. Вместе с тем, найденные уровни согласованности высоки и приемлемы по всем критериям.

Отдельно стоит упомянуть критерий равенства и справедливости, согласованность по которому основывалась на других документах: «Качество и справедливость» и Российский закон «Об образовании» так как другие документы не содержат этой информации. Неполная согласованность со стандартом ETS объясняется тем, что тест не подходит для учащихся со слабым зрением. В остальном же соответствие полное. Одним из подтверждений этого соответствия являются результаты DIF-анализа.

В таблице 4 представлены итоговые результаты исследования согласованности.

Итак, тест в приемлемой степени согласован как с российскими, так и с международными образовательными стандартами, что говорит о том, что он готов к использованию непосредственно в российской системе образования и после некоторой адаптации - на международном образовательном рынке.

Исследования валидности при помощи внешних переменных

Для проверки конвергентной, дивергентной и текущей валидности используются 4 опросника, встроенные в социальную анкету, которую тестируемые заполняют после выполнения теста.

При помощи корреляционного анализа результаты этих опросников сравниваются с результатами тестирования. Общая логика данного анализа заключается в том, что если тест действительно измеряет нужный конструкт (ИК компетентность), то его результаты должны положительно коррелировать с самооценкой ИКК, поскольку она в некоторой степени отражает реальный уровень ИКК, и с оценками в школе, поскольку ИКК как метапредметная компетентность должна помогать в учебе, и не должна быть связана с технической грамотностью, поскольку это один из ключевых критериев определения ИКК в отличие от схожих конструктов.

Если тест ИК-компетентности действительно измеряет указанный конструкт, его результаты должны быть умеренно и положительно связаны с оценкой самими учащимися своей ИК-компетентности. Согласно результатам других исследований, коэффициент корреляции между ними должен составить от 0.20 до 0.40.

Средняя оценка по предметам в школе является традиционным объектом анализа в валидизационных исследованиях тестов, связанных с образованием. Учащиеся, получившие высокие баллы по ICL-тесту обладают когнитивными способностями, которые позволяют также хорошо учиться. Эта гипотеза поддерживается нейропсихологическими и генетическими теоретическими рамками общего интеллекта.

Опросник частоты обращения к навыкам ИК компетентности состоит из вопросов о том, как много времени респондент проводит за компьютером, занимаясь различными видами деятельности. Ожидалось, что частота работы за компьютером не будет связана с ИКК, которая является в первую очередь мерой умения работы с информацией, требующей поддержки со стороны учителей, родителей, помощи сверстников. Ожидаемый коэффициент корреляции от -0.20 до 0.20.

Опросник технической грамотности состоял из вопросов о конкретных функциях программных пакетов и прочих технических параметров. Система автоматизированной оценки ИК компетентности создавался таким образом, чтобы не требовать от респондентов никаких специальных технических знаний, поэтому и здесь мы ожидаем низкую связь (коэффициент корреляции от -0.10 до 0.10).

В таблице 5 представлены корреляции результатов ICL-теста с внешними переменными и характеристики шкал. Надежность в данном случае измерена при помощи коэффициента Альфа Кронбаха ([15]).

Удовлетворительные для психологических тестов значения лежат в интервале 0.60-0.95 (большие значения указывают на большую внутреннюю согласованность). Из полученных данных следует, что в рамках каждого из опросников включенные вопросы измеряют один и тот же конструкт.

Контроль качества дополнительных опросников проводился посредством анализа всех шкал моделью IRT (partial credit model), вопросы с неудовлетворительными параметрами не рассматривались при расчете итогового балла. Исследование показало, что все дополнительные шкалы имеют высокое согласие с моделью, обладают высокой надежностью, ответные категории вопросов работают корректно.

Как видно из таблицы 5, все коэффициенты корреляции находятся в пределах стандартных ошибок от ожидаемых значений. Все коэффициенты корреляции значимы на уровне 0.05. Умеренная корреляция балла по тесту ИК компетентности с уровнем уверенности в собственной ИК компетентности говорит в пользу конвергентной валидности результатов теста. Близкая к нулю связь с технической грамотностью и частотой обращения к навыкам ИК-компетентности говорит в пользу дивергентной валидности. Связь с усредненной оценкой по школьным предметам говорит в пользу текущей валидности результатов ICL-теста.

Таким образом, подтверждается технический результат данной системы оценки - высокая точность и достоверность результатов измерений.

Резюме

Исследования ICL-теста подтвердили ряд его преимуществ по отношению к другим инструментам по оценке навыков работы с ИКТ:

- оценивается способность эффективно работать с информацией, решать практические задачи, используя возможности ИКТ, а не уровень технологических навыков владения ИКТ;

- оцениваются как ИК компетентность в целом, так и ее составляющие;

- тестовые задания основаны на реальных жизненных или учебных ситуациях;

- ICL-тест может использоваться на любом компьютере, независимо от операционной системы и наличия выхода в интернет;

- ICL-тест может использоваться для проведения как сравнительных, так и лонгитюдных (повторяющихся срезовых) исследований;

- ICL-тест - это один из немногих инструментов, который позволяет решать проблему оценивания метапредметных результатов с учетом требований новых ФГОС и единственный в России, который позволяет проводить оценку ИКТ компетентности ([4]).

Получаемые с помощью ICL-теста данные позволяют не только зафиксировать уровень ИК компетентности выпускников основной школы с высокой точностью и достоверностью, но и выявить факторы, влияющие на ее формирование, и на ее динамику при проведении лонгитюдных исследований, а также дают основания для рекомендаций образовательным организациям, принимавшим участие в тестировании и образовательной системе в целом по повышению уровня ИК компетентности учащихся.

ICL-тест можно использовать для проведения как национальных и региональных мониторинговых исследований по эффективности реализации различных аспектов программ развития образования, особенно в области внедрения новых ФГОС, информатизации образования, оценки образовательных результатов и т.п. Он также подходит и для внутри школьных мониторингов, связанных с качеством образовательного процесса, изменением форм и методов учебной работы, эффективностью работы в образовательной информационной среде.

Литература:

1. Авдеева С.М., Барышникова М.Ю., Коваленко С.К., Мельников А.Е. Об опыте реализации модели оценки ИКТ-компетентности // Журнал "Информатизация образования и науки". - 2009. - №2.

2. Авдеева С.М., Худенко Л.А. Исследование информационно-коммуникационной компетентности учащихся 9 классов Республики Беларусь: цель и основные результаты // Журнал "Вестник образования". - 2014. - №1, стр. 3-10.

3. Оборнева И.В. Автоматизированная оценка сложности учебных текстов на основе статистических параметров: Дис. канд. пед. наук: 13.00.02 Москва, 2006.

4. Федеральный государственный образовательный стандарт основного общего образования (утвержден приказом Министерства образования и науки Российской Федерации от 17 декабря 2010 г. №1897), 50 стр. , (http://www.edu.ru/db/mo/Data/d_10/prm1897-1.pdf).

5. Кондаков A.M., Кезина Л.П. Примерная основная образовательная программа образовательного учреждения. Основная школа. Институт стратегических исследований в образовании РАО, М., Просвещение, 2011, 454 стр., (http://window.edu.ru/resource/594/75594/files/Programma_5_9.pdf).

6. Aesaert, K., Van Nijlen, D., Vanderlinde, R., & van Braak, J. (2014) Direct measures of digital information processing and communication skills in primary education: using item response theory for the development and validation of an ICT competence scale // Computers & Education. No. 76. P. 168-181.

7. Ainley, J., Fraillon, J., & Freeman, С. (2007) National Assessment Program. ICT Literacy Years 6 & 10 Report, 2005. Ministerial Council on Education, Employment, Training and Youth Affairs (NJ1).

8. Almond, R.G. (2010) I can name that Bayesian network in two matrixes // International Journal of Approximate Reasoning. No 51. P. 167

9. Almond, R.G., DiBello, L., Jenkins, F., Mislevy, R.J., Senturk, D., Steinberg, L., et al. (2001) Models for conditional probability tables in educational assessment. Artificial intelligence and statistics 2001. P. 137-143. San Mateo, CA: Morgan Kaufmann.

10. American Library Association. (2000) Information literacy competency standards for higher education.

11. Avdeeva S., Zelman M. (2011) ICT Competence Assessment Instrument and Its Use. The International Association for Educational Assessment (IAEA), 36th annual conference. Assessment for the future generations, Bangkok, Thailand, report, 2011.

12. Brown, J. (1998) Media literacy perspectives // Journal of Communication. No 48. P. 44-57.

13. Cameron, L., Wise, S. L., & Lottridge, S. M. (2007) The development and validation of the information literacy test // College & Research Libraries. Vol. 68. No 3. P. 229-237.

14. Celot, P., Tornero, J. M. P. (2009) A comprehensive view of the concept of media literacy and understanding of how media literacy levels in Europe should be assessed // Study on Assessment Criteria for Media Lioteracy Levels / For the European Commission Directorate General Information Society and Media; Media Literacy Unit.

15. Cronbach, L.J. (1971) Test validation / In R.L. Thorndike (Ed.), Educational measurement (2nd edition) Washington, DC: American Council on Education. P. 443-507.

16. Educational Testing Service (2002) ETS Standards for Equality and Fairness. ETS, Princeton.

17. Embretson, S.E., & Reise, S.P. (2013) Item response theory. Psychology Press.

18. Flesch, R. (1974) The art of readable writing. New York: Harper & Row.

19. Flesch, R. (1981) Why Johnny still can't read: A new look at the scandal of our schools. New York: Harper & Row.

20. Fraillon, J., & Ainley, J. (2010) The IEA international study of computer and information literacy (ICILS). Retrieved April, 20, 2010.

21. Fraillon, J., Schulz, W., & Ainley, J. (2013) International Computer and Information Literacy Study: Assessment framework. Amsterdam: IEA.

22. Hambleton, R.K., Swaminathan, H., Jane Rogers, H.J. (1991) Fundamentals of Item Response Theory, Measurement Methods for the Social Science, SAGE Publications.

23. Hohlfeld, T.N., Ritzhaupt, A.D., & Barron, A.E. (2010). Development and validation of the Student Tool for Technology Literacy (ST2L) // Journal of Research on Technology in Education. Vol. 42. No 4. P. 361-389.

24. Jenkins, H. (2009) Confronting the challenges of participatory culture: Media education for the 21st century. MIT Press.

25. Johnston, В., & Webber, S. (2003) Information Literacy in Higher Education: A review and case study // Studies in Higher Education. Vol. 28, Iss. 3. P. 335-352.

26. Katz, I.R. (2013) Testing information literacy in digital environments: ETS's iSkills assessment. Information technology and Libraries, 26(3), 3-12.

27. Katz, I.R., & Macklin, A.S. (2007) Information and communication technology (ICT) literacy: Integration and assessment in higher education. // Systemics, Cybernetics and Informatics. Vol. 5. No. 4. P. 50-55. (http://www.iiisci.org/Journal/CV$/sci/pdfs/P890541.pdf).

28. Kim, H-S., Kil, H-J., Shin, A. (2014) An analysis of variables affecting the ICT literacy level of Korean elementary school students // Computers & Education. Vol. 77. P. 29-38.

29. Kincaid, J.P., Gamble, L.G. (1977) Ease of comprehension of standard and readable insurance policies as a function of reading ability // Journal of Reading Behavior. Vol. 9. No 1. P. 87-95.

30. Lennon, M., Kirsch, I., Von Davier, M., Wagner, M., & Yamamoto, K. (2003) Feasibility Study for the PISA ICT Literacy Assessment: Report to Network A. Educational Testing Service.

31. Livingstone, S., Thumim N. (2003) Assessing the media literacy of UK adults / A review of Academic Literature produced for Broadcasting Standards Commission Independent Television Commission NIACE (http://www.ofcom.org.uk/static/archive/itc/uploads/Assessing_the_media_literacy_of_UK_adults1.pdf).

32. Mislevy, R.J., Almond, R., Dibello, L., Jenkins F., Steinberg, L. (2002) Modeling Conditional Probabilities in Complex Educational Assessments. CSE Technical Report.

33. Mislevy, R.J., Levy, R. (2007) Bayesian psychometric modeling from an evidence-centered design perspective / In: Rao, C.R., Sinharay, S. eds. (2007) Handbook of statistics. Elsevier, Amsterdam. P. 839-865.

34. Rader, H.B. (2002) Information literacy 1973-2002: A selected literature review // Library trends. Vol. 51. No 2. P. 242-259.

35. UNESCO Communication and Information Sector, UNESCO Institute for Statistics (2013) Global Media and Information Literacy Assessment Framework: Country Readiness and Competencies. United Nations Educational, Scientific and Cultural Organization. Paris, France.

36. Van Joolingen, W. (2004) The PISA framework for assessment of ICT literacy. (http://www.ictliteracy.info/rf.pdf/PISA%20framework.ppt.)

37. Virkus, S. (2003) Information literacy in Europe: a literature review // Information Research Vol.8 No 4.

38. Wang, W.C, & Wilson, M. (2005) The Rasch Testlet Model. Applied Psychological Measurement.

39. Webb, N.L. (1997) Criteria for Alignment of Expectations and Assessments in Mathematics and Science Education. Research monograph №8.

40. Wick, R., Thayer, D.T., Lewis, C. (1999) An Empirical Bayes Approach to Mantel-Haenszel DIF Analysis // Journal of Educational Measurement, Vol. 36. No LP. 1-28.

* Согласованность с общими стандартами тестирования «Качество и справедливость» [ETS.]

** Согласованность с Федеральными государственными стандартами основного общего образования

* Коэффициенты корреляции значимы на уровне 0,05.

Система автоматической оценки информационно-коммуникационной компетентности учащегося, состоящая из системы разработки тестовых заданий, содержащей сервер, взаимодействующей посредством системы доставки теста до тестируемого, представляющей собой каналы и флэш-накопители, с системой предъявления варианта теста тестируемому, содержащей компьютер, взаимодействующей с системой обработки результатов теста, содержащей сервер, а также библиотеки тестовых заданий, результатов тестирования, анкет и ответов на вопросы анкет, представляющей собой базу данных, связанную со всеми упомянутыми системами, при этом система обработки результатов теста выполнена с возможностью анализа валидности и надежности результатов теста, а каждое задание теста включает от 3 до 7 наблюдаемых переменных, каждая их которых имеет 3 уровня, характеризующие низкое, среднее или высокое соответствие деятельности тестируемого заданным критериям, оценка системной обработки результатов теста происходит по 7 составляющим информационно-коммуникационной компетентности, каждая из которых имеет также по 3 уровня: неприемлемый, приемлемый и компетентный, при этом для расчета результатов теста система обработки результатов теста использует Байесовские сети, представляющие собой направленный ациклический граф, отражающий причинно-следственные связи между наблюдаемыми и латентными переменными, составляющими информационно-коммуникационной компетентности, а описание связей между переменными в тесте описывается логистической функцией Самеджима-Дибелло, обеспечивающей дискретизацию латентной переменной.