2 спецификация и оформление теста. Московский государственный университет печати. Состав требований к планируемым результатам обучения
Пусть задан следующий фрагмент набора требований для модели обмена транзакциями:
- Функция DoTransaction должна принимать адрес и данные в соответствии с параметрами, создавать в очереди новый элемент, заполнять его адресную часть и часть полей данных переданной информацией и инициировать транзакцию
- Функция DoAddressTenure должна принимать адрес в соответствии с параметрами, создавать в очереди новый элемент и заполнять его адресную часть
- Функция DoDataTenure должна принимать данные в соответствии с параметрами, находить в очереди первый элемент с частично незаполненными полями данных, дополнять его переданной информацией и инициировать транзакцию
Концептуальное описание набора тестов, проверяющего спецификацию, может выглядеть следующим образом:
- Вызвать DoTransaction с адресом и данными. Проверить появление в очереди еще одного элемента. Проверить появление на шине транзакции с правильными адресом и данными.
- Вызвать DoAddressTenure с адресом. Проверить появление в очереди еще одного элемента. Проверить отсутствие новой транзакции на шине.
- Вызвать DoDataTenure с данными. Проверить заполнение полей данных. Проверить появление на шине транзакции с правильными адресом и данными
Тестирование сценариев
Разработка тестов, основанных на использовании сценариев, осуществляется по следующей методике:
- Определяется модель использования, включающая операционное окружение продукта и "актеров". Актером может быть пользователь, другой продукт, аппаратная часть и тому подобное, то есть все, с чем продукт обменивается информацией. Разделение на окружение и актеров условно и служит для описания оптимальных способов использования продукта.
- Разрабатываются сценарии использования продукта. Описание сценария в зависимости от продукта и выбранного подхода может быть строго определенным, параметризованным или разрешать некоторую степень неопределенности. Например, описание сценария на языке MSC допускает задание параметризованных сценариев с возможностью переупорядочивания событий.
- Разрабатывается набор тестов, покрывающих заданные сценарии. С учетом степени неопределенности, заложенной в сценарии, каждый тест может покрывать один сценарий, несколько сценариев, или, наоборот, часть сценария.
Использование сценариев не требует наличия полной формальной спецификации требований, но зато может потребовать больше времени на разработку и анализ.
Еще одна особенность тестирования сценариев заключается в том, что этот метод направляет тестирование на проверку конкретных режимов использования продукта, что позволяет находить дефекты, которые метод тестирования по требованиям может пропустить.
Пример использования спецификации требований для разработки тестов.
Так, для рассмотренного выше примера возможно создание следующего сценария и тестов.
- Сценарий: пользователь имеет две независимые нити управления, одна из которых отвечает за генерацию полных транзакций посредством DoTransaction , а другая – за сбор транзакций из адресной части и части данных, когда эта информация приходит из разных источников. Таким образом, вторая нитка использует вызовы к DoAddressTenure и DoDataTenure .
- Описание тестов: Вызвать DoAddressTenure c адресом А1 , вызвать DoTransaction с адресом А2 и данными D2 , вызвать DoDataTenure с данными D1 . Проверить последовательное появление на шине двух транзакций: {А1, D1} и {А2, D2}
При выполнении этого теста было, в частности, обнаружено, что функция DoTransaction была реализована через вызовы к DoAddressTenure и DoDataTenure , что приводило к появлению на шине транзакций вида {А1, D2} и {А2, D1} . Подобный дефект может быть обнаружен с большим трудом, если разрабатывать тесты, основываясь только на спецификации требований.
Ручная разработка тестов
Наиболее распространенным способом разработки тестов является создание тестового кода вручную. Это наиболее гибкий способ разработки тестов, однако характерная для него производительность труда инженеров-тестировщиков в создании тестового кода не намного выше скорости создания кода продукта, а объемы тестового кода на практике зачастую превышают объем кода продукта в 10 раз. Учитывая этот факт, в современной индустрии все больше склоняются к более интеллектуальным способам получения тестового кода, таким как использование специальных тестовых языков (скриптов ) и генерации тестов.
Генерация тестов
В настоящее время некоторые языки спецификаций, используемые для описания алгоритмов тестирования, могут быть использованы для генерации тестового кода. Рассмотрим генерацию кода из языка MSC. Тест, описанный выше, формализован на языке MSC (Рис. 9.3). Здесь каждая стрелка с пометкой DoTransaction , DoAddressTenure или DoDataTenure представлет собой вызов соответствующей функции продукта с передачей параметров. Стрелка checkTr соответствует проверке прохождения по шине транзакции с соответствующими параметрами. Каждая из стрелок диаграммы генератором тестов преобразуется в исполнимый код, при этом стрелкам, представляющим собой вызовы функций может соответствовать достаточно простой и маленький участок кода, вызывающий соответствующую функцию и проверяющий ее выходное значение на наличие ошибок.
Рис.
9.3.
Следует отметить, что стрелки, соответствующие проверке транзакций, могут после генерации преобразоваться в достаточно сложный код, который будет выполнять ожидание появления транзакции на шине в течение заданного при генерации времени - тайм-аута, проверять фазы транзакции и сверять вычисленные значения параметров с заданными эталонными значениями.Par – формальную конструкцию, применяемую для изображения параллелизма в языке MSC. При генерации тестов по диаграмме Рис. 9.4 тестовый генератор перебирает все возможные и неповторяющиеся варианты вызова тестируемых функций, сохраняя при этом корректность порядка проверок, что в данном примере дает три сгенерированных теста. Несложно видеть, что затраты на создание диаграммы Рис. 9.4 не сильно отличаются от затрат на диаграмму Рис. 9.3 , в то время как количество тестов увеличивается в три раза.
Таким образом, использование методики генерации тестового кода по формализованным MSC диаграммам позволяет значительно поднять производительность тестирования, а также преобразовать формализацию (кодировку) сценариев в достаточно интеллектуальную деятельность.
Спецификация теста Е.Ю. Карданова, 04.10. 2012 Спецификация теста Документ, в котором содержится информация о целях, задачах, плане и структуре педагогического теста, а также основные требования к правилам проведения педагогического тестирования, обработке результатов и их интерпретации. На данном этапе разрабатывается первая версия. По итогам дальнейшей работы над тестом спецификация может меняться. Окончательный вариант спецификации предоставляется любым пользователям теста и является необходимой частью пакета тестовых документов, наряду с самим тестом. Спецификация теста Цель создания теста. Обоснование выбора подхода к его созданию. Описание возможных сфер применения. Перечень документов, используемых при планировании содержания теста (образовательный стандарт, программа). Основные учебники и учебные пособия, которые могут быть использованы при подготовке к тестированию. Перечень элементов содержания и компетенций, проверяемых в ходе тестирования (в частности, кодификатор элементов содержания теста и компетентностная карта дисциплины). Перечень требований к уровню подготовки обучающихся, проверяемых в ходе тестирования. Описание общей структуры теста, перечень субтестов (если они есть) с указанием подходов к их разработке. Описание теста: общее количество заданий, тип заданий с указанием процентного содержания или количества заданий каждой формы, описанием каждой формы. Рекомендуемая автором стратегия расположения заданий в тесте, т.е. композиция теста. Распределение заданий теста по разделам содержания и видам деятельности (содержательнодеятельностная матрица). Рекомендуемое время выполнения теста, в том числе и на каждый субтест, среднее время выполнения каждого задания с учетом специфики формы. Рекомендации автора по оцениванию заданий (дихотомическая или политомическая оценка) и теста в целом. План теста по отдельным заданиям (обобщенный план теста). Кодификатор элементов содержания учебной дисциплины Перечень элементов содержания дисциплины, в котором каждому элементу содержания присвоен собственный код При составлении кодификатора все содержание дисциплины выражается в виде перечня логически завершенных содержательных модулей – разделов, подразделов, тем, подтем, отдельных элементов содержания учебной дисциплины Элемент содержания учебной дисциплины – это логически завершенная минимальная часть учебной дисциплины, определенная нормативными документами (образовательным стандартом, программами). Фрагмент кодификатора КИМ ЕГЭ по истории (цитируется с официального сайта ФИПИ: http://www.fipi.ru/view/sections/93/docs/58.html) Код раздела Код контролируемого элемента История России с древности до конца XVI в. 1 1.1 1.1.1 1.2 1.2.1 1.2.2 1.2.3 1.2.4 1.2.5 1.3 Элементы содержания, проверяемые заданиями КИМ Восточные славяне в VI-VIII вв. Расселение, занятия, быт, верования восточных славян. Славяне и их соседи Древнерусское государство (IX- первая половина XII в.) Формирование древнерусского государства. Новгород и Киев. Версии происхождения государства на Руси Население сел и городов. Развитие ремесла и торговли. «Русская правда» Князья Древней Руси. Князь и дружина Крещение Руси. Распространение христианства Культура и быт Древней Руси Русь в ХII-ХVвв. ……………………………………………………….. Компетентностная карта дисциплины методический документ, содержащий информацию о компетентностных результатах образования, зафиксированных в образовательном стандарте по данному направлению подготовки, и формируемых средствами данной дисциплины, а также об уровне и методах их формирования в рамках данной дисциплины. Компетентностная карта дисциплины № 1 2. . Компетенции Код Степень Дескрипторы по формирования – основные (формулировка ОрОС компетенции признаки из освоения образовательного (РБ, СД, МЦ) (показатели стандарта) достижения результата) Формы Методы оценки и методы уровня формировани сформирован я и развития ности компетенции компетенции * * Системные компетенции 1.1 1.2… 2.1 2.2… Инструментальные компетенции Социально-личностные компетенции Содержательно-деятельностная матрица Включает примерную раскладку процентного соотношения содержания разделов дисциплины и определение необходимого количества тестовых заданий различного уровня трудности, исходя из важности раздела и числа часов, отведенных на его изучение в программе. Работа по отбору содержания теста и определению для каждого элемента содержания уровня его усвоения была проведена на первых этапах работы над содержанием теста, поэтому на данном этапе все эти данные суммируются и оформляются в виде одной таблицы. Содержательно-деятельностная матрица теста (пример) Проверяемые знания и виды деятельности 1 раздел 20% Разделы содержания 2 раздел 3 раздел 30% 40% 4 раздел 10% Всего заданий Знание понятий, определений, терминов (10%) Знание законов и формул (30%) Применение формул и законов (30%) Нахождение сходств и различий (20%) 1 1 3 1 6 4 5 7 2 18 4 5 7 2 18 2 4 5 1 12 Умение интерпретировать материал на графиках и схемах (10%) Всего 1 3 2 0 6 12 18 24 6 60 Обобщенный план теста Таблица, в которой каждое тестовое задание соотносится с определенным элементом содержания учебной дисциплины и оцениваемым уровнем компетенции обучающегося. Указывается форма и вид тестового задания План теста по отдельным заданиям (Обобщенный план теста) № задания Раздел (элемент) содержания учебной дисциплины Проверяемая компетенция (код согласно компетентностной карте дисциплины) Степень формирования компетенции Тип Время задания выполнения (мин.) Максимальный балл за выполнение задания
Планирование содержания теста
Конкретизированные цели обучения
| Обобщенные учебные цели, планируемые преподавателем | Примеры конкретизированных учебных целей, достигнутых учеником |
| Знания на уровне запоминания и воспроизведения | Знает смысл употребляемых терминов, основные понятия и определения, формулы, законы, принципы |
| Знания на уровне понимания | Понимает и интерпретирует термины, интерпретирует понятия и определения, преобразует словесный материал в математические выражения, интерпретирует словесный материал на схемах и графиках |
| Умения по применению знаний в известной ситуации | Умеет применять термины, понятия и определения в знакомой ситуации по образцу, а также формулы, законы и принципы в знакомой ситуации |
| Умения по применению знаний в незнакомой ситуации | Использует законы и принципы в новых ситуациях, осуществляет перенос известных методов на незнакомые ситуации |
| Анализ | Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, выделяет скрытые предположения, проводит различия между фактами и следствиями. |
После того, как определены цели тестирования, выбран вид теста и уточнены подходы создания теста разработчики приступают к следующему этапу - отбору содержания теста.
Так как основная функция теста – это контроль за уровнем учебных достижений по определенным областям знаний, предметам и дисциплинам, то тест как измерительный инструмент должен быть адекватен по отношению к проверяемому материалу. Содержание теста должно оптимально соответствовать содержанию учебной дисциплины. Чтобы достичь этого соответствия, необходимо проанализировать содержание проверяемого предмета, раздела, темы и т.д., выделить самые важные элементы, которые требуют проверки, определить, какие знания и умения в этой области содержания будут проверяться с помощью тестовых заданий.
Опираясь на анализ содержания дисциплины, далее разрабатывается план теста. Разработчик должен определить, из скольких частей (субтестов) будет состоять тест, планируемое количество заданий, какие формы тестовых заданий будут использоваться.
Планирование теста предполагает определение соотношения элементов содержания и необходимого количества заданий для их проверки, которое определяется значимостью и количеством времени, отведенном на изучение.
Более эффективный способ планирования теста - когда учитываются не только элементы содержания, но и виды деятельности, которые подвергаются проверке. При этом виды деятельности в зависимости от уровня усвоения учебного материала подразделяются на репродуктивный (знание определений, формул, фактов и использование знаний по образцу) и продуктивный (применение знаний в незнакомой ситуации).
Каждый тест должен сопровождаться спецификацией, т.е. его описанием, где указываются цели тестирования, для кого этот тест предназначен, содержание проверки, процентное соотношение заданий по различным разделам и видам деятельности, используемые формы заданий, рекомендуемое время выполнения. Спецификация теста разрабатывается с учетом нормативных документов и образовательных стандартов, которые используются при планировании содержания теста. Структура теста в спецификации представлена в виде таблицы.
Примечание. Рассмотреть примеры спецификаций по конкретным дисциплинам: истории, математике, информатике и др.
Прежде чем приступать к созданию теста, необходимо четко знать, для чего он нужен. Ясный ответ на этот вопрос – необходимое условие для работы. Поэтому первым шагом будет формулирование цели будущего теста. После этого следует обратиться к разработке спецификации будущего теста. Наиболее удобно сделать это в виде таблицы, в которой по горизонтали будут располагаться содержательные области, которые предполагается измерять, а по вертикали – их манифестации, или пути, по которым содержательные области могут проявляться.
Например, при конструировании «опросника супружеского статуса» Дж. Руст и С. Голомбок (Rust, Golombok, 1988) основывались на опросе экспертов, в качестве которых выступали семейные терапевты и консультанты, а также на данных, полученных от клиентов этих специалистов. Экспертов просили назвать те области взаимоотношений между мужчиной и женщиной, которые они полагали наиболее важными для гармоничного брака. Информация от клиентов позволила обнаружить те проблемные зоны семейной жизни, в которые супруги хотели бы внести изменения. На этой основе были выделены такие содержательные области, как «совместные интересы и степень зависимости – независимости», «вербальная и невербальная коммуникации», «доверие и уважение» и др. Ясное понимание цели будущего теста, естественно, облегчает построение перечня того, что предстоит измерять. При спецификации манифестаций важно обеспечить выделение различных форм их реализации. Так, при конструировании вышеупомянутого опросника «установки и чувства, проявляющиеся в отношениях» рассматривались как манифестации «вербальных и невербальных коммуникаций» между супругами.
Из практических соображений обычно по каждой оси разрабатывается от 4 до 7 категорий. Меньшее число категорий часто приводит к созданию слишком узкого опросника, а большее может сделать обременительным процесс конструирования опросника. В итоге получается своего рода решетка, количество ячеек в которой будет равно количеству планируемых для изучения параметров, умноженному на количество их поведенческих манифестаций (табл. 3.1).
При разработке опросников обычно считают, что решетка размером от 16 до 25 ячеек (например, 4x4,4x5, 5x4 или 5x5) считается идеальной для той длины теста, который вполне реально сконструировать, предъявить и обработать.
Далее необходимо определить, сколько заданий, например вопросов, должно быть создано для каждой из ячеек. При решении этой задачи следует руководствоваться тем, насколько важным представляется исследователю измерение одного из параметров сравнительно с другим или другими. В решетке, приведенной в табл. 3.2 (Rust, Golombok, 1989), допускается, что содержательным областям, обозначенным как Аи В, следует приписать 40 %-ный вес, а С и D – 10 %-ный. В то же время каждой манифестации А, В, C и D приписывается 25 %-ный вес. Необходимо обратить внимание на то, что в целом процентный вес всех содержательных областей (по горизонтали) и всех манифестаций (по вертикали) должен составлять 100 %. Такое расположение процентных весов подскажет, какую часть от всех заданий следует создать для каждой ячейки. Следующий шаг состоит в том, чтобы решить, какое количество заданий должно быть включено в тест. При этом необходимо учитывать такие факторы, как размер решетки и время, предполагаемое для выполнения заданий. Хорошо известно, что в определении количества заданий перед исследователем возникает дилемма: обеспечение, с одной стороны, надежности теста, что требует увеличения заданий, а с другой – минимизация количества заданий для обеспечения эффективной работы испытуемого с ними, подразумевающей прежде всего поддержание концентрации внимания в ходе обследования. Так, для достижения удовлетворительной надежности опросника требуется не менее 20 заданий, выполнение которых обычно занимает не более 10 минут. Наконец, важную роль в определении количества заданий теста играют особенности того контингента, который предполагается обследовать. Обычно при проводимом разработчиками пилотажном исследовании количество заданий предварительного варианта теста должно быть по крайней мере на 50 % больше числа тех, которые будут включены в окончательную версию.
После того как определен процентный вес каждой из ячеек решетки и установлено общее количество заданий для пилотажной версии теста, нетрудно подсчитать, сколько заданий должно быть разработано для каждой ячейки. Нижеприведенная решетка (Rust, Golombok, 1989) содержит то количество заданий для каждой ячейки, которое необходимо для пилотажного исследования с помощью опросника, состоявшего из 80 вопросов (табл. 3.2).
При создании теста внимание разработчика, прежде всего, привлекают вопросы отбора его содержания, которое можно определить как оптимальное отображение учебной содержания дисциплины в системе тестовых знаний.
Требование оптимальности предполагает использование определеннойметодики отбора, которая должна включатьвопросы
- целеполагания,
- планирования и
- оценки качества содержания теста.
Целеполагание на этапе планирования содержания теста
Этап целеполагания является самым трудным и вместе с тем самым важным. От его результата зависит качество содержания теста. На этом этапе преподавателю необходимо решить вопрос, какие результаты студентов он хочет оценить с помощью теста.
Проблема сегодняшнего дня состоит в том, что представления о наиболее общих целях контроля не позволяют непосредственно перейти к разработке средств измерения. Оказывается необходима промежуточная ступень, которую педагоги назвали предварительной операционализацией целей (этому закрученному выражению проще и лучше соответствует термин«конкретизация»).
Процесс конкретизации характеризуется рядом этапов, которые можно отобразить схематично на рисунке:
Состав требований к планируемым результатам обучения
В состав требований к планируемым результатам обучения обычно включают систему объектов изучения, описание видов учебной деятельности и качество усвоения учебного материала. Все это входит в систему научных знаний.
Первым компонентом требований системы научных знаний является характеристика объектов изучения с учетом глубины их освещения преподавателем и планируемого уровня усвоения студентами.
К элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценочные знания.
Представляет интерес структура умений предложенная проф. И.И.Кулибабой:
· Специальные, формирующиеся в процессе изучения отдельных дисциплин;
· Рационального учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, умения планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, умение управлять последней в процессе учения;
· Интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные дисциплины вуза.
За рубежом популярна следующая классификация целей обучения (или таксономия – по B.S. Bloom), которая представляет интерес для технологии разработки тестов:
1. Знание названий, имен, фактов.
2. Фактуальные знания.
3. Знание определений и понимание их смысла.
4. Сравнительные и сопоставительные знания.
5. Классификационные знания.
6. Знание противоположностей и противоречий, синомичных и антонимичных объектов.
7. Ассоциативные знания.
8. Причинные знания.
9. Алгоритмические, процедурные знания.
10. Обобщенные системные знания.
11. Оценочные знания.
12. Процессуальные знания.
13. Абстрактные знания.
14. Структурные знания.
15. Методологические знания.
Конкретизация учебных целей четко отражена в стандартах каждой специальности вуза. Профессор Кларин М.В. предлагает категории учебных целей в несколько измененном виде, в удобном для задач педагогического измерения (табл.1).
| Обобщенные учебные цели (планирует преподаватель) | Конкретизируемые учебные цели (достигаются студентом) |
| Знания на уровне запоминания и воспроизведения | Знает смысл употребляемых терминов, Знает основные понятия и определения, Знает формулы, законы, принципы |
| Знания на уровне понимания | Понимает и интерпретирует термины, Интерпретирует понятия и определения, Преобразует словесный материал в математические выражения, Интерпретирует словесный материал на схемах и графиках |
| Умения по применению знаний в известной ситуации | Умеет применять термины, понятия и определения в знакомой ситуации по образцу, Умеет применять формулы, законы и принципы |
| Умения по применению знаний в незнакомой ситуации | Использует законы и принципы в новых ситуациях, Осуществляет перенос известных принципов на незнакомые ситуации |
| Анализ | Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, Выделяет скрытые предположения, Проводит различия между фактами и следствиями |
| Синтез | Пишет рефераты, проекты и т.п. Предлагает план проведения эксперимента, Решает проблемы на междисциплинарном уровне путем переноса знаний из одной дисциплины в другую |
| Оценка | Сопоставляет факты, Приводит оценочные суждения, Выбирает оптимальный вариант из предложенных к рассмотрению |
После определения целей тестирования и их конкретизации разрабатывается план теста и его спецификация. При разработке плана определяется раскладка процентного содержания разделов дисциплины и число заданий по каждому разделу.
Раскладку начинают с подсчета планируемого числа заданий в тесте, которое затем будет меняться в процессе работы над тестом в сторону увеличения или уменьшения. Предельное число заданий в тесте не должно превышать 60-80, поскольку на тестирование отводится время не более 2-х часов. На выполнение одного задания теста отводится примерно 2 минуты. План теста можно свести в табл. 2.
Табл.2 – Пример плана теста
Спецификация теста
После выполнения планирования содержания теста разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутом виде. Спецификация теста в развернутом виде включает:
1. Цель создания теста. Обоснование выбора подхода к его созданию. Описание возможных сфер применения.
2. Перечень нормативных документов (стандарты специальности, базисные программ, требования к уровню подготовки выпускников.
3. Описание общей структуры теста, включающее перечень субтестов (если они имеются) с указанием подходов их разработки.
4. Количество заданий различной формы с указанием числа ответов к закрытым заданиям. Общее число заданий в тесте.
5. Число параллельных вариантов в тесте, либо ссылка на кластер, содержащая номера и количество заданий кластера.
8. Соотношение заданий по различным разделам и видам учебной деятельности.
10. Охват требований стандартов (для аттестационных тестов).
11. Перечень требований, не вошедших в тест (для аттестационных тестов).
12. Стратегия расположения заданий в тесте, рекомендуемая разработчиком.
Предположительно, эта спецификация – набор документов для регистрации теста МО РФ.
Создание краткой спецификации основано на сопряжении знаний и умений с процентным соотношением заданий по различным разделам (содержательным линиям дисциплины), см. п.8. Пример реализации подобного сопряжения показан в табл.3. Перечень знаний и умений условно включены:
А-знание понятий, определений, терминов;
Б-знание законов и формул;
В-умение применять законы и формулы для решения задач;
Г- умение интерпретировать результаты на графиках и схемах;
Д-умение проводить оценочные суждения.
Табл.3 – Гипотетическая спецификация теста
| № | Планируемые к проверке знания и умения | Содержательные линии (разделы) дисциплины | Σ-заданий по каждому пункту | |||
| I 20% | II 10% | III 30% | IV 40% | |||
| А – 10% | ||||||
| Б – 20% | ||||||
| В – 30% | ||||||
| Г – 30% | ||||||
| Д – 10% | - | |||||
| Итого (строка и рассчитывается и заполняется первой |
При заполнении ячеек таблицы в распределении заданий числа ставятся приближенно, и в процессе «обкатки» теста первоначальная раскладка может существенно измениться.
Спецификация, предлагаемая сотрудниками ИОСО РАН, основана на процентном соотношении заданий планируемых сообразно разделам дисциплины и видам предполагаемой деятельности испытуемого в процессе выполнения теста (табл.4).
Табл.4 – Спецификация итого теста по физике (1 семестр)
| Содержание предмета | Предполагаемая деятельность тестируемого | ||
| Репродуктивный уровень | Продуктивный уровень | ||
| Знание определений, фактологического материала и др. | Применение знаний основных законов в знакомой ситуации по образцу, на основе обобщаемого алгоритма | Применение знаний в незнакомой ситуации | |
| Общеобразовательная часть теста – 40 заданий | 8 заданий –20% | 24 задания –60% | 8 заданий –20% |
| Механика 10 заданий – 25% | 2 задания | 6 заданий | 2 задания |
| Молекулярная физика и термод-ка 8 заданий – 20% | 1 задание | 5 заданий | 2 задания |
| Электродинамика и СТО 16 заданий – 40% | 3 задания | 10 заданий | 3 задания |
| Геометрическая оптика 2 задания – 5% | 1 задание | 1 задание | ___ |
| Квантовая физика 4 задания – 10% | 1 задание | 2 задания | 1 задание |
| Углубленная часть теста – 20 заданий | __ | 4 задания –20% | 16 заданий –80% |
После отбора содержания теста для разработчика наступает этап создания тестовых заданий. Грамотно их может сделать опытный преподаватель,
-умеющий правильно выбрать форму тестового задания для проверяемого учебного материала,
-имеющий дополнительные знания по теории и методике создания педагогических тестов.
I. Основные понятия и определения
Валидностъ теста - комплексная характеристика теста, отражающая обоснованность, значимость его результатов, а также адекватность теста целям измерения.
Генерация теста - процесс формирования теста из тестовых заданий в соответствии с задаваемыми параметрами, определяющими количественные и качественные характеристики теста (состав теста, оценочная шкала, алгоритм тестирования, время тестирования и т.д.).
Дидактическая единица (ДЕ) - логически самостоятельная часть учебной дисциплины, по своему объему и структуре соответствующая таким компонентам, как понятия, теория, закон, явление, факт, объект и т.п.
Дистрактор - вариант ответа в тестовом задании с элементом выбора, не являющийся правильным решением, но внешне близкий к правильному решению.
Длина теста - количество тестовых заданий в тесте.
Качество теста - степень соответствия теста определенным характеристикам, таким, как надежность, валидность, технологичность, корректность и т.д.
Компетенция - способность применять знания, умения, навыки и личностные качества для успешной деятельности в определенной профессиональной области.
Надежность теста - характеристика качества теста, отражающая точность оценки уровня подготовленности обучающихся с помощью данных теста, степень постоянства, стабильности, устойчивости результатов тестирования.
Спецификация теста - система характеристик теста, отражающая его содержание и структуру.
Тест - инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, процедуры проверки и заранее спроектированной технологии обработки и анализа полученных результатов. Тесты относятся к современным оценочным средствам. Электронные тесты хранятся, обрабатываются и предъявляются тестируемому с помощью компьютерной и телекоммуникационной техники.
Тестирование - метод диагностического контроля знаний, умений, навыков и/или компетенций обучаемых с использованием тестов, который завершается количественной оценкой, основанной на статистических обоснованных шкалах и нормах. Тестирование является одной из современных технологий оценивания знаний. Основным средством тестового контроля является тест, включающий два основных элемента: задание и эталон-образец правильного и качественного выполнения этого задания, с которым сравниваются ход и результаты деятельности обучаемых, чем и обеспечивается диагностичность контроля. Оценка проставляется по сумме набранных баллов за правильные ответы.
Тестирование компьютерное - метод проверки знаний на базе средств информационно-коммуникационных технологий, являющийся аналогом традиционного тестирования. В случае компьютерного тестирования осуществляется предъявление теста, фиксация результата, реализуются те или иные связанные с этим алгоритмы (например, возможность или невозможность возврата к уже выполненному или пропущенному заданию, ограничение времени, отведенного на один тест и.т.п.).
Тестовый контроль – процесс определения соответствия уровня знаний, умений, навыков и/или компетенций обучаемого регламентированным требованиям и формирования оценки на основе применения тестовых технологий.
Тестовое задание (ТЗ ) - минимальная составляющая единица теста, которая состоит из условия (вопроса) и, в зависимости от типа задания, может содержать или не содержать набор ответов для выбора. Варианты представления тестовых вопросов: выбрать правильный ответ, расположить в нужной последовательности, заполнить пропуски и т.д.
Трудность ТЗ - количество мыслительных операций и характер логических связей между ними, характеризующих сложность и продолжительность поиска и нахождения верного решения.
Фонд тестовых заданий (ФТЗ ) – логически упорядоченный набор тестовых заданий, позволяющих генерировать множество тестов.
