Анализ заданий. —  Его целью является — предоставить информацию о том, насколько адекватно функционируют составляющие тест задания (или пункты). Эта информация может затем использоваться для повышения надежности и валидности теста путем редактирования или удаления слабых заданий. Анализ заданий теста достижений может также предоставлять диагностическую информацию о том, что знают и чего не знают экзаменуемые, и потому быть основой планирования обучения и пересмотра учебных программ. Информация, получаемая в результате анализа заданий, может быть рациональной (оценочной) или эмпирической (статистической).

Рациональный анализ заданий предполагает тщательное изучение каждого задания для определения того, является ли его содержание точным, соответствующим спецификациям к тесту, свободным от культурных или других предубеждений и отвечающим стандартным требованиям, которые предъявляются к составлению тестовых заданий. Этот подход характерен для анализа заданий критериальных тестов достижений, но может применяться и к тестам, основанным на статистических нормах. Эмпирический анализ заданий состоит в вычислении одной или нескольких статистических мер функционирования задания, включая индекс трудности задания, индекс различительной способности (валидности) задания и ряд мер функционирования дистракторов.

Индекс трудности (p) задания рассчитывается довольно просто — как доля тестируемых, давших правильный ответ на данное задание. Оптимальный индекс трудности варьирует в зависимости от цели теста и типа задания. Процедура определения индекса способности задания различать испытуемых на основе получения ими различных оценок по критериальной переменной зависит от характера критерия и типа теста. Типичными внутренними критериями для теста достижений являются суммарные показатели по этому тесту, которые ранжируются и делятся на верхнюю (U) и нижнюю (L) группы. В случае, если тест ориентирован на статистические нормы, эти две группы обычно состоят из испытуемых, представляющих верхние 27% и нижние 27% распределения суммарных показателей по данному тесту. Затем для каждого задания по формуле D = рU — pL рассчитывается индекс различительной способности (D), где рU и рL — доли испытуемых, правильно выполнивших данное задание, в верхней и нижней группах соответственно. При внешнем критерии, таком как оценки выполнения работы или школьные отметки, индекс различительной способности задания рассчитывается по формуле для точечно-бисериального коэффициента корреляции (rpb) между оценкой выполнения задания (0 или 1) и оценками критериального континуума. Очевидно, что чем ближе или D или rpb к 1,00, тем более валидным является данное задание как дискриминатор между высокими и низкими показателями по выбранному критерию. В зависимости от размера группы, по результатам тестирования которой вычисляются индексы D или rpb, уже такая их величина, как 0,20, может оказаться достаточной для сохранения заданий в тесте. Следует, однако, заметить, что отбор заданий на основе D, в общем, приводит к созданию внутренне согласованного, однородного теста. В противоположность этому отбор заданий на основе rpb обычно будет давать менее однородный, но зато более валидный для предсказания внешнего критерия тест. Определение различительной силы заданий критериального теста требует несколько большего объема работы.

У. Дж. Пофам описывает два метода: а) определение претестовых — посттестовых различий и б) определение различий между обученной и необученной группами. Несмотря на то что анализ заданий в тесте с множественным выбором ответов фокусируется на индексах трудности и различительной способности отдельных заданий, ответы на неправильные варианты выбора (дистракторы) также можно исследовать. В целом каждый дистрактор должен быть равно привлекательным для экзаменуемых, которые не знают ответа на данное задание. Кроме того, отношение числа экзаменуемых в верхней группе (по критерию) к числу экзаменуемых в нижней группе должно быть примерно равным для всех дистракторов.