Меры критерия — или критериальная мера — это стандарт, эталон и т. п. В психологии под критерием чаще всего подразумевается стандарт (эталон) для оценивания валидности теста. Иногда термин «критерий» также используют для обозначения переменной, значения которой предсказываются по другим переменным, как в случае изучения множественной корреляции. Когда дело касается оценки валидности теста, мера критерия обычно выступает общепринятая мера изучаемого поведения. Чем в большей степени коррелирует тест с таким стандартом, тем выше критериальная валидность данного теста.

Критериальная валидность подразделяется на текущую (диагностическую) и прогностическую валидности. Текущая валидность определяется на основе корреляции показателей теста с замерами критерия, проводимыми примерно в одно время с тестированием. Прогностическая валидность определяется на основе корреляции показателей теста с замерами критерия, полученными спустя какое-то время после тестирования. Проблема мер критерия заключается в том, чтобы найти такие меры, которые можно было бы принять в качестве общепризнанных стандартов. Эта проблема легче решается в том случае, когда имеется возможность получить выборочные замеры деятельности, например, работы продавца. Хотя работа хорошего продавца может характеризоваться несколькими важными показателями — уровнем удовлетворенности покупателей, числом и объемом повторных продаж и числом покупателей — за мерами критерия чаще всего принимаются показатели общего объема продаж. Можно также сконструировать составную меру критерия, используя весовые коэффициенты, рассчитываемые путем усреднения оценок важности отдельных критериев, полученных на соответствующей выборке менеджеров по продажам.

Стандартизация вызывает большую проблему в ситуации, когда критерий представляет собой конструкт. Эта проблема начинается с принятия решения о том, что включать в «умение продавать». Чем более многозначен такой конструкт, тем больше возникает затруднений. Сначала необходимо определиться с тем, что должно входить в данный конструкт, затем найти способы оценки таких многозначных понятий как «социальная успешность», затем прийти к согласию в отношении того, как взвешивать эти аспекты при использовании их в сочетании — весьма непростая задача. Чтобы использование мер критерия в роли стандартов не вызывало сомнений, их следует тщательно проанализировать на предмет того, что они измеряют именно то, что должны, по предположению, измерять.

К примеру, Рой Голдмен и Роберт Слотер указывают на то, что средний балл успеваемости является ненадежным критерием успешности обучения в колледже, потому что студенты с низкими способностями тяготеют к выбору легких курсов, в которых они могут добиться успеха, в то время как студенты с более высокими способностями выбирают для себя более трудные курсы, где они могут не получить высоких отметок. Богден и Тейлор подробно рассматривают источники смещения критерия. Они выделяют четыре класса причин, приводящих к систематическим ошибкам: а) недостаточность критерия, или упущение релевантных элементов; б) дефектность критерия, или включение в его состав посторонних элементов; в) смещение единиц критериальной шкалы, или неравномерность шкалы (например, шкала дает слишком большое число благоприятных оценок, вместо их малого числа, которое бы получилось в случае их колоколообразного распределения); г) деформация критерия, или неправильное взвешивание элементов в составном критерии.

К числу факторов, могущих приводить к систематическим ошибкам при измерении критерия, относят ошибку благоприятной возможности, эффект ореола и вмешательство опыта. Ошибка благоприятной возможности происходит, когда некоторые из работников, в отличие от других, имеют больше возможностей проявлять критериальное поведение, что приводит к их более высоким оценкам по критерию, хотя при равных возможностях эти другие могли бы реализовывать это поведение с неменьшим успехом. Эффект ореола обнаруживается при работе с оценочными шкалами, когда на оценки отдельных черт влияет общее впечатление оценивающего об оцениваемом им человеке. Вмешательство жизненного опыта имеет место в ситуации, когда критериальное поведение изменяется вместе с неконтролируемым фактором жизненного опыта.