Специфика измерений нематериальных объектов

Для того чтобы измерять нематериальные – то есть те, которые нельзя «ощутить» буквально – величины, были созданы валидные методы измерения и диагностики психологических конструктов, которые преследуют как исследовательский интерес ученых социальных наук, так и решают прикладные и практические задачи, связанные с таким важным параметром нашего общества, как человеческий ресурс.

Что такое психометрика

Психометрика – это наука, изучающая теорию и методологию измерений в социальных науках , которая находится на стыке математики, психологии, когнитивных наук, педагогики. Психометрика определяет принципы разработки инструментов измерений  в социальных науках, а также принципы работы с данными измерений.  Таким образом, психометрика позволяет получить надежные и валидные данные измерений, которые могут использоваться для принятия правильных управленческих решений или проверки исследовательских гипотез.

Психометрика возникла из социального запроса на более объективные и надежные методы измерения психологических характеристик людей. Без психометрики невозможно надежно оценить и сделать правильные выводы об учебных достижениях учащихся, провести квалификационный или сертификационный экзамен, оценить сформированность различных компетенций у студентов или коллектива предприятия.

Ну и, наконец, психометрика является важным инструментом в исследованиях в области любых социальных наук, она позволяет измерять переменные интереса, анализировать данные и делать выводы на  делать выводы на основе объективных данных .

Она активно применяется в любом образовании, в HR-сфере, в продуктовых и UX-исследованиях, в EdTech.

Традиционная и вычислительная психометрика

В настоящее время в психометрике существует два основных направления – традиционное и вычислительное.

Традиционная психометрика возникла более века назад как ответ на потребность измерения психологических характеристик людей. В широком смысле модели психометрики связывают наблюдаемые данные тестирования с ненаблюдаемыми (латентными) характеристиками респондентов. На сегодняшний день в традиционной психометрике известны различные подходы: классическая теория тестирования, классическая теория тестирования ,  современная теория тестирования . Традиционная психометрика основывается на структурированных данных, например, баллах респондентов за выполнение заданий. Существующие модели современной теории тестирования позволяют включать в модели дополнительные параметры, помимо характеристик респондента и задания, например, характеристики экспертов, проверяющих задания, или время ответа. Традиционная психометрика широко используется в психологическом и образовательном тестировании, и в большинстве случаев ее достаточно для нужд оценивания.

Вычислительная психометрика – направление психометрики, возникшее недавно (термин появился примерно в 2015 году) как ответ на новые вызовы, связанные с развитием цифровых технологий в оценивании, появлением новых типов заданий с насыщенной тестовой средой, с большими объемами данных тестирования, зачастую   конфирматорный факторный анализ . Вычислительная психометрика объединяет методы наук о данных и машинного обучения в психометрике, придерживаясь при этом принципов измерений в психологии и образовании.

Также в психометрике, как в любой науке, существуют общепринятые стандарты измерений. Самые известные – это стандарты, разработанные совместно Американской ассоциацией исследователей в образовании неструктурированных ,  Американской ассоциацией исследователей в образовании и  Американской психологической ассоциацией и Национальным советом по измерениям в образовании .

Специалисты ориентируются на эти стандарты при разработке инструментов и работе с данными.

Задачи и перспективы

В краткосрочной перспективе психометрика решает задачи оценивания образовательных результатов, причем не только предметных, но и метапредметных (смысловое чтение, работа с информацией, критическое мышление, креативность, работа в команде и т.д.). В новых  ФГОС  прописано, что результаты обучения должны измеряться, причем в динамике – то есть речь идет об измерении прогресса в обучении.

В перспективе психометрика в образовании может:

• повысить надежность и валидность измерений в образовании через использование дополнительной (так называемой коллатеральной) информации из цифровой среды оценивания;
• помочь в разработке индивидуализированного обучения через выявление индивидуальных потребностей учащихся и разработки персонализированных образовательных программ;
• улучшить процесс отбора (например, персонала), сделать его более справедливым, помочь в предоставлении сотрудникам соответствующей поддержки в период адаптации;
• содействовать улучшению учебных материалов и методик обучения: психометрические данные могут использоваться для определения эффективности учебных материалов и методик обучения, что позволяет улучшить их качество и результативность.

Однако профессиональные психометрики, как, впрочем, и инженеры-метрологи, пока товар штучный.

В настоящее время в России психометриков готовят на различных курсах дополнительного профессионального образования, в частности, у нас, в Институте образования НИУ ВШЭ. Профессиональное образование можно получить на магистерской программе «Обучение и оценивание как наука» – тоже в Институте образования НИУ.

Измерения в психометрике с помощью нейросетей

Инструменты измерения с применением нейросетей представляют собой современный подход к оценке характеристик и состояний человека с использованием методов машинного обучения и искусственных нейронных сетей.

Из плюсов применения нейросетей можно отметить (это имеет отношение не только к оцениванию) объективность и автоматизацию (нейросети позволяют автоматически анализировать и интерпретировать большие объемы данных), использование широкого спектра данных (тексты, звук, видео), что позволяет получить более полную картину психологических характеристик и состояний, скорость и эффективность (нейросети способны обрабатывать данные значительно быстрее, чем человеческий мозг, что может сэкономить время и ресурсы при оценке).

Некоторые потенциальные минусы использования нейросетей:

• необходимость высококачественных и разнообразных данных, что может быть проблемой в реальных условиях;
• этические вопросы (опасения в отношении конфиденциальности).

И, наконец, основная проблема – неинтерпретируемость данных нейросетей.

Пределы измерений

Разумеется, психометрика не всесильна. Нельзя измерить конструкты, которые не имеют четкой, теоретически обоснованной структуры. Но я с ходу не могу привести примеры таких конструктов. Пока в моей практике все конструкты, с которыми мы сталкивались, были измеримы. В нашем центре созданы:

1. инструменты измерения компетенций 4К (критическое мышление, креативность, коммуникация и кооперация) для школьников;
2. инструменты СТАРТ/ПРОГРЕСС измерения индивидуального прогресса учащихся начальной школы – от стартовой диагностики в начале первого класса до итоговой в конце 4-го;
3. инструменты оценивания цифровой грамотности;
4. инструменты оценивания социальных и эмоциональных навыков школьников (достижение цели, управление эмоциями, работа с другими) и многие другие.

 Все инструменты компьютеризированы, с автоматической обратной связью, с доказанными надежностью и валидностью.

Разумеется, как и любые измерения, все тесты имеют погрешность, или, как принято говорить, ошибку измерения. Но чем качественнее инструмент, тем ниже ошибка измерения и выше его надежность, тем больше можно доверять его результатам.

Главное правило – нельзя использовать инструмент с недоказанными валидностью и надежностью. Психометрика дает механизм, как разработать хороший тест и как оценить его качество.

Вместо заключения

Говоря коротко, измерить с помощью психометрики можно и математические способности, и креативность, и способность человека к аналитическому и критическому мышлению, степень усвоения полученных знаний, эмоциональный интеллект, лидерские качества и многое другое. Все это решается в пределах теоретических рамок и набора рабочих инструментов специалиста по психометрике.

Сейчас активный запрос на проведение психометрических исследований идет со стороны бизнеса: понимание стратегии развития компании и уровня компетенции коллектива является для коммерческих структур актуальной и осознанной потребностью.

Однако способность психометрики собирать, анализировать, интерпретировать и доказывать релевантность данных, которые являются «неосязаемой материей», на наш взгляд, может быть востребована во всех сферах жизни, особенно в условиях быстрой сменяемости трендов и экономической перестройки.