Аня Скляр

Психодиагностика: психометрические основы

2.1. Основные этапы конструирования теста. Разработка заданий.
2.2. Стандартизация теста.
2.3. Определение надежности теста.
2.4. Определение валидности теста.


2.1. Основные этапы конструирования теста
Этапы конструирования теста
-Определение цели теста и разработка спецификации
-Разработка заданий для теста - дотестовые задания-пересмотр-принятие
-Конструирование шкалы
-Пилотажное тестирование
-Стандартизация теста - сбор нормативных показателей
-Валидизация -кросс валидизация
-Публикация руководства
-Пересмотр теста с течением времени

Выделяются  три главные  стратегии  в конструировании  личностных опросников:   дедуктивная, индуктивная и экстернальная  
Дедуктивная или содержательная стратегия базируется на теоретических   представлениях о личности, ее структуре и функционировании.  Разработчик  теста конструирует задания, с помощью  которых, как предполагается, будет оцениваться  определенный  психологический   конструкт. 
Вторая  стратегия  — индуктивная, предполагает использование   факторного   анализа  или других статистических   процедур, основанных  на корреляционных   связях.  Главная  особенность  индуктивной  стратегии состоит  в том, что исследователь  как бы позволяет  данным  говорить  самим за себя. 
Экстернальная стратегия  эмпирична   по  своей  сути и основывается   на сравнении   контрастных   групп. 

Содержательные области – то, что предполагается измерять.
Манифестации – проявления содержательных областей

-Решетка размером от 16 до 25 ячеек (например, 4x4,4x5,5x4 или 5x5) считается идеальной для той длины теста, который вполне реально сконструировать, предъявить и обработать.
-Для достижения  удовлетворительной   надежности  опросника  требуется  не менее  20 заданий, выполнение   которых  обычно  занимает  не более  10 минут.
-Количество  заданий предварительного   варианта теста должно быть по крайней  мере на 50 % больше числа  тех, которые  будут включены  в окончательную версию.

Факторы, искажающие достоверность

Установка на согласие
Установка на социально одобряемые ответы
Установка на неопределенные или средние ответы
Установка на «крайние» ответы

Основные формы вопросов (утверждений) для личностных опросников

1. Вопросы с ответом типа "да-нет"
"Любите ли вы загорать на пляже?"

2. Вопросы с ответами типа "да -?- нет", "да - затрудняюсь ответить - нет"
Если бы волшебник превратил тебя в дерево, ты предпочел бы быть:
а) одинокой, величественной сосной на вершине утеса;
б) яблоней во фруктовом саду;
в) не уверен. (16PF)

3. Альтернативные задания (с ответами типа "правда-ложь")
«Временами я нахожусь во власти какой-то злой силы» (MMPI)

4. Задания с ответами типа "нравится–не нравится"
(1) "фонарщики"; (2) "воротники из бобрового меха"; (3) "бас-барабан".

5. Задания с рейтинговыми шкалами
“Мне нравится бывать с друзьями в кафе: всегда, очень часто, часто, от случая к случаю, редко, очень редко, никогда”

6. Трихотомические задания с выбором
«Когда мне нечего делать, я могу: (а) позвонить другу, чтобы поболтать; (б) заняться разгадыванием трудного кроссворда; (в) пойти на джазовый концерт».

Разработка заданий теста. Анализ заданий.
Правила для формулирования заданий:
  1. Устраняйте возможность проникновения испытуемых в суть того, что изучается при помощи данных заданий.
  2. Формулируйте понятные, недвусмысленные вопросы (утверждения). Каждое  задание  (вопрос)  должны  быть сформулированы    предельно ясно и просто.
  3. Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения. Например, вместо  задания  «Нравится  ли вам спорт?»  лучше использовать  более  конкретный   вопрос:  «Вы регулярно  играете  в какую-нибудь спортивную   игру?».
  4. В каждом задании следует задавать только один вопрос или делать только одно утверждение.
  5. Избегайте слов, определяющих частоту действий. То, что одним  испытуемым  интерпретируется   как  «часто», для другого  совсем  не так. 
  6. Избегайте терминов, выражающих чувства. Вместо этого, попытайтесь представить задание в контексте поведения. Например, задание  «Нравится  ли вам чтение  художественной   литературы»  лучше  заменить  на  «Читаете  ли вы художественную литературу  постоянно?».
  7. При помощи инструкций обеспечьте, чтобы испытуемые давали первые приходящие на ум ответы. Не позволяйте испытуемым долго размышлять над значением заданий.
Очень важно, чтобы любой из предлагаемых  вариантов  ответа воспринимался испытуемым  как возможный, вероятный.   Ответ, воспринимаемый  обследуемым как неправильный,  будет иметь  малую вероятность   выбора.
Установка на социально одобряемый  ответ может  быть  минимизирована с помощью  исключения  из опросника  тех заданий, ответы на которые  оцениваются обследуемым   с точки  зрения  их социальной   желательности—нежелательности.

Анализ заданий

Анализ заданий по результатам, полученным в пилотажном исследовании, имеет своей целью отбор наилучших заданий для окончательной  версии опросника  и включает  в себя определение доли ответивших правильно (в соответствии   с ключом)  и дискриминантности каждого задания. 

1. Вычисление индекса эффективности задания
-Составить матрицу анализа заданий
-Определить количество испытуемых, ответивших в соответствии с «ключом»
-Разделить количество испытуемых, ответивших в соответствии с «ключом», на общее количество испытуемых
-Индекс эффективности для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника

2. Определение дискриминативности заданий
-Найти коэффициент корреляции каждого задания с общим баллом всего теста:

а) Коэффициент произведения моментов Пирсона (для оценивания заданий, имеющих 5 и более вариантов ответа)

r-коэффициент корреляции
Х - результат по заданию
Y - результат по всему тесту
n - количество попарных произведений (количество испытуемых)
Е - сумма
Требуется минимальная корреляция в 0,2 балла

б) Точечно-бисериальная корреляция (для дихотомических заданий)

x1 - среднее по Х объектов со значением единицы по Y
x0 - среднее по Х объектов со значением нуль по Y
Sx - стандартное отклонение всех значений по Х
n1 - число объектов с единицей по Y
n0 - число объектов с нулем по Y, т.е. n=n1+n0
Требуется минимальная корреляция в 0,2 балла

2.2. Стандартизация теста
Стандартизация теста
СТАНДАРТИЗАЦИЯ ТЕСТА - унификация процедуры проведения и оценки выполнения диагностического испытания.

Обычно стандартизация включает точные указания относительно  используемых тестовых материалов, временных ограничений, устных инструкций для участников обследования и другие детали  проведения работы. Так, например, предъявляя инструкцию перед  обследованием, следует принимать во внимание и скорость речи, и интонацию голоса, и паузы, и выражение лица.
Одним  из важных  отличий  психометрических   тестов  является  то, что они  стандартизированы,  а это  позволяет   сравнить  показатели, полученные   одним  испытуемым, с таковыми  в генеральной совокупности  или соответствующих   группах. Тем самым достигается  адекватная  интерпретация   показателя  отдельного  испытуемого. Таким образом, стандартизация  теста наиболее важна в тех случаях, когда осуществляется  сравнение показателей  обследуемых. 
Этапы стандартизации
1. Создание единообразной процедуры тестирования.
2. Создание единообразной оценки выполнения теста: стандартной интерпретации полученных результатов и предварительной стандартной обработки.
3. Определение норм выполнения теста.

Стандартизация процедуры тестирования включает:
-условия тестирования (помещение, освещение и др. внешние факторы)
-содержание инструкции и особенности ее предъявления (тон голоса, паузы, скорость речи и т.д.)
-наличие стандартного стимульного материала
-временные ограничения выполнения данного теста
-стандартный бланк для выполнения данного теста
-учет влияния ситуационных переменных на процесс и результат тестирования
-учет влияния поведения диагноста на процесс и результат тестирования
-учет влияния опыта респондента в тестировании

Ни один испытуемый не должен иметь никаких преимуществ перед другими.

Выборка стандартизации - относительно этой группы вырабатываются нормы, указывающие не только средний уровень выполнения, но и его относительную вариативность выше и ниже среднего уровня

Выборка стандартизации  должна состоять из респондентов, на которых в принципе ориентирован данный тест
Выборка стандартизации должна быть репрезентативной, то есть представлять собой уменьшенную модель популяции по таким параметрам как возраст, пол, профессия, георгафическое распределение и т.д.

«Любая норма, в чем бы она ни выражалась, ограничивается конкретной совокупностью людей, для которых она вырабатывалась... Применительно к психологическим тестам они (нормы) никоим образом не абсолютны, не универсальны и не постоянны. Они просто выражают выполнение теста испытуемыми из выборки стандартизации»    
А.Анастази            


Классическим приемом стандартизации тестового задания  является определение нормативных данных — норм выполнения задания. Психологические тесты часто не имеют заранее определенных  стандартов успешного или неуспешного его выполнения. Сам термин «норма» уже указывает на нормальное или среднее его выполнение. Обычно эта норма устанавливается в зависимости от возраста, пола, других показателей, путем отнесения к той или иной выборке   подходящего типа, например: нормативные данные в начале и в конце  обучения, для одного или другого учебного заведения и т. д.

Меры центральной тенденции в распределении результатов тестирования, которые предназначены для выявления той точки, вокруг которой  в основном  группируются все результаты выполнения теста:

- среднее арифметическое

- мода – наиболее часто встречающийся в выборке результат. Если все значения встречаются в выборке одиноково часто, считается, что распределение не имеет моды. Если два соседних значения имеют одинаковую частоту и эта частота больше частот других значений, мода является средним этих двух значений.
- медиана - результат, находящийся в середине последовательности показателей, если их расположить в порядке возрастания или убывания.
2.3. Определение надежности теста
Надежность теста. Методы определения надежности.

Надежность - относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых

Тест обычно  считается   надежным,  если с его помощью  получаются  одни и те же показатели  для каждого  обследуемого  при повторном  тестировании.

Надежность методики - это такой критерий, который говорит о точности психологических измерений, т.е. позволяет судить о том, насколько внушают доверие полученные результаты.

В психометрике  термин надежность  имеет два значения:
1. Внутренняя согласованность
2. Ретестовая надежность

Внутренняя согласованность определяется связью каждого конкретного элемента теста с общим результатом, тем, насколько каждый элемент входит в противоречие с остальными, насколько каждый отдельный вопрос измеряет признак, на который направлен весь тест. Для того чтобы быть валидным, тест должен быть согласованным. 

Для проверки внутренней согласованности применяются:
1. Метод расщепления или метод автономных частей (заключается в расщеплении/разделении теста на две равные части (например, четные и нечетные вопросы, первая и вторая половина) и нахождении корреляция между ними. Если корреляция высокая, тест можно считать надежным)
Формула Спирмена–Брауна

Методика признается надежной, когда полученный коэффициент не ниже 0,75–0,85

2. Альфа Кронбаха - статистический коэффициент, чаще всего применяемый при оценке надежности теста. При этом сравнивается разброс каждого элемента с общим разбросом всей шкалы. Применяется, если по различным заданиям респондент может получать различные числовые показатели, в зависимости от того, выбрал ли он в наборе ответов обычно, иногда, редко, никогда.

Тест не должен использоваться, если он имеет коэффициент альфа ниже 0,7, а применять его при принятии важных решений по поводу конкретного индивида (например, для оценки необходимости коррекционного обучения) можно только в том случае, если величина коэффициента альфа больше 0,9

3. Метод Кьюдера–Ричардсона

для случаев, когда выполнение заданий оценивается как правильное или ошибочное, по принципу «все или ничего»

Надежность ретестовая — предполагает  повторное  предъявление   того же самого теста тем же испытуемым  и примерно  в тех же условиях, что первоначальное, а затем установление  корреляции  между двумя рядами данных. Наименьшим   удовлетворительным   значением  для ретестовой  надежности  является коэффициент   корреляции, равный  0,7.

Надежность  параллельных форм предусматривает  создание   эквивалентных форм опросника  и предъявление   их одним  и тем же испытуемым  для того, чтобы затем оценить  корреляцию   между полученными   результатами. 

Надежность частей теста определяется путем деления опросника   на две части (обычно  на четные и нечетные  задания), после чего и рассчитывается   корреляция между этими  частями. 


Виды корреляционной связи
2.4. Определение валидности теста

"Валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает"
А.Анастази


Валидность - комплексная характеристика, включающая, с одной стороны, сведения о пригодности методики для измерения того, для чего она создана, а с другой стороны, информацию о том, какова ее действенность, эффективность, практическая полезность.

Тест называется валидным, если он измеряет то, для измерения чего предназначен.

Основные виды валидности:
Валидность очевидная - описывает   представление   о тесте, сложившееся у испытуемого. Тест должен восприниматься   обследуемым  как серьезный  инструмент познания  его личности, чем-то схожий с вызывающим  уважение  и в какой-то  ме- ре трепет  медицинским   диагностическим    инструментарием.   
Конкурентная валидность оценивается по корреляции разработанного  теста с другими, валидность  которых  относительно   измеряемого   параметра  установлена.
Валидность по содержанию - степень соответствия содержания заданий диагностической методики измеряемой области психических свойств. Определяется через  подтверждение   того, что задания  теста  отражают  все аспекты  изучаемой   области  поведения. 
Валидность конструктная - показывает, ансколько результаты теста могут рассматриваться в качестве меры некоего теоретического конструкта или свойства. Демонстрируется полным, насколько  это возможно, описанием  переменной, для измерения  которой  предназначается   тест.
Валидность по одновременности - установление соответствия результатов диагностической методики независимому внешнему критерию, отражающему состояние диагностируемой особенности в момент проведения исследования.
Валидность конвергентная - установление степени связи диагностической методики с родственными методиками.
Валидность дивергентная/дискриминативная - выявление отсутствия связи диагностической методики с методиками, имеющими другое теоретическое основание.
Валидность прогностическая (предсказывающая) - важнейший вид валидности диагностической методики, который подтверждает ее пригодность для выдвижения прогноза. Прогностическая валидность доказывается в ходе особого эксперимента: тестирование психического свойства предшествует будущему критериальному поведению (событию), на прогноз которого и должен быть направлен тест. Устанавливается с помощью   корреляции между показателями теста и некоторым  критерием, характеризующим  измеряемое  свойство, но в более позднее  время.
Валидность текущая - характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике.
Валидность ретроспективная - установление соответствия результатов диагностической методики независимому внешнему критерию, отражающему события или состояние качества в прошлом.
Инкрементная валидность имеет  ограниченное    значение   и относится к случаю, когда один тест из батареи  тестов может иметь низкую  корреляцию   с критерием, но не перекрываться другими  тестами  из этой батареи. 

Выбор процедуры валидизации зависит от последующего назначения результатов теста

Все темы психодиагностика

Источник:
Пальм Г.А. Психодиагностика. - Днепропетровск 2010
Бурлачук Л.Ф. Психодиагностика: Учебник для вузов. 2-е изд. – СПб.:Питер, 2008. – 384 с.
Бурлачук Л.Ф. Словарь-справочник по психодиагностике. 3-е изд. – СПб.: Питер, 2008. – 688 с.

Для этой записи комментарии отключены.