Организационная и психологическая эффективность разных способов представления психодиагностической информации
На правах рукописи
Науменко Анна Сергеевна ОРГАНИЗАЦИОННАЯ И ПСИХОЛОГИЧЕСКАЯ ЭФФЕКТИВНОСТЬ РАЗНЫХ СПОСОБОВ ПРЕДСТАВЛЕНИЯ ПСИХОДИАГНОСТИЧЕСКОЙ ИНФОРМАЦИИ 19.00.03 – Психология труда, инженерная психология, эргономика (психологические наук
и)
Автореферат диссертации на соискание ученой степени кандидата психологических наук Москва – 2008
Работа выполнена на кафедре психологии труда и инженерной психологии факультета психологии Московского государственного университета имени М.В. Ломоносова
Научный консультант: доктор психологических наук, профессор Шмелёв Александр Георгиевич
Официальные оппоненты: доктор психологических наук, профессор Моргунов Евгений Борисович кандидат психологических наук Сугак Екатерина Евгеньевна
Ведущая организация: Институт психологии Российской академии наук
Защита диссертации состоится 19 декабря 2008 г. в 15:00 на заседании диссертационного совета Д.501.001.11 при МГУ имени М.В. Ломоносова по адресу 125009, Москва, ул. Моховая, д. 11, корп. 5, ауд. 310.
С диссертацией можно ознакомиться в Научной библиотеке МГУ имени М.В. Ломоносова Автореферат разослан «_» _ 2008 г.
Ученый секретарь диссертационного совета кандидат педагогических наук, доцент Володарская И.А.
-3
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность. Настоящая диссертационная работа посвящена исследованию особенностей восприятия различных форм представления результатов тестирования и особенностей принятия решений на основании различным образом представленной психодиагностической информации (ПДИ). Сегодня во всем мире психологическое тестирование широко используется в самых различных контекстах. Проблемы, связанные с различными вариантами анализа и учета результатов тестирования, стали особенно актуальны появлением и распространением технологий c компьютерной психодиагностики, делающих проведение тестирования массовым явлением.
При правильном использовании результаты психологического тестирования могут быть чрезвычайно полезны в качестве одного из аргументов для принятия управленческих решений. К сожалению, по данным различных опросов специалистов, далеко не всегда тестирование используется эффективно: опыт многих российских компаний показывает, что результатам диагностики уделяется недостаточно внимания, и на дальнейшую судьбу сотрудников в организации они влияют редко. Знания об индивидуальных различиях в восприятии обратной связи респондентами могут быть чрезвычайно полезны не только для кадровых специалистов, но и для психологов-консультантов и психотерапевтов, помогая им более эффективно довести до клиента обратную связь, которую он не готов воспринять. Таким образом, практическую актуальность работы мы видим в изучении существующей практики использования результатов тестирования и поиске способов повышения эффективности донесения ПДИ до ее потребителя – клиента, прошедшего тестирование, или специалиста, использующего психологическое тестирование в профессиональных целях. Актуальность исследования в теоретическом плане состоит в изучении воздействия качественной и количественной ПДИ на решения, (семантической) принимаемые человеком на ее основе.
-4 Несмотря на широкое распространение тестирования, во всем мире проводится крайне мало исследований, изучающих процедуры или формы представления и интерпретации результатов тестирования. Ретроспективные обзоры литературы зарубежных авторов Р. Гудйиа (Goodyear, 1990), Х. Тинсли и С. Чу (Tinsley, Chu, 1999), Ч. Клейборна и У. Хэнсона (Claiborn, Hanson, 2006) насчитывают, соответственно, по 44, 65 и 75 исследований, посвященных тестовым интерпретациям. Первая работа, в которой затрагиваются вопросы предоставления обратной связи по результатам тестирования, датируется годом (Dressel, Matteson, 1950). За исключением двух неопубликованных работ (Науменко, 2002;
Соловейчик, 1990), выполненных под руководством А. Г.
Шмелёва, исследований, посвященных представлению ПДИ, в отечественной психологии нам неизвестно. Отдельные (достаточно редкие) рекомендации по составлению постдиагностических отчетов можно встретить скорее в практико ориентированной и популярной, чем в научной литературе (Аксенова и др., 2002). Определенное внимание отечественные социальные психологи уделяют предоставлению обратной связи как процессу межличностного общения (Арутюнян, Петровская, 1981;
Базаров, Ладионенко, 2008;
Журавлева, 2004).
Основными целями нашей работы было, с одной стороны, выявление взаимосвязи между формой ПДИ или (количественно-графической качественно-текстовой) и принятием решений профессионалами, использующими в работе результаты тестирования, а с другой стороны – между формой ПДИ и ее восприятием и оценкой неискушенными испытуемыми.
Тем самым мы разделили 1) использование тестовых интерпретаций самими испытуемыми и 2) анализ результатов тестирования клиентов или испытуемых специально обученными профессионалами. С первым типом ситуаций мы связали понятие психологической эффективности ПДИ, или доступности и удобства представления результатов тестирования для самого испытуемого. Ко второй категории ситуаций было применено понятие организационной эффективности ПДИ, или удобства и доступности тестовых интерпретаций для профессионалов сотрудников организаций, – -5 анализирующих «чужие» результаты для принятия определенных решений в интересах своих организаций. Организационная и психологическая эффективность различных форм ПДИ и явились объектом нашего исследования.
Предметом изучения выступили факторы, влияющие на восприятие неискушенными испытуемыми и использование профессионалами (в частности специалистами по подбору персонала – рекрутерами) различным образом представленной ПДИ. В тексте дано обоснование выбора профессии рекрутера в качестве объекта анализа.
Основные задачи работы:
1. Структурирование данной новой проблемной области, в частности, путем анализа литературы, посвященной различным аспектам изучения способов представления ПДИ.
2. Выполнение эмпирического исследования тенденций, характеризующих восприятие ПДИ рекрутерами.
3. Проведение исследования предпочтений ПДИ у неискушенных испытуемых.
4. Подготовка практических рекомендаций по предоставлению обратной связи для психологов-консультантов и специалистов по конструированию психодиагностических методик.
Гипотезы:
1. Форма представления ПДИ влияет на решения, принимаемые на ее основе.
2. Содержательное оформление ПДИ (в терминах компетенций или в терминах личностных черт) влияет на степень импульсивности/рефлексивности решений, принимаемых на ее основе.
3. Рекрутеры отдают предпочтение ПДИ, оформленной а) в качественном виде (скорее, чем в количественном) и б) в терминах компетенций.
-6 4. Специальная инструкция, формирующая установку на более внимательное отношение к количественной информации, может изменять стиль работы с ПДИ.
5. По сравнению с опытными кадровыми работниками рекрутеры с меньшим опытом работы более склонны к поиску дополнительной информации и с большей готовностью анализируют ПДИ в количественной форме.
6. У неискушенных испытуемых существуют предпочтения качественной или количественной ПДИ, определяющиеся их индивидуально-личностными особенностями.
Часть гипотез была сформулирована не сразу, а по ходу эмпирических исследований, после получения определенных результатов. Подробно эволюция исследовательских гипотез описана в тексте диссертации.
Методологической основой работы служат теории развития профессионализма, разработанные Т. В. Кудрявцевым, Е. А. Климовым, А. К.
Марковой, Э. Ф. Зеером и др.;
теория формирования индивидуального стиля деятельности, изложенная в трудах В. С. Мерлина и Е. А. Климова;
принципы и подходы классической теории тестов (А. Анастази, А. А. Бодалев, Л. Ф.
Бурлачук, Н. Гронлунд, П. Клайн, В. В. Столин, А. Г. Шмелев и др.);
концептуальный аппарат компьютерной психодиагностики (В. А. Дюк, Е. Б.
Моргунов, К. Р. Червинская, О. Ю. Щелкова, J. N. Butcher, D. Lachar, J. E.
Williams, N. C. Weed и др.).
В нашей работе мы использовали ряд методов, принятых в психологии труда и психодиагностике: анализ литературы;
отдельные элементы методов наблюдения и трудового метода анализа профессии;
лабораторно-полевой эксперимент (моделирование элементов трудового процесса);
анализ продуктов деятельности;
Интернет-опрос;
компьютеризированное тестирование (метод тестов);
элементы метода обучения как преобразующего метода психологии труда;
статистический анализ данных (t-критерий Стьюдента и F-коэффициент Левена, коэффициент Хи-квадрат, коэффициент конкордации Кендалла W).
-7 Эмпирической базой исследования стали результаты опросов, проведенных в 2007-2008 годах. Выборка включает специалистов по подбору персонала специалистов, использующих тестирование в (N=262), профессиональной деятельности (N=68), неискушенных испытуемых – посетителей форумов автомобильной тематики в сети Интернет (N=1200).
Научная новизна работы состоит в следующем:
1. Впервые на русском языке выполнен литературный обзор научных исследований, посвященных различным аспектам восприятия, представления и эффективности ПДИ.
2. Разработаны и применены оригинальные экспериментальные схемы для анализа процесса восприятия и принятия решений на основе ПДИ.
3. Выявлены и исследованы факторы, опосредующие влияние качественной и количественной формы ПДИ на принятие решений специалистами по подбору персонала.
4. Исследованы факторы, сопровождающие восприятие качественной и количественной формы ПДИ самими испытуемыми.
5. Впервые для исследования восприятия неискушенными испытуемыми ПДИ о себе в качестве стимульного материала использованы истинные тестовые интерпретации, а не псевдоинтерепретации, как в подавляющем большинстве зарубежных работ.
Теоретическая значимость. Проведенное нами исследование вносит вклад в понимание особенностей развития профессионализма и принятия решений специалистами с различным уровнем профессионального опыта.
Полученные эмпирические данные дают определенное представление об особенностях использования рекрутерами ПДИ и ее роли в принятии организационных решений. Возможности изучения организационной и психологической эффективности ПДИ расширяются благодаря предложенным оригинальным экспериментальным схемам, которые показали себя эффективным инструментом изучения выбранного нами объекта исследования.
-8 Практическая значимость. Полученные данные о тенденциях восприятия обратной связи испытуемыми с различными индивидуально-психологическими особенностями могут быть использованы в практике психологического консультирования и при предоставлении ПДИ различным сотрудникам в организации. В работе предложены методические приемы, которые могут быть полезны в обучении рекрутеров и других специалистов, работающих с результатами тестирования, в частности, в обучении наиболее эффективному использованию ПДИ.
На защиту выносятся следующие положения:
1. Воздействие качественной или количественной формы представления психодиагностической информации на принятие решений специалистами по отбору персонала носит не прямой, а опосредованный характер.
2. Воздействие формы представления психодиагностической информации опосредовано индивидуальными особенностями лиц, принимающих решения (включая пол, когнитивный стиль, профессиональный опыт), но в большой степени организационным контекстом (условиями) решения профессиональной задачи. Чем в большей степени психодиагностическая информация учитывается в ходе принятия решения, тем большую роль играет форма ее представления.
3. Существует более значимое воздействие не столько качественной или количественной формы представления информации, сколько ее содержания: специалисты склонны в большей степени учитывать психодиагностическую информацию, сформулированную в терминах компетенций (организационно значимых умений), чем в терминах личностных черт.
4. Негативные эффекты, снижающие организационную эффективность психодиагностической информации Барнума, эффект (эффект когнитивного туннеля, эффект ореола), несколько усиливаются в случае ее оформления в виде качественного текста и в терминах личностных -9 черт и ослабляются – при использовании количественно-графического профиля и терминологии компетенций.
5. Существует значимая взаимосвязь между предпочтением определенной формы представления психодиагностической информации и индивидуальными характеристиками испытуемых, в частности полом, уровнем агрессивности и тревожности. Однако, как и в случае с профессионалами, эти факторы вступают в тесное взаимодействие с содержательными особенностями психодиагностической информации.
Достоверность полученных результатов обеспечиваются применением методов получения и обработки данных, адекватных предмету и задачам настоящего исследования, организацией экспериментов в соответствии со стандартами экспериментальной психологии и психологии труда, а также использованием при обработке результатов современных статистических методов, отвечающих специфике эмпирических данных.
Апробация работы проводилась на кафедре психологии труда и инженерной психологии факультета психологии МГУ имени М.В. Ломоносова.
Основные результаты докладывались на 4-ой международной научно практической конференции «Дружининские чтения» (Сочи, 2005), 6-ой научно практической конференции психология: актуальные «Экономическая теоретические и прикладные проблемы» (Иркутск, 2005), Межрегиональной научно-практической конференции «Прикладная психология как ресурс социально-экономического развития современной России» (Москва, 2005), Международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2008» (Москва, 2008), 6-ой конференции Международной комиссии по тестированию «Влияние тестирования на людей и общество:
повышение значимости тестирования» (Ливерпуль, 2008), Всероссийской научной конференции «Современная психодиагностика в изменяющейся России» (Челябинск, 2008), 1-ой европейской летней школе исследователей в области психологии труда и организационной психологии (Берлин, 2008).
- 10 Структура и объем диссертации. Работа состоит из введения, 7 глав, выводов, заключения, библиографии и приложений. Текст сопровождается таблицами и 4 рисунками. Список использованной литературы включает источника, в том числе 186 на английском языке. Основное содержание работы
изложено на 172 страницах. В приложениях представлены методические материалы, использованные в исследовании.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснованы актуальность, научная новизна, теоретическое и практическое значение работы, определены предмет, объект, гипотезы, цели и задачи исследования, сформулированы положения, выносимые на защиту.
Глава 1 «Психодиагностика как технология сбора и представления психологической информации» очерчивает проблемное поле, в котором проводилось диссертационное исследование, дает общее представление о методах психодиагностики и принятых способах представления ПДИ для внешнего пользователя и клиента, прошедшего тестирование.
В первом разделе первой главы приведена классификация психодиагностических задач Столин, определяющая [Бодалев, 2000], особенности методов, способы предоставления обратной связи, используемые диагностом, а также зону его ответственности и степень вмешательства.
Указаны психодиагностические задачи, ставшие объектом внимания в экспериментальной части работы.
Второй раздел первой главы посвящен различным классификациям методов современной психодиагностики. Рассмотрено два основания для классификации – 1) степень объективности-субъективности результатов диагностики;
по этому критерию различают тестовые (количественные, объективные) и клинические (субъективные, качественные) методы [Анастази, Урбина, 2001;
Бурлачук, Морозов, 2000;
Шмелев, 1996];
2) процедура проведения тестирования, по этому основанию выделяют компьютерные и бланковые методики [Бурлачук, 2008;
Дюк, 1994;
Червинская, Щелкова, 2002 и - 11 др.]. Дано сравнение возможностей и преимуществ каждой группы методов, в сводной таблице приведены результаты исследований эквивалентности бланковых и компьютерных форматов одних и тех же методик.
Третий раздел первой главы посвящен общим вопросам технологии представления результатов тестирования (ПДИ). Упомянуты возможные содержательные единицы представления ПДИ, зависящие от конструкта, положенного в основу диагностического инструмента (черты, типы, факторы, компетенции и пр.). Рассмотрены две классификации тестовых интерпретаций – 1) по форме представления (количественные – график, диаграмма, таблица;
качественные – текст), 2) по предполагаемому пользователю (для испытуемого;
для профессионального психолога, психодиагноста;
для клиента, лица, принимающего решения). Отдельно описаны классификации компьютерных тестовых интерпретаций [Butcher et al., 2000;
Roid, Gorsuch, 1984]. Обоснован выбор измерений «компетенции – психологические черты» и «текстовый отчет – графический шкальный профиль» в качестве двух независимых переменных для стимульного материала экспериментального исследования.
В данном разделе также описаны исследования качественной и количественной формы представления информации, важные для формулирования одной из центральных гипотез диссертационного исследования психодиагностических предпочтениях рекрутеров).
(о Обоснована первичность количественной формы ПДИ (шкальный профиль, диаграмма, таблица баллов) по отношению к качественной форме (текстовое диагностическое заключение, психологический портрет, характеристика).
Текст, использующий достаточно неоднозначные слова («часто», «редко», «обычно», «как правило», «практические всегда», «очень», «чрезмерно» и т.д.), - это всегда лишь приближенное выражение количественных показателей.
В главе 2 «Психологическая эффективность психодиагностической информации» дан обзор исследований, посвященных психологической эффективности ПДИ и различных ее форм, т.е. особенностям восприятия, понимания и принятия ПДИ клиентом прошедшим (испытуемым), - 12 тестирование. Рассмотрены различные критерии, использованные исследователями для оценки психологической эффективности ПДИ.
В первом разделе второй главы дано представление об обратной связи как о психологическом воздействии. Во многих работах авторам не удалось обнаружить значимых различий в эффектах, вызванных разными формами тестовых интерпретаций [Rogers, 1954;
Rubinstein, 1978;
Luzzo, Day, 1999]. Тем не менее большая часть исследований показала, что само по себе предоставление обратной связи (неважно, в какой форме) оказывает положительное влияние на испытуемых и может быть использовано в качестве терапевтического воздействия. Результаты основных исследований данного направления представлены в сводной таблице.
Второй раздел второй главы посвящен особенностям восприятия испытуемыми различного содержания ПДИ. Описаны исследования 1) восприятия псевдоинтерпретаций – эффект Барнума [см. подробные обзоры Snyder et al., 1977;
Dickson, Kelly, 1985;
Furnham, Schofield, 1986], 2) восприятия приятной и неприятной обратной связи – эффект Поллианны [Matlin, Stang, 1978;
Hanson, Claiborn, 2006;
Baillargeon, Danis, 1984;
Ruzzene, Noller, 1986], 3) восприятия обратной связи, совпадающей и не совпадающей с представлениями о себе [Layne, Ally, 1980;
Furnham, Varian, 1988].
В третьем разделе второй главы речь идет о влиянии формы представления ПДИ на ее восприятие испытуемыми. Работ, посвященных анализу формы ПДИ, традиционно меньше, чем тех, что посвящены исследованию содержания ПДИ. Выделено и рассмотрено два направления – 1) сравнение воздействия индивидуальной и групповой формы предоставления обратной связи [Oliver, 1977;
Wright, 1963;
Miller, Cochran, 1979;
Forster, 1969;
Rubinstein, 1978] и 2) влияние стиля предоставления обратной связи на ее восприятие клиентами [Rogers, 1954;
Dressel, Matteson, 1950;
Hanson et al., 1997;
Исследований, в которых, подобно нашему, Hanson, Claiborn, 2006].
сравнивалось бы воздействие количественной и качественной формы представления данных на испытуемых, нам неизвестно.
- 13 В четвертом разделе второй главы рассмотрено влияние личностных особенностей испытуемых на восприятие ПДИ. В нескольких работах, выполненных на материале истинных результатов тестирования [Froehlich, Moser, 1954;
Rogers, 1954;
Swanson, 1964;
Hay et al., 1976], были получены данные о связи между интеллектом и запоминанием результатов тестирования.
Большая же часть работ данного направления выполнена на материале псевдоинтерпретаций. Получены данные о связи степени принятия псевдообратной связи с такими личностными чертами, как авторитарность [Orpen, Jamotte, 1975], потребность в одобрении [Mosher, 1965;
Orpen, Jamotte, локус контроля 1975], [Snyder, Larson, 1972;
Orpen, Jamotte, 1975], эмоциональная нестабильность [Fichten, Sunerton, 1983;
Snyder, Clair, 1977;
Furnham, Varian, 1988], экстраверсия [Furnham, Varian, 1988].
В пятом разделе второй главы рассмотрены возможности изучения взаимовлияния индивидуальных особенностей испытуемых (пол, возраст, социо-экономический статус, индивидуально-психологические различия) и факторов, связанных с оказываемым на них воздействием (специфическое поведение консультанта, способы представления ПДИ). Приведены результаты немногочисленных исследований, в которых удалось [Kivlighan et al., 1981;
Kivlighan, Shapiro, 1987] либо не удалось [Jones, Gelso, 1988;
Barak, Friedkes, 1981;
Forster, 1969] зафиксировать такого рода взаимодействия.
В главе 3 «Организационная эффективность психодиагностической информации» рассмотрены различные аспекты эффективности ПДИ в качестве фактора принятия организационных решений специалистами, использующими в своей профессиональной деятельности психологическое тестирование.
В первом разделе третьей главы обсуждаются вопросы психологии принятия решений в приложении к деятельности рекрутеров. Обзор различных подходов к анализу принятия решений (рациональное принятие решений, естественное принятие решений, синтетический подход) подводит к пониманию принятия решения как результата взаимодействия двух различных - 14 систем переработки и представления информации – рефлексивной и импульсивной [Chaiken, Trope, 1999;
Smith, DeCoster, 2000;
Strack, Deutsch, 2004]. Рефлексивная система работает для того, чтобы были приняты рациональные решения, оптимальные с точки зрения максимизации выгоды и минимизации проигрыша. Работа импульсивной системы больше похожа на то, что принято называть интуицией, – она опирается на часто повторяющиеся ассоциации и события и постепенно формирует готовые поведенческие схемы для действия в разных ситуациях. Работа рефлексивной системы требует больших затрат когнитивных ресурсов, а оперирование готовыми поведенческими схемами, напротив, не требует усилий. Поэтому импульсивная система является ключевой при принятии решений в экстремальных условиях, при нехватке времени и в часто повторяющихся ситуациях. Приведен перечень ловушек импульсивной системы, приводящих к ошибочным решениям, и их возможные проявления в деятельности рекрутеров.
Обсуждаются теории развития профессионализма [Кудрявцев, 1981;
Климов, Маркова, Зеер, этапы формирования 1996;
1996;
2003], индивидуального стиля деятельности и вытекающие [Мерлин, 1986] особенности принятия решений новичками и более опытными профессионалами [Dreyfus, 1997]. Резюмируя, можно сказать, что по мере овладения профессиональными навыками человек все меньше полагается на абстрактные принципы (рефлексивная система) и все больше на конкретный практический опыт (кристаллизующийся в виде стереотипов и эвристик импульсивной системы).
Проведенный нами анализ литературы подвел нас к более глубокому пониманию связи формы и содержания в представлении ПДИ. Мы предположили, что графический шкальный профиль можно на операциональном уровне связать, во-первых, с количественной формой представления информации, а во-вторых, интерпретировать как форму, востребованную в контексте принятия более продуманных, взвешенных решений, основанных на рефлексивном стиле. В то же время отвержение - 15 количественно-графической формы (или пренебрежение) к ней можно рассматривать как индикатор импульсивного стиля принятия решения.
Второй раздел третьей главы посвящен экспертной оценке качества тестовых интерпретаций. Приведены результаты четырех направлений исследований компьютерных тестовых интерпретаций – 1) сравнение тестовых интерпретаций, сформированных компьютером и человеком (экспертом) [Bringmann et al., 1972;
Labeck et al., 1983];
2) сравнение реальных и псеводинтерпретаций, сформированных компьютером [Moreland, Onstad, 1987;
Williams, Weed, 2004;
Prince, Guastello, 1990];
3) сравнение компьютерных тестовых интерпретаций с внешним критерием [Williams, Weed, 2004;
Hedlund, et al., 1972;
Epstein, 1993;
Chase, 1974;
Crumpton, 1975;
Harriington, 1999];
4) исследования удовлетворенности экспертов качеством компьютерных тестовых интерпретаций [Webb et al., 1969, 1970;
Lachar, 1974;
Adams, Shore, 1976;
Eyde et al., 1991;
Butcher et al., 1998;
Williams, Weed, 2004].
В главах с четвертой по седьмую описаны эмпирические исследования, проведенные автором по теме работы. Во всех экспериментах для привлечения и опроса испытуемых были использованы Интернет-технологии. В тексте приведены данные анализа эффективности и сравнительных возможностей Интернет-исследований по сравнению с более привычными бланковыми техниками [Жичкина, 2000;
Науменко, Орел, 2005;
Simsek, Viega, 2001;
Mathy et al., 2003;
Yun, Trumbo, 2000;
Smith et al., 2007] и обоснована возможность использования Интернет-техник для решения задач работы.
Глава 4 «Поисковое исследование организационной эффективности психодиагностической информации» описывает первый в серии из трех проведенных нами экспериментов, посвященных анализу организационной эффективности ПДИ. Его основной задачей было обнаружить наиболее общие тенденции в восприятии и использовании ПДИ рекрутерами и наметить пути дальнейшей работы.
- 16 Первый раздел четвертой главы касается организации исследования: в нем описаны гипотезы пилотного исследования, методика и процедура, группы испытуемых и экспертов.
В качестве испытуемых выступили 5 претендентов на вакансию бизнес аналитика, каждый из которых прошел тестирование по методике 16 РФ1 и предоставил его результаты и свое резюме (краткую профессиональную биографию) для анализа. В роли экспертов выступили специалисты по подбору персонала (всего 51 человек). В данном эксперименте был использован факторный план для двух независимых переменных (качественная – количественная информация, информация в терминах компетенций – в терминах личностных черт). По каждому испытуемому было составлено отчета, состоящих из резюме и данных тестирования, представленных в одной из 4 форм, образованных сочетаниями независимых переменных (см. табл. 1).
Далее было сформировано 4 набора по 5 отчетов по принципу «латинского квадрата» [Дружинин, 2001, с. 120]. Экспертам было предложено ранжировать пятерых соискателей по степени соответствия вакансии бизнес-аналитика, а также ответить на несколько вопросов по каждому из претендентов.
Второй раздел четвертой главы посвящен полученным результатам.
Первый этап обработки результатов подтвердил, что экспертные оценки по всем наборам согласованы (на уровне p 0,0001). На втором этапе были обнаружены значимые различия между отчетами по трем испытуемым (см.
табл. 1).
Анализ зафиксированных различий и комментариев экспертов позволил сделать выводы об отвержении самой простой логической конструкции главной гипотезы данного диссертационного исследования. Сама по себе форма представления тестовой интерпретации или (количественно-графическая текстовая качественная) не предопределяет предпочтение тех или иных данных о кандидатах, то есть не имеет прямых организационных последствий.
Аналог американского 16-факторного опросника Кэттелла, основанный на оригинальном перечне вопросов и оригинальной системе 15 русскоязычных личностных факторов и шкалы социальной желательности [Шмелев, 2002].
- 17 Таблица 1. Оценка значимости различий между средними рангами по различным формам ПДИ.
Испыт. Форма ПДИ Среднее* Комментарий Значимые различия между средними профиль, черты 1, рангами по шкальному профилю и текст, черты 2, Д.А.
тексту в терминах черт. t-крит.** = профиль, компетенции 2, 1,75;
уровень значимости p= 0,084.
текст, компетенции 1, Значимые различия между средними профиль, черты 3, рангами по профилям в терминах черт текст, черты 3, Б.К.
и компетенций. t-крит. = 1,73;
уровень профиль, компетенции 4, значимости p = 0, текст, компетенции 4, профиль, черты Значимые различия между средними 4, рангами по текстам в терминах черт и текст, черты 4, Г.А.
компетенций. t-крит. =1,80;
уровень профиль, компетенции 4, значимости p = 0,067.
текст, компетенции 4, профиль, черты 2, Нет значимых различий между текст, черты 2, П.Т.
различными формами ПДИ профиль, компетенции 2, текст, компетенции 2, профиль, черты 2, Нет значимых различий между текст, черты 1, Л.И.
различными формами ПДИ профиль, компетенции 1, текст, компетенции 2, * Среднее – средний ранг по форме ПДИ (от 1 до 5).
** t-крит. = значение t-критерия Стьюдента.
Мы показали, что на принятие решений кадровыми специалистами лишь в некоторых случаях влияла форма ПДИ. Мы можем говорить о присутствии эффекта более высокого порядка, то есть не о прямом влиянии определенных параметров стимула на решения экспертов, а об «опосредованном», «контекстно-зависимом». В нашем случае то, будет или форма ПДИ влиять на решения экспертов, зависело от следующих факторов:
• степень подробности резюме, сопровождающего результаты тестирования (чем более кратко резюме, тем больше интереса вызывает ПДИ), • собственно результаты тестирования, • эмоционально окрашенный образ, формирующегося на основании анализа ПДИ (ПДИ в терминах личностных черт провоцируют эмоциональную реакцию, которая переносится на оценку профессиональных качеств соискателей: отрицательные эмоции - 18 связаны с заниженными оценками профессионализма, положительные – с завышенными;
ПДИ в терминах компетенций, будучи более релевантны организационному контексту, смещений восприятия не вызывают и стимулируют механизмы рефлексивной системы принятия решений).
Глава формы и содержания как фактор 5 «Взаимовлияние организационной эффективности психодиагностической информации» посвящена исследованию психодиагностических предпочтений специалистов по подбору персонала.
Первый раздел пятой главы описывает организационные аспекты эксперимента – гипотезы, методику, процедура, выборку. Опираясь на результаты поискового исследования, мы сформулировали основную гипотезу данного – о наличии значимых различий в частоте предпочтений ПДИ в терминах компетенций и в терминах психологических черт (в пользу более релевантных компетенций).
Методически данное исследование включало два независимых Интернет опроса о формах и методах психологического тестирования, – 1) предпочитаемых различными специалистами, использующими тестирование в профессиональной деятельности (испытуемые – 68 человек), и 2) об особенностях использования ПДИ рекрутерами (испытуемые – 66 человек). В первом опросе респондентов прямо спрашивали об их предпочтениях. Второй опрос был построен по принципу «мысленного эксперимента», чтобы спровоцировать более «поведенческую» (в противовес «умозрительной») реакцию испытуемых. Участникам было предложено прочесть описание вакансии «Администратор магазина» и просмотреть три резюме претендентов на данную вакансию. Для каждого резюме экспертам предлагали выбрать один из 4 типов дополнительного психодиагностического заключения (те же, что и в главе 4), которое могло бы помочь в принятии решения о приглашении или отказе кандидату в личной встрече. Сама ПДИ не предъявлялась.
- 19 Второй раздел пятой главы посвящен полученным результатам. Вопреки ожиданиям, значимые различия между предпочтениями информации в терминах компетенций и личностных черт обнаружились только по одному из трех резюме (см. табл. 2).
Таблица 2. Предпочтения различных способов представления ПДИ.
Резюме 1, кол-во Способ представления исп., выбравших психодиагностической Резюме 2 Резюме 3 Суммарно данный вариант информации ответа таблица или профиль, 8* 16 15 психологические черты таблица или профиль, 24* 14 18 компетенции словесное описание 7** 15 18 психологических черт текстовое описание 27** 21 15 компетенций * - значимые различия;
Хи2 = 4,27, p = 0,0389.
** - значимые различия;
Хи2 = 6,44, p = 0,0112.
Проведя дополнительный содержательный анализ резюме, мы предположили, что возможным фактором влияния является также степень соответствия резюме вакансии, обратно связанная со значимостью ПДИ для принятия решения лучше профессиональный опыт кандидата (чем соответствует вакансии, тем менее важна ПДИ для принятия решения). Итогом результатов двух исследований (главы 4-5) стала схема взаимодействия различных факторов, опосредующих предпочтения рекрутеров относительно формы и содержания ПДИ (рис. 1).
Были выявлены противоречия между ответами на два опросника: отвечая на прямые вопросы, испытуемых сообщают о предпочтении 75% количественной информации, но лишь 26% респондентов в мысленном эксперименте во всех трех случаях выбирают количественную ПДИ. У нас есть основания исключить вероятность сознательной фальсификации результатов, поэтому мы полагаем, что в ответах на прямые вопросы имеем дело с нормативными представлениями, а в результатах мысленного эксперимента – с более реальными способами деятельности. Нормативные представления, по - 20 видимому, формируются в процессе обучения и представляют собой продукт рефлексивной системы принятия решений. Реальные способы деятельности формируются в процессе профессиональной деятельности и несут на себе отпечаток эвристик и стереотипов импульсивной системы.
Биографическая информация подробная краткая Степень соответствия биографической ПДИ в терминах информации требованиям вакансии компетенций предпочтительнее слабая высокая умеренная Нет выраженных предпочтений формы ПДИ Рис. 1. Факторы, влияющие на психодиагностические предпочтения рекрутеров.
Основной вывод, который мы делаем из данного исследования, - о том, что предпочтения экспертов определяются не столько особенностями ПДИ (ее функциональным удобством), сколько индивидуально-личностными или профессиональными особенностями (например, возрастом, полом, стажем работы, характером образования, структурой интеллекта и т.д.).
В главе 6 «Исследование особенностей принятия решений кадровыми специалистами» описано последнее, проведенное нами исследование организационной эффективности ПДИ. В нем мы попытались проконтролировать два фактора – 1) особенности задачи, в рамках которой происходит анализ ПДИ и 2) индивидуальные особенности экспертов, принимающих решения.
В первом разделе шестой главы описаны особенности организации исследования – гипотезы, методика, процедура, экспериментальная выборка.
Учитывая результаты предшествующих исследований для данного мы - 21 сформулировали две гипотезы: 1) о влиянии инструкции, в частности установки на более внимательное отношение к количественной информации, на стиль принятия решений;
2) о влиянии профессионального опыта на принятие решений (о более активном использовании количественной информации новичками).
Данное исследование проводилось в рамках реального конкурсного отбора на вакансии консультанта по оценке персонала (для опытных специалистов) и ассистента консультанта по оценке персонала (для новичков). Специалистам, откликнувшимся на объявление, было предложено выполнить тестовое задание в режиме онлайн-диалога с компьютером. В тестовом задании участников просили ознакомиться с описанием гипотетической вакансии и отрывками из текстовых психологических портретов двух претендентов на нее. Испытуемых просили определить, кто из кандидатов по личностным качествам лучше соответствует требованиям вакансии, а потом спрашивали, достаточно ли у них было данных для принятия обоснованного решения и нуждаются ли они в дополнительной информации (количественных результатах тестирования, представленных в табличной форме). Испытуемые были случайным образом распределены по двум условиям: контрольная группа (58 человек) получала инструкцию, включающую описание вакансии и словесное описание личностных черт двух соискателей, экспериментальная группа (59 человек), помимо инструкции, получала информацию о необходимом уровне выраженности искомых личностных качеств у успешного кандидата (количественный показатель).
Во втором разделе шестой главы обсуждаются полученные результаты.
Значимых различий в содержательной стороне ответов и частоте поиска дополнительной количественной ПДИ между экспериментальной и контрольной группой обнаружено не было. То есть инструкция запланированного нами побудительного эффекта не имела, и мы можем говорить об отвержении первой экспериментальной гипотезы. Такой результат может означать 1) неверную гипотезу, 2) неудачно оказанное воздействие (в - 22 частности плохо составленную инструкцию) или 3) неудачно подобранное задание для испытуемых. В тексте изложены возможные способы изменения схемы исследования (в т.ч. инструкции и задачи), которые могут пролить дополнительный свет на проблему.
Нам удалось зафиксировать значимые различия в стратегиях принятия решений новичками и экспертами (вторая гипотеза). Новички значимо чаще сообщали о недостаточности предоставленной информации и стремились проанализировать дополнительные количественные данные. Кроме того, новички значимо чаще, чем более опытные специалисты, изменяли свое первоначальное решение после просмотра количественной информации (см.
табл. 3).
Таблица 3. Особенности принятия решений новичками и экспертами.
Достаточность информации* Изменение решения** Да Нет Да Нет Новички 18 28 4 Эксперты 42 29 0 * - значимые различия;
Хи2 = 4,48, p = 0, ** - значимые различия;
Хи2 = 3,62, p = 0, Итогом наших размышлений об особенностях принятия решения новичками и экспертами стала схема, представленная на рис. 2.
опытные Обращение к Отказ от рекрутеры профессио- дополнительной нальному количественной опыту ПДИ Анализ качественной Принятие информации решения Обращение к Учет личному дополнительной количественной опыту новички ПДИ Рис. 2. Схема принятия решений опытными и неопытными рекрутерами - 23 Глава предпочтения неискушенных 7 «Психодиагностические испытуемых» посвящена эмпирическому исследованию психологической эффективности ПДИ.
Первый раздел седьмой главы касается организации исследования – в нем описаны гипотезы, методика и процедура исследования, экспериментальная выборка. В исследовании приняли участие 1200 посетителей форумов автолюбителей в сети Интернет, им было предложено пройти тест «Стиль вождения» для определения особенностей собственного водительского стиля.
До начала тестирования испытуемые выбирали форму, в которой хотели бы получить обратную связь (шкальный профиль или текстовое заключение). По окончании тестирования 199 человек из числа участников первого этапа оценили качество предоставленной им обратной связи по 8 заданным критериям.
Во втором разделе седьмой главы изложены полученные результаты.
Обнаружены гендерные различия в предпочтениях ПДИ: женщины значимо чаще предпочитают качественное представление данных, мужчины – количественное. Этот факт может быть объяснен с позиций дифференциальной психологии, согласно которой у женщин, как правило, лучше развит вербальный интеллект, а у мужчин – зрительно-пространственный [Бендас, 2005;
Виноградова, Семенов, 1993;
Чекалина, 2006;
Maccoby, Jacklin, 1975;
Mayes et al., 1988;
McGuinness, 1976;
Siegel, Schadler, 1977;
Vasta et al., 1980].
Предположительно с этими различиями может быть связана обнаруженная нами тенденция рекрутеров, большинство из которых женщины, по мере накопления профессионального опыта меньше внимания уделять точным количественным данным и больше – качественным.
Несмотря на отсутствие значимых различий в удовлетворенности количественной и качественной ПДИ, на уровне тенденции мы наблюдаем следующий эффект: в среднем неискушенные испытуемые несколько чаще заявляют о своем предпочтении количественной ПДИ (53% против 47%), однако в среднем же демонстрируют несколько большую удовлетворенность - 24 качественной ПДИ. В этом смысле их предпочтения схожи с предпочтениями менее опытных профессионалов (рекрутеров).
Еще одним результатом является обнаруженная в исследовании связь низкой агрессивности (в приложении к стилям вождения) и предпочтения количественного способа представления информации. Мы предполагаем, что низкая агрессия связана с большей рефлексивностью, вдумчивостью, склонностью к анализу и потому побуждает испытуемых больше интересоваться точными количественными данными. Также мы показали, что такие характерологические черты, как тревожность, дисциплинированность и импульсивность, влияют на удовлетворенность респондентов качеством обратной связи по результатам тестирования.
Мы получили свидетельства того, что высоко тревожные испытуемые по из 8 критериев оценили качество обратной связи ниже, чем испытуемые с низкой тревожностью. Этот результат в известной степени противоречит данным зарубежных работ, в которых изучалось доверие к псевдоинтерпретациям (в духе Барнума)2. В экспериментах западных коллег [Fichten, Sunerton, 1983;
Furnham, Varian, 1988;
Snyder, Clair, 1977] испытуемые с высокими баллами по шкале нейротизма демонстрировали больше доверия к любого рода информации, чем эмоционально устойчивые респонденты. В тексте приведено несколько причин, которые могут лежать в основе противоречия между нашими и зарубежными данными, однако центральное предположение состоит в существенном отличии псевдоинтерпретаций от истинной ПДИ. Мы предполагаем, что генерализованная обратная связь не является таким уж хорошим материалом для изучения связи индивидуальных особенностей испытуемых с их восприятием обратной связи.
Итогом работы на основании изучения литературных источников и результатов, полученных в эмпирических исследованиях, являются следующие выводы:
За исключением нескольких работ, в которых изучалась связь интеллекта или академической успеваемости с восприятием ПДИ [Froehlich, Moser, 1954;
Rogers, 1954;
Swanson, 1964], зарубежные исследователи в качестве стимульного материала использовали псевдоинтерпретации, основным преимуществом которых считается стандартизованность.
- 25 1. Степень и характер влияния формы тестовых интерпретаций на ее организационную и психологическую эффективность опосредованы различными факторами и, прежде всего, содержанием самой психодиагностической информации.
2. На проявление эффектов формы влияют следующие факторы:
• степень подробности резюме, предваряющего результаты тестирования;
• собственно тестовые результаты;
• содержательный способ оформления тестовой интерпретации (использованная терминология, понятийный аппарат);
• эмоционально окрашенный образ, формирующийся у кадрового специалиста на основании знакомства с тестовыми результатами;
• значимость психодиагностической информации для принятия организационного решения;
• организационно-деятельностные условия принятия решения рекрутером;
• индивидуальные особенности эксперта, анализирующего «чужие» результаты тестирования;
• индивидуальные особенности реципиента-испытуемого, прошедшего тестирование и получившего обратную связь;
• содержание обратной связи, ее «приемлемость» для испытуемого, прошедшего тестирование.
3. Декларативные и реальные психодиагностические предпочтения рекрутеров различаются, на словах специалисты утверждают о большем интересе к количественным данным, тогда как на практике анализируют их в меньшей степени.
4. Организационная эффективность психодиагностической информации тесно связана с профессиональным опытом специалиста, принимающего решение. В частности менее опытные рекрутеры с большей готовностью пользуются количественными данными и потенциально могут - 26 использовать психодиагностическую информацию более активно и эффективно3.
5. Негативные эффекты восприятия Барнума, ореола, (эффекты когнитивного туннеля), снижающие организационную эффективность психодиагностической информации, усиливаются при ее оформлении в качественной форме и в терминах личностных черт и ослабляются при использовании количественной формы и терминологии компетенций.
6. Психологическая эффективность психодиагностической информации тесно связана с полом реципиента – женщины значимо чаще предпочитают текстовый способ представления психодиагностической информации, мужчины – количественно-графический.
В заключении обсуждаются перспективы дальнейших исследований, в частности постэкспериментальные гипотезы, возможные направления экспериментальной работы и методические находки;
даны практические рекомендации по предоставлению обратной связи для разработчиков и различных групп пользователей психодиагностических методик.
Список публикаций по теме диссертации Работы, опубликованные в ведущих рецензируемых научных журналах, рекомендованных ВАК Министерства образования и науки РФ 1. Науменко А. С. Влияние формы тестовых интерпретаций на принятие решений специалистами по подбору персонала. /Науменко А. С. // Психология. Журнал Высшей школы экономики. 2007. 4 (3). – С. 127-140.
2. Науменко А. С. Способ представления психодиагностической информации как фактор ее организационной эффективности. /Науменко А. С., Шмелев А. Г. // Вестник МГУ. Серия 14. Психология. 2008. № 3. – С. 47-154 (авт. вклад – 50%).
Возможно, в данном случае существенную роль играет не опыт как таковой, а сопутствующий опыту фактор «самонадеянности», который мы в нашем исследовании не контролировали.
- 27 Другие работы, опубликованные по теме диссертации 3. Науменко А. С. Использование Интернет-технологий для проведения психологических исследований. /Науменко А. С., Орел Е. А. // Отечественная психология в контексте мировой науки и практики.
Материалы Международной научной конференции студентов, аспирантов и молодых ученых «Ломоносов-2004». Секция «Психология» (Москва, 13-14 апреля 2004 г.) / Под ред. А.И. Донцова, Т.Ю. Базарова. М., Факультет психологии МГУ им. М.В. Ломоносова, 2005. – С. 147- (авт. вклад – 50%).
4. Науменко А. С. Проблемы и перспективы профессии рекрутера. / Науменко А. С.// Прикладная психология как ресурс социально экономического развития современной России. Материалы межрегиональной научно-практической конференции. Москва, факультет психологии МГУ им. М.В. Ломоносова, 17-20 ноября года. М.: АНО УМО «Инсайт», 2005. – С. 311-313.
5. Науменко А. С. Автоматизация работы психолога: возможности и перспективы. /Науменко А. С. //Экономическая психология: актуальные теоретические и прикладные проблемы. Материалы конференции.
Иркутск, 2005. – С. 271-273.
6. Науменко А. С. Классификация различных способов предъявления психодиагностической информации. /Науменко А. С. // Дружининские чтения: Материалы международной научно-практической 4-й конференции, г. Сочи, 5-7 мая 2005 г./ Мин-во образования и науки РФ;
Соч. гос. ун-т туризма и курорт. дела;
Соц-пед. ин-т;
Под ред. С.Н. Тесля, И.Б. Шуванова, С.В. Киктева. Сочи, 2005. – С. 163-164.
7. Науменко А. С. Влияние личностных особенностей на восприятие результатов тестирования. /Науменко А. С. // Современная психология: от теории к практике. Материалы XV Международной коныеренции студентов, аспирантов и молодых ученых «Ломоносов – 2008». Секция «Психология». Москва, 9-10 апреля 2008 г. М.: МГУ, 2008. – С. 315-318.
- 28 8. Naumenko A. S. The influence of different forms of test interpretation on the decision making among HR specialists. /Naumenko A. S., Orel E. A. // Programme and Summaries of the 6th Conference of the International Test Commission “The Impact of Testing on People and Society: Enhancing the Value of Test Use”. Liverpool, 13-16 July 2008. – P. 96. (авт. вклад – 80%).
9. Науменко А. С. Влияние способа представления результатов тестирования на их восприятие и использование неискушенными испытуемыми и профессионалами. /Науменко А. С. // Современная психодиагностика в изменяющейся России сборник тезисов – Всероссийской научной конференции. Челябинск: Издательство ЮУрГу, 2008. – С. 85-86.