2. Определить элементы, которые требуют и допускают тестирование. Другими словами, можно ли классифицировать людей в ней по степеням мастерства? В некоторых профессиях было обнаружено, что профессия требует просто выполнения одного набора операций, и среди членов профессии не было никаких градаций.
3. Определить виды тестов, которые можно использовать. Некоторые профессии, такие как вождение грузовика и машинопись, в основном являются вопросом навыка, и для них практические тесты лучше, чем устные. Другие профессии, такие как внутренняя проводка и эксплуатация электростанций, в основном являются вопросом знаний. Для этих профессий лучше всего подходят устные и картинные тесты.
После того как путем опроса было обнаружено, что профессия является признанной профессией и может быть протестирована, собирается информация из всех доступных источников. При подготовке армией профессиональных тестов консультировались эксперты в профессии, представители профсоюзов, литература по профессии, органы профессиональных училищ, работодатели и тому подобное. Таким образом было обнаружено, что является элементами профессии и что составляет мастерство в ней.
В результате этого сбора информации удалось составить ряд вопросов, обычно от сорока до шестидесяти, каждый из которых требовал ответа, показывающего знание профессии. Опыт формулирования таких вопросов показал, что хороший вопрос отвечает следующим требованиям:
1. Он должен быть на языке профессии.
2. Он должен быть единицей, законченной в себе и не требующей дальнейших объяснений.
3. Это не должен быть случайный вопрос, на который можно ответить хорошей догадкой. Крайним примером был бы вопрос, требующий ответа «да» или «нет».
4. Он должен быть как можно короче и на него можно ответить очень коротким ответом.
5. Он не должен быть двусмысленным; значение должно быть безошибочным.
После того как большое количество первоначально сформулированных вопросов было отсеяно применением требований, изложенных выше, и других, менее важных, они используются в предварительной выборке на ряде ремесленников, занятых в профессии, обычно от девяти до двенадцати, чьи ответы указывают на достоинства различных вопросов и их градации, от легких до трудных. В этой выборке проверяются ремесленники из разных мастерских или заводов, чтобы защититься от специализированных методов или способов выражения, ограниченных одной местностью. На этом этапе над каждым набором вопросов работали по крайней мере два экзаменатора, в работе армии, чтобы получить преимущество более чем одной точки зрения для пересмотра.
Эта предварительная выборка дает средство проверки по следующим пунктам:
1. Применим ли тест к условиям профессии?
2. Представляет ли тест хорошую профессиональную практику?
3. Каким образом части могут быть выгодно модифицированы, дополнены или исключены?
4. Представляет ли тест весь диапазон профессии, от новичка до эксперта?
5. Является ли это репрезентативной выборкой всего диапазона профессиональных процессов?
В свете ответов на эти вопросы тест пересматривается в процессе этой выборки и затем готов к формулированию. Это формулирование состоит в ограничении вопросов до достаточно малого количества, чтобы с ними можно было справиться за короткий промежуток времени, и до достаточно широкого диапазона, чтобы представить каждую возможную степень профессионального мастерства. Вопросы табулируются и затем готовы к использованию в процессе окончательной выборки.
Окончательная выборка производится путем тестирования двадцати человек, которые, как известно, являются типичными представителями каждой группы (новичок, ученик, подмастерье, эксперт). Среди протестированных новичков есть несколько высокоинтеллектуальных и зрелых людей с хорошими общими знаниями, но без профессиональных способностей. В работе армии использовались три испытательные станции: одна в Кливленде, одна в Ньюарке и одна в Питтсбурге, чтобы получить преимущество широкого географического распределения. Экзамены были даны людям, чей послужной список в профессии был уже известен и которые тестировались как можно ближе к тому же способу, что и люди в лагерях.
Результаты этой окончательной выборки передаются экспертам, которые проводят тщательное изучение результатов и ответов на каждый вопрос. Это позволяет им определить относительную ценность каждого отдельного вопроса и выбор, который обеспечивает правильный баланс.
Если профессиональный тест хорош, известный эксперт при тестировании способен ответить на все или почти все вопросы правильно; подмастерье способен ответить на большинство; ученик — на меньшую часть, а новичок — практически ни на один. Это не означает, что на каждый вопрос должны правильно отвечать все эксперты, большинство подмастерьев, некоторые ученики, но никто из новичков. Есть несколько вопросов, которые показывают этот общий результат. Графическая кривая, построенная для такого вопроса, является почти прямой линией.
Другие типы вопросов, однако, более распространены. Некоторые показывают четкую линию разделения между новичком и учеником. Новички терпят неудачу, но ученики, подмастерья и эксперты одинаково отвечают правильно. Существуют также вопросы, на которые правильно отвечают почти все подмастерья и эксперты, но лишь немногие ученики, и вопросы, на которые правильно может ответить только эксперт.
Каждый тип вопроса имеет свою ценность в хорошем тесте. Главное требование состоит в том, чтобы тенденция кривой была направлена вверх; вопрос, на который правильно отвечает больше подмастерьев, чем экспертов, или больше учеников, чем подмастерьев, является нежелательным и немедленно отбрасывается. Из остальных составляется правильный баланс.
Остается еще одна задача, а именно калибровка теста. Поскольку каждому вопросу отводится четыре балла, становится необходимым определить, сколько баллов должно указывать на эксперта, сколько — на подмастерье и т. д. Очевидно, способ сделать это — отметить, сколько баллов было набрано известными экспертами и известными подмастерьями при их тестировании. Обычно эксперт набирает больше баллов, чем подмастерье, а подмастерье — больше, чем ученик. Часто случается, что несколько подмастерьев набирают столько же баллов, сколько низшие из экспертов, а несколько учеников — столько же, сколько низшие из подмастерьев. Следовательно, существуют определенные перекрытия между классами. При калибровке цель состоит в том, чтобы провести разделительную линию между классами так, чтобы перекрытие было как можно меньшим.
Когда эти разделительные линии, или критические баллы, как их обычно называют, установлены, тест готов к редактированию, печати и распространению в лагеря.
Картинные тесты составляются практически так же, как и устные тесты. Специфической характеристикой картинных тестов является то, что вопросы, составляющие тесты, относятся к иллюстрациям профессиональных инструментов и приспособлений.
Практические тесты сейчас используются во многих профессиях для тех, кто показывает удовлетворительные результаты в устных или картинных тестах. Эти практические тесты разрабатываются путем консультаций с экспертами в профессии. Они состоят из некоторых, казалось бы, простых задач, которые можно выполнить быстро и с небольшим количеством аппаратуры, но которые, тем не менее, ясно указывают на степень мастерства исполнителя. В результате опыта были выработаны следующие требования к хорошему практическому тесту:
1. Он должен требовать наименьшего возможного количества инструментов и материалов, и они должны поддаваться стандартизации;
2. Подмастерью не должно требоваться более 45 минут для его выполнения;
3. Он должен быть типичным для требуемой работы;
4. Операции должны быть точными, чтобы всегда можно было получить правильную стандартную форму продукта. Практические тесты проходят через те же процессы выборки, что и устные и картинные тесты, и они калибруются таким же образом. Принцип, которому здесь следуют, как и везде, заключается в том, что ценность теста заключается не в его теоретической точности, а в его доказанной способности правильно отбирать и классифицировать людей всех степеней мастерства в рамках профессии. Если тест действительно классифицирует людей в группы, к которым они, как известно, принадлежат, то на него можно положиться при правильной классификации людей, о которых заранее ничего не известно.
Метод, который применяла армия, применим для любого частного предприятия. Работа, проделанная под руководством Генерального штаба армии по анализу основ почти семисот профессий и подразделений профессий и по подготовке тестов для большой части из них, была пионерской работой, результаты которой, в виде самих тестов, хотя и не выпущенных для общего распространения, доступны в качестве экономящего время руководства для тех, кто заинтересован в создании и применении профессиональных тестов.
ПРИЛОЖЕНИЯ
ПРИЛОЖЕНИЕ А Оценки уровня интеллекта в армии
Reprinted from The Personnel Manual
(Vol. II of The Personnel System of the United States Army)
Цель тестов интеллекта. — Под руководством Отдела психологии Медицинского департамента и в соответствии с положениями Генерального приказа № 74 умственные тесты проводятся для всех новобранцев в течение двухнедельного карантинного периода. Эти тесты обеспечивают немедленную и достаточно надежную классификацию людей по уровню общего интеллекта. Их конкретные цели заключаются в содействии:
(1) Выявлению лиц, чей высокий уровень интеллекта позволяет рассматривать их кандидатуры для продвижения по службе;
(2) Оперативному отбору и направлению в батальоны развития лиц, чей умственный уровень настолько низок, что они пригодны только для выполнения отдельных видов работ;
(3) Формированию подразделений с однородным уровнем умственных способностей там, где такая однородность желательна;
(4) Формированию подразделений с высоким уровнем умственных способностей там, где характер выполняемой работы требует такого превосходства;
(5) Отбору подходящих кандидатов для различных армейских обязанностей или для специального обучения в колледжах или технических училищах;
(6) Раннему формированию учебных групп внутри роты, чтобы каждый человек мог получать инструкции и проходить подготовку в соответствии со своей способностью усваивать материал;
(7) Раннему выявлению лиц с замедленным мышлением, которых в противном случае можно было бы ошибочно принять за упрямых или непокорных;
(8) Исключению из армии лиц, чей низкий уровень интеллекта делает их обузой или угрозой для службы.
Характер тестов. — Тесты были подготовлены специальным комитетом Американской психологической ассоциации. Прежде чем их ввели в общее пользование, они были тщательно апробированы в четырех лагерях Национальной армии и время от времени подвергались пересмотру для повышения их практической полезности. В период с 1 мая по 1 октября 1918 года было протестировано около одного миллиона трехсот тысяч человек.
В настоящее время используются три системы тестирования:
(1) «Альфа». Это групповой тест для тех, кто умеет читать и писать по-английски. Он занимает всего пятьдесят минут и может проводиться в группах до 500 человек. Тестовый материал составлен таким образом, что на каждый из 212 вопросов можно ответить без письма, просто подчеркнув, зачеркнув или отметив нужный вариант. Впоследствии бланки оцениваются с помощью трафаретов, поэтому личное суждение проверяющих не играет никакой роли. Полученная оценка умственных способностей является, таким образом, полностью объективной.
(2) «Бета». Это групповой тест для иностранцев и неграмотных. Он может проводиться в группах от 75 до 300 человек и занимает около пятидесяти минут. Успех в тесте «Бета» не зависит от знания английского языка, так как инструкции даются исключительно с помощью пантомимы и демонстрации. Как и «Альфа», он измеряет общий интеллект, но делает это с помощью конкретного или наглядного материала, а не печатного текста. Он также оценивается с помощью трафаретов и дает объективную оценку.
(3) Индивидуальные тесты. Используются три формы индивидуальных тестов: шкала баллов Йеркса-Бриджеса, шкала Стэнфорд-Бине и шкала выполнения действий. Индивидуальный тест занимает от пятнадцати до тридцати минут. Инструкции для шкалы выполнения действий даются с помощью жестов и демонстрации, и высокий балл в нем может получить умный новобранец, не знающий ни слова по-английски.
Все рядовые проходят либо тест «Альфа», либо «Бета» в зависимости от уровня их грамотности. Те, кто не справляется с «Альфой», проходят «Бету», а те, кто не проходит тест «Бета», направляются на индивидуальное тестирование.
По результатам тестов каждому человеку присваивается рейтинг A, B, C+, C, C−, D, D− или E. Буквенные рейтинги передаются в секцию интервью отдела кадров, где они копируются в квалификационные карточки (в графу, отмеченную как «Интеллект»). После того как оценки внесены в квалификационные карточки, психологический отчет пересылается из секции интервью в секцию призыва отдела кадров, где буквенный рейтинг каждого солдата заносится на вторую страницу его послужного списка. Копия психологического отчета также направляется психологом-экзаменатором командиру роты, который использует его при организации своего подразделения. В некоторых лагерях внесение оценок интеллекта в послужные списки было возложено на командиров рот, но точность и единообразие обеспечиваются путем внесения этих оценок в секции призыва отдела кадров при оформлении послужных списков.
Психологический персонал в лагере обычно способен протестировать 2000 человек в день и сообщить результаты в отдел кадров в течение 24 часов. Адъютанты по кадрам будут содействовать в составлении графика психологических обследований, чтобы извлечь из них максимальную пользу (см. главу IV о надлежащей координации работы психолога-экзаменатора с работой других офицеров в лагере).
Объяснение буквенных рейтингов. — Полученная человеком оценка служит довольно надежным показателем его способности учиться, быстро и точно мыслить, анализировать ситуацию, сохранять умственную бдительность, а также понимать и выполнять инструкции. На результат теста почти не влияет школьное образование. Некоторые из самых высоких результатов были показаны людьми, которые никогда не заканчивали восьмой класс. Значение буквенных рейтингов следующее:
A. Очень высокий интеллект. Этот рейтинг получают лишь четыре или пять солдат из ста. Группа «A» состоит из людей с выдающимися интеллектуальными способностями. Люди с рейтингом «A» относятся к типу офицеров высокого уровня, если они также обладают лидерскими качествами и другими необходимыми характеристиками.
B. Высокий интеллект. Интеллект уровня «B» является высоким, но менее исключительным, чем представленный рейтингом «A». Рейтинг «B» получают от восьми до десяти солдат из ста. В эту группу входит немало людей типа офицеров и большое количество кандидатов в унтер-офицеры.
C+. Интеллект выше среднего. В эту группу входит около пятнадцати-восемнадцати процентов всех солдат; она содержит большое количество кандидатов в унтер-офицеры, а иногда и человека, чьи лидерские качества и способность командовать позволяют ему претендовать на офицерское звание.
C. Средний интеллект. Включает около двадцати пяти процентов солдат. Отличный тип рядового с определенным количеством неплохих кандидатов в унтер-офицеры.
C−. Интеллект ниже среднего. Включает около двадцати процентов. Хотя интеллект людей с рейтингом «C−» ниже среднего, они обычно являются хорошими рядовыми и удовлетворительно справляются с рутинной работой.
D. Низкий интеллект. Включает около пятнадцати процентов солдат. Люди с рейтингом «D» могут быть неплохими солдатами, но обычно медленно учатся и редко поднимаются выше звания рядового. Им не хватает инициативы, поэтому они требуют большего, чем обычно, контроля. Многие из них неграмотны или являются иностранцами.
D− и E. Очень низкий интеллект. Эта группа делится на два класса: (1) люди с рейтингом «D−», которые обладают очень низким интеллектом, но считаются пригодными для регулярной службы; и (2) люди с рейтингом «E», чья умственная неполноценность оправдывает рекомендацию к направлению в батальон развития, организацию специального назначения, отказ от призыва или увольнение. Большинство людей с рейтингами «D−» и «E» имеют «умственный возраст» ниже десяти лет.
Огромный контраст между интеллектом «A» и «D−» виден из того факта, что люди с интеллектом «A» способны успешно учиться в колледже или университете, в то время как люди с «D−» обладают настолько низкими умственными способностями, что редко могут продвинуться дальше третьего или четвертого класса начальной школы, как бы долго они ни учились. Фактически, большинство людей с рейтингами «D−» и «E» имеют «умственный возраст» менее десяти лет и в лучшем случае находятся на грани умственной отсталости. Большинство из них относятся к уровню слабоумия «дебил». Интеллект «B» способен обеспечить средний результат в колледже, интеллект «C+» справляется с этим хуже, в то время как интеллект уровня «C» редко соответствует уровню выпускника средней школы.
Доказательства того, что тесты измеряют военную ценность. — Было всесторонне доказано, что рейтинги интеллекта очень полезны для определения практической военной ценности. Следующие исследования являются типичными:
1. Командиров десяти различных подразделений, представляющих разные рода войск в лагере, попросили определить:
(a) Наиболее эффективных солдат в подразделении;
(b) Солдат средней ценности;
(c) Солдат настолько низкого уровня, что они «едва способны» выполнять свои обязанности.
Офицеры этих подразделений находились со своими людьми от шести до двенадцати месяцев и знали их исключительно хорошо. Общее количество оцененных солдат составило 965 человек, примерно поровну разделенных на «лучших», «средних» и «худших». После того как офицеры выставили свои оценки, солдаты прошли обычный психологический тест. Сравнение результатов теста с оценками офицеров показало:
(a) That the average score of the “best” group was approximately twice as high as the average score of the “poorest” group.
(b) That of men testing below “C−” 70 per cent. were classed as “poorest” and only 4.4 per cent. as “best.”
(c) That of men testing above “C+,” 15 per cent. were classed as “poorest” and 55.5 per cent. as “best.”