Валидность качественных методов

В широком смысле слова валидность метода - соответствие получаемых с его помощью эмпирических данных основным целям исследования. Вопрос о валидности качественных методов в предшествующие годы был сильно запутан специалистами по математической статистике, которые распространили весьма специфичные статистические критерии валидности на классы задач и исследовательских ситуаций, не имеющих ничего общего с идеальными объектами типа вынимаемых из корзины разноцветных шаров, которыми оперирует теория вероятности. Качественные методы - методы, ориентированные не на массовый сбор данных, а на достижение углубленного понимания исследуемых социальных явлений.

Прежде, чем перейти к описанию качественных исследований, особенно групповых, следует охарактеризовать их отличия от количественных исследований. Чтобы понять эти отличия полнее, необходимо разобраться в том, что, собственно говоря, является «ошибкой» исследования.

Количественные социологические исследования являются разновидностью исследований, в основании которых лежит математическая теория вероятности. В числе аксиоматических предпосылок этой теории имеется весьма важная предпосылка о том, что различия между анализируемыми объектами ограничены фиксированным набором дискретных признаков. К примеру, шары, лежащие в корзине, различаются по цвету, размеру и нарисованным на них цифрам. Люди, соответственно, могут различаться по своим демографическим признакам, установкам и т.д., причем важно отметить, что в любом конкретном анкетном опросе набор признаков ограничен числом квантифицированных вопросов анкеты, а все прочие возможные признаки предполагаются идентичными.

Основным критерием, характеризующим исследование статистического типа, является надеж-ность, т.е. воспроизводимость полученных результатов. Если провести повторный опрос по той же методике в той же самой социальной группе и результаты обоих опросов будут идентичны, ? значит они надежны. Сегодня никто не оспаривает тот факт, что при правильно проведенном массовом репрезентативном опросе с помощью формализованных анкет автоматически достигается высокая степень воспроизводимости результатов. Однако вопрос их валидности этим далеко не исчерпывается.

В математической социологии валидность исследования - степень соответствия средства измерения тому, что подлежало измерению. В строгом смысле слова валидизация возможна лишь при наличии независимого внешнего критерия, но такая ситуация в социологии является редкостью. Во всех остальных случаях валидность результатов количественных опросов является не более чем гипотезой, оценка степени правдоподобия которой не имеет ничего общего с математическими и статистическими процедурами. Низкая степень правдоподобия многих неявных содержательных гипотез, латентно закладываемых исследователями в формулировки и структуру формализованных вопросов, а порой и полное отсутствие такого правдоподобия, является очень серьезной и плохо осознанной проблемой.

Таким образом, статистическую надежность результатов количественных исследований не следует путать с их надежностью и обоснованностью в широком смысле этого слова. Строго говоря, количественные исследования надежны лишь в той мере, в какой саму проблему надежности удается свести к ее статистическому толкованию. Если такое сведение не удалось или в принципе невозможно, то количественные данные становятся крайне ненадежной основой для выводов.

Указанные ограничения, накладываемые на валидность количественных методов исследо-вания, не принимаются во внимание позитивистской методологией, которая признает за количественными методами безусловный приоритет, считая их (и только их) достоверными и доказательными. Данная традиция опирается на комплекс представлений, рассматривающих формирование концепций как детерминированную индуктивную процедуру восхождения от фактов к обобщающей теории. Ориентация позитивистской методологии на количественные методы исследования вытекает из представления о необходимости строгой фиксации исследуемых "фактов".

Правомерность использования качественных методов в рамках количественного подхода признается, но, так сказать, на вспомогательных ролях. В методических описаниях, сделанных с позиций количественного подхода, постоянно подчеркивается, что научные данные, полученные с помощью таких методов, являются предварительными, недостоверными и т.п. Разумеется, за подобными утверждениями стоят определенные обоснования, однако накопленный за десятилетия опыт эмпирической работы показывает, что эти обоснования во многих отношениях являются недостаточно глубокими.

Определение качественного методологического подхода приведем в следующей форму-лировке:

Качественный анализ в широком смысле слова - характер осуществления социологи-ческого исследования, при котором основной акцент делается на теоретических ресурсах социологии, индивидуальном опыте, наблюдении и интуиции, традиционных средствах философского и логического анализа категорий и понятий, исторических сопоставлениях, использовании личных и официальных документов.

В отличие от количественной, качественная традиция, которая может быть охарактеризована как интуитивистская, склонна рассматривать образование концептуальных представлений как процесс формирования образов. Как отмечает Д. Кэмпбелл, подчеркивание в эпистемологии качественного распознавания образа как исходного по отношению к распознаванию его атомарных частиц, могущих быть квантифицированными, основывается на способности человека формировать целостное представление (гештальт) об исследуемом объекте в условиях неизбежно неполной и противоречивой эмпирической информации. Качественные методы выполняют ряд важных функций, недооцененных в рамках количественной методологии.

Причины смещения приоритета в сторону использования качественных методов в качест-венной методологии в определенном смысле носят эмпирический характер, поскольку эти причины являются реакцией профессионального сообщества на низкую научную результатив-ность многих исследований, выполненных социологами, явно или неявно находящимися под влиянием количественного подхода. За последние десятилетия подобный опыт был накоплен как за рубежом, так и в нашей стране.

Итак, сравнивая количественные и качественные методы с точки зрения их валидности, следует, прежде всего, отметить, что сферы их валидного применения не совпадают друг с другом. Это делает бессмысленным обобщенное сравнение их по критерию валидности. Существуют классы задач, в которых количественные методы обладают высокой, а качественные низкой валидностью. Вместе с тем существуют ? и этот аспект обычно слабо подчеркивается даже в специальной литературе ? другие классы задач, в которых указанное соотношение прямо противоположно.

В задачу нашего учебника не входит рассмотрение вопросов методологии качественных методов вообще. Специфика фокус-групп, а также индивидуальных глубоких интервью, если они проводятся большими сериями, состоит в том, что к ним, по крайней мере, теоретически, также применимы статистические критерии обоснованности, хотя и иные, чем в количественных исследованиях.

Текстовые расшифровки серии групповых интервью, проведенных на определенную тему, образуют массив первичных данных объемом в несколько сотен страниц. Этот массив вполне пригоден для анализа с применением статистических методов как с точки зрения его размеров, так и с точки зрения разнородности. Разнородность массива обеспечивается участием нескольких десятков респондентов, что уже дает основания для приблизительного распределения однотипных ответов по трехчленной или пятичленной шкале: явное меньшинство, меньшинство, примерно поровну, большинство, явное большинство. Главное, однако, состоит не в этом. Специфика массива первичных данных групповых интервью состоит в том, что:

1. Единицей анализа является не респондент, а высказывание. Поскольку каждый респондент является носителем многих высказываний, это, как минимум, на порядок увеличивает массив первичных аналитических единиц, делая его статистически значимым.

2. В задачу качественных исследований не входит определение численности или удельного веса носителей той или иной точки зрения в обществе или его сегменте. По отношению к такому классу проблем качественные методы невалидны.

Задачей качественных методов является формирование списка так называемых «гипотез существования» (мнений, оценок или высказываний, существующих в обществе и, предположи-тельно, имеющих не нулевую степень распространения). При этом, как отмечает Д. Темплтон, предпочтительнее ошибиться, выявив несуществующий или малозначимый фактор, чем упустить высокозначимый.

Математический аппарат, приспособленный для решения задач подобного типа, в принципе хорошо известен. Он используется в лингвистке при составлении списков звуков и слогов, а также частотных словарей слов и словосочетаний. Этот же аппарат используется и в социологических исследованиях, осуществляемых с помощью контент-анализа (анализ содержания коммуника-ции, предполагающий такую классификацию исследуемого содержания, которая позволяла бы выявить его основную структуру). Этот термин применяется скорее к анализу документов или визуального материала, нежели данных интервью, однако подобная техника может применяться и при изучении ответов на открытые вопросы, задаваемые при проведении обследования. Исследователи вырабатывают ряд категорий, характеризующих исследуемые вопросы, а затем классифицируют анализируемое содержание в соответствии с этими предзаданными категориями. При этом категории должны быть определены как можно четче, чтобы свести к минимуму смещение, возникающее в результате субъективных суждений разных исследователей. Такая техника позволяет получить определенные количественные данные, которые могут быть подвергнуты компьютерной обработке и статистическому анализу.

Математическая постановка задачи выглядит примерно так: «Имеется кандидат в президенты А, о котором пишут в газетах. Требуется составить как можно более полный список эпитетов, которыми авторы статей характеризуют данного кандидата. Какой объем газетных текстов следует изучить, чтобы с вероятностью 95% число невыявленных эпитетов не превысило 5%?»

Как и подавляющее большинство прикладных статистических задач, данная задача не решаема без определенных предварительных знаний о характере частотного распределения искомых эпитетов, а также без некоторых априорных допущений. В зависимости от практического удобства выбора той или иной системы допущений сама постановка задачи может варьироваться. Углубление в этот вопрос выходит за рамки нашей темы, поскольку в прикладных исследованиях, осуществляемых с помощью метода фокус-групп, статистический аппарат, подобный описанному выше, если где-то и применяется, то лишь в узкоспециальных исследованиях, далеких от сферы применения маркетинговых фокус-групп. Основных причин этому видится две.

Первая ? применение такого аппарата сильно удорожает исследования, а коммерческий заказчик не склонен оплачивать математические «красоты», если они никак не влияют на конечные выводы. По ряду причин, которые будут описаны ниже, и заказчики, и исследователи считают вполне достаточной ориентацию на следующий субъективный критерий: если количество новой информации, получаемой от каждой следующей группы, резко упало, исследование следует прекращать.

Вторая причина гораздо более фундаментальная. Она связана с тем, что сегодня строго операциональное и поддающееся автоматизации вычленение из текстов смысловых единиц возможно только на уровне слов и устойчивых словосочетаний. Вычленение, группировка и топологизация более сложных смысловых единиц, осуществляемые на аналитической стадии качественного социологического исследования, могут выполняться только человеком на основе еще не изученных бессознательных интеллектуальных алгоритмов. Быстрый прогресс в развитии компьютерных программ автоматизированного перевода дает возможность предположить, что с течением времени станет осуществимым автоматизированное распознавание все более сложных смысловых единиц. Однако на практику фокус-групповых исследований эта работа пока не оказывает никакого влияния. При изучении литературы по маркетинговым фокус-группам мы ни разу не встречались с упоминанием о применении контент-анализа в какой бы то ни было форме. В области академических исследований такие упоминания имеются, однако изучение данного вопроса требует специальной работы.

Завершая рассмотрение вопроса о валидности качественных методов, обратимся к вопросу определения областей валидных количественных и качественных исследований. Выше было показано, что эти области принципиально различны, поскольку радикально различны решаемые ими классы задач. Область валидного применения формализованных опросов только на первый взгляд кажется беспредельной или очень широкой. На самом деле она ограничена выявлением степени распространенности тех или иных знаний, мнений или установок, которые:

а) должны быть известны заранее, т.е. до проведения опроса;

б) не должны быть навязываемой респонденту фикцией или псевдосуждениями, не свойствен-ными его сознанию.

Для выявления самого факта существования знаний, мнений или установок количественные методы непригодны, что хорошо видно из следующего сравнения результатов опроса.

А. Количественное исследование

Вопрос: Что Вы предпочитаете ? яблочный пирог или шоколадный кекс (% к числу опрошенных)?

Яблочный пирог ? 26%

Шоколадный кекс - 22%

И то, и другое - 43%

Затрудняюсь ответить ? 9%

Б. Качественное исследование

Вопрос: Что Вы предпочитаете ? яблочный пирог или шоколадный кекс?

Ответ: Я не знаю. Я люблю и то, и другое.

Вопрос: Хорошо, если Вам надо взять что-то одно, что это будет? Подумайте.

Ответ: Конечно, пироги различаются. Если у меня будет возможность взять яблочный пирог моей мамы, то я предпочту его любому шоколадному кексу. Если необходимо взять какой-то яблочный пирог, то я точно не знаю.

Вопрос: От чего еще может зависеть Ваш выбор?

Ответ: Например, это зависит от того, что я ем на обед. Если у меня полный обед, я думаю, что возьму яблочный пирог. Яблочный пирог ? это большой деликатес в моей семье. Но если на обед я ел что-то легкое, типа рыбы, то лучше взять кекс. Если холодно, я не откажусь от шоколадного кекса.

Приведенный диалог хорошо иллюстрирует тот факт, что простой ответ «Я выбираю яблочный пирог» зависит от многих факторов, в данном случае ? от того, кто приготовил этот пирог, от степени голода, плотности обеда, температуры окружающей среды. Этот список, вероятно, может быть продолжен. Но, как и во многих других случаях, число таких факторов или, по крайней мере, наиболее распространенных из них, по-видимому, не очень велико. Задачей качественного исследования, как уже говорилось, является выявление списка этих факторов с разумной степенью полноты. В этой области качественные исследования обладают высокой степенью валидности. Определение частотного распределения действия выявленных факторов в изучаемой популяции ? дело количественного исследования. Важны, однако, две оговорки:

а) с практической точки зрения затраты на проведение количественного исследования могут превышать ожидаемый риск от принятия волевого решения, основанного на менее точной информации;

б) адекватная трансформация выявленных факторов в вопросы формализованной анкеты часто затруднена или невозможна, причем часто чрезвычайно трудно бывает даже определить возможную степень этой неадекватности.

Эти обстоятельства нередко снижают валидность количественных исследований до такой степени, что их проведение становится нецелесообразным.

Лишь в тех случаях, когда гипотеза о валидности формулировок вопросов формализованных анкет выглядит обоснованной или правдоподобной, количественное исследование может дать валидный результат, позволяющий принять решение, основанное на более точной информации.

Резюмируя рассмотрение вопроса о валидности качественных методов, сформулируем выводы:

1. В задачу качественных исследований не входит определение численности или удельного веса носителей той или иной точки зрения в обществе или его сегменте. По отношению к такому классу проблем качественные методы невалидны. Их задачей является формирование списка так называемых «гипотез существования».

2. Область валидного применения количественных методов ограничена выявлением степени распространенности тех или иных знаний, мнений или установок, а не самого факта их существования.