Факторы недостоверности результатов социологических опросов
Тема доверия к социологическим опросам в последнее время все больше привлекает общественное внимание и стала предметом активного обсуждения в СМИ. И автор этих строк все меньше одинок в постановке вопроса «Следует ли так уж доверять результатам опросов общественного мнения?». (См. наши предыдущие публикации на эту тему на Когита.ру).
Правда, не с любой критикой деятельности полстерских компаний автор готов согласиться, равно как и не любую корпоративную самозащиту социологов-полстеров готов поддержать.
Однако не так уж редки случаи добротных журналистских анализов этой проблемы, особенно когда журналист ищет опору в мнениях экспертов, в лице профессиональных социологов, не исключая занимающихся опросами общественного мнения.
Примером такого анализа является статья Анны Байдаковой, Михаила Комина и Алексея Алмаматова, опубликованная в последнем номере «Новой газеты». Статья называется довольно многозначно: «ДЕЛО СОЦИОЛОГОВ».
Авторы производят своего рода инвентаризацию, если угодно, подводных камней, подстерегающих социологов-полстеров на их профессиональном и общественном поприще, а порой и ставящих под удар их репутацию.
Со своей стороны, попробуем классифицировать обстоятельства, из которых может проистекать недостоверность результатов социологических опросов. Но сначала адресуем нашего читателя собственно к статье, где эти обстоятельства так или иначе обсуждаются или хотя бы упоминаются.
**
Из «Новой газеты»:
Выпуск № 110 от 7 октября 2015
Что не так с российской социологией и почему мы все меньше доверяем соцопросам?
07.10.2015
Доверие к опросам общественного мнения падает, несмотря на то, что с формальной точки зрения российские социологи пользуются вполне современными технологиями сбора и проверки информации. «Новая» разбиралась, почему в исследованиях социологов появляются ошибки, как крупнейшие «опросные фабрики» страхуются от брака, откуда берутся «сенсационные результаты» и почему громким цифрам не всегда стоит верить.
Крупнейшие социологические службы выдают новые исследования почти каждый день. Как правило, в стандартном опросе участвуют полторы тысячи человек, при этом распределение по возрасту и полу пропорционально демографической ситуации в стране: например, если женщин до 55 лет в России больше, чем мужчин такого же возраста, в выборке их тоже должно быть больше. Случайно выбранных респондентов из такой выборки опрашивают на улице, по телефону (берут и стационарные, и мобильные), ходят по квартирам.
Лукавые проценты
Работой социологов публика начинает активно интересоваться, например, во время выборов, особенно когда данные опросов расходятся с реальными результатами голосования. Последний раз это случилось в 2013 году, на выборах мэра Москвы, когда Алексей Навальный сильно обогнал прогнозы всех крупнейших служб. На основе опросов социологи сделали прогнозы вероятных результатов, предположив, какие факторы усилят или ослабят позиции кандидатов. Самый оптимистичный вариант для Алексея Навального получился у ФОМа: он должен был набрать 20%. По версии «Левада-центра», за Навального готовы были проголосовать еще меньше — 18%, у ВЦИОМа была цифра 11%. В реальности же оппозиционер набрал 27,2%. «Социологи прогнозы хорошо не делали никогда, — говорит Екатерина Кожевина, руководитель проектов ФОМа. — Мы можем измерить мнения, но абсолютно не можем прогнозировать поведение людей».
Сильные расхождения в результатах нескольких ведущих социологических служб тоже привлекают внимание и провоцируют недоверие. В 2013 году «Левада-центр», ФОМ и ВЦИОМ опубликовали данные об отношении россиян к полиции. По данным Левады, доверяли полиции только 7% граждан, по данным ФОМа и ВЦИОМа — более 60%. В том же году социологи замеряли отношение к введенному запрету на иностранное усыновление российских сирот. «Левада-центр» показал поддержку закона на уровне 50%, а ВЦИОМ — 76%.
Больше опросов, меньше смысла
Доверие к социологическим исследованиям в обществе в последние годы существенно снизилось, считает социолог Иван Климов, старший научный сотрудник Института социологии РАН, бывший руководитель исследовательского отдела фонда «Общественное мнение». «Первая причина — это изобретение политтехнологов — война экзитполов: для того чтобы повысить неопределенность конечного результата, нужно провести как можно больше опросов с разными результатами. Компания, которая проводит опросы корректно, оказывается одной из десяти. Вторая причина — в том, что сворачивается обратная связь между властью и обществом. Результаты социологических исследований не являются источником важной информации для власти, и люди уже не верят, что в общении с властью можно отстоять свои интересы. То есть приходит кто-то, спрашивает, как я живу, чтобы понять, как мне помочь. А какой смысл с ними разговаривать, если от этого ничего не изменится?»
«Я хочу верить, что мы помогаем людям во власти что-то понять, — замечает Юлия Баскакова, руководитель проектов управления социально-политических исследований ВЦИОМа. — Мы можем диагностировать проблему, и бывает фидбек от заказчиков: «Да, вот этого мы раньше не знали, вот здесь нужно подумать». Наверное, мне хотелось бы, чтобы к нам в чем-то больше прислушивались. Но надо понимать, что управленческие процессы устроены сложно, не так, что передал сигнал — и он пошел».
Но часть ответственности за потерю доверия лежит и на самих опросных службах.
Ошибка респондента
Проблемы и ошибки начинаются с тех, кого опрашивают. Как пишет французский социолог Патрик Шампань, уже более 30 лет исследующий практику опросов общественного мнения, у простого обывателя найдутся десятки причин не отвечать на вопросы социолога искренне. Даже в демократических режимах респондент может отвечать на вопрос не так, как считает он, а так, как он думает, что считать правильно. В условиях более авторитарных режимов эффект социально одобряемого ответа возрастает, превращаясь в так называемый «парадокс Конверса». Респондент, отвечая на вопросы, исходит из того публичного дискурса, в котором он находится. Подконтрольные власти СМИ, естественно, стремятся не допустить в этот дискурс аргументы, критикующие власть, поэтому в голове у человека может просто не быть каких-то логических связей, позволяющих прийти к альтернативному мнению. В такой ситуации социологи просто фиксируют эффективность пропагандистской машины, а не реальную ситуацию.
«Представьте, что в самолете дают рыбу и курицу, при этом стюардесса предупреждает всех, что рыба подпорченная. Потом приходят социологи и выясняют, что 85% предпочли курицу», — говорит политический обозреватель Кирилл Рогов.
Невозможно не согласиться
В демократических странах социальные опросы призваны провоцировать дискуссию: с одной стороны, служить ее основой, базисом, от которого отталкиваются политики и чиновники в своих заявлениях, с другой стороны, на основе этих дискуссий люди делают выводы и формируют свои политические предпочтения. В авторитарных режимах такая схема дает сбой. «Главное, чего нет в России — это плюрализма, возможности не соглашаться, — рассказывает Григорий Юдин, старший научный сотрудник лаборатории экономико-социологических исследований НИУ ВШЭ. — Поэтому люди совсем по-другому воспринимают интервьюеров и их вопросы. Порой сложно отделаться от ощущения, что тебя спрашивают: «Девочка, тебе два мороженых или битой по голове?»
Юлия Баскакова приводит пример социально одобряемого ответа: большинство женщин на вопрос, какие мужчины им больше нравятся, курящие или некурящие, отвечают: «Некурящие». Однако если показать им фотографии двух похожих мужчин, с сигаретой и без, то большинству больше нравится курильщик. Даже сама структура анкеты может повлиять на выбор ответа, говорит Баскакова, например, последовательность вариантов: «Если список длинный, то варианты, которые находятся в начале, имеют больше шансов быть выбранными. Иногда мы ставим на первый план менее социально одобряемые варианты ответа, чтобы людям было легче их выбрать, например: «Не пойду на выборы».
Интерпретируй это
Внезапные социологические «открытия» могут появиться по вине составителей анкеты, говорит Иван Климов. «В 2010 году мои хорошие друзья готовили аналитику для администрации президента. Тогда «Левада-центр» опубликовал данные, что рейтинг «Единой России» упал на 10%. Нужно было срочно понять, в чем проблема. Оказалось, что составители анкеты «Левады» в том месяце добавили вариант ответа «Не уверен, что пойду на выборы», и его выбрали 12% респондентов. Раньше этой позиции в анкете не было, и ответить так люди не могли. А теперь в эти 12% «упали» 10% от «Единой России» и по проценту от ЛДПР и КПРФ. Электорат «Единой России» довольно рыхлый. Но весь сыр-бор возник из-за методических особенностей опроса».
На ответ влияет и формулировка вопроса. В анкете ФОМа несколько лет назад был пункт: «Вы лично испытываете или не испытываете недовольство, готовность участвовать в акциях протеста?» В результате от респондента требовался ответ сразу на два вопроса, говорит Екатерина Кожевина. После того как из формулировки убрали слово «недовольство», исчезли резкие перепады в цифрах, ведь количество людей, настроенных на активный протест, сравнительно устойчиво — и оно ниже, чем общее число недовольных. Чтобы результаты опроса были корректными, вопросы не должны быть наводящими, содержать эмоциональные формулировки, непонятные большинству слова, а также ложные предпосылки и внутренние противоречия.
Вопрос с подвохом
Екатерина Кожевина приводит пример некорректно заданного вопроса из исследования «Левада-центра»: «Как Вы думаете, с чем связано то, что в последнее время руководители страны все чаще говорят о Сталине как о выдающемся государственном деятеле?» При этом сам тезис о частом упоминании Сталина как выдающегося деятеля не подтвержден какими-либо цифрами или упоминаниями конкретных высказываний, а только заявляется авторами опроса, говорит Кожевина.
Некоторые публикации соцслужб и вовсе выглядят как попытки сформировать в обществе определенную повестку, которая без этого активно не обсуждается. Например, 25 августа ВЦИОМ опубликовал данные исследования о вероятном усилении военных во власти. «Как следует изменить в будущем роль и влияние в жизни российского общества армии?» — спрашивают респондентов, как бы исходя из того, что какие-то изменения явно нужны. А поскольку до этого следовали вопросы: «Согласны ли Вы с тем, что устройство армии является образцом построения всего общества?», «Как Вы относитесь к тому, что военные в нашей стране входят в состав органов власти?» и «Как бы Вы лично отнеслись к тому, чтобы армия взяла события в стране под свой контроль?», логично ожидать, что к концу опроса респондент уже настроен «голосовать» за изменение политического статуса военных в сторону повышения.
Интервьюер идет во все тяжкие
Ошибка может случиться на этапе самого опроса по вине интервьюера. Работа человека, обходящего квартиры с анкетой или останавливающего людей на улице, физически тяжела и утомительна: многие люди отказываются отвечать на вопросы, не открывают дверь, спешат мимо. А деньги интервьюеру платят не за время, а за количество заполненных анкет, поэтому у тружеников «поля» есть большой соблазн «нарисовать» недостающие данные. «Студенты часто схватывают логику анкеты и могут подтасовывать результаты, заполняя анкеты за респондентов», — говорит Екатерина Кожевина.
У аналитика есть много способов заметить подозрительные данные, которые могут быть браком, говорит Климов. Если возникает сомнение, обзванивают часть опрошенных. Сейчас интервьюеры часто работают на планшетах, когда ведется аудиозапись каждого разговора с интервьюером. Если обнаруживается, что часть данных — брак, в некоторых случаях их можно просто не включать в итоговую статистику. Тогда в общем массиве, из которого выпала часть, нужно присвоить тем или иным данным другие коэффициенты, говорят собеседники «Новой». Так же поступают, если оказывается, что при опросе не удалось соблюсти квоты респондентов по разным параметрам. «Например, 75% опрошенных должны были быть городскими жителями, а 25% — сельскими. А мы опросили 80 на 20, — говорит Иван Климов. — Мы можем ввести поправочный коэффициент, который сделает результат более надежным: голос одного сельского жителя будет на сотую или тысячную долю значимее, чем голос городского. Такие процедуры проводятся всегда».
В погоне за сенсацией
Неожиданными или странными результаты опросов могут стать уже на этапе интерпретации, когда аналитик, который пишет пресс-релиз, или журналист, что пишет по нему статью, преувеличивает ту или иную тенденцию. Например, статистическая погрешность сводит на нет небольшие различия между разными показателями: допустим, если одного кандидата выбрали на 3% больше, чем другого, то, вероятно, их силы равны.
Дмитрий Рогозин, директор Центра методологии федеративных исследований РАНХиГС, считает, что «упоминание в СМИ цифры и привязка ее лишь к организации, проводящей опрос, ни о чем не говорит, является пустой информацией. К примеру, «ФОМ установил, что 24% родителей школьников нанимали себе репетиторов». Согласно международному стандарту раскрытия полстерской информации, такое предложение не имеет смысла. Чтобы его адекватно прочитать, нужны точная формулировка вопроса, дата и время опроса, метод проведения, должны быть указаны коэффициенты результативности, характеристики реализованной выборки, заказчик исследования и т.д. В отсутствие всего этого цифры становятся весьма сомнительными аргументами».
От формулировки журналистов смысл публикуемых данных может измениться едва ли не на противоположный. Опрос, в котором 20% вызвались проголосовать за условного президента, может быть описан по-разному: «Большинство против президента», или «Каждый пятый россиянин поддерживает президента». При этом «объективным» цифрам хочется верить больше, чем мнению. Немецкий журналист Удо Ульфкотте в своей книге «Продажные журналисты» пишет: «А как наши качественные СМИ подали аудитории тот факт, что лишь 24% немцев желают переизбрания Ангелы Меркель? Не свалитесь со стула! «Каждый четвертый желает», чтобы Меркель была канцлером еще 10 лет». А три четверти против!»
Социология с биографией
Репутация основных «опросных фабрик», как их называют сами социологи, сформировалась за последние тридцать лет. Самый старый Всероссийский центр изучения общественного мнения был основан в 1987 году при Министерстве труда СССР и ВЦСПС. В 1992 году директором ВЦИОМа стал Юрий Левада. В 2003 году центр преобразовали в ОАО со стопроцентным государственным капиталом, директором вместо Юрия Левады стал Валерий Федоров. Левада и многие его сотрудники уволились, сочтя, что цель этих перемен — поставить исследования ВЦИОМа под жесткий контроль государства.
Юрий Левада с единомышленниками основал «Аналитический центр Юрия Левады», где продолжили уже начатые исследования. Отделившись от «материнской организации», «Левада-центр» за годы своей работы успел порядком утомить власть результатами своих опросов, и в мае 2014 года даже получил предостережение Генпрокуратуры: социологов едва не признали «иностранными агентами», сочтя политической деятельностью публикации центра.
Фонд «Общественное мнение» был создан в 1991 году при ВЦИОМе как фонд для привлечения благотворительных грантов, но уже на следующий год стал отдельной организацией. В 1996 году ФОМ снабжал информацией предвыборный штаб Бориса Ельцина и затем работал «в сфере политконсалтинга для верхних эшелонов власти и бизнеса», гласит официальный сайт. С 2000 года основной работой ФОМа стали опросы общественного мнения.
Фабрики мнений и власть
Основные клиенты российских социологических служб — администрация президента, министерства и различные государственные ведомства и корпорации. Собеседники «Новой» в ФОМе и во ВЦИОМе уверяют: заказчик не может влиять на формулировки вопросов, даже если у него есть пожелания на этот счет, последнее слово — за социологами. Тем не менее сегодня мы наблюдаем значительный рост опросов, которые легитимизируют те или иные решения власти, особенно в посткрымскую эпоху. «Людей спрашивают не о том, что для них по-настоящему важно, а только о том, что важно для властей в данную секунду, — говорит Григорий Юдин. — Кто-то собирается внести закон, ограничивающий права гомосексуалистов, — и респондентов спрашивают, хотят ли они, чтобы гомосексуалисты учили их детей. Но почему мы вообще решили, что это какая-то важная тема? Просто потому, что какой-то депутат решил попиариться?»
Как и все основные общественные институты, прикладная социология оказалась девальвирована руками тех, кто в теории должен больше всех в ней нуждаться. При этом, по мнению некоторых экспертов, власть продолжает попытки опереться на данные социологических исследований, которые по-прежнему кажутся ей объективными, — в условиях, когда другие каналы обратной связи элиты с населением либо не существуют в принципе, либо работают крайне плохо. По словам президента Путина, решение о присоединении Крыма принималось на основе закрытых данных опросов крымчан. «Колоссальный опрос россиян по выборке неслыханных объемов закрепил изменение государственных границ. Массовые опросы заменили собой референдумы», — резюмирует Григорий Юдин.
Анна БАЙДАКОВА,«Новая»,
Михаил КОМИН, Алексей АЛМАМАТОВ — специально для «Новой»
**
Подразделим все обсуждавшиеся в вышеприведенной статье проблемы на;
А) методолого-методические,
Б) организационные и
В) интерпретационные.
В сущности, речь идет о разных аспектах всякой конкретной проблемы, ибо эти три фактора недостоверности результатов социологических опросов обычно переплетаются. Однако каждый случай недостоверности, как правило, имеет свою преимущественную причину.
Так, например, некорректные формулировки вопросов или их последовательность, «подводящая» респондента к предпочтительному для заказчика и / или исполнителя исследования ответу, являют собой образец методолого-методических ошибок. Они могут быть свидетельством недостатка профессионализма и / или конъюнктурного умысла составителя вопросника.
Примером организационных проблем могут служить искажения, возникающие в «поле», при непосредственном контакте интервьюеров с респондентами. Во-первых, в итоге многочисленных отказов граждан, попавших в выборку, вступать в контакт с опрашивателем (вешают телефонную трубку, не открывают дверь в квартиру и т. п.). Во-вторых, за счет фальсификаций, предпринимаемых самими интервьюерами, пытающимися таким образом экономить время и силы.
Интерпретационные проблемы – те, которые возникают уже на стадии предъявления и обсуждения полученных результатов. Например, при истолковании электоральных и прочих рейтингов, воспринимаемых даже профессионалами порой совершенно некритически. Кстати, декларированный некоторыми опросными фирмами отказ от электоральных прогнозов был стимулирован ошибками не в собранных опросных данных, а именно в выстраиваемых на их основе прогнозах.
Однако при обсуждении всех этих «факторов недостоверности»
результатов социологических опросов, а, стало быть, и растущего общественного недоверия к ним, следует иметь в виду, что главная причина здесь лежит не «внутри», а «вовне» полстерского (социологического) цеха. Что имеется в виду?
Отдельные «подводные камни» превращаются в грозные «рифы» или «айсберги», обрекающие социологический «Титаник» на кораблекрушение, в условиях массового общественного отчуждения «всех от всех», в том числе и в отношениях между социологией и обществом.
Граждане не видят смысла отвечать на вопросы социологов, которые, понятно, ничем не могут им помочь; властвующая элита все более прагматично (а порой и цинично) использует социологов для своих корпоративных нужд; сами социологи-полстеры тяготеют к смычке с пропагандистским имиджмейкерством.
Жестко авторитарное общество, дрейфующее к тоталитаризму, не то чтобы отторгает от себя социологию, но превращает ее в институт имитационной деятельности, подобно подавляющему большинству социальных институтов.
Фактический запрет на плюрализм мнений, о котором говорит один из экспертов, не может не отражаться и на поведении респондентов. Парадоксы опросной практики, вскрытые Элизабет Ноэль-Нойман или Патриком Шампань еще в демократических обществах, приобретают порой чудовищные, извращенные формы в обществах типа советского или современного постсоветского. К «спирали молчания» (конформное следование мнению большинства, каковым его представляет респондент) добавляются уклончивость, избегание социально не одобряемых ответов, а также своего рода опасливость (в особенности при ответе на политически-острые вопросы).
И здесь нужны изощренность и мастерство Шляпентоха или Грушина, чтобы в таких условиях извлекать посредством опросов из массового сознания более или менее реалистичную картину действительных представлений, настроений, предпочтений «простых людей».
Такого мастерства, а также тотальной установки на объективное отображение социальной действительности порой не хватает социологам-полстерам (хотя, конечно, есть и отрадные исключения).
Итак, социология, вообще, и опросная практика, как одна из ее форм (впрочем, тяготеющая к самостоятельности) не могут бы «островком свободы» в не свободном обществе. Факторы недостоверности результатов социологических опросов могут быть если не устранены, то ослаблены лишь в условиях (вследствие) смены общественно-политического режима.
А. Алексеев. 8.10.2015.
