ЕЩЕ РАЗ - О ДОСТОВЕРНОСТИ РЕЗУЛЬТАТОВ КРЫМСКОГО ОПРОСА

18 июля 2015 г. в программе «Гамбургский счет» Общественного российского т/в я увидела запись беседы с социологом Д.М.Рогозиным, посвященной достоверности данных социологических опросов.

Дмитрий Михайлович Рогозин - специалист по методикам социологических опросов, заведующий лабораторией Института социального анализа и прогнозирования Российской академии народного хозяйства и государственной службы, кандидат социологических наук, старший научный сотрудник Института социологии РАН.

Меня очень заинтересовал его рассказ, поэтому я нашла на сайте Общественного российского т/в аудиозапись и текст беседы.

В частности Д.Р. упоминает о том, что «… коэффициент отказа, как мы его считаем, доходит до 70-80%. То есть мы реально опрашиваем 20-30% от тех, к кому мы обращаемся. Это говорит о том, что мы имеем две группы людей. Одна группа с нами хочет разговаривать по нашим опросам. Вторая не желает этого делать. И наша задача как исследователей – оценить, насколько те, кто хочет с нами говорить, отличаются от тех, кто не хочет с нами говорить по тем или иным вопросам…».

А ниже в качестве примера Рогозин приводит материалы проверки надежности данных Фонда «Общественное мнение» (ФОМ) и Всероссийского центра изучения общественного мнения (ВЦИОМ) о поддержке присоединения Крыма к России 86 процентами российских граждан от 18 лет и старше. Автор пишет «…у нас к этим 80 000 есть не только 80 000 аудиозаписей, у нас есть аудиозаписи по всем отказам. А это, как я уже говорил, превышает почти в 8 раз эту выборку…».

Подробно анализировал результаты указанного опроса Рогозин год назад – в статье «Насколько корректен телефонный опрос о Крыме: апостериорный анализ ошибок измерения» в журнале «Мониторинг общественного мнения: Экономические и социальные перемены», 2[120], март-апрель 2014 г. Цитирую:

«Фонд "Общественное мнение" и ВЦИОМ по заказу Некоммерческого фонда "Институт социально-экономических и политических исследований" (Фонд ИСЭПИ) провели масштабный социальный опрос об отношении россиян к присоединению Крыма. По размаху и особенностям исполнения можно говорить о беспрецедентном событии в индустрии российских массовых опросов. Всего за 3 дня, с 14 по 16 марта 2014 г. включительно, опрошены 48 590 респондентов».

(Отметим расхождение сведений об объёме выборки: около 80 000 и 48 590, но не это странное противоречие в двух статьях одного и того же автора я намерена обсуждать).

В этом же номере журнала помещена статья ведущего специалиста Фонда «Общественное мнение» Т.Э.Османова «Особенности построения выборки в опросе о Крыме». Тут приводятся совсем иные, чем у Рогозина, цифры о количестве отказов отвечать на вопросы социологов. В табл. 5 названной статьи мы видим, что отказов – от 28% до 42% (в зависимости от типа выборки), где 100% - всего случаев, когда «взяли телефонную трубку».

Так кто же прав - ведущий специалист ФОМа Т.Османов (2014 г.), специалист по методикам социологических опросов Д.Рогозин (2014 г.) или он же – но в телевизионном интервью (2015 г.)?  (В последнем, как уже говорилось, указывается, что отказчиков было в 8 раз больше, чем ответивших).

И почему вдруг, через год после публикации результатов как самого опроса, так и независимого методического контрольного исследования, одобрившего организацию опроса в целом и не обратившего внимание на такой большой процент отказов, Д.Рогозин всё-таки возвращается к этой теме?

Судя по цитатам в статье Рогозина, интервью начиналось так: «Здравствуйте. Вас беспокоит Фонд "Общественное мнение". Мы проводим социологический опрос по вопросу Крыма. Полминутки можете мне уделить?».

В ответ, судя по утверждению Рогозина от 2015 г., лишь 12  из 100 процентов, к кому обращались,  согласились продолжить разговор.

Заявленные организаторами опроса 86% одобрения присоединения Крыма получены только от тех респондентов, кто согласился отвечать.  

А не согласился (отвечать на вопросы о Крыме) - кто?

И  не согласился - почему?

И какова вероятность, что распределение ответов «отказчиков» было бы хоть примерно похожим на ответы согласившихся отвечать?

Смею утверждать, что мнение насчет присоединения Крыма к России имеет природу, принципиально отличную от мнения о предпочтительности того или иного сорта йогурта или сыра!

В ситуации неанонимности (именно так ее воспринимают опрашиваемые) респонденту предлагают заявить о согласии или несогласии по острейшему политическому вопросу. Не удивительно, что подавляющее большинство выбирает социально одобряемый ответ.

А те, кто мог бы дать иной ответ, предпочитают просто уклониться от разговора на эту тему. При всех противоречиях в свидетельствах о числе отказчиков, это число достаточно велико, так что говорить о 86-процентном одобрении присоединения Крыма к России не приходится. Оно заведомо меньше, если считать не от числа ответивших, а от числа тех, с кем хотели побеседовать.

Ну, хорошо. Мы не получили информацию о позиции отказчиков. Но хотя бы сообщать об их существовании, говоря о 86% одобрения, социолог обязан! И в первую очередь авторы опроса,  во вторую – автор методического контрольного исследования.

А что мы видим: авторы исследования нигде не говорят, что выборка  заведомо смещена в сторону одобрения, а автор методического контрольного исследования, вскользь оговорившись о преобладающем количестве отказчиков, долго, изобретательно и демонстративно дотошно анализирует другие, частные методические огрехи опроса.

Но если проблема не оглашена и не обсуждена авторами, то у внимательного читателя может - не дай Бог! - возникнуть уж совсем крамольный вопрос: а как же зашкаливающие «одобрямсы» - широко тиражируемые СМИ рейтинги главы государства, получаемые в опросах последних лет? Ведь наверняка они получены при изрядном количестве отказов участвовать в опросе.

И тогда, выходит, социологов-полстеров не зря ругают на чём свет стоит.

И тогда ни авторам, ни контролёрам нечего ссылаться на «однобокий», пристрастный взгляд интеллигенции. 

И не напоминает ли вам такая процедура предварительного смещения и «зачищения» выборки предварительную зачистку списка кандидатов перед выборами, когда в бюллетень попадают далеко не все, кто хочет и имеет на это право?

Та же ловкость, но других рук?

Мария Алесина, социолог

**

ПОСТСКРИПТУМ

После переписки с Д. Рогозиным считаю необходимым внести существенные поправки, дабы читатель не остался в заблуждении.

Прежде чем публиковать эту заметку, я в письме к Д. Рогозину попросила его уточнить: «86% поддержавших присоединение Крыма к России - это от 80 000 респондентов, реально согласившихся отвечать?», а также: «На чём основано Ваше заключение, что измерение поддержки присоединения Крыма сделано вполне адекватно, если Вы анализировали ответы только тех, кто согласился отвечать», а отказов, по Вашим же словам,  было в 8 раз больше, чем согласившихся?

Д. Рогозин в своем ответе не стал исправлять приведенные в интервью цифры, уточнив лишь, что все проценты считаются только от количества ответивших. а вместо ответа по существу сослался на статьи в «Мониторинге общественного мнения» № 2 за 2014 г. – свою и Т. Османова  (специалиста по выборке, сотрудника ФОМа). И тогда я опубликовала эту свою заметку на Когита.ру..

Второе письмо Д. Рогозина было сердитым: «… у тимура османова процент дан от ответивших, у меня от всех единиц, попавших в выборку (! – М. А.) и отвечающих условиям отбора …мне ваш текст не понравился, поскольку он грешит явными ошибками и неосведомленностью в особенностях интерпретации данных, полученных из массовых опросов».

В ответ я предложила прекратить спор о словах и просто назвать два числа– в абсолютных значениях, хоть приблизительно, сколько он (Рогозин)  анализировал: (1) аудиозаписей полных интервью; (2) аудиозаписей отказов от интервью людей, включенных в выборку, т.е. тех, кто снял трубку, но после преамбулы интервьюера отказался отвечать.

И вот, наконец, ОТВЕТ специалиста по методикам социологических опросов Д. Рогозина. (Ответ не лишен самокритичности, хоть это не сразу и разберешь).:

1. «Письменный текст всегда имеет приоритет над устной речью, тем более, мало ли что может намолоть взбалмошный научный сотрудник на телевидении».

(Хочется спросить: «А читатель “Мониторинга” имеет приоритет перед зрителем телеканала?!»).

2. «Цифра 80 тыс. - это ошибка. В статье указано количество респондентов 48624, что соответствует действительности. С чем связано почти двукратное увеличение выборки в разговоре, остается лишь гадать. Видимо, выступающий хотел эпатировать публику. Подозреваю, что произошли какие-то аберрации с памятью».

3. «...параметры крымского опроса подробно изложены в публикациях, в которых Вы найдете все ответы на Ваши вопросы».

4. «...подобная недостижимость (невозможность опросить всех попавших в выборку. –  М. А.) не является особенностью политически значимых опросов или российской ситуации... статистические выводы всех современных исследований строятся на такого рода информации, и ваши обобщения ложны по сути».

…Обратившись к Т. Османову (рассчитывавшему «фомовскую» часть выборки для Крымского опроса),  я получила внятный и однозначный ответ о количестве отказов в указанном опросе, а именно: около 40 % от общего количества попавших в выборку ФОМа. Так что, выступая на телеканале Д. Рогозин несколько «погорячился».

Правда, я встречала ссылки некоторых авторов и на 70-80 % отказов при опросах на острые темы.

Итак, сенсация об огромной доле отказов не случилась!! Что не отменяет важности изобретения адекватных методик для изучения проблемы отказов как важного компонента в опросах общественного мнения.

Мария Алесина, 4.08.2015