На снимке: И. Задорин

Тема общественного доверия к результатам электоральных (предвыборных) опросов впервые была поднята на нашем портале два года назад . См. Страсти вокруг электоральных опросов. Сама же по себе эта тема возникла в общественных кругах несколькими годами раньше, особенно в связи с все отчетливее усматриваемыми общественностью фальсификациями результатов выборов

После думских выборов декабря 2011 года общественное недовольство в этой связи вылилось в массовые протесты, за которыми последовали репрессии, вплоть до продолжающегося и по сей день «болотного дела».

А что же социологи-поллстеры? Они делали свою работу: зондировали массовое сознание и замеряли электоральные предпочтения граждан. Причем как-то так получалось, что на основании своих репрезентативных опросов предсказывали с высокой точностью результаты заведомо фальсифицированных выборов.

Вот именно эта точность социологических предсказаний и дала импульс общественному недоверию к их авторам и даже к упрекам в своего рода «сговоре» с Центризбиркомом, выполняющим политический заказ.

(См. об этом: Алексеев А.Н., Ленчовский Р.И. Профессия – социолог… Том 3. СПб: Норма, 2010, Раздел 8.5.2).

Отчасти в ответ на указанные сомнения в профессиональной добросовестности социологов-поллстеров, проводящих электоральные опросы, в конце 2011 – начале 2012 года группа социологов, во главе с И. Задориным выступила с инициативой проекта «Открытое мнение»

«Открытое мнение» - инициативный эксперимент по проведению полномасштабного социологического исследования в новом для российской социологии формате «collaborative open research» – совместных открытых исследований. Основная задача проекта – получение достоверной, надежной и общедоступной исследовательской информации о состоянии общественного мнения в России на основе независимого, самофинансируемого и полностью открытого исследования. В реализации проекта участвуют представители столичных и региональных исследовательских организаций, академических институтов и вузов, СМИ и общественных объединений».

Такое независимое исследование на общественных началах - навстречу президентским выборам 2012 года - было успешно проведено. И оказалось, что отличие его результатов от результатов электоральных опросов, проведенных «штатными» полстерскими компаниями (ВЦИОМ. ФОМ, Левада-центр), НЕСУЩЕСТВЕННО. То есть нет оснований предполагать «предзаданность»  итогов «корпоративных» опросов.

(Подробно методология и результаты проекта «Открытое мнение» см. в серии статей, опубликованных в «Социологическом журнале», 2012, № 1. См также: Проект  «Открытое мнение». Распределения ответов на вопросы анкеты, на сайте Sociologos).

(См. также в «Социологическом журнале (2012, № 1) нашу статью: Выборы 4 марта: до и после (заметки социолога) ).

Профессиональный социологический проект на волонтерских началах «Открытое мнение» продолжал развиваться и после президентских выборов 2012 года. В частности, состоялся «дочерний» проект «Открытое мнение. Химки». Проводилось независимое исследование в проблемной электоральной ситуации г. Астрахани.

Но вот в сентябре 2013 года «грянули» выборы московского мэра, сопровождавшиеся «социологическим скандалом».. Практически все ведущие поллстерские фирмы существенно ошиблись с прогнозом результатов этих выборов. В частности, примерно на 10 пунктов ошиблись в предсказании явки, соответственно и в распределении голосов между ставленником Кремля С. Собяниным и «главным оппозиционером» А. Навальным.

Тут уж речь шла не о «подозрительной» точности, а как раз о провале социологического прогноза. Упрек в «недобросовестности» или упрек в «непрофессионализме» - что хуже?!

Глава одной из крупнейших поллстерских компаний (Фонд «Общественное мнение») А. Ослон публично заявил: «Я это признаю: фиаско социологов произошло…». В ведущих электронных СМИ по этому поводу разгорелась бурная дискуссия. На Когита.ру был  опубликован ряд материалов, напрямую касающихся «социологического фиаско», а также проблем ангажированности, качества и достоверности в сфере электоральной социологии. См.: Незадачливый прогноз: поучительная ошибка крупнейших опросных фирм. ; «Откроем дверь дельфийского храма…» (А. Ослон, президент ФОМ)  ; Социология и политика. Продолжение переписки А. Алексеева и А. Ослона.

Среди публикаций Когита.ру было и воспроизведение 3-х частной остро проблемной статьи политолога Д. Орешкина из «Новой газеты» «Искривленная реальность». По мнению автора этой статьи, главной причиной скандальной ошибки социологов-полстеров в прогнозе результатов сентябрьских выборов московского мэра является резкое сужение возможностей выборных фальсификаций (так называемый «фактор Чурова»), которые раньше имплицитно закладывались во все модели социологических предсказаний.

Тогда состоялась очень важная инициатива группы проекта «Открытое мнение», на которую откликнулись ВЦИОМ, ФОМ, Левада-центр и Комкон. Было решено предпринять вторичный (ретроспективный) анализ, или независимую экспертизу постфактум материалов электоральных опросов, проводившихся в преддверии выборов мэра Москвы.

Инициатор проекта «Общественное мнение И. Задорин писал в Фейсбуке:

«…Итак, коллеги, у нас сам собой получается очередной (уже четвертый) проект в стиле COR – «Открытое мнение – Москва-2013». Незапланированный заранее, но от этого не менее интересный. И как всегда с организационными и методологическими новациями… Это проект, осуществляемый в методологии вторичного анализа данных и экспертизы-постфактум. То есть мы не проводим открытое исследование полного цикла от целеполагания и разработки методики до представления конечного результата, а берем за основу уже проведенные опросные исследования ряда центров и проводим анализ данных (и параданных) этих исследований…»

(См: Ведущие опросные фирмы предоставляют открытый доступ к данным своих последних электоральных опросов).

С тех пор еще не раз возникали «локальные» и «общие» дискуссии на тему о достоверности социологических данных (не только при электоральных опросах). См, в частности, на Когита.ру:

Опросы общественного мнения: вероятность систематической ошибки ; Социологов-полстеров, кажется, обидели… ; Отклик В. Шляпентоха на дискуссию о фикции дремучести российского обывателя  ; Является ли зеркало массовых опросов кривым?

Между тем, велась интенсивная работа по  осуществлению независимой профессионально-общественной экспертизы ставших полностью открытыми материалов предвыборных августовско-сентябрьских (2013) опросов в Москве (тех самых, что дали повод говорить о «фиаско» российской электоральной социологии..

И вот, несколько дней назад обнародован доклад группы «Открытое мнение» по итогам экспертизы опросов накануне выборов мэра Москвы. Без преувеличения можно сказать, что это одно из важнейших событий социологической жизни России за последние, скажем, пять - десять лет.

К публикации представлена вторая версия доклада, доработанная в соответствии с согласованными замечаниями и предложениями четырех исследовательских компаний-поллстеров, предоставивших свои данные для анализа.

Первая версия доклада, подготовленная в конце ноября 2013 года, была передана руководителям компаний-поллстеров, участвующих в эксперименте. В течение декабря2013 г. прошло несколько обсуждений доклада с участием представителей рабочей группы и компаний-поллстеров (в т.ч. в рамках очной сессии в НИУ ВШЭ 16 декабря 2013 года).

Авторы доклада – участники экспертной рабочей группы – «…выражают благодарность руководству четырех исследовательских компаний – ВЦИОМ, ФОМ, Левада-центр и Синовейт Комкон – за редкий пример профессиональной солидарности, доверительного отношения к коллегам и готовности к открытому сотрудничеству в интересах всей отрасли российской прикладной социологии».
Как сообщается  на сайте «Открытое мнение»,  «…в рамках группы «Открытое мнение», развивающей направление collaborative open research, проходило исследование результатов социологического сопровождения выборов мэра Москвы, которые прошли 8 сентября 2013 года. Исследование, осуществлялось в методологии вторичного анализа данных и экспертизы-постфактум. То есть за основу были взяты уже проведенные опросные исследования ряда центров.
Исходным импульсом к осуществлению независимой профессиональной экспертизы предвыборных электоральных исследований послужил факт неудачного прогнозирования социологами результатов выборов мэра города Москвы 8 сентября 2013 года, который получил серьезный резонанс в масс-медиа и экспертных кругах.
В этой связи неформальное профессиональное объединение «Открытое мнение» обратилось к ведущим компаниям-поллстерам, проводившим предвыборные опросы населения, открыть первичные массивы данных этих опросов и предоставить специалистам дополнительные материалы для проведения их независимой экспертизы (аудита).
Обращение было воспринято с пониманием и доверием, и уже к 23 сентября состоялось беспрецедентное событие в истории российской прикладной социологии – открытие первичных массивов электоральных опросов. Данные предоставлялись в соответствии с Временным стандартом раскрытия данных электоральных опросов, оперативно разработанным в группе «Открытое мнение» в августе 2013 года сразу четырьмя ведущими исследовательскими компаниями – ВЦИОМ, Фонд «Общественное мнение», Левада-центр, Синовейт Комкон.
На инициативной основе в рамках «Открытого мнения» была сформирована рабочая группа по проведению экспертизы (аудита) представленных материалов. Миссия рабочей группы заключалась в анализе материалов исследований (опросный инструментарий, технологии формирования выборки, первичные массивы данных, другие сопутствующие «параданные») и выявлении возможностей систематических смещений результатов электоральных измерений.
Результатом работы, выполненной на общественных началах коллективом специалистов из разных исследовательских центров, стал представляемый итоговый доклад».

Доклад невелик: 45 стр. С ним интересно будет ознакомиться и не только социологам-профессионалам.

= Доклад «Экспертиза опросных исследований электоральных настроений в преддверии выборов мэра Москвы 8 сентября 2013 года»

Приведем здесь оглавление доклада:

Введение. 3

В1. Исходная проблема, вызвавшая проведение экспертизы. История проекта. Мандат «комиссии»  3

В2. Постановка задачи анализа. Основные гипотезы о смещениях (неточности измерений) 4

В3. Исходные данные для анализа. 4

В4. Организация работ и исполнители. 6

В5. О второй версии доклада. 7

1. Первичный анализ данных. 7

1.1.           Анализ различий в исходных данных четырех измерителей. 8

1.2.           Анализ различий основных измеряемых параметров при контроле параметров выборки  11

1.3.           Анализ различий основных измеряемых параметров при генерализации исходных данных  14

1.3.1.        Сведение исходных массивов в единый массив. 14

1.3.2.        Анализ объединенного массива. 16

1.4.           Общий вывод по разделу. 18

2. Смещения ОБЪЕКТА измерения. 18

2.1.           Анализ адекватности плановой схемы выборки («теоретическая модель», «архитектура выборки») 18

2.2.           Анализ территориальной репрезентативности (районирования) выборок. 19

2.3.           Анализ корректности реализации выборки. 20

2.3.1.        Наличие систематических ошибок. 20

2.3.2.        Эффект интервьюера. 23

2.3.3.        Контроль поля. 23

2.4.           Анализ достижимости (response rate) 24

2.5.           Анализ процедур перевзвешивания и ремонта выборки. 27

3. Смещения ПРЕДМЕТА измерения. 27

3.1.           Краткая характеристика опросного инструментария. 28

3.2.           Целевое предназначение опросников. 29

3.3.           Особенности архитектуры анкет. 29

3.4.           Недостатки вопросных формулировок. 31

3.5.           Эффект последовательности вопросов. 31

3.6.           Общие выводы по разделу. 32

4. Основные выводы и рекомендации. 33

4.1.           Основные результаты анализа данных электоральных опросов. 33

4.2.           Рекомендации по совершенствованию методики измерений электоральных намерений  34

4.3.           Рекомендации по представлению данных электоральных измерений. 36

4.3.1.        Рекомендации по расширению практики открытия данных. 36

4.3.2.        Рекомендации по совершенствованию Стандарта раскрытия данных. 37

Заключение. 38

Приложение 1. Структура анкет. 41

Приведем здесь также ЗАКЛЮЧЕНИЕ доклада:

"Вне зависимости от изложенных результатов экспертизы и принятия/непринятия профессиональным сообществом основных выводов и рекомендаций рабочей группы мы считаем сам проект по аудиту электоральных исследований четырех компаний-поллстеров очень значимым моментом в жизни отрасли. Практически впервые компании, находящиеся в состоянии конкуренции на рынке прикладных социологических исследований, совместно со специалистами из других фирм и научно-исследовательских организаций смогли внимательно посмотреть на поллстерскую продукцию друг друга. Этот факт профессионального доверия, безусловно, важный шаг к совместной работе по повышению качества социологических исследований, и, следовательно, восстановления доверия смежных экспертных сообществ, потребителей продукции и широкой заинтересованной общественности.

По итогам работы группы можно смело сказать, что следов сознательного искажения данных, грубых ошибок и явного нарушения технологических требований при проведении опросов четырех компаний не выявлено. Исследования выполнены на уровне принятых в современной практике стандартах. Однако именно эти «стандарты де-факто» вызывают у участников рабочей группы возражения.

Аудит материалов, предоставленных участниками проекта, а также информация, имеющаяся у членов рабочей группы в силу их регулярной профессиональной деятельности, позволяет сделать вывод о распространенности практики снижения требований к качеству проводимых опросных исследований относительно канонических требований, описанных в методической и научной литературе. У рабочей группы нет мысли увидеть в этом явлении дисквалификацию кадров ведущих опросных компаний. Напротив, мы знаем о высоком уровне методической подготовки их ведущих сотрудников. Вместе с тем видно, что компании-поллстеры сознательно и с полным пониманием снижают требования по достижимости, ослабляют контроль поля, прекращают тестирование инструментария и т.п. в силу необходимости снижения издержек производства.

Причины этого явления кроются в деформации рынка социологических опросов, на котором существует спрос не на данные определенной точности, определенное (высокое!) качество продукции, а на внешние атрибуты «масштаба исследования» (большой объем выборки, региональная представительность), быстроту выполнения работ без всякого учета технологических особенностей и финансовую дешевизну, совершенно не соответствующую указанным выше требованиям. В этих условиях критерии качества исследований все чаще определяются лишь пониженными требованиями рынка и запросами малоквалифицированных потребителей, а не высокими профессиональными стандартами. Все больше исследований проводится в формате fast food, для которого важнее оперативность и снижение издержек, чем качество, точность и методологические изыски.

Вместе с тем сегодняшняя ситуация, которая многими наиболее эмоциональными коллегами расценивается как «кризис опросной индустрии», требует серьезного пересмотра используемых технологий и методик. Нынешний период развития прикладной и поллстерской социологии характеризуется двумя остро негативными явлениями:

1) снижением доверия к опросам вообще и следующим из этого ростом числа отказов от участия в них;

2) распространением «лукавой» коммуникации, в которой искренность и достоверность декларируемого респондентами мнения вызывает серьезные сомнения.

Эти явления невозможно преодолеть с сохранением пониженных требований к методикам и технологии проведения опросов («игнорирование канонов»), а также без разработки новых методик и технологий, учитывающих указанные негативные факторы и минимизирующих их влияние. В свою очередь внедрение в практику высоких стандартов качества и социологической продукции класса «премиум», а также методологические инновации вряд ли возможны без усиления кооперации всего профессионального сообщества.

«Казус», случившийся с компаниями-полстерами в связи с выборами мэра Москвы, может рассматриваться и как позитивно окрашенный символ окончания большого периода в развитии российской опросной индустрии, связанный с доминированием «индивидуализированных» стратегий развития отдельных компаний. К настоящему моменту накоплен богатый опыт реализации исследовательских проектов в индустриальном формате, большой объем знаний как в области методологии исследований, так и в области управления исследовательскими проектами. Однако главным тормозом к дальнейшему развитию отрасли становится склонность к корпоративной самоизоляции и вырожденность форм профессиональной ассоциации. Самостоятельные корпоративные стратегии с низкой вовлеченностью в практики взаимной экспертизы, консультирования, совместных инвестиций как в теоретические и методические разработки, так и в развитие инфраструктуры исследований, обнаруживают закономерный «потолок» своего развития. Сегодня требуется определенное согласование (стандартизация) отдельных элементов инструментария и схем построения выборок, кооперация как в методических и технологических изысканиях, так и в представлении результатов опросов.

Истории успехов каждой из российских исследовательских компаний отодвигают в тень историю ошибок развития и опыт рефлексии их природы. Сегодня важно признать, что опыт ошибок достоин приза – потому что это неотъемлемая часть «истории успеха». В особенности, если ошибки становятся предметом анализа и темой для взвешенного разговора внутри профессионального сообщества.

Четыре исследовательских организации, входящие в топ российских исследовательских компаний, решили передать для независимой экспертизы данные и инструментарий предвыборных московских опросов. Сам этот факт является несомненным позитивным знаком и важным фактором развития всей индустрии исследований и опросов. «Сухая» рабочая тональность настоящего доклада экспертной группы «Открытого мнения», разбор ошибок, смещений и критика опросных технологий не должны заслонять нашего общего ощущения – ощущения большой важности и определенной этапности нынешней ситуации, бесценного опыта совместной работы с материалами предвыборных исследований".

Здесь, особенно для "рядового" (не профессионального) читателя уместно подчеркнуть момент, относящийся к различению собственно данных электорального опроса и поллстерских прогнозов результатов выборов. Во "Введении" к докладу авторы оговаривают:

"…При этом аудит с самого начала ограничивался только экспертизой измерения электоральных настроений (мнений, установок, намерений). В миссию группы не входил анализ методик прогнозирования электорального поведения (перевод опросных «деклараций о намерениях» в «реальное голосование»)".

Из всего сказанного можно заключить:

А. Наши ведущие опросные компании (в обиходе нынешних СМИ принято говорить одним словом: "социологи") в целом ведут свои мониторинги массового сознания и общественных настроений (в частности, электоральных) на уровне сложившихся профессиональных стандартов (канонов) прикладной социологии, притом что сами эти стандарты требуют совершенствования и поднятия уровня требований, предъявляемых  к качеству исследований.

Б. Более или менее опирающиеся на результаты массовых опросов, электоральные прогнозы поллстерских центров формируются по правилам и методикам скорее политологическим, чем собственно социологическим. (Не случайно, например, ФОМ, согласно заявлению своего главы А. Ослона, предполагает от таких прогнозов вовсе отказаться, зато делать достоянием гласности "сырые" данные - распределения ответов на вопросы об электоральных намерениях; см. «Откроем дверь дельфийского храма…» (А. Ослон, президент ФОМ)).

В. Отсюда, сколь добросовестны, равно как и профессиональны  сами по себе электоральные мониторинги, столь же порой конъюнктурны и "не безгрешны" могут быть предсказания результатов выборов, учитывающие (иногда неявно, опосредованно) также и возможные фальсификации. (Методики прогнозирования, как правило, достаточно изощренные и составляющие "ноу-хау" отдельных опросных  компанеий, как уже отмечалось, экспертизе "Открытого мнения" не подлежали).

Г. Итак, ДОВЕРЯТЬ данным электоральных опросов можно в меру профессионализма  социологов-поллстеров, умеющих а) репрезентировать в своих выборках объект исследования (генеральную совокупность избирателей) и б) находить адекватные эмпирические референты для выявления действительных электоральных намерений, чтобы минимизировать как неадекватность восприятия, так и "лукавую" коммуникацию респондентов.

Как замечал в свое время (разумеется, по другому поводу) "старина" Г.В.Ф. Гегель, "….требуется известное развитие для того, чтобы уметь задавать вопросы…, так как иначе может получиться тот ответ, что вопрос никуда не годится".

Д. В любом случае, хочется приветствовать описанный опыт само-организации, само-контроля и само-критики социологов-поллстеров. Профессиональному само-усовершенствованию - нет предела. А для подозрений в недобросовестности профессионалов - нет оснований

А. Алексеев. 12.02.2014

**

Приложение

Из экспертного доклада

Анализ открытых и дополнительных данных, представленных компаниями-поллстерами, был проведен коллективом специалистов из различных исследовательских компаний. В экспертизе данных и подготовке настоящего доклада принимали участие следующие исполнители

Состав рабочей группы

Кроме того, большой вклад в проект внесли ответственные представители компаний-поллстеров, отвечающие за коммуникацию с рабочей группой и предоставление (раскрытие) необходимых данных.

Ответственные представители компаний-поллстеров

**

Полный текст доклада - http://www.openopinion.ru/content_res/articles/Itogoviy doklad ver 2.0.doc   

**

Постскриптум

Предпринятый социологами-поллстерами волонтерский аудит материалов прошлогодних электоральных московских опросов, с одной стороны, «спасает честь» профессионалов, а с другой стороны мотивирует к самокритичному отношению  И это очень своевременно, ибо «на пятки наступает» уж совсем «беззаконная» волонтерская социология..

Не далее как вчера, 12 февраля 2014, на сайте газеты «Ведомости» появилась статья «Навальный займется соцопросами», и, одновременно, заметка самого А. Навального «Помогайте разобраться» в блоге «Эха Москвы». В них речь идет о том, что лучшим предсказателем итогов сентябрьских (2013) московских выборов оказался… штаб самого кандидата в мэры А. Навального. Притом, что опрос производился как будто не профессионально, причем весьма ангажированными (в пользу А. Навального) добровольцами.

Теперь А. Навальный и его команда предполагают использовать этот опыт для локальных (и даже общероссийских) опросов. Проект, который вовсе не следует «от порога» дезавуировать.  Тем более, что нет оснований сомневаться в серьезности намерений инициаторов.

По словам А. Бирюковой, руководителя социологической службы Фонда борьбы с коррупцией, «…залог  достоверных результатов — точное соблюдение классических техник опросов и аккуратная работа с выборкой» (см. «Ведомости»). Что касается интервьюеров (телефонный опрос), то их волонтерская ангажированность, как нам представляется, при условии грамотного профессионального инструктажа, может оказаться не помехой, а будет способствовать объективности результатов опроса. Т. к. эти люди мотивированы на ПРАВДУ, на знание о действительных общественных настроениях, а вовсе не на пиар или заказ, как  им иногда пытаются приписать.

Вспомним «уличные опросы» Центра изучения и прогнозирования социальных процессов покойного Леонида Кесельмана, времен Перестройки, обеспечивавшие, кстати, феноменально точные электоральные предсказания. Тогда все интервьюеры были волонтерами-добровольцами (это уж потом появились оплачиваемые «профессиональные» интервьюеры).

И качество тогдашних исследований обеспечивалось сочетанием высокого профессионализма методолога-организатора-режиссера и энтузиазмом рядовых исполнителей (уличных интервьюеров, субъектов «делегированного наблюдения», по терминологии Л. Кесельмана.

Тогда еще не было ни ВЦИОМа, ни ФОМА, а была профессионально направляемая «социологическая самодеятельность». Дай нам Бог и сегодня такую.

А. А. 13,02.2014.