Незадачливый прогноз: поучительная ошибка крупнейших опросных фирм
«Слон.ру»:
12.09.2013, 10:34
Алексей Бессуднов
Почему социологи так сильно ошиблись в Москве?
Почему социологи ошиблись с прогнозом результатов выборов московского мэра? «Все цифры им спускают из Кремля, и всерьез относиться к их прогнозам нельзя», – утверждают скептики, не делая разницы между государственным ВЦИОМ, окологосударственным ФОМ и довольно оппозиционным «Левада-центром». Можно, конечно, верить в теории заговоров, которые все объясняют кремлевским контролем, но для объяснения расхождения социологических прогнозов и реальных результатов выборов они не требуются. Сомневаться в том, что все крупные социологические организации проводят свои исследования честно и публикуют реальные результаты, наивно. Иное дело, что прогноз результатов выборов – не такая простая задача, как кажется на первый взгляд.
Для начала определим, в чем именно ошиблись социологи. Я буду использовать данные ФОМ, однако прогноз ВЦИОМ был близок к прогнозу ФОМ, и к нему применима та же логика. «Левада-центр» воздержался от предвыборного прогноза, однако их предвыборные опросы показывали результаты, схожие с другими поллстерами. Качественно похожие результаты давали и опросы исследователей рынка из Synovate Comcon.
Итак, что же прогнозировал ФОМ? Для удобства представим данные в абсолютных цифрах, а не только процентах (см. таблицу ниже). Всего в Москве зарегистрировано чуть больше 7 млн 250 тысяч избирателей. Из них, по прогнозу ФОМ, опубликованному за неделю до выборов, около 4 млн (55%) вовсе не должны были прийти на выборы. Около 2 млн должны были проголосовать за Собянина, 650 тысяч – за Навального, 260 тысяч – за Мельникова.
Что получилось на самом деле? Прогноз ФОМ по голосованию за Навального и Мельникова в абсолютных цифрах оправдался полностью. За Навального в итоге проголосовали 630 тысяч человек, и разница с прогнозом составила ничтожные для Москвы 20 тысяч. За Мельникова проголосовали около 250 тысяч (разница с прогнозом – 12 тысяч).
На этом успехи ФОМ заканчиваются. В отношении числа людей, не пришедших на выборы, и тех, кто проголосовал за Собянина, прогноз не сбылся на величины почти астрономического порядка: количество сторонников Собянина, готовых прийти 8 сентября на избирательные участки, ФОМ переоценил на 765 тысяч человек, а число людей, не пришедших на выборы, недооценил на 940 тысяч. Это очень много. Почему произошла ошибка?
Самая трудная часть прогноза результатов выборов – моделирование явки избирателей. В опросах, которые проводил ФОМ до выборов, намерение прийти на них высказывали более 70% респондентов, при этом более 40% из них «точно» собирались это сделать. Далеко не все из респондентов сознательно обманывали социологов, ориентируясь на наиболее социально приемлемый ответ, подразумевающий обязательное голосование на выборах. Кто-то действительно собирался на выборы, но забыл, не успел, уехал за город, нашлись другие дела и т. д. Этот эффект известен, и ФОМ пытался его учесть, дав прогноз по явке 45%. Но в итоге реальная явка составила 33%. Именно этой ошибкой объясняется расхождение между прогнозируемыми и реальными результатами. Собственно, это признал и глава ФОМ Александр Ослон.
Посмотрим, как различалась реальная явка на выборы среди сторонников разных кандидатов. В опросе ФОМ, проведенном 26–31 августа, намерение голосовать за Собянина высказали 43% респондентов. В масштабе Москвы это примерно 3 млн 118 тысяч человек (7 млн 251 тысяча * 0,43). Из них в действительности на выборы пришли и проголосовали за Собянина 1 млн 193 тысячи, или 38%. За Навального собирались голосовать 8% населения, или 580 тысяч. Реально проголосовали 633 тысячи, т. е. даже больше количества потенциальных сторонников, которое показал опрос. Понятно, что опрос оценивает примерное число сторонников кандидатов, поскольку включает выборочную ошибку и неизбежные погрешности выборки и не учитывает динамику отношения к кандидатам в последнюю неделю перед выборами. Учтем и то, что 28% респондентов в опросе (т. е. более 2 млн человек в переносе на избирателей Москвы) затруднились с выбором, и если часть из них и пришла на выборы, то, возможно, определилась со своим кандидатом прямо на избирательном участке. (Похожие расчеты на данных Synovate Comcon – здесь).
Вывод из этого следующий: сторонники Навального в основном пришли на выборы, а среди потенциальных сторонников Собянина явка оказалась исключительно низкой. Это относительно новая для России тенденция, поскольку раньше на выборах (по крайней мере, в последнее десятилетие) низкая явка работала в основном на провластных кандидатов. Они могли рассчитывать на голоса более пожилых людей и ту часть электората, которую призывали на выборы методами административного характера, в то время как более молодые и частично более оппозиционно настроенные избиратели на выборы не ходили. В этот раз получилось по-другому – причем, скорее всего, как раз из-за того, что административное давление было ослаблено.
Есть несколько объяснений низкой явки потенциальных избирателей Собянина:
1) На предыдущих выборах мэра Москвы в 2003 году явка составила более 50%. К сожалению, мы не знаем, сколько избирателей пришли тогда на выборы добровольно, а сколько – под прямым или косвенным давлением начальства. Более того, основные методы фальсификации результатов выборов – вбросы и переписывание протоколов – искусственно увеличивают явку, приписывая кандидатам от власти голоса не пришедших на выборы избирателей. Скорее всего, высокая явка на предыдущих выборах отчасти была результатом административного давления на избирателей или прямых фальсификаций. В этот раз игра велась более честно.
2) Какая-то часть потенциального собянинского электората, скорее всего, действительно уехала из Москвы, хотя оценить их количество едва ли возможно. Если это так, перенос дня голосования на сентябрь в итоге сыграл против Собянина.
3) Наконец, сочувствующие Собянину в принципе были гораздо менее мобилизованы, чем сторонники Навального. Их поддержка Собянина была пассивной и часто не шла дальше утвердительного ответа на вопросы интервьюеров. Даже те, кто действительно симпатизировал Собянину, не ощущали действительной угрозы поражения своего кандидата на выборах и, соответственно, имели слабую мотивацию к личному участию в них.
Из всего изложенного следует несколько выводов.
Во-первых, Алексей Навальный показал на этих выборах действительно впечатляющий результат. 600 с лишним тысяч голосов для независимого кандидата, лишенного административной и, по сути, партийной поддержки, – это очень много. Это примерно 9% московских избирателей, где-то каждый одиннадцатый из тех, кто имеет право голоса (правда, это совсем не «треть москвичей»). Для того чтобы увеличить шансы победы на будущих выборах, Навальному придется выйти за пределы существующей базы поддержки и привлечь медианного избирателя.
Собянин, в свою очередь, получил поддержку лишь около 16% москвичей – за него проголосовал примерно каждый шестой. Большинство горожан на выборы просто не пришли.
Во-вторых, я бы не стал слишком сильно упрекать социологические фирмы в неверном прогнозе и тем более делать вывод о том, что все их исследования сфальсифицированы и бесполезны. Если бы результаты выборов всегда можно было точно прогнозировать на основе опроса полутора-двух тысяч человек, сами выборы можно было бы не проводить. Иногда прогноз получается более точным, иногда менее. Прогностические техники хуже работают тогда, когда внутренняя механика выборов (особенно в отношении явки) меняется по сравнению с предшествующими выборами, на которые неизбежно ориентируются авторы прогнозов. Именно это произошло в этот раз. По всей видимости, Навальному удалось мобилизовать ту часть электората, которая до этого не была замечена в активном участии в выборах. Изменилась и политика властей, которые на этот раз решили не прибегать к «административному ресурсу» (далеко не обязательно лишь в форме прямых фальсификаций), что повлияло на явку избирателей.
P.S. В заключение: вчера в интернете появился первый серьезный статистический анализ результатов выборов в блоге eugenyboger. Оказывается, на некоторых выборах нормальное распределение все-таки неплохо описывает данные по явке. Теперь тезис о массовых фальсификациях на парламентских выборах 2011 года в Москве можно считать окончательно доказанным.
Выборы мэра Москвы. Опрос москвичей: прогноз и факт (ФОМ)
|
Прогноз ФОМ |
% |
Реальный результат |
% |
ошибка (голосов) |
не голосовали |
3 987 983 |
55 |
4 928 297 |
67,97 |
-940 314 |
Собянин |
1 957 737 |
27 |
1 193 178 |
16,46 |
764 559 |
Навальный |
652 579 |
9 |
632 697 |
8,73 |
19 882 |
Мельников |
261 032 |
3,6 |
248 294 |
3,42 |
12 738 |
Митрохин |
130 516 |
1,8 |
81 493 |
1,12 |
49 023 |
Дегтярев |
97 887 |
1,35 |
66 532 |
0,92 |
31 355 |
Левичев |
97 887 |
1,35 |
64 778 |
0,89 |
33 109 |
недействительные |
65 258 |
0,9 |
35 610 |
0,49 |
29 648 |
всего |
7 250 879 |
|
7 250 879 |
|
|
**
«Новая газета»
Выпуск № 101 от 11 сентября 2013
Александр Рубцов
Гордыня власти против эксцесса Навального
Подвел апломб. Исходя из 70% Собянина и 10% Навального, стратегию строили на шапкозакидательстве, начиная с самой идеи досрочно, своими руками и на ровном месте устроить всю эту вакханалию «честного подсчета» и перехвата легитимности. Конфуз кампании той же природы: триумфальные арки возвели даже не до победы, а еще до начала сражения. В нестабильных ситуациях это путь к провалу.
Политическая социология: мы вам покажем небо в пальцах!
А как иначе, если стабильность — главная мантра начальства, а нестабильность из разряда идеологически несуществующего? Заговаривая других, уговорили себя. Типичный итог замораживания мозгов, самолюбования и доверия сервильной аналитике.
«Социология» не подвела: просто это светлое имя у нас с тем же апломбом присвоила себе обычная фабрика опросов. Всех приучили платить за полуфабрикат, хотя сама по себе цифра далека от собственно социологии, как градусник от диагноста. Классика «введения потребителя в заблуждение». Поллстеров понять можно: они продают продукт, на который способны, а это просто «линейка» (голая статистика ответов) либо ее коррекция с учетом прошлых голосований. Ну и кое-какие кросс-табуляции. ФОМ поверх «предварительных» прогнозов выкатил еще и «окончательные» (на дополнительных вопросах), но попал тем же пальцем в то же небо — и кривее всех.
Такого облома в придворной и «дворовой» социологии не было за всю историю наблюдений. Неловко вспоминать, с каким небрежным, а то и хамским (В. Федоров) высокомерием здесь только что крушили сомневавшихся в триумфе Собянина. С особым теплом валили экспертов Навального, которые по нужде гнали «в поле» наскоро обученных волонтеров опрашивать улицу, что по выборке коряво. Но пикантность в том, что именно и только здесь, дав Собянину 49—51%, а Навальному 24—26%, попали в точку (официальный итог 51,37% и 27,24%). «Большая тройка» дала Собянину: ФОМ — 74% (минус 22,63); ВЦИОМ — 62,2% (-10,83); Левада-центр — 58% (-6,63). По Навальному не лучше: ФОМ — 14% (плюс 13,24); ВЦИОМ — 15,7% (+11,54); Левада-центр — 18% (+9,24). «Левада» остался в рамках приличий с большой натяжкой.
Sinovate ComCon вышла на орбиту, зафиксировав падение показателей Собянина пунктов на 10. На людей быстро спустили с цепи специально обученных, но совсем худых троллей, в лучших традициях объяснивших эту крамолу заказом и нездоровой ориентацией гендиректора Елены Коневой: подписи в поддержку иностранных агентов («ГОЛОС»,) Pussi Riot, за отставку Путина, сотрудничество с USAID и даже… знакомство с Ольгой Романовой. Стандартный донос, амплуа «аналитик-стукач».
То же с явкой. По данным ФОМ, ожидались 73% (опрос 26—31 августа). Остальные дали петуха не так ярко, но тоже со свистом. Пришли 32,07%.
Погрешность опросов — знак добросовестности фирмы. Здесь разница между данными служб в разы превышает эту погрешность. Некто tebedam из Livejournal сигнализирует: Левада-центр подсчитал, что 23% москвичей «ни за что не проголосовали бы» за Навального, а ВЦИОМ насчитал таковых аж 53%! При погрешности 3,9%.
Как самовыражался честный Швондер: «Это какой-то… позор».
Легитимность на доверии
Страшнее всего детский вопрос: каким это волшебством данные профессиональной социологии ранее совпадали с фальсификатом, но попали «в молоко» при первом же намеке на приличия в подсчете и употреблении адмресурса?
Еще выдающийся советский социолог Григорий Юдин показал, что даже наши службы не могут позволить себе совсем грязной подтасовки результатов (как у Чурова). Скорее иначе: в силу тех или иных причин они тонко срабатывают на завышение, а уже ЦИК подгоняет итоги, подтверждая фальсификат данными точной науки. Опустим анализ этих мотивов и механизмов. Важнее, что эта «статистическая легитимность» давала начальству некоторые основания утешать себя тем, что махинации не искажают реальность, а наоборот, приводят почему-то все время заблуждающийся электорат к подлинным реалиям сознания и настроений «страны». Зная, что поллстеры не совсем проститутки, уже и в сгоне гастарбайтеров начинаешь видеть обожание нации.
Теперь это счастье разом кончилось. И не просто в репутации конкретных служб (а в особенности некоторых их фронтменов, говорящих голов). Обрушилась сама «научная картина мира» этой политики — со всеми ее фикциями легитимности, умиротворения и подчинения большинству. Можно, конечно, опять уговорить себя, что была всего лишь тактическая ошибка: апломб еще не состоявшейся победы демобилизовал собянинский электорат. Однако надо понимать: данный резерв главного командования мобилизуется не по движению души, а как раз теми средствами, которыми на этот раз слегка пренебрегли. Поэтому выход пока неясен: либо вновь включать старый ресурс, и далее самоукрепляясь в очень шаткой легитимности, — либо разбираться с тонкими настройками сознания тех, кто спрашивает и кто отвечает, с самой идеологией предсказуемости и управляемости такого рода процессов. И тогда менять уже не политтехнологии, а сами основы отношения к обществу — принципы и этос.
Но есть риск, что раскрытие реальной прогностической (а не статистической) погрешности исследований снизит их ликвидность и цену, а потому делать это придется извне, в обход конфликта интересов. Считающий себя вторым после Грушина социологом России Николай Попов в свое время получил премию ISA (Международной социологической ассоциации) за великую фразу pollsters do it for the asking (двойные смыслы: do it — совершать половой акт, for the asking — задаром). Так вот наши pollsters в большинстве своем do it вовсе не for the asking, а за деньги федерального бюджета, то есть народа. И не за корректный спрос, а за правильный ответ. Поэтому: либо мы имеем нормальную социологию, либо ненормальная социология вместе с властью имеет нас всеми способами.
Опасные связи администрации президента
Вместе с тем товарищам из политического сопровождения власти никто не мешал более внимательно прислушаться к скепсису внешних аналитиков, хотя бы из того же КГИ (Комитета гражданских инициатив имени Кудрина) и ЦСР (Центра стратегических разработок). Похоже, опять сказался апломб: эта власть, даже пытаясь работать с реальностью, будто все время вертится перед зеркалом, сама перед собой прихорашивается, а потому воспринимает лишь комплименты. По той же причине политику здесь пытаются делать исключительно с позиции красоты и силы: более всего боятся потерять лицо — и давят на газ перед каждым ухабом.
Более того, по уму надо менять не только методики, но и само политическое мировоззрение. Пока это голый механицизм плюс простая арифметика, даже не высшая. Сознание манипуляторов застыло на уровне даже не условных рефлексов академика Павлова, а где-то в дебрях лапласовского детерминизма и классической физики. Такие установки всегда были универсальными: в «Опасных связях» Шодерло де Лакло интрига и сюжет великолепно механистичны — вполне в духе своего времени. И в нынешней российской политике главный инструмент — простой механический рычаг, тоже вполне в духе того времени. Если не более раннего —когда думали, что большой палкой можно перевернуть мир. Применительно к более сложным объектам, описываемым как минимум в языке хаотической динамики, весь этот детерминизм не работает —как в анализе, так и в попытках воздействовать эффективно и предсказуемо. Здесь работает логика бифуркационных процессов, чреватых срывами в нестабильность и неприемлемым ущербом именно при попытках влиять через колено. Вопрос в том, может ли в принципе политический режим такого рода действовать более тонко и при необходимости податливо — по самой своей сути, независимо от психологии особо решительного руководства.
Например, теоретически можно было бы поступить так: не сажать Собянина на жидкий трон при полутора процентах перевеса, десятках тысяч надомников и неизвестно где вновь обнаруженных граждан, а вывести Навального во второй тур и помочь ему там победить, после чего, устроив нелегкий коллапс, на многие годы отбить у людей охоту приводить к власти хоть кого-то из оппозиции. В шахматах это называется эффективная жертва, в самбо — принцип реакции на силу противника.
Но у нас проблема еще и в том, что за время дискредитации тот же Навальный такого нароет в городе и таких наразрешает майданов, что тактические жертвы здесь не оправдаешь никакими будущими перспективами в стратегии. Это системное противоречие: уже сейчас, нахваливая себя за небывало честные выборы, штаб Собянина тем самым регулярно признает весь прошлый фальсификат.
Остается либо и дальше играть в апломб, заводя все в тупик и на взрыв, — либо искать компромиссные варианты, если они еще остались.
Беда в том, что с каждой тактической глупостью таких стратегических перспектив становится все меньше.