К причинам ошибочных прогнозов победы Трампа

Как я уже писал, неожиданность победы Трампа была вызвана комбинацией трёх вещей, в порядке возрастания важности. Во-первых, ошибочными предсказаниями тех, кто проводил соцопросы - хотя эти ошибки были небольшими и, в исторической перспективе, обычными. Во-вторых, тех, кто комментировал и интерпретировал результаты опросов - даже если они упоминали (как я), что шанс в 85-90% это далеко не то же самое, что 100%, найти правильный и убедительный тон, как показал результат, не удалось. Mea culpa. В-третьих, читающая публика пропускает все оговорки (что вероятность 90% - это вероятность победы "Урала" над ЦСКА на его поле) и сосредотачивается только на бинарном ("или-или") предсказании. Но Бог, с ними, с ошибками. Даже сейчас довольно трудно понять, что на самом деле произошло - и с опросами, и с "общей картиной".

Про опросы - вот только сейчас, почти через месяц после выборов и огромного множества комментариев, я увидел первый полноценно информативный мини-анализ. Нейт Сильвер приводит данные о том, почему в соцопросах было то смещение, которые давало слишком большой, в вероятностном смысле, перевес Клинтон в прогнозах. Это, грубо говоря, недооценка разница в готовности необразованных людей отвечать на опросы по сравнению с готовностью образованных.

Конечно, социологи прекрасно знают, что желание человека отвечать на вопросы определяется множеством факторов. (И вовсе не факт, a priori, что необразованные отвечают менее охотно - у образованных время дороже.) Поэтому результаты любого опроса, чтобы превратить его в прогноз, "взвешиваются" с учётом желания отвечать. То есть когда какой-то человек что-то ответил социологам о своих предпочтениях, то они получают довольно хорошую (как показывает многолетняя практика) информацию о том, как голосуют люди такого типа. Но потом надо учесть, насколько люди такого типа представлены в (будущей) выборке из всех избирателей, а это трудно. Очень грубо - социологи хорошо знают, как проголосует избиратель - 40+ малообразованная испаноязычная женщина, но трудно оценить сколько таких избирателей придёт голосовать. Даже разбиение на категории (возраст, образование, язык) - сложная процедура, требующая множества мелких решений со стороны исследователя. Но если бы это и было просто, то как правильно выбрать "веса" - те самые пропорции, в которых опрошенные представлены среди избирателей? Чаще всего веса выбираются с помощью данных о соотношении результатов прошедших выборов с результатами опросов перед теми выборами. И это, конечно, приводит к проблемам каждый раз, когда происходит какое-то изменение в том, с какой вероятностью люди конкретного типа приходят на выборы или отвечают на опрос. (То, что в середине дня выборов в 2004 году казалось, что Керри побеждает с убедительным перевесом - классический результат такой ситуации. Довольно чётко очерченная группа избирателей была представлена на тех выборах больше, чем на предыдущих.)

В этот раз Сильвер с помощью элементарных статистических процедур показывает, что была систематическая ошибка, связанная с тем, что в 2016 году уровень образования, как оказалось, играл большую роль и, одновременно, по всей видимости, была серьёзная разница между готовностью людей с разным уровнем образования отвечать на опросы. Социологи знают про такую разницу, например, между людьми с английским и испанским языком в качестве основного и лучшие опросы учитывают не только эту разницу, но и то, что испаноязычные избиратели отвечают по-разному в зависимости от того, на каком языке проводится опрос. Но с уровнем образования это не было так понятно в предыдущие циклы. (Это трудно - например, многие чёрные избиратели - "малообразованные", так что даже на основе больших опросов трудно понять - они не отвечают, потому что "чёрные" или потому что "малообразованные", а ведь во всей выборке соотношение этих групп разное.) А похоже, как раз этот параметр играл важную роль.

В анализе Сильвера особенно убедительно то, что результаты опросов, правильно скорректированные с учётом разной доли граждан без высшего образования, показывают не смещенность исходных опросов в сторону Клинтон, а смещенность в пользу Клинтон в штатах с высокой долей малообразованных граждан и в пользу Трампа в штатах с низкой долей. Все обсуждают то, что в Пенсильвании, Мичигане и Висконсине Трамп показал результаты намного лучше тех, чем предсказывали опросы, потому что эти штаты сыграли в итоге решающую роль, но в Массачусеттсе, Иллинойсе и Калифорнии опросы ошибались, и довольно сильно, в пользу Трампа. То есть сами опросы не были особенно «смещены в пользу Клинтон». Они были «смещены в сторону интересов граждан с высшим образованием», причём это смещение суммарно по всем штатам усреднилось практически до нуля (поэтому национальные прогнозы оказались очень точными – в среднем они предсказывали победу Клинтон в 3,5%, а оказалось – почти в 2,1%). Но, поскольку самые большие «смещения в сторону высокообразованных» на уровне штатов были в тех штатах, в которых при прочих равных был более ровный расклад между республиканцами и демократами, они привели к довольно убедительной победе Трампа в коллегии выборщиков.