К вопросу о сопоставимости данных при смене метода набора респондентов

На примере опросов ВЦИОМ 2004-2017 годов.

Задача достижимости респондентов при проведении репрезентативных опросов является одной из двух ключевых, влияющих на качество получаемых данных и, в дальнейшем, на принимаемые решения в различных сферах. Второй ключевой задачей при подготовке социологического исследования является качество самого опросного инструмента.

В 2017 году ВЦИОМ изменил способ формирования выборки, отказавших в мониторинговых исследованиях от квартирных опросов и перейдя на двухосновную выборку из стационарных и мобильных номеров телефонов. В профессиональной среде к подобному переходу и к сопоставимости данных, собираемых различными методами, относились, мягко говоря, скептически. Но ВЦИОМ провел довольно большой объем различных исследований для обоснования возможности такого перехода, активно демонстрировал их социологической общественности и публиковал в специализированных изданиях (например, в «Мониторинг общественного мнения», 2016), и если не убедил, то, как минимум, слегка снизил эмоциональный фон обсуждения темы. Сам по себе переход прошел легко, во всех необходимых местах и у себя на сайте и в публикациях указывается, что данные в разные периоды были получены с помощью разных методов и т.д. Большинство пользователей данных на эти оговорки не обращали и не обращают внимание, и с горячностью начинают обсуждать динамику показателей. Хотя внимательное знакомство с описанием методов на сайте ВЦИОМ уже могло бы вызвать некоторую настороженность: в описании старого метода формирования выборки утверждалось «Многоступенчатая стратифицированная выборка с контролем квот на последнем этапе отбора в общем случае не требует дополнительных выравниваний структуры с помощью весов», а в описании нового метода содержится пассаж «Данные взвешены на вероятность отбора и по социально-демографическим параметрам.». Очевидно, что само по себе перевзвешивание увеличивает ошибку выборки, а применяемое к единичным или малому числу наблюдений делает её практически неконтролируемой. Но случилось то, что случилось, а у заинтересованной общественности появилась возможность понаблюдать за последствиями этих изменений.

Нами были проанализированы мониторинговые исследования ВЦИОМ, посвященные спорту, наркотикам, патриотизму, кино и «прямой линии» В.Путина. Даже при первом взгляде на результаты обращает на себя внимание устойчивый рост доли первого варианта ответа при телефонном опросе. Это видно и по результатам опросов про наркотики, занятия спортом и посещение кино.

И если выбор альтернативы про отношение к употребляющим наркотики еще можно рассматривать как реальную общественную динамику, то занятия спортом и посещения кинотеатров это уже формы поведения, имеющие вполне наблюдаемые маркеры. Но за последние два года рынок спортивных товаров и услуг не ощутил роста в 1,5 раза регулярно и на 40% занимающихся «время от времени». Так и рынок кинобилетов с 2011 года вырос всего на 7%, хотя по результатам опроса он должен был вырасти в два раза минимум.

Аналогичные эффекты мы можем подозревать и в результатах опроса по поводу «прямой линии» В.Путина: степень «большого интереса» выросла в 1,5 раза, хотя по данным ФОМ общий интерес к «прямой линии» был несколько слабее, то есть налицо конфликт данных из разных источников.

Конечно же, в этом ключе можно относиться и к заявлениям граждан о том, что они смотрели «прямую линию» в прямом эфире: об этом заявляют более 40% опрошенных, хотя по данным телеметрии охват трансляции составлял менее 20%.

Так что, даже небольшой анализ выявляет существенную проблему перехода на новый метод формирования выборки ВЦИОМ и наличие в этом методе существенной проблемы: возрастание доли предпочитающих первую альтернативу ответа при телефонном опросе по сравнению с личным интервью. Наличие такого смещения, скорее всего различного в зависимости от темы и сложности формулировок самих альтернатив, делает сомнительным целесообразность обсуждения динамики показателей, полученных разными методами.

Осознавая, что подобные проблемы, связанные с поведением респондентов, в той или иной мере свойственный любым опросным методам, мы обращаем внимание именно на проблему сопоставимости данных, полученных разными методами. Сами по себе телефонные опросы давно входят в профессиональный набор социологов и маркетологов, их возможности и недостатки хорошо известны. Но именно гораздо более высокая чувствительность результатов телефонных опросов к техническим и содержательным характеристикам вопросов всегда вызывала определенную настороженность к их результатам в профессиональной среде и готовность использовать в недобросовестных целях околопрофессиональной…

Михаил Дымшиц, Дарья Стрюк