Margen de error, cocina y veda de sondeos: cómo leer una encuesta electoral sin que te la cuelen

En «Noemí Argüelles va ganando en las encuestas» hay un momento en que el estribillo deja de ser solo una celebración y se convierte en una advertencia de presentador deportivo:

No puedes negar que les detestas ¡Pues Claro! Ojo al dato

Y justo después, como quien repite el titular de portada para que no se escape nadie:

Porque Noemí Argüelles va ganando en las encuestas

La canción es una sátira. Elon Musk y Donald Trump aparecen reunidos, abatidos y escondidos, mientras una candidata imposible, la Noemí Argüelles de «Paquita Salas», sube en los sondeos de un planeta inventado. Ya escribí sobre esa política convertida en espectáculo en el artículo sobre votar a un personaje de ficción. Hoy quiero quedarme con la otra mitad del verso: el dato. Porque cada vez que hay elecciones, en la tele, en los grupos de WhatsApp y en la barra del bar, alguien suelta «según las encuestas…» como si fuera una profecía. Y una encuesta no es una profecía. Es una fotografía borrosa hecha con una cámara que tiene sus manías.

Soy letrista, compositor y productor musical, no sociólogo ni estadístico. Lo que cuento aquí es lo básico que cualquiera puede comprobar en la ley electoral y en los manuales de introducción a la estadística. No pretendo decirte a quién votar ni qué encuesta creerte. Pretendo que, la próxima vez que alguien te enseñe un gráfico de barras de colores, sepas qué preguntas hacerle.

Por qué preguntar a mil personas puede servir para hablar de millones

La primera reacción de mucha gente ante una encuesta es la desconfianza: «A mí nunca me han llamado». Es lógico. En España votan decenas de millones de personas y una encuesta típica entrevista a unos cientos o unos pocos miles. ¿Cómo va a ser eso representativo?

La respuesta está en una idea que se entiende bien en la cocina. Si preparas un cocido y quieres saber si está bien de sal, no te comes la olla entera. Remueves bien y pruebas una cucharada. Si el caldo está bien mezclado, una cucharada te dice mucho de toda la olla. Si no has removido, puedes llevarte un susto: probar justo donde se ha quedado el tocino o donde no ha llegado la sal.

Una encuesta funciona igual. Lo importante no es tanto el tamaño de la cuchara como haber removido bien, es decir, que las personas entrevistadas se parezcan en su conjunto a la población que votará: en edad, en sexo, en lugar de residencia, en tamaño de municipio, en nivel de estudios. Eso es lo que se llama una muestra representativa. Una muestra enorme pero mal elegida puede equivocarse mucho más que una pequeña y bien elegida.

La gran lección de 1936: más no es mejor

Hay una historia que se cuenta en casi todas las clases de estadística y que viene al pelo. En 1936, una revista estadounidense muy popular, The Literary Digest, quiso adivinar quién ganaría las elecciones presidenciales entre Franklin D. Roosevelt y Alf Landon. Envió unos diez millones de papeletas por correo y recibió alrededor de 2,4 millones de respuestas. Con ese montón de datos, pronosticó una victoria clara de Landon.

Ganó Roosevelt, y por goleada. ¿Qué había fallado? La revista había sacado sus direcciones, entre otras fuentes, de listas de suscriptores, de guías telefónicas y de registros de propietarios de coches. En plena Gran Depresión, tener teléfono o coche era cosa de gente con más dinero, que tendía a votar a los republicanos. Además, respondió quien quiso, y quienes se toman la molestia de contestar no siempre se parecen a quienes no lo hacen. Mientras tanto, George Gallup, con una muestra muchísimo más pequeña pero mejor diseñada, acertó el ganador.

La moraleja sigue vigente: dos millones de respuestas mal elegidas valen menos que unos pocos miles bien elegidas. Cuando veas una «encuesta» en una red social con decenas de miles de votos, recuerda a The Literary Digest. Ahí solo vota quien sigue esa cuenta, quien se entera y quien tiene ganas de pulsar un botón. Es un termómetro de una comunidad concreta, no de un país.

El titular más famoso de la historia de los sondeos

Doce años después llegó otro tropiezo legendario. En las presidenciales de 1948, las principales encuestas daban como favorito al republicano Thomas Dewey frente al presidente Harry Truman. El Chicago Tribune llegó a imprimir un titular a toda página que anunciaba la derrota de Truman. Truman ganó, y existe una foto célebre de él, sonriente, levantando aquel periódico equivocado.

Aquellos encuestadores usaban un sistema de cuotas en el que eran los propios entrevistadores quienes elegían a quién preguntar dentro de cada grupo, y además dejaron de hacer sondeos semanas antes de la votación, convencidos de que todo estaba decidido. Se perdieron el último tramo de campaña, justo cuando muchos indecisos se decidieron.

De ahí sale otra lección: una encuesta es una foto de un momento. Si se hizo hace tres semanas, cuenta lo que pensaba la gente hace tres semanas. Y en política, como en el amor, tres semanas pueden ser una eternidad.

El margen de error, explicado sin fórmulas que asusten

Este es el concepto más importante y el que peor se suele contar en los titulares. Toda encuesta basada en una muestra tiene un margen de error: un intervalo dentro del cual, con una probabilidad alta, estaría el dato real si hubieras podido preguntar a todo el mundo.

En las fichas técnicas suele aparecer así: «Margen de error: ±3,1 % para un nivel de confianza del 95,5 %» o «del 95 %». Traducido: si repitieras esa misma encuesta muchas veces con muestras distintas elegidas de la misma forma, en la gran mayoría de los casos el resultado real caería dentro de esa horquilla.

Para hacerte una idea de los órdenes de magnitud, en el caso más desfavorable y con un 95 % de confianza:

• Con unas 400 entrevistas, el margen ronda los ±4,9 puntos.
• Con unas 1.000 entrevistas, ronda los ±3,1 puntos.
• Con unas 2.500 entrevistas, baja hasta unos ±2 puntos.

Fíjate en que para reducir el margen a la mitad no basta con duplicar la muestra: hay que multiplicarla por cuatro. Por eso las encuestas no suelen entrevistar a cien mil personas. Sería carísimo y la mejora sería pequeña.

Ahora viene lo interesante. Imagina que una encuesta de 1.000 entrevistas da a un partido un 24 % y a otro un 22 %. El titular dirá «A adelanta a B». Pero con un margen de ±3 puntos, el primero podría estar realmente entre el 21 y el 27, y el segundo entre el 19 y el 25. Las horquillas se solapan por completo. Lo honesto sería decir: «Empate técnico». Cuando dos cifras están separadas por menos que el margen de error, la encuesta no te permite saber quién va delante.

Y hay una trampa añadida: el margen de error que aparece en la ficha se refiere a la muestra total. Si el periódico luego te cuenta qué votan los jóvenes de 18 a 24 años, quizá ese subgrupo sean solo 100 personas. Con 100 entrevistas el margen se dispara por encima de los ±9 puntos. Los cruces por edad, por región o por sexo son interesantes, pero hay que leerlos con muchísima más prudencia.

El margen de error solo cuenta una parte de la historia

Ojo, que esto es importante: el margen de error solo mide el error debido al azar de haber elegido a unas personas y no a otras. No mide otros problemas que muchas veces pesan más:

• El sesgo de cobertura. Si encuestas solo por teléfono fijo, te dejas fuera a quienes ya no tienen fijo, que suelen ser más jóvenes. Si encuestas solo por internet, te dejas fuera a quienes no lo usan.
• El sesgo de no respuesta. No todo el mundo coge el teléfono ni acepta contestar. Si quienes contestan votan de forma distinta a quienes cuelgan, la encuesta se desvía.
• La deseabilidad social. Hay personas que no dicen la verdad sobre su voto porque les da vergüenza, porque creen que su opción está mal vista o simplemente porque no se fían de quien pregunta.
• La redacción de las preguntas. El orden y las palabras con que se pregunta pueden empujar las respuestas. Por eso la ley obliga a publicar el texto íntegro de las preguntas, como veremos más abajo.

En resumen, el margen de error es el error mínimo, no el máximo. Una encuesta con un margen de ±2,5 puntos puede fallar por cinco si tiene un sesgo de los que no se ven en la ficha.

Intención directa de voto y estimación: qué es la famosa cocina

Aquí entramos en la parte que más polémica genera. Cuando un instituto pregunta «Si mañana hubiera elecciones, ¿a qué partido votaría?», obtiene la intención directa de voto. Ese dato crudo tiene muchísimos indecisos, gente que no quiere contestar y personas que dicen que votarán pero luego se quedan en casa.

Con esos datos en bruto no se puede publicar una estimación de resultados sin más. Por eso los institutos aplican modelos: tienen en cuenta la probabilidad de que cada persona vaya realmente a votar, reparten a parte de los indecisos según sus simpatías, y comparan lo que la gente dice que votó en las últimas elecciones, el llamado recuerdo de voto, con lo que de verdad salió en las urnas para corregir desequilibrios de la muestra. A todo ese proceso se le llama coloquialmente cocina.

La cocina no es en sí misma una trampa. Sin ella, los datos en bruto serían todavía menos fiables. El problema es que cada casa tiene su receta, y no siempre la explica. Dos institutos pueden partir de datos parecidos y llegar a estimaciones distintas solo por cómo han cocinado. Por eso, cuando un instituto publica también la intención directa de voto, merece la pena mirarla al lado de la estimación. Si la estimación se aleja mucho del dato crudo, conviene preguntarse por qué.

De los votos a los escaños: el último salto mortal

Muchas encuestas no se quedan en el porcentaje de votos. Se atreven con los escaños, y ahí la incertidumbre se multiplica. En las elecciones al Congreso, España se divide en circunscripciones provinciales, cada una con un número de diputados, y los escaños se reparten en cada una con el sistema D'Hondt, dejando fuera a las candidaturas que no alcanzan el 3 % de los votos válidos de esa circunscripción.

Eso significa que no basta con saber cuántos votos tiene un partido en todo el país. Importa dónde los tiene. En una provincia que reparte tres o cuatro escaños, unos pocos miles de votos pueden decidir quién se lleva el último. Las encuestas nacionales casi nunca tienen muestra suficiente en cada provincia para afinar ese detalle, así que las proyecciones de escaños se basan en supuestos sobre cómo se distribuyen los votos.

Por eso es más honesto que los escaños se presenten en horquillas, por ejemplo «entre 95 y 105», que con una cifra exacta. Si ves una proyección que da un número cerrado sin margen alguno, desconfía de su seguridad.

La ficha técnica: el prospecto del medicamento

En España, desde el día en que se convocan unas elecciones hasta el de la votación, la publicación de encuestas electorales tiene normas propias. Están en el artículo 69 de la Ley Orgánica 5/1985, del Régimen Electoral General, la LOREG.

Ese artículo obliga a quien hace el sondeo, y a quien lo publica, a acompañarlo de una serie de datos:

• El nombre y el domicilio de quien ha hecho el sondeo y de quien lo ha encargado.
• Las características técnicas: el sistema de muestreo, el tamaño de la muestra, el margen de error, el nivel de representatividad, el procedimiento de selección de las personas encuestadas y las fechas del trabajo de campo.
• El texto íntegro de las preguntas y el número de personas que no han contestado a cada una.

Es como el prospecto de un medicamento: casi nadie lo lee, pero contiene la información que importa. Cuando veas una encuesta, busca la ficha técnica y hazte cinco preguntas rápidas. ¿Quién la ha encargado? ¿Cuántas entrevistas tiene? ¿Cuándo se hizo? ¿Cómo se eligió a la gente, por teléfono, por internet, en persona? ¿Cuál es el margen de error? Si una encuesta publicada en periodo electoral no tiene ficha técnica, ya tienes una pista importante.

La misma ley encarga a la Junta Electoral Central velar porque los sondeos publicados no contengan falsificaciones, ocultaciones o modificaciones deliberadas. La Junta puede pedir información técnica complementaria a quien ha hecho la encuesta y, si un medio publica un sondeo vulnerando la ley, puede exigirle que publique una rectificación en el plazo de tres días y en el mismo espacio en que dio la información.

La veda de los cinco días y el truco de Andorra

El apartado 7 de ese mismo artículo es el más conocido: durante los cinco días anteriores al de la votación queda prohibida la publicación, difusión o reproducción de sondeos electorales por cualquier medio de comunicación. La idea de fondo es proteger los últimos días de la campaña de una posible influencia de los sondeos y evitar que se difundan datos que ya no se pueden contrastar ni rectificar a tiempo.

Esa prohibición tiene detractores. Hay quien sostiene que en la era de internet es poco eficaz y que deja en peor posición al votante corriente, porque los partidos siguen encargando encuestas internas que sí ven, mientras la ciudadanía no puede consultarlas en los medios españoles.

La curiosidad más famosa es la de Andorra. Como la ley española se aplica a los medios de aquí, en varias elecciones El Periòdic d'Andorra, un diario andorrano, ha publicado durante esos cinco días sondeos diarios sobre las elecciones españolas. Lo hizo, por ejemplo, en las generales de 2008, de diciembre de 2015 y de noviembre de 2019, y muchos medios españoles se limitaron a enlazarlos. En redes sociales hubo quien llegó a disfrazar los porcentajes como si fueran precios de fruta en una lista de la compra, asignando a cada partido una fruta de su color.

Esa anécdota dice mucho de nuestra relación con las encuestas: las criticamos, pero no podemos dejar de mirarlas, ni siquiera cuando la ley nos pide unos días de descanso.

Arrastre, desvalimiento y profecías que se cumplen solas

Detrás de la veda hay una preocupación real: que las encuestas no solo midan la opinión, sino que la cambien. Los politólogos hablan de dos efectos opuestos. El efecto arrastre, o bandwagon, consiste en que parte del electorado se suma al que va ganando, porque a nadie le gusta perder. El efecto desvalimiento, o underdog, es el contrario: hay quien se moviliza a favor del que va perdiendo, por simpatía o por miedo a que el favorito arrase.

Existe también el voto estratégico: hay personas que, al ver que su opción preferida no tiene posibilidades en su provincia, votan a otra que sí puede ganar un escaño. Y está la desmovilización: si una encuesta da por hecho el resultado, hay quien piensa que su papeleta no importa y se queda en casa.

La investigación sobre el peso real de estos efectos es abundante y sus conclusiones no son unánimes. Lo que sí está claro es que las encuestas forman parte de la conversación electoral y que se usan como arma. Un partido que va bien las enseña; uno que va mal dice que la única encuesta que vale es la del día de las elecciones. Las dos cosas pueden ser estrategia.

En la canción, el ostión con la puerta que se lleva el narrador es una manera muy gráfica de contar ese impacto: la noticia de un sondeo puede doler como un golpe en la cara, aunque solo sea un número provisional.

Encuestas que no son encuestas

Hay productos que se visten de encuesta sin serlo. Conviene reconocerlos:

• Las votaciones en redes sociales y en webs. Lo que te dije de The Literary Digest: participa quien quiere y quien se entera. Pueden ser muy divertidas, pero no representan a nadie más que a quien ha votado.
• Las encuestas de parte. Si el sondeo lo encarga un partido o una organización con intereses, no tiene por qué estar mal hecho, pero hay que saberlo. Por eso la ley pide decir quién lo encarga.
• Las filtraciones de encuestas internas. «Una encuesta que maneja el partido X dice que…». Sin ficha técnica, sin preguntas, sin fecha. Es propaganda con bata blanca.
• Los agregadores y promedios. Hay medios y webs que hacen la media de muchas encuestas. Suelen ser más estables que un sondeo suelto, pero dependen de qué encuestas incluyan y de cómo las ponderen.

Cuando una cifra te llegue por WhatsApp sin fuente, aplica lo que ya conté sobre los bulos sanitarios en el post sobre informarse sin caer en el pánico: antes de reenviar, busca el origen. Si nadie sabe quién hizo la encuesta, no es una encuesta, es un rumor con decimales.

Una guía rápida para la próxima noche electoral

Para que esto no se quede en teoría, aquí tienes una lista de comprobación que puedes llevar en el móvil:

• Busca la fecha del trabajo de campo. No la de publicación, la del trabajo de campo. Cuanto más antigua, menos te dice del momento actual.
• Mira el tamaño de la muestra y el margen de error. Si las diferencias son menores que el margen, es un empate.
• Pregunta quién la encarga y quién la hace. No para descartarla, sino para leerla con contexto.
• Compara con otras encuestas. Una encuesta suelta que dice algo muy distinto al resto puede ser la que ha detectado un cambio o la que se ha equivocado. Hasta que no lo confirmen otras, prudencia.
• Fíjate en la tendencia más que en el dato. Si un mismo instituto, con el mismo método, ve subir a un partido encuesta tras encuesta, esa tendencia dice más que una cifra aislada.
• Desconfía de los escaños exactos. Las horquillas son más honestas.
• No confundas un subgrupo con el total. Los cruces por edad o por región tienen márgenes mucho mayores.
• Recuerda que una encuesta no vota. Votas tú.

Esta última es la más importante. Ninguna encuesta decide nada. Las elecciones las deciden las personas que van a votar, y también, en cierto modo, las que deciden no ir. Hablé de esa tentación de quedarse en casa en el artículo sobre la desafección política y la abstención.

Por qué esto también va de diversidad

Podría parecer que un post sobre margen de error no tiene nada que ver con un planeta queer. Pero sí tiene que ver. Las minorías estamos acostumbradas a que se hable de nosotras con números que no siempre reflejan nuestra realidad. A veces no aparecemos en las muestras porque somos pocas personas en cada encuesta. Otras veces las preguntas no están pensadas para nosotras. Y otras, simplemente, no contestamos con sinceridad por miedo.

Cuando alguien dice «la sociedad piensa tal cosa sobre las personas LGTBI», hay que hacerse las mismas preguntas que con un sondeo electoral: quién lo ha preguntado, a cuánta gente, cómo, cuándo y con qué palabras. Leer encuestas con criterio es una forma de autodefensa. Ya lo apliqué a otro terreno en el texto sobre las preguntas que no te pueden hacer en una entrevista de trabajo: conocer las reglas te protege.

Lo que la sátira sabe y los gráficos no

En el planeta de la canción, Noemí Argüelles sube en los sondeos mientras dos de los hombres más poderosos del mundo se quedan abatidos y escondidos. La gracia está en lo imposible: un personaje de ficción salido de «Paquita Salas» que pone nerviosos a los dueños del tablero. Es lo mismo que pasa en «Vota Malena Gracia», donde unas elecciones galácticas sirven para defender un planeta de libertad frente a quienes lo quieren comprar.

Me gusta que el estribillo diga «va ganando» y no «ha ganado». Es un gerundio, algo que está pasando y que todavía puede cambiar. Es exactamente lo que es una encuesta: un estado provisional. Celebrar un sondeo como si fuera una victoria es tan ingenuo como hundirse por uno malo. La sátira lo sabe y por eso se ríe a carcajadas mientras repite el verso, a sabiendas de que el resultado definitivo está por escribir.

El sarcasmo sobre la clase política tiene en este planeta otros capítulos. En el artículo sobre «Un político español» escribí sobre el turno pacífico y el desencanto de barra. Y en «Elon Musk ha anunciado» su nombre sirve para algo muy distinto: una noticia inventada que interrumpe una rutina gris. Con humor, sin crueldad, intento señalar que el poder también se puede mirar desde abajo y con una sonrisa.

Exagerar también es una forma de mentir

Hay una última tentación que conviene nombrar: la de exagerar los datos para que encajen con lo que queremos creer. Pasa con las encuestas y pasa en la vida. Un partido sube un punto y su gente dice que «arrasa»; baja otro punto y los contrarios dicen que «se hunde». Ninguna de las dos frases resiste el margen de error.

En otra canción jugué precisamente con esa manía, y lo conté en el post sobre «La ley de la exageración». Exagerar es humano y en una letra es un recurso maravilloso. En un titular sobre una encuesta, en cambio, es una forma de desinformar. Por eso me gusta tanto el «Ojo al dato» de la canción: dicho con ironía, es una invitación a mirar dos veces.

Para cerrar: el dato con ojos

La próxima vez que alguien te diga «según las encuestas», no hace falta que saques la calculadora. Basta con tres preguntas: cuándo, a cuántos y quién. Con eso ya estarás leyendo mejor que la mayoría de los titulares.

Y si te apetece poner banda sonora a la noche electoral, aquí tienes la canción para escucharla en bucle. Puedes leer la letra completa en la sección de letras y moverte por el resto del planeta desde el blog. Que gane quien gane, pero que nadie te la cuele con un gráfico.

Preguntas frecuentes

¿Qué significa que una encuesta tenga un margen de error de ±3 puntos? Que, con una confianza alta (normalmente del 95 %), el dato real estaría dentro de una horquilla de tres puntos por arriba o por abajo del resultado publicado. Si dos partidos están separados por menos que ese margen, la encuesta no permite saber cuál va delante. Además, el margen solo mide el error por azar, no otros sesgos.

¿Por qué no se pueden publicar encuestas los cinco días antes de votar? Porque el artículo 69.7 de la Ley Orgánica del Régimen Electoral General prohíbe la publicación, difusión o reproducción de sondeos electorales por cualquier medio de comunicación durante los cinco días anteriores al de la votación. La Junta Electoral Central vela por que se cumpla.

¿Qué es la cocina de una encuesta? Es el proceso por el que un instituto transforma la intención directa de voto, con sus indecisos y sus respuestas en blanco, en una estimación de resultados. Para ello tiene en cuenta la probabilidad de ir a votar, el recuerdo de voto de las elecciones anteriores y otros ajustes. No es una trampa en sí, pero cada instituto tiene su método.

¿Qué datos tiene que llevar una encuesta electoral publicada en España? Durante el periodo electoral, la ley exige indicar quién la ha hecho y quién la ha encargado, el sistema de muestreo, el tamaño de la muestra, el margen de error, el nivel de representatividad, cómo se seleccionó a las personas, las fechas del trabajo de campo, el texto íntegro de las preguntas y cuántas personas no contestaron a cada una.

¿Sirven las encuestas de Twitter o de Instagram? Como entretenimiento, sí. Como predicción, no. En ellas solo participa quien sigue la cuenta y quiere votar, así que no representan a la población. Es el mismo error que cometió The Literary Digest en 1936 con más de dos millones de respuestas.