Kan man bruke Benfords lov som en test på valgjuks?

I dette notatet blir Benfords lov beskrevet og bruken av dette teoremet i undersøkelser av valgfusk. Det pågår en faglig debatt om Benfords lov i det hele tatt kan brukes til å teste valgresultater for juks. Selv om det er uenighet om nytten av testen, er det enighet om at første siffers test ikke fungerer, at rene visuelle inspeksjoner ikke gir nyttig informasjon, at selv en andre siffers test gir liten mening i velfungerende demokratier og at et utslag på statistiske tester fortsatt kun er en første indikasjon på valgjuks som må undersøkes med kvalitative undersøkelser.

Dette notatet ble skrevet på oppdrag fra Kommunal og moderniseringsdepartementet i sammenheng med klager på gjennomføringen av stortingsvalget i 2021.¹

Benfords lov er et matematisk teorem som sier at noen tall oftere vil forekomme som det første sifferet i et tall enn andre. Ifølge teoremet finnes det en “naturlig” fordeling av første siffer i vanlige sammenhenger. Teoremet har vist seg å stemme for mange ulike typer tall. Alt fra befolkning i byer til inntektsskatt. Dette har også blitt brukt for å lete etter juks med skattetall fordi tall som er lagd for å se tilfeldige ut (dvs. falske skattetall i dette tilfellet) sjelden vil følge Benfords lov, mens ekte skattetall vil følge fordelingen som Benford satte fram.

Benfords lov har vært brukt til å ettergå stemmetall også for å finne ut om det har vært valgfusk (se for eksempel Mebane and Kalinin (2010)). Her vil man altså telle alle andre siffer blant stemmetallene for et parti i de ulike valgkretsene og så se om disse tallene også følger Benfords fordeling av tall. Antakelsen er at valg der det ikke har vært fusk vil følge Benfords fordeling, mens valg der det har vært fusk ikke vil gjøre det fordi stemmetallene er «laget» i slike tilfeller. Dette gjøres imidlertid i tilfeller der det er mistanke om valgfusk fra start (Shikano and Mack 2011). Når det ikke allerede er mistanke om valgfusk er det høy sannsynlighet for type 1 feil, at man finner en sammenheng (valgfusk) der dette ikke er tilfelle.

Tilnærmingen med å bruke første tall til en test har flere utfordringer og har blitt kritisert (Staff 2020). Det er derfor ikke vanlig å teste med første tall, men mer vanlig å bruke en 2BL-test (andre siffers test). Selv her har studier funnet avvik fra Benfords fordeling i valg i Tyskland (Shikano and Mack 2011), et land der det er liten grunn til å tro at det foregår valgfusk. For å forstå begrensningene i metoden med første siffer for å evaluere valg er det nyttig å se på når vi forventer å finne at Benfords fordeling oppstår. Denne fordelingen oppstår som regel i tilfeller der tallene har stor spredning i størrelse (altså i fordelinger der man for eksempel både har tiere og millioner) og i fordelinger der det er det er en jevn fordeling av tall (Fewster 2009, s. 28). Når vi ser på valg ser vi at disse forutsetningene kan være brutt. Stemmekretsene og dermed stemmetallene vil ikke variere dramatisk i størrelse. Heller vil det være slik at mange av stemmekretsene har omtrent like stor størrelse. Samtidig vil (i hvert fall noen av) partiene ofte ha relativt lik prosentvis oppslutning i de ulike stemmekretsene.

Det er lett å se at dette er et problem for Benfords lov med første siffer om vi ser for oss et hypotetisk land der alle valgkretsene hadde 1000 personer som stemte.² Hvis et parti fikk akkurat like stor oppslutning i alle valgdistriktene (for enkelhets skyld 25 prosent), ville det første sifferet i alle stemmetallene være 2 (som i 250 stemmer). Selv om vi lar stemmetallet til partiet variere mellom 20 og 29,9 prosent vil dette være tilfellet (200-299 stemmer). Selv i situasjoner med større variasjon i stemmetall og stemmekretsstørrelse vil slike mønstre kunne påvirke fordelingen av første siffer på en måte som avviker fra Benfords lov.

Fordi dette særlig er et problem med første siffer er dette ikke brukt for å undersøke valgfusk. Derimot har det vært vanlig å bruke andre siffer i liknende analyser. Her finnes det også statistiske tester som kan brukes. Men som Shikano and Mack (2011) viser, gir den vanligste statistiske testen (kji-kvadrat test) også her problematiske resultater. De foreslår derfor å bruke simulering av valgresultater som et alternativ. Mens kji-kvadrat viste at det var mer avvik enn forventet i det tyske valget, viser disse andre testene det motsatte, mindre avvik fra Benfords fordeling enn forventet. Det pågår en faglig debatt om nytten av Benfords lov for å teste valgresultater for juks og ulike statistiske tilnærminger er foreslått for å unngå noen spesifikke fallgruver. Det synes likevel å være enighet om at første siffers test ikke fungerer, at rene visuelle inspeksjoner ikke er veien å gå, at selv en andre siffers test gir liten mening i velfungerende demokratier og at et utslag på statistiske tester fortsatt kun er en første indikasjon på valgjuks som må undersøkes med kvalitative undersøkelser.

---

1. Det står mer om klagene i denne VG-saken↩︎

2. Som Mebane (2020) formulerer det «It is widely understood that the first digits of precinct vote counts are not useful for trying to diagnose election frauds.»↩︎