Google och ChatGPT är inte överens vilka företag du ska se

Att ligga högt på Google betyder inte att ditt företag syns när samma fråga ställs till ChatGPT. I den här undersökningen jämförde jag företag som syntes i Googles organiska sökresultat med vilka företag ChatGPT rekommenderade när användaren ställde motsvarande köpfråga. Av 269 kvalificerade företag i Google-underlaget nämndes 159 åtminstone en gång av ChatGPT. Det innebär att 41 procent av företagen som syntes på Google inte nämndes en enda gång, trots att varje sökning testades med fem olika formuleringar och tre repetitioner av varje.

Det mest intressanta är egentligen inte att överlappningen stannar på 59,1 procent. Det är att placeringen i Google verkar förklara förvånansvärt lite av skillnaden. Bland företagen på Google-position 1–3 blev 60,2 procent nämnda åtminstone en gång av ChatGPT. För företagen på position 4–10 var motsvarande siffra 58,6 procent. Skillnaden är bara 1,6 procentenheter. Av de 32 företag som låg etta på Google för sina respektive sökningar nämndes dessutom tio inte en enda gång av ChatGPT. Nästan en tredjedel av Google-ettorna försvann alltså helt när frågan ställdes på ett annat sätt och svaret kom från ChatGPT. Extra intressant att det här går emot min tidigare bild. Visserligen är det just ChatGPT och Google som testats här och Open AI har som bekant ett samarbete med Microsoft, det är troligt att korrelationen med Bing-resultat är mycket större alltså men det fanns inte utrymme i den här undersökningen för att ta med Bing. Det kommer en större undersökning snart, med fler LLM:er och fler vertikaler. Se det här som ett smakprov.

Först på Google kan bli sist i ChatGPT

Skillnaden syns tydligt när man tittar på enskilda sökningar. På sökningen efter flyttfirma i Uppsala låg Svartbackens etta i Google men förekom inte i något av de 15 svaren från ChatGPT. Flyttfirma Östra Aros låg däremot på position 10 i Google och dök upp i 12 av 15 svar. För redovisningsbyråer i Umeå låg BDO på position 9 i Google men nämndes i 13 av 15 svar, samtidigt som flera företag ovanför BDO i Google förekom betydligt mer sällan eller inte alls.

Det blir ännu tydligare när ChatGPT börjar rekommendera företag som inte finns i det kvalificerade Google-urvalet. På sökningen efter bilhandlare i Stockholm låg Haninge Bilpark etta i Google men fick noll omnämnanden i ChatGPT. Riddermark Bil fanns inte bland de företag som kvalificerade sig från Googles resultat, men förekom i 13 av de 15 ChatGPT-svaren. På sökningen efter SEO-byrå låg Viva Media först i Google och nämndes inte en enda gång av ChatGPT, medan Brath eller Magnus Bråth, som inte fanns i Google-urvalet, förekom i 13 av 15 svar. Pineberry och Topdog låg på plats 5 respektive 7 i Google och nämndes båda i 11 av 15 svar.

Det intressanta är därför inte vem av Google och ChatGPT som har rätt. Det intressanta är att en användare kan få två ganska olika bilder av samma marknad. Om ChatGPT i huvudsak hade varit en ommöblerad version av Googles första sida borde företagen högst upp i Google ha haft en betydligt tydligare fördel, och företag utanför urvalet borde haft svårare att ta plats. Det är inte vad vi ser. I vissa sökningar är systemen ganska överens, men i andra verkar de nästan beskriva två olika konkurrenslandskap.

Vilka är mycket starkare i AI än på Google?

Företag	Sökning	Google	ChatGPT	Andel av 15 svar
Brath / Magnus Bråth	SEO-byrå	Ej i urvalet	13/15	86,7 %
Riddermark Bil	Bilhandlare Stockholm	Ej i urvalet	13/15	86,7 %
Bilia	Bilhandlare Stockholm	Ej i urvalet	11/15	73,3 %
Telia	Mobiloperatör	plats 10	14/15	93,3 %
BDO	Redovisningsbyrå Umeå	plats 9	13/15	86,7 %
Flyttfirma Östra Aros	Flyttfirma Uppsala	plats 10	12/15	80,0 %
FS Städ	Städfirma Umeå	plats 9	12/15	80,0 %
Städa Smart	Städfirma Umeå	plats 10	12/15	80,0 %
Vimla	Mobiloperatör	plats 9	11/15	73,3 %
Topdog	SEO-byrå	plats 7	11/15	73,3 %
HomeMaid	Städfirma Växjö	plats 7	11/15	73,3 %
Möller Bil	Bilhandlare Uppsala	plats 9	10/15	66,7 %
Pineberry	SEO-byrå	plats 5	11/15	73,3 %
Flyttjänst	Flyttfirma Malmö	plats 6	11/15	73,3 %
Redovisningsbyrån Växjö	Redovisningsbyrå Växjö	plats 5	12/15	80,0 %

Något som är värt att komma ihåg är att nationella aktörer tenderar att visas mer i lokala AI-slagningar än lokala Google-resultat. Jag själv som toppar listan är ett bra exempel, visserligen har jag lagt energi på att synas men jag är ju inte ens ett företag så Google gör nog det rätta valet att inte visa mig medan ChatGPT tycker att jag är ovanligt viktig.

Skillnaden ser olika ut på olika marknader

Överlappningen varierar kraftigt mellan branscher. För mäklare återfanns 83,3 procent av Google-företagen åtminstone en gång i ChatGPT, medan motsvarande siffra för städfirmor var 42 procent. Redovisningsbyråer låg på 60,4 procent, bilhandlare på 61,5 och flyttfirmor på 52 procent. Hemförsäkring låg ännu högre, på 85,7 procent, och där fanns också exempel på mycket stabila företag: Länsförsäkringar och Folksam förekom i samtliga 15 svar. På sökningen efter städfirma i Stockholm såg det helt annorlunda ut. Av åtta kvalificerade Google-företag förekom bara två över huvud taget i ChatGPT, samtidigt som Hemfrid återkom i alla 15 svar.

Samma variation finns geografiskt. När de lokala branscherna slås ihop hade Uppsala en överlappning på 72,7 procent, Göteborg 65,0 och Umeå 65,1. Malmö och Växjö låg kring 54 procent, medan Stockholm bara nådde 37,5 procent. Av 40 företag som Google visade i de lokala Stockholmssökningarna var det alltså bara 15 som någon gång dök upp i ChatGPT. En möjlig förklaring är att större marknader ger ChatGPT fler rimliga företag att välja bland och därmed gör det mindre sannolikt att just Googles urval återkommer, men undersökningen visar inte varför skillnaden uppstår. Det vi kan säga är att den är stor.

Det gör också att det är svårt att tala om en enda generell relation mellan Google och ChatGPT. På vissa marknader verkar synlighet i Google relativt ofta följa med över till ChatGPT. På andra är kopplingen svag. För ett företag som försöker förstå sin synlighet är skillnaden viktig, eftersom en stark position i den ena kanalen säger ganska lite om hur stark positionen är i den andra.

Frågan du ställer påverkar svaret

Undersökningen visar också att det spelar stor roll hur frågan till ChatGPT formuleras. Jag använde fem olika naturliga varianter av samma grundläggande köpfråga och körde varje variant tre gånger. Formuleringen där användaren frågade vilka företag som var “värda att jämföra” fångade 42,8 procent av Google-företagen under sina tre repetitioner. Formuleringen där ChatGPT fick frågan vilket företag den “själv skulle överväga” nådde bara 27,5 procent.

Skillnaden handlade inte bara om vilka företag ChatGPT valde. Den senare formuleringen fick modellen att betydligt oftare undvika en konkret rekommendation helt och hållet. Bara 83 av 105 svar innehöll minst ett företagsnamn, medan formuleringen “kan du rekommendera några bra…” gav minst ett företag i samtliga 105 svar. Totalt innehöll 492 av de 525 svaren minst ett konkret företagsomnämnande.

Det här är en viktig metodfråga för den som vill mäta synlighet i ChatGPT. Ett enda test med en enda prompt säger väldigt lite. Du kan få ett resultat som beror lika mycket på hur frågan formulerades som på hur synligt företaget faktiskt är. Det är också skälet till att jag använde fem olika formuleringar och tre repetitioner i stället för att bara fråga en gång.

Vilka har lyckats allra bäst i sin AI-synlighet?

Företag	Nisch	ChatGPT-synlighet
Länsförsäkringar	Hemförsäkring	15/15 – 100 %
Folksam	Hemförsäkring	15/15 – 100 %
Hemfrid	Städfirma Stockholm	15/15 – 100 %
Telia	Mobiloperatör	14/15 – 93,3 %
Verisure	Larmbolag	14/15 – 93,3 %

Så gjorde jag undersökningen

Undersökningen omfattade tio typer av köp där det är rimligt att både söka på Google och be ChatGPT om rekommendationer: redovisningsbyråer, flyttfirmor, städfirmor, mäklare, bilhandlare, SEO-byråer, elbolag, hemförsäkring, mobiloperatörer och larmbolag. För de lokala branscherna användes Stockholm, Göteborg, Malmö, Uppsala, Umeå och Växjö. Google-underlaget bestod av de första tio organiska resultat som SISTRIX returnerade för respektive sökning. Kataloger, jämförelsesajter, affiliates, publishers och andra mellanhänder sorterades bort så att jämförelsen handlade om företag som faktiskt säljer tjänsten eller produkten.

Motsvarande rekommendationsfrågor ställdes sedan till ChatGPT via OpenAI:s API. Varje sökning fick fem olika formuleringar och varje formulering kördes tre gånger, vilket gav 15 svar per sökning och 525 svar totalt. En Google-sökning, mäklare Växjö, saknade användbart SISTRIX-underlag och ingår därför inte när överlappningen mellan Google och ChatGPT räknas.

Det här är en undersökning av ChatGPT i den här testuppställningen, inte av alla språkmodeller och inte av alla tänkbara sätt att använda ChatGPT. Men resultatet räcker för en praktisk slutsats: Google-ranking kan inte användas som ett mått på synlighet i ChatGPT. Google och ChatGPT är ofta överens om vilka företag som är relevanta, men tillräckligt ofta oense för att de två behöver mätas var för sig.

Om du själv vill undersöka hela dataunderlaget kan du filtrera och sortera i explorern nedan