7-Eleven har den siste tiden markedsført sitt eget kaffemerke Caffè Rosso som "best i test" etter at Ipsos MMI gjennonførte en undersøkelse for dem. I denne undersøkelsen fikk 103 deltakere smake kaffe fra 7-Eleven, Kaffebrenneriet og Stockfleths, og i følge reklamen foretrakk 40% Caffè Rosso foran konkurrentene. Dette har vi sett store reklameoppslag om på reklameboards og -skjermer over hele Oslo.
Undersøkelsen ble utført i desember 2012/januar 2013, og metoden de brukte i undersøkelsen er beskrevet slik i rapporten:
Rekruttering av deltagere i nærområdet til testsenteret.
Innkjøp av kaffekrus fra Kaffebrenneriet (Akersgt. 45) og Stockfleths (Karl Johans gate 25). Kaffemaskin fra 7-Eleven på testsenter.
Hver respondent har testet/smakt alle 3 varianter innen samme tid/temperatur fra påfylling.
Vann/smaksnøytral kjeks før hver smak. Produktene ble servert maskert og i rotert rekkefølge.
Resultatet fordelte seg slik:
1. 7-Eleven (40%) 2. Stockfleths (32%) 3. Kaffebrenneriet (28%)
På Dagligvarehandelen.no kan vi lese om hvor stolte 7-Eleven er:
- Det er klart dette er moro. 40 prosent av de som testet de ulike kaffetypene mente 7-Eleven sin Caffè Rosso var den aller beste. Vi har alltid målt oss mot kaffebrenneriene, fordi de er forbilder for oss. Derfor er dette en stor anerkjennelse for oss, sier markedssjef for 7-Eleven, Jan Yngve Holen.
Marit Lynes, direktør for Norsk Kaffeinformasjon, har også sine hypoteser om hvorfor 7-Eleven sin kaffe vant testen:
– Fordelen til 7-Eleven er utbredelsen, for kaffebarer er det ikke like mange av. Ettersom 7-Eleven selger så mye kaffe som de gjør, har de også høy turn over, noe som sikrer at forbruker får helt fersk kaffe. De har også svært gode rutiner for renhold, som igjen påvirker kvaliteten, sier Lynes, og legger til:
– I kaffebarene har du kanskje enda større utvalg og flere nisjeprodukter. Det kan derfor være vanskelig å sammenligne 7-Eleven med kaffebrenneriene, fordi opplevelsen rundt og forventningene til produktene er annerledes.
OK, det var reklamen. Det som egentlig er mer interessant enn å forsøke å forklare dette resultatet er å se om resultatet i det hele tatt stemmer. Jeg kontaktet derfor markedssjef i 7-Eleven, Jan Yngve Holen, og ba ham sende meg rapporten fra testen som var gjort. Det er nemlig alltid interessant å se om de resultater som blir trukket frem i markedsføring faktisk stemmer overens med det som rapporten selv viser.
Det første som slo meg da jeg leste rapporten var følgende fra konklusjonen:
7-Eleven scorer signifikant bedre enn Kaffebrenneriet på preferanse. (40% vs 28%)
7-Eleven scorer ikke signifikant bedre enn Stockfleths.
Ingen signifikante forskjeller ml Kaffebrenneriet og Stockfleths.
7-Eleven scoret altså ikke signifikant bedre enn Stockfleths!
Hva betyr dette? Vel, ordet signifikant kan lett misforstås. I dagligtale betyr det gjerne "veldig" eller "betydelig", altså en slags gradsvurdering av en størrelse. Er noe "signifikant større" så tenker vi at det er "mye større".
I statistisk sammenheng betyr det derimot noe annet, og dette ser vi ofte i vitenskapelige studier hvor man snakker om at et resultat må være statistisk signifikant. Det betyr enkelt forklart at resultatet må være så sikkert og med så små feilmarginer at det ikke kan skyldes ren tilfeldighet. (Statistikerne blant leserne får ha meg unnskyldt for en veldig forenklet forklaring her.)
Med andre ord er det strengt tatt ikke noe reell forskjell mellom 7-Eleven og Stockfleths i denne undersøkelsen. Ja, noen flere deltakere svarte at de foretrakk Caffè Rosso foran Stockfleths, men det var så få at om man hadde gjort samme test på nytt kunne resultatet vært motsatt. Når resultatet ikke er statistisk signifikant kan man altså ikke vite med sikkerhet om det bare var et utslag av tilfeldigheter i akkurat denne ene testen.
La meg forsøke å forklare dette visuelt. Heller enn å se for deg en skala fra 0 til 100 hvor Stockfleths har et skarpt definert merke på 32 og 7-Eleven har et merke på 40, så kan du se for deg litt diffuse skygger eller avlange felt som er sentrert på henholdsvis 32 og 40, men som overlapper hverandre litt. Disse skyggene er usikkerhetsmarginen, og de er så store at verdiene 32 og 40 går over i hverandre.
Verdien 32% betyr altså i praksis "et sted mellom 26% og 38%", og verdien 40% betyr i praksis "et sted mellom 34% og 46%" i følge de usikkerhetsmarginene jeg fikk opplyst da jeg snakket med ansvarlig for undersøkelsen i Ipsos MMI tidligere i dag. På samme måte ser vi derfor at det ikke er noen statistisk signifikant forskjell mellom Stockfleths og Kaffebrenneriet ettersom også disse overlapper en del.
Med andre ord blir rangeringen i undersøkelsen ganske meningsløs. MMI hevder at om de gjorde undersøkelsen på nytt ville man nok se samme rekkefølge der også, men det er etter mitt syn vanskelig å hevde hvis forskjellene ikke er statistisk signifikante. Med et så lite utvalg mennesker vil det være store usikkerhetsmarginer, og jeg vil tro man vil kunne risikere å se at 7-Eleven og Stockfleths bytte plass om man gjorde undersøkelsen på nytt.
Uansett, denne undersøkelsen er selvsagt mer en slags gimmick fra 7-Eleven sin side heller enn en seriøs test, så man skal ikke ta det for alvorlig. Likevel bruker 7-Eleven testen som "bevis" for at deres kaffe er best, og de uttrykker stor glede over å ha banket mer rendyrkede kaffekjeder som Stockfleths og Kaffebrenneriet i testen.
Sannheten er likevel at denne testen ikke egentlig kan avgjøre om de faktisk gjorde det. Skal vi tolke testen statistisk sett korrekt havnet 7-Eleven og Stockfleths i samme kategori, uten noen entydig vinner.
Moralen er: Ta denne type undersøkelser med en klype salt. Vær skeptisk, og sjekk alltid kildene før du tar reklamen for god fisk!
De første tusen leserne av bloggposten fikk med seg et poeng jeg gjorde av at respondentene var rekruttert like utenfor en 7-Eleven-butikk på Egertorget, noe jeg mente kunne ha gjort at noen av testdeltakerne ikke nødvendigvis var helt nøytrale. Ved nærmere kontroll viste det seg at denne butikken forsvant for over et år siden, og at Google Maps ikke var oppdatert. Dermed har jeg nå fjernet dette poenget fra bloggposten da det viste seg å være feil.
