Innen hudpleie, hårpleie, slankepiller og kosttilskudd er det ekstremt mye svada. Alt er i praksis humbug, men produsentene er ofte flinke til å få det til å virke som om det finnes vitenskapelig dokumentasjon for effekt.

Det vises ofte til studier som skal ha demonstrert at produktet virker som lovet, og de lenker til og med til studiene slik at potensielle kjøpere kan sjekke selv. Det gjør de færreste, selvsagt. Det holder å vite at studiene finnes, ikke sant? Selgerne ville vel aldri lenket til studiene om de ikke holdt hva de lovet?

Vel, slike studier holder så godt som aldri hva de lover. Det er som regel studier kjøpt og betalt av produsenten selv, og enkelte forskere og forskningsinstitutter ser ut til å leve av å koke sammen studier som beviser den effekt oppdragsgiver ønsker.

Et eksempel på dette er hårproduktet Hairbell:

Skjermbilde 2014 12 13 kl 12 28 06

Produktet lover 3 ganger raskere hårvekst!

HAIRBELL har gjennom kliniske tester vist at hårveksten øker opptil tre ganger. I løpet av fire måneder kan håret vokse mer enn det normalt gjør på ett år. Det kommer til å gi deg vakkert, blankere og sterker hår. Tester utføres av Dr. Plantard, fra CHU i Limoges.

Etter 28 dager viser resultatene:

En maksimal vekst på 4,5 cm.
En gjennomsnittlig vekst på 2,9 cm.

​Tenkt på at normalt hår vokser 1,5 cm per måned i gjennomsnitt.

De skriver at denne effekten er «bevist og er testet på alle hårtyper». La oss se hva slags dokumentasjon de har for å hevde at denne fantastiske effekten er bevist.

Den første studien de viser til beskrives slik:

Tester utført av Spincontol, et uavhengig laboratorium. Protokoll: utført på pasienter som representerer 60 av den franske befolkningen på en periode på 28 dager, måling av hver pasients hår i etterkant. Tretti pasienter benyttet produktet daglig og 30 pasienter har ikke benyttet noen hårbehandling. Resultatet viser at den gruppen som benyttet produktet daglig hadde en en vekst på 123% høyere enn gjennomsnittet som ble målt fra kontrollgruppen.

Screenshot 2014 12 13 13 30 04

OK, så de fant en hårvekst hele 123% høyere enn gjennomsnittet. Imponerende. Men om vi tar en kikk på selve studien, finner vi en litt annen sannhet. Det forskerne fant var ingen statistisk signifikant forskjell mellom de som brukte produktet og de som ikke brukte det etter 28 dager.

Ingen forskjell. Null effekt.

Så hvordan kan de hevde at det ga 123% raskere hårvekst? Vel, ved å bedrive litt cherry picking av dataene kan man presentere det resultatet man vil.

I studien var det nemlig én deltaker med noen hårstrå som vokste fortere enn gjennomsnittet. Ti av hans/hennes hårstrå var blitt 23% lenger enn snittet i løpet av 28 dager. Men om man så på håret til alle de 30 som testet produktet, fant man altså ingen effekt.

Screenshot 2014 12 13 13 31 58

Men de slutter ikke med datajuksingen der. For å manipulere frem et slags positivt resultat har de også brukt data fra de personene hvor håret vokste mest i behandlingsgruppen, totalt 18 personer, og sammenlignet med snittet av alle i kontrollgruppen. På den måten hevder de å ha funnet en 7,1% større hårvekst totalt sett.

Screenshot 2014 12 13 13 33 04

Hadde de sammenlignet de personene med raskest hårvekst i testgruppen med de personene med raskest hårvekst i kontrollgruppen, ville nok denne effekten forsvunnet. Bare når de sammenligner et utvalg, som kun innholder de med raskest hårvekst, med gjennomsnittet, finner de en effekt. Men denne effekten har neppe noe med produktet å gjøre. Det handler bare om at folk har hår som gror i ulikt tempo, og sammenligner man de med rask hårvekst med alle andre, vil man finne at deres hår vokser raskere. Ikke veldig sjokkerende.

Det studien viste var altså at når man så på alle deltakerne, så fant man ingen forskjell i hårvekst. Kun hvis man plukker ut de med best hårvekst og sammenligner med alle andre, fant man en ørliten forskjell i vekst.

Hvordan de likevel får får denne forskjellen 7,1% til å bli «tre ganger raskere hårvekst», er beyond me…

Andre svakheter ved studien

På toppen av det hele var det ingen randomisering (altså tilfeldig utvalg av deltakere i de to gruppene) og ingen blinding.

Manglende randomisering betyr at de med best hår gjerne kan ha blitt plassert i testgruppen, mens de med dårligst hår kan ha blitt plassert i kontrollgruppen. Bevisst eller ubevisst. Manglende blinding gjør at de som har målt hårstråene har visst hvilke personer som har brukt produktet og hvilke som ikke har brukt det, noe som kan påvirke valg av inkluderte hårstrå og målingene av disse hårstråene i favør av at produktet virker.

I nettbutikken kan man lese videre:

Omfattende kliniske tester om Hairbell finnes og kan nedlastes på disse linkene

Men på den ene lenken som finnes, finner jeg kun den ene testen utført av Spincontol. De formulerer seg som om det finnes mange studier, men klarer bare å vise til én studie – som altså ikke fant noen reell effekt.

De omtaler spesifikt en annen test utført av SEDERMA, men denne synes å være umulig å oppdrive. Ingen slik studie er listet på oversikten over vitenskapelige publikasjoner hos SEDERMA selv.

Påstanden om at håret kan vokse hele 3 ganger raskere synes å være basert på tester utført av en «Dr. Plantard, fra CHU i Limoges», i følge nettsiden. Litt googling viser at dette ser ut til å være Dr Yves Plantard, men jeg finner ingen tilgjengelige publikasjoner fra ham knyttet til Hairbell. Namedropping uten relevans, altså.

En annen stor svakhet med studien, som også er nevnt i artikkelen, er at forsøkspersonene ikke var sin egen kontroll. De burde altså ha testet de samme personene i en 28 dagers periode med og uten bruk av Hairbell. Da hadde de sett om personen bare hadde rask hårvekst generelt, eller om det var Hairbell som fikk håret til å vokse raskere. Ved å bare sammenligne ulike enkeltpersoner eller subgrupper mot hverandre og mot gjennomsnittsverdier, kan man ikke si noe om effekten til produktet.

Konklusjon

Det er ganske åpenbart at dette er atter et eksempel på misbruk av kliniske studier i et forsøk på å gi produktet et vitenskapelig alibi. Og mange lar seg lure, skal man tro kommentarfeltet og tilbakemeldingene.

Enkelte som har testet produktet hevder at håret deres nå vokser mye raskere enn før, noe jeg vil anta mest av alt kan tilskrives en slags «placeboeffekt» hvor de føler at produktet virker fordi de ønsker at det skal virke – og fordi de har betalt så latterlig mye penger for shamboo/balsam at de nesten bare må forsvare produktet. Kognitiv dissonans, kalles det.

Jeg håper denne bloggposten kan virke som en nyttig påminnelse om at når denne type hår-/hud-/slankeprodukter prøver å vise til «kliniske studier», så bør man normalt være særdeles skeptisk. Ikke ta noe for gitt før du har nilest studiene og sett hva de egentlig viser.

Som regel vil du da oppdage at:

a) det overhodet ikke finnes noe grunnlag for påstandene i markedsføringen i de vitenskapelige publikasjonene de henviser til.
b) de vitenskapelige publikasjonene ikke finnes i det hele tatt.
c) forskere som er omtalt ikke eksisterer eller ikke har utført forskning på det spesifikke produkt.
d) studiene er «rigget» for å gi det resultatet produsentene ønsker.

Husk: Høres det for godt ut til å være sant, så er det som regel det.

  • Alf Haga

    Vi kan tydeligvis konkludere med at Vitamininstituttet i Sveits ikke har like hardtslående forsvarere som Snåsakaillen.

  • Derullandei

    Formulerings-erratum:
    123% høyere enn != 123% så høyt som.
    23% høyere enn == 123% så høyt som.

  • Lars Olsen

    [ ] Men Tjomling er jo bare IT-mann
    [ ] Dette har jeg prøvd, og DET VIRKER!
    [ ] er du betalt av Big Something for å skrive dette eller??
    [ ] ett eller annet om CIA
    [ ] autisme

  • Erik

    Hehe, bare å krysse :)

  • Neslepaks

    [X]Bruker ufine kallenavn i mangel på folkeskikk og debatteringsevne.
    [X]Kognitiv dissonans.
    [X]Konspirasjonsteori vissvass.
    [X]CIA er nevnt.
    [X]Autister vet hvertfall bedre enn og kjøpe det som likegreit kunne vært samla opp hos en melkebonde og stappa på tube til 360 spenn… faktisk lyst til og kjøpe hårvekstmiddel ? det er klinisk bevist at det funker på alle hårtyper + det får grasset til og gro!

  • Leif Egil Reve

    Jeg trodde det ikke var lov med feilaktig reklamering i Norge? En ting er at de velger å tolke forskning som det passer dem, det er villedende, men det er i det minste noe. Om de viser til studier som er elendige, viser de til studier. Men dersom de viser til ting som ikke eksisterer, er det vel ulovlig?
    Så egentlig burde ikke punkt B og C forekomme i Norge, vel? Og i det fall, hvordan slipper de unna med noe slikt, når OneCall ikke slipper unna med å si at de er billigst, og sikte til et spesielt utvalg konkurrenter, men må omformulere seg…. Er loven ulik for teleoperatører og skjønnhetsprodukter?

    Jeg må jo innrømme at jeg trodde det var villedende reklame som ikke var lov, og da burde alle punktene dette vekk, men jeg er rimelig sikker på at det i hvert fall direkte feilaktig ikke er lov.

    På samme måte er det jo feil at det er 123% raskere vekst. De sikter til 123% vekst. 123% raskere vekst, er jo 223% vekst.
    Kan det tenkes at tredobbel vekst er den raskeste målt mot den tregeste veksten? Det høres skrekkelig mye ut, men…

  • Varm_kaffe

    [ ] «Valgfrihet!»
    [ ] «Jammen vitenskapen vet ikke alt!»
    [ ] «Mobbing!!»

  • Ingvild Aabye

    Ifølge brreg er det et norskregistrert utenlandsk selskap registrert i vilinius, som driver med netthandel. Jeg vet ikke hvordan reglene er rundt netthandel og feilaktig reklame?

  • Tom Fredrik Blenning Klaussen

    «Ved å bare sammenligne ulike enkeltpersoner eller subgrupper mot
    hverandre og mot gjennomsnittsverdier, kan man ikke si noe om effekten
    til produktet.» Dette utsagnet er dessverre ikke korrekt. Se store talls lov (https://en.wikipedia.org/wiki/Law_of_large_numbers)

    Det er derimot korrekt å si at /å sammenligne ulike enkeltpersoner eller subgrupper mot hverandre og mot gjennomsnittsverdier er lite hensiktsmessig da det krever veldig store samplestørrelser for å bli signifikant./

  • Skeptikeren

    Det forutsetter at utvalget er tilfeldig (et stokastisk forsøk). Sannsynligvis er ikke det tilfellet her. Hvis man velger hele Kina, så har man et rimelig godt utvalg tallmessig – til og med i forhold til verdens befolkning. Likevel er det ikke nok til å sammenligne. Ikke det at jeg tror du er uenig i det… bare ment som en sidekommentar.

  • Skeptikeren

    [ ] Lissom… 123% går ikke an!!!!!!!!!!

  • Varm_kaffe

    [ ] Hvorfor kritiserer du ikke Big Pharma? Din sau!

    [ ] Hvorfor må du kritisere de alternative? Din mobber!

  • Tom Fredrik Blenning Klaussen

    Tja, det spørs jo på hvilket nivå man vil teste for å konkludere med 23% vil det ikke kreve store samplestørrelser i det hele tatt. Lenge siden jeg har regnet på hypotesetesting, så jeg har ikke tatt meg tiden med å regne ut nøyaktig sample størrelse, men tipper 10 samples vil være tilstrekkelig til å si at 23% endring er signifikant. Skulle man konkludert med at en endring på 0.5% var signifikant, tror jeg fort at vi snakker om kanskje 500 i samplestørrelse. Hovedkonklusjonen er uansett hvordan man snur og vender på det at et annet eksperimentelt oppsett ville kunne gi mye raskere konvergens. Det betyr ikke nødvendigvis at et oppsett med 2 grupper og beregning av middelverdi er feil.

    Men i praksis så må man vel nesten anta at cherrypicking, eller andre måter for dårlige eksperimentelle oppsett, vil være tilfelle i hele helsekostbransjen, det mest interessante paradokset er at hvis produkter har dokumentert medisinsk effekt, klassifiseres de som legemidler, ergo har de nærmest per definisjon ingen effekt.

  • Skeptikeren

    Joda, selvsagt spørs det på «hvilket nivå» man ønsker å teste for å konkludere. Mitt poeng var bare at teoremet om de store talls lov forutsetter et stokastisk forsøk. Derfor mener jeg at Tjomlid ikke tar helt feil når han sier: «Ved å bare sammenligne ulike enkeltpersoner eller subgrupper mot hverandre og mot gjennomsnittsverdier, kan man ikke si noe om effekten til produktet.» Hypotesetesting forutsetter også tilfeldig utvalg.

  • Hans Torvaldsen

    NUF (norskregistrert utenlandsk selskap) er noen rare greier som i grunnen ikke burde være tillatt. Det er ikke krav til egenkapital, det er bare å registrere i vei. Oppdager man et NUF er det stort sett lurt å holde seg unna.
    For noen år siden var det en mann som startet et byggfirma som NUF. Etter et par måneder kom arbeiderne og ville ha lønn, skattemyndighetene ville ha arb.giveravgift, skattetrekket, moms og slikt. Leverandørene ville også ha betalt. Da la karen bare ned hele NUF’et. Pengene hadde han, helt lovlig betalt ut i lønn til seg selv. Ingen andre fikk en eneste krone.

  • Husebo.kat

    why are u so pessimistic? if it helps people feel happy, more beautiful, what is wrong? Do you recommend do nothing? You should change your attitude.

  • LilleLiana

    Men hva med de som på facebook hevder at produktet virker? Blir helt forvirret…