Det er en stund siden jeg har plassert noen journalister i Pressens Paranormale skammekrok (PPS), men nylig dukket det opp en artikkel på abcnyheter.no som var så tragisk dårlig sett fra et vitenskapelig standpunkt at jeg må avbryte konfektspisingen for å bloggdaske litt.
I dag er det en journalist i ABC Nyheter som må sette seg i skammekroken for en artikkel som ble publisert på julaften. Her kan vi lese følgende:
På samme måte som trykkpunkter i føttene skal være være knyttet til visse organer i kroppen, hevder en ny studie at stimulering av fem akupunkturpunkter i øret kan hjelpe pasienter med vekttap, skriver nyhetsbyrået AFP Relaxnews.
Jassåja. Journalisten fortsette med å gjengi hvordan studien ble gjennomført, men før vi ser på det skal jeg gi dere en bitteliten nyttårsgave. Her får du et lite utdrag fra boken min Placebodefekten:
Hawthorne-effekten
I 1950 analyserte Henry A. Landsberger data fra noen forsøk utført på en fabrikk utenfor Chicago. Fabrikken hadde navnet Hawthorne Works og var eid av det amerikanske selskapet Western Electric. Her ble det i perioden 1924−32 utført noen undersøkelser for å finne ut hvordan ulike variabler på arbeidsplassen påvirket produktiviteten hos de ansatte. Man endret på varighet og hyppighet av pauser, lengde på arbeidsdag, og til og med inneklima. Den mest kjente delen av disse undersøkelsene er nok likevel eksperimentet hvor de endret på belysningen i fabrikklokalene.
Det Landsberger fant da han analyserte datamaterialet, var at enhver endring i lysstyrke medførte økt produktivitet. Da man økte belysningen, arbeidet de ansatte bedre. Da man økte det enda mer, jobbet de enda bedre. Men det samme gjorde de da man senket belysningen. Selv da belysningen ble senket så mye at det var mørkere i arbeidslokalene enn det hadde vært noensinne, økte produksjonen. Da forsøkene ble avsluttet, sank derimot produktiviteten igjen. Det kunne altså virke som om at det å gjøre endringer i arbeidsforholdene, uansett på hvilken måte, påvirket produktiviteten positivt. Ja, i et forsøk ble lyspærene i lokalene byttet mens arbeiderne så på, og de fikk beskjed om at de nye lyspærene var kraftigere enn de forrige. I realiteten ga de nye lyspærene akkurat like mye lys som de forrige, men likevel økte produktiviteten.
Denne effekten ble også vist ved å gjøre andre endringer på arbeidsplassen, for eksempel ekstra fokus på å holde arbeidsstasjonen ren, fjerne hindringer fra gulvet, eller til og med å flytte rundt på arbeidsstasjonene. Enhver slik ekstra oppmerksomhet og endring i arbeidsforholdene hadde en kortvarig produksjonsøkende effekt, selv om man endret en variabel tilbake til slik den hadde vært tidligere. Flere andre tilsvarende eksperimenter ble utført, og konklusjonen ble at selve det å bli observert i en studie førte til økt produktivitet, uansett hvilken variabel man endret. Kanskje det skyldtes at de ansatte følte ledelsen eller forskerne viste ekstra interesse for dem, og at det hadde en motiverende effekt. Det at man blir observert kan gjøre at man føler seg spesiell og betydningsfull, og det kan gjøre at man også presterer bedre.
Dette fenomenet kaller vi i dag for «Hawthorne-effekten». I nyere tid har Hawthorne-effekten blitt bestridt av andre forskere. De opprinnelige dataene til Landsberger er borte, og det eneste vi har igjen er i praksis en anekdote. Noen få data fra Hawthorne-studiene er likevel funnet i senere tid, men en reanalyse av disse fant ingen slik tydelig effekt. Flere andre studier er utført i senere tid hvor man heller ikke har klart å påvise noen Hawthorne-effekt, så i dag anses effekten mest av alt som en myte.
Likevel ser man en slags Hawthorne-effekt i kliniske studier, spesielt i studier hvor oppførsel er en viktig faktor. Typiske eksempler på dette er studier på slanking, dietter og vekt, eller studier hos diabetespasienter som tester ulike måter å regulere og vedlikeholde et stabilt blodsukker på. Det er nemlig svært effektivt å jevnlig introdusere nye «gadgets», teknikker og utstyr for diabetespasienter, fordi det hele tiden øker bevisstheten rundt det pasientene gjør, og sørger for større effekt. Å bli fulgt opp, eller få introdusert nye hjelpemidler, hjelper pasienten å holde fokus på det de driver med. Det gjør at en studie på en slankepille kan gi inntrykk av å ha slankende effekt uten at den egentlig har det, bare fordi oppfølgingen av pasientene og ritualet ved å ta pillen hjelper dem til å ha en bevissthet rundt kosthold og livsstil som totalt sett er slankende.
Akupunkturstudien
I denne studien hadde de tre grupper med omkring 30 personer i hver. Den ene gruppen fikk satt små nåler i fem spesielle akpunkturpunkter i det ene øret. Disse ble holdt på plass med teip og byttet ut ukentlig, i tillegg til at man byttet øre for hver uke. Nålene satt der i totalt åtte uker.
En annen gruppe fikk én slik nål i et annet punkt i øret som i følge akupunkturlæren skal påvirke sultfølelse. Denne nålen ble også byttet mellom ørene ukentlig og satt der i åtte uker. Den siste gruppen, den såkalte kontrollgruppen, fikk satt nåler i de fem punktene som første gruppen fikk, men nålene ble fjernet igjen med en gang heller enn å få stå der kontinuerlig i ukesvis.
Alle personene ble fortalt at de skulle følge en restriktiv diett, men ikke gå på noen slankekur. De skulle heller ikke øke mengden av fysisk aktivitet i løpet av de åtte ukene. Etter 4 og 8 uker målte forskerne forsøkspersonenes vekt BMI, livvidde, kroppsfett-masse (BFM), fettprosent og blodtrykk.
I løpet av studien falt 24 av deltakerne fra, hvorav 15 fra kontrollgruppen. Etter 8 uker var altså 58 av 91 deltakere fortsatt med i studien, og hos disse fant man statistisk signifikante forskjeller i BMI, vekt og kroppsfett-masse. Gruppen som fikk nåler i 5 akupunkturpunkter over 8 uker oppnådde en 6.1% reduksjon i BMI, mens gruppen med nål i bare ett akupunkturpunkt fikk BMI redusert med 5,7%. Dette er så likt at rent statistisk anser man det som at begge akupunkturtyper i praksis ga samme resultat.
Problemer med studien
Konklusjonen var altså at de som fikk ekte akupuktur, enten i alle fem punkter, eller i det ene sultfølelse-punktet, opplevde vektreduksjon. Viser dette at akupunktur virker? Slettes ikke. Og det var heller ikke målsetningen med studien. Studien tok egentlig utgangspunkt i at akupunktur virker, men ville se om de fem punktene virket like bra som det ene punktet. Dette fikk forskerne bekreftet. Begge akupunkturvariantene virket omtrent like godt.
Ettersom de også hadde en kontrollgruppe, kunne man kanskje anta at studien også viste at akupunktur virket bedre enn "falsk akupunktur". Men det er feil. Denne studien var ikke egnet til å vise dette. Hvorfor ikke? Jo, fordi Hawthorne-effekten.
Denne effekten gjør seg som nevnt spesielt gjeldende når man skal teste dietter, fordi en diett er mye enklere å holde hvis man hele tiden blir påminnet at man er med i en studie og noen derfor følger med på vekten og hva man spiser. Å følge en streng diett utenfor en studie-situasjon, er derimot vanskeligere. Det er med stor sannsynlighet dette som skjedde i denne akupunkturstudien. De som fikk ha nålene teipet til øret hele tiden, samt måtte inn ukentlig for å få nålene byttet og flyttet til det andre øret, opplevde en kontinuerlig oppfølging og påminnelse om at deres vekt ble overvåket. De som fikk falsk akupunktur gjorde ikke det. Dermed vil Hawthorne-effekten i seg selv være nok til å forklare vektreduksjonen.
Det man burde hatt i denne gruppen, var en kontrollgruppe som fikk den samme type jevnlige påminnelse, men uten at det var akupunktur. De kunne for eksempel fått en strikk rundt armen. Eller nåler teipet fast til et tilfeldig sted på kroppen. I tillegg burde også kontrollgruppe-personene måtte møte til ukentlig oppfølging hvor strikken ble flyttet til den andre armen, eller nålene byttet og flyttet til et annet sted på kroppen. Først med en slik kontrollgruppe ville man kunne se om det var akupunkturen som virker slankende, eller om det er Hawthorne-effekten som spiller inn.
Manglende blinding
Strengt tatt ville ikke dette løst alle problemer, fordi med et slikt oppsett ville studien fortsatt ikke vært blindet. Det er nemlig et alvorlig problem med denne studien. Den mangler blinding fullstendig. Deltakerne vet om de får "behandling" eller ikke. En god studie bør ha en kontrollgruppe som mottar et placebo, altså en falsk behandling som oppleves identisk med ekte behandling. Det er helt sentralt for å nøytralisere Hawthorne-effekten og placeboeffekten fullstendig, altså gjøre disse uspesifikke effektene like store i alle pasientgruppene slik at de kan nulles ut i resultatet.
Å blinde akupunkturstudier er alltid krevende, men i dette tilfellet kunne man ganske enkelt gjort det ved å sette nålene i litt andre punkter enn de korrekte akupunkturpunktene. De kunne satt en nål i et tilfeldig punkt i øret heller enn i det spesielle punktet som i følge akupunkturlæren skal regulere sultfølelse. Da ville også kontrollgruppen hatt akkurat samme opplevelse som behandlingsgruppene, men uten at de egentlig fikk korrekt utført akupunktur.
I tidligere studier hvor man har satt nåler i tilfeldige punkter, ser man at effekten har vært akkurat like god som når man setter nåler i de korrekte punktene. Det tyder på at den effekten man ser ikke skyldes akupunkturen, men derimot Hawthorne-effekt, placeboeffekt og andre uspesifikke behandlingseffekter.
Meningsløs studie
Det er ganske ufattelig hvorfor man gidder å bruke tid og ressurser på å gjøre slike studier som denne. Studier som har en slik åpenbar svakhet at den ender opp med å ikke kunne fortelle oss noenting. Men det ser vi hele tiden innen akupukturforskning. Studiene utformes sjelden med den hensikt å falsifisere hypotesen om at akupunktur virker. De utformes med det utgangspunkt at akupunktur fungerer, søker å få bekreftet dette, og ender derfor opp med å ikke kunne vise oss noe som helst nyttig.
Disse studiene mangler ofte kontrollgruppe, og hvis de har kontrollgruppe, så er det en kontrollgruppe som ikke er relevant - slik vi har sett i denne vektstudien. Hensikten med en kontrollgruppe skal være at alle variabler holdes like som hos de som får behandling, bortsett fra selve behandlingen. Det blir den ene variabelen som er ulik, og dermed kan eventuelle effekter knyttes til denne variabelen, altså selve behandlingen. I denne studien var det ikke bare akupunkturen som ble utelatt, men også den kontinuerlige påminnelsen og oppfølgingen som vil trigge Hawthorne-effekten.
Forskjellen på kontrollgruppen og behandlingsgruppene var altså ikke bare én variabel, men hvertfall tre variabler: 1) Behandling, 2) kontinuerlig påminnelse og 3) ukentlig oppfølging. Hvis de hadde sørget for at kontrollgruppen også fikk de to siste variablene, ville man med større grad av sikkerhet kunne sagt at det måtte være den ene variabelen som var ulik, altså behandlingen/akupunkturen, som var årsaken til vektreduksjonen.
Det er også andre problemer med studien, som at en stor del av deltakerne i kontrollgruppen trakk seg. Faktisk falt halvparten av alle deltakerne i kontrollgruppen fra i løpet av de åtte ukene. Hvorfor gjorde de det? Kan det hende at mangel på oppfølging og kontinuerlig påminnelse gjorde at de mistet motivasjonen? Det styrker i så fall min mistanke om at dette handler om Hawthorne-effekt.
Konklusjon
Problemet med journalisten fra ABC Nyheter er at hun her bare gjengir en studie uten innspill fra noen som er i stand til å vurdere studien kritisk. En journalist burde alltid be om innspill fra en skeptiker som er i stand til å lese forskning kritisk hvis denne type forskningsresultater skal omtales redaksjonelt. Når hun ikke gjør det, bidrar hun bare til å spre desinformasjon og unyttige helseråd.
Hun burde ta lærdom av hvordan nettstedet WebMD har dekket denne saken. De har gjengitt innholdet i studien mer fyldig enn ABC Nyheter, og har også snakket med eksperter som har kompetanse til å gi kritiske innspill for å belyse studiens svakheter. Her kan vi lese:
Dr. David Katz, director of the Yale University Prevention Research Center, said, "We must avoid rushing to judge that a treatment is ineffective just because we don't understand the mechanism. Rather, if a treatment is genuinely effective, it invites us to figure out the mechanism."
But this study does not prove the effectiveness of acupuncture, he said. "Placebo effects are strong, particularly when they involve needles. The evidence here falls short of proof," Katz said.
Journalisten må derfor i skammekroken for å ikke ha gjort sin jobb med rette kritiske vinkling. Hun valgte å ikke sjekke om denne studien holdt mål ved å intervjue en som har kompetanse til å vurdere forskningen. Hun har ikke selv sjekket originalstudien, men bare gjengitt AFP Relaxnews sin dekning og vinkling ukritisk. Det fører til at leserne villedes og må gjøre den undersøkelsesjobben hun er betalt for å gjøre før hun publiserer nyheten. La oss håpe at det ikke gjentar seg.
Oppdatering 03.07.2014: Etter ønske fra den omtalte journalist har jeg i dette tilfelle valgt å fjerne navnet fra bloggposten. Bakgrunnen for dette er at hun var student og praktikant for ABC Nyheter da saken ble skrevet, og hun var hardt presset på tid. ABC Nyheter ønsket ikke hun skulle bruke mye tid på saken, og hennes muligheter til å hente inn kritiske røster og gå studien mer kritisk i sømmene var derfor vanskelig.
Bloggdasken må derfor primært rettes mot ABC Nyheter selv, som nedprioriterer slike saker og lar praktikanter kverne ut slike saker uten tid til å gjøre skikkelig research. Det er uheldig fordi det gir et feil bilde til leserne av hva studien faktisk kunne fortelle oss. ABC Nyheter må derfor i skammekroken.
