For noen dager siden skrev jeg en bloggpost om en omega-3-studie utført på norske soldater i 2011. Jeg påpekte at studien virket ganske slapt utført, spesielt med tanke på et gigantisk blindingsproblem hvor det ikke ble holdt skjult hvem som fikk omega-3-tilskudd og hvem som fikk placebo. I teksten påpeker jeg også at samme omega-3-juice er brukt i flere andre studier, og at de også her bekrefter at man lett kan merke forskjell fra placebodrikken. Til slutt mener jeg at det i så tilfelle er ganske rart at en slik norskprodusert juice skal brukes i en stor amerikanske studie til en pris av nesten 60 millioner kroner for å se om omega-3 kan påvirke mental helse, hvis placeboeffekten så lett kan spille forskerne et puss.
Jeg sendte lenke til bloggposten til alle omtalte parter, og stilte en stund senere følgende spørsmål på Twitter:
Til min overraskelse svarte kommunikasjonssjefen i Forsvarets forskningsinstitutt (FFI) meg på Twitter. Det var hyggelig å få et svar fra dem. Noe mindre hyggelig var tonen i svaret:
Resten av dialogen kan sees i denne Storifyen jeg har laget med alle tweets mellom FFI og meg. Kort oppsummert hevder FFI at de to navngitte soldatene i studien aldri var med i omega-3-studien. Hun antyder at de i beste fall kan ha smakt på juicen eller observert studien for deretter å synse om den, eller kanskje til og med egentlig deltok i helt andre studier enn den jeg omtaler.
Jeg påpekte da at de hadde signerte frivillighetserklæringen som soldatene som ville delta måtte signere. Det burde borge for at de faktisk var med i studien. I tillegg henviser jeg til en bloggpost den ene soldaten skrev i mars 2011, i løpet av militærøvelsen som studien var en del av. Her skriver hun blant annet:
Senere på dagen hadde vi også en "step-test". Vi drikker en sånn forskningsjuice med omega-3. De skal sjekke om fiskefettet faktisk forbedrer prestasjonsevnen vår. Vi må derfor gjøre en step-test gjenvlig. Da har vi på oss storsekk og skal gå opp og ned en trelags pall. Ikke så mye mer å si om den testen enn at jeg har stiiiiiive leggmuskler i dag!
I bloggen ligger det rikelig med bilder og tekst fra denne øvelsen som studien ble gjort som en del av. Det virker noe arrogant av FFI å hevde at disse soldatene er så forvirret at de ikke selv vet om de deltok i en vinterøvelse spesifisert med garnison, dato og sted, hvor de også drakk forskingsjuice daglig i et par måneder. Det virker også rart at noen skulle står frem frivillig med fullt navn og lyve om noe de i så fall vil ha alt å tape på å lyve om.
Da jeg viste til disse punktene, frivillighetserklæringen og bloggposten, fikk jeg følgende sluttsvar fra FFI:
Hm, kanskje hun burde sjekket dette før hun gikk ut å kritiserte meg for å ha skrevet "et sammensurium der utgangsfakta ikke er korrekt" og at det ikke fantes noe av substans bak kritikken min. Jeg sjekket kildene så godt det lot seg gjøre, både via tredjepart og ved å stille kontrollspørsmål til soldatene. I tillegg fikk jeg mine påstander om juicen bekreftet av representanter fra to andre forskningsstudier, samt at FFI selv skrev i sin mail til meg at de kjente til blindingsproblemet og at dette nok burde vært nevnt i rapporten. Hvorfor de da finner ut at de i etterkant skal gå ut og forsøke å latterliggjøre det jeg har skrevet, er merkelig.
Uansett, dagen etterpå fikk jeg en lengre mail fra FFI i en hyggeligere tone. For å gi FFI tilsvarsrett legger jeg ut hele mailen her (uthevinger som i originalmail):
Hei Gunnar,
Jeg ser at du har hatt en utveksling på Twitter med kommunikasjonssjefen vår. Hvis du heller vil ha svar med substans, får du det på mer enn 140 tegn her. Jeg har i dag fått en tilbakemelding på blogginnlegget ditt fra forskerne bak studien om Omega-3. (Som forskningsinstitutter flest, går ting noe tregere her ved FFI enn i sosiale medier.) De vil gjerne at du får klarhet i fakta om undersøkelsen, slik at du kan gi korrekte framstillinger på bloggen din.
Her er deres kommentarer:
Vinteren/våren 2011 gjennomførte Forsvaret og FFI en studie ved GSV for å studere hvordan tilførsel av omega 3 påvirker soldaters yteevne. Studien ble gjennomført med ca. 200 soldater fra GSV. Hovedstudien ble ledet av Forsvaret. Som det fremheves i forordet til vår rapport 2012/00382 meldte en liten gruppe seg frivillig til å gjennomføre den studien som er presentert i denne rapporten. I utgangspunktet meldte 29 personer seg frivillig til studien omtalt i rapport 2012/00382. Av ulike grunner utenfor vår kontroll valgte 9 personer å trekke seg. Den store studien er ikke beskrevet i rapport 2012/00382 da det er hovedfokus på analyse av blodprøvene i denne studie. Vår studie (blodprøveanalysene) blir i liten grad påvirkt av blindingsproblemene. Som en oppsummering:
1) Ca. 200 soldater fra GSV deltok i studien. Disse fikk juice med forskjellig innhold og deltok på tilleggsstep-tester og svarte på spørsmål.
2) 20 frivillige soldater deltok i en begrenset studie ledet av FFI.
3) Det er gjennomført en studie der det er tatt blodprøve av disse soldatene for å undersøke hvordan soldatenes immunforsvar er påvirket av inntaket av omega-3.
4) Studien, basert på en testprotokoll, av de 20 soldatene er omhandlet i FFI rapport 2012/00382.
5) Vi er ikke kjent med at det er publisert resultater fra den store studien med 200 soldater.
6) De to personene det refereres til i din blogg er ikke med i vår studie beskrevet i FFI rapport 2012/00382. De var med i den store studien.
7) I henhold til avtale var deltagelse i studien fullstendig frivillig og deltagerne kunne trekke seg underveis. Dette ble muntlig og skriftlig meddelt soldatene før studien.
Vi takker for interessen vår rapport har fremmet, og deltar i framtidige faglige diskusjoner.
Jeg svarte dem som følger:
Hei!
Takk for klargjøring. Jeg ser likevel ikke at dette er relevant for mine kommentarer i bloggposten. Jeg retter fokus på at denne omega3-juicen ikke er spesielt godt egnet til å finne ut hvilken effekt omega3-tilskudd har på faktorer som kan påvirkes av placeboeffekt/stressreduksjon så lenge den så enkelt kan skilles fra placebojuicen.
Soldatene som er nevnt i bloggposten bevitnet/erfarte dette problemet, enten de var med i den store eller lille studien. Det er irrelevant i denne sammenheng. Problemet er også bekreftet av aktører fra to andre pågående studier, i tillegg til at dere i tidligere e-post også bekrefter at omega3-juice og placebojuice kan skilles.
Jeg kan altså ikke se at denne nye informasjonen er relevant for mine kritiske punkter i bloggposten. Jeg vil likevel legge ut dette svaret i bloggen slik at dere får ivaretatt nødvendig tilsvarsrett.
Takk for oppfølging!
Det sentrale her er altså at det er irrelevant om de to navngitte soldatene var med i den endelige studien med 20 soldater, eller var med i den store studien med 200 soldater. De var vitner til blindingsproblemet, både fordi omega-3-juice og placebojuice er forskjellige i smak, farge og konsistens, men også den slepphendte håndteringen med å levere placebojuice i kasser merket PLACEBO.
Ergo kan jeg ikke se at kritikken fra kommunikasjonssjefen på Twitter traff mål i det hele tatt, og det jeg skriver i bloggposten står fortsatt stødig. Det må også nevnes at jeg er svært forsiktig i min kritikk i bloggposten og sier at disse problemene kanskje ikke påvirket resultatet overhodet, og at det neppe skyldes uredelige hensikter fra forskerne. Jeg ønsket likevel å belyse noen problemer med studien og vise hvorfor slike problemer svekker en studies konklusjon. Deretter brukes jeg dette som grunnlag for den endelige kritikken, som jeg mener er mye mer alvorlig, mot bruken av 200 000 juicebokser fra Smartfish A/S i den store amerikanske studien på veteraner og selvmord.
Uansett, det er alltid interessant å få respons på det jeg skriver, og jeg korrigerer mer enn gjerne meg selv om jeg har skrevet noe feil. Det kan jeg likevel ikke se å ha gjort i nevnte bloggpost basert på de tilbakemeldinger jeg har fått så langt.
