Hvordan designe en dårlig studie

På radio mandag og tirsdag denne uken ble det presentert en ny studie på ME og Lightning Process. Studien skal være et samarbeide mellom en doktorgradstipendiat på NTNU og kommuner på Østlandet, og være på en «tre-dagers intervensjon» som det kom fram i programmene dreiet seg om LP.

Prosjektbeskrivelsen og invitasjonen til kommuner om å delta i prosjektet kan leses på Aurskog-Høland kommunes hjemmeside.

Jeg ønsker på mange måter at det skulle komme en GOD studie på LP, som kunne legge denne ballen død en gang for alle. Kanskje en da kunne komme videre med å ta ME på alvor, og gi ordentlig hjelp til ME-syke. LP, og markedsføringen av LP, har dessverre bidratt til å gjøre situasjonen vanskeligere for ME-syke gjennom å spre en myte om at man kan bli frisk «om man bare vil».

Noen opplever bedring i etterkant av et LP-kurs. I en spørreundersøkelse fra ME-foreningeng gikk det fram at flere ikke opplever effekt i det hele tatt, og flest opplevde forverring fra å følge de rådene de fikk på LP-kurset.

Det store problemet er at dette IKKE er en god studie. For meg ser det ut til en studie som er designet for å vise effekt, ikke for å se om det finnes en effekt. Den ser ut til å være laget for å bekrefte hypotesen , ikke se om den er stemmer.

Dermed kan denne studien, om den får godkjenning hos Etisk komite (noe den i dag ikke har) i beste fall være fullstendig verdiløs, og i verste fall gjøre skade. Strengt tatt er jeg litt sjokkert over at detter er et doktorgradsprosjekt – jeg trodde det krevdes mer?

Hva er en god studie?

De fleste studier er hypotesedrevet, dvs. at man tror noe er sant, og man utfører studien for å se om det virkelig er sant. I en god studie tester man hypotesen så hardt man kan, og ikke på en måte som gir størst mulig sjanse for suksess.

En god studie er designet slik at svaret man får har størst mulig sannsynlighet for å være riktig (og ikke nødvendigvis det man ønsker,tror eller håper det vil være), og at det er minst mulig sjanse for at resultatene skyldes tilfeldigheter. Jo mindre man vet på et felt, jo viktigere er det at en studie tar høyde for at manglene kunnskap kan gi uventede resultater. Når det gjelder ME vet vi f.eks. ikke sikkert hva som er et naturlig forløp for sykdommen, hvor mange som blir friske og etter hvor lang tid. Da blir objektive mål og en god kontrollgruppe særdeles viktig.

Gullstandarden for medisinsk forskning er randomiserte, blindede, placebokontrollerte studier. Da har man en gruppe som får behandling, en som får «narremedisin», men hverken forskere eller pasienter vet hvilken gruppe de tilhørte før studien er avsluttet. Gruppene bestemmes ved trekning (randomisering). Testpersonene bør være mest mulig representative for den gruppen man studerer.

Den studien som er beskrevet i denne prosjektbeskrivelsen kan neppe sies å være en god studie ut fra kriteriene over. Ja, deltagerne randomiseres i to grupper, men det er umulig å blinde behandlere og deltagere, og man har ingen reell kontrollgruppe. Utvalget av pasienter er gjort for å ha størst mulig sjanse for effekt, og i prosjektbeskrivelsen ser man bort fra både eksisterende og manglende kunnskap, bl.a. at det finnes mange pasienthistorier om skade etter intervensjonen. Her er hvorfor jeg mener at dette ikke er en god design, ut fra den beskrivelsen jeg har.

Problemer

Utvalg:

Prosjektbeskrivelsen sier at de ønsker «insidente pasienter», slik at de ikke identifiserer seg alt for mye med diagnosen». I praksis betyr dette at de i første rekke vil ha med personer som nylig har blitt syke. Pasienter skal deretter «vurderes opp mot inklusjonskriteriene av en prosjektsekretær» før diagnosen bekreftes av en lege på grunnlag av journalen.

Dermed kan ikke studien si noe om ME-syke generelt, bare om «nysyke» som tilfredsstiller inklusjonskriterier som ikke er definert i denne beskrivelsen.

Mulighet for feil

Vi vet lite om prognosen for ME. Noen ser ut til å bli friske av seg selv, men vi vet ikke hvor mange. Bell, som har behandlet ME-syke i mer enn 30 år, sa i et foredrag i Oslo i 2015 at hans erfaring var at de som ble friske ble det i de første tre-fire årene. Mady Hornig fant at det skjedde noe med immunsystemet hos ME-syke etter ca.tre år.Varighet på sykdommen kan ha innvirkning på hvor mange som kommer seg. Et utvalg av personer med kort sykdomsvarighet kan ikke nødvendigvis si noe om ME-pasienter generelt.

Design:

Halvparten av pasientene får intervensjonen med en gang, den andre halvparten må vente i ti uker, og utgjør kontrollgruppen. Deretter får gruppe to intervensjonen, og etter det har man ingen kontrollgruppe.

Problemer

Vanligvis når man designer en behandlingsstudie sammenligner man med den beste eksisterende behandlingen. For ME finnes det ingen kurativ behandling, men både forskning og pasienterfaring tilsier at aktivitetsavpassing / energiøkonomisering (energikonvolutten / pacing) er mestringsstrategier som bidrar til å stabilisere sykdommen og kanskje gi bedring. Det ville virket mer fornuftig å gi kontrollgruppen kurs i denne formen for mestring, og så sammenligne de to gruppene over tid.

Denne designen – med venteliste som kontrollgruppe – gir sjanse for bias, nemlig at de som står på venteliste for behandling (som man kan anta de tror vil virke) opplever en nocebo effekt – der det at de venter gjør at de føler seg dårligere.

Etter ti uker får gruppe to behandling – og så står man så uten kontrollgruppe. Ti uker er neppe nok til å kunne måle forskjeller. En gruppe kan ha en placeboeffekt etter behandling, en gruppe kan ha noceboeffekt fordi de venter. I og med at man skal følge med på arbeidssituasjon mm. for deltagerne, ville det være naturlig å ha en kontrollgruppe gjennom hele studiens varighet, enten naiv – uten intervensjon – eller som fikk best mulig behandling, nemlig mestringskurs og opplæring i aktivitetsavpassing.

Den andre utfordringen med å være uten kontrollgruppe er at vi ikke vet så mye om prognose for ME, og om hva som er naturlig forløp over tid. Rituximabstudien hadde like mange respondere i placebogruppen som i gruppen som fikk behandling. Uten kontrollgruppe kunne man trodd det var effekt. I LP-studien fjerner man altså mulighet til å sammenligne med pasienter som ikke får intervensjonen over tid, og man får en gylden mulighet til å feiltolke resultater.

Vi vet at ME-syke kan mobilisere krefter i en periode. Jeg har snakket med personer som først krasjet 6 måneder etter LP-kurs, men som så ble sengeliggende i en lang periode. Denne studien vil ikke kunne fange opp det, og se om det også skjer i en kontrollgruppe som ikke har fått en «tre-dagers intervensjon».

Innsamling av data

I prosjektbeskrivelsen står det ingen ting om hvordan man skal samle inn data, eller hvilke data man skal samle inn. Det står heller ikke hva man har som mål på suksess. Det nevnes at man skal se på fysisk funksjon, men ikke hvordan.

Når man gir en pille er det lett å blinde, men når man skal gi en intervensjon som dette er det umulig å blinde behandlere og pasienter til hvem som  får hva. Det gir fare for at forventninger hos deltagere og forskere kan påvirke resultater. Da er det ekstremt viktig at man har objektive mål på effekt.

Man får håpe at man planlegger å samle inn objektive data (f.eks. skritteller / annen aktivitetsmåler) i en periode før intervensjon for å vise baseline, og gjennom intervensjonsperioden og i tilstrekkelig tid etterpå, slik at man fanger opp placebo / nocebo.

Selvrapportering av symptomer fra pasienter, som blir fortalt at de skal si at de er friske for å bli friske, er null verdt i denne sammenhengen (med mindre det man ønsker å studere er avvik mellom subjektive og objektive data)

Arbeidssituasjon etter 12 måneder er interessant, men meningsløse mål når man ikke har en kontrollgruppe å sammenligne med.

ET annet spørsmål er hvordan man definerer «bedring» eller «frisk». Jason foreslår at «frisk» betyr å vende tilbake til samme funksjonsnivå som før sykdommenn, justert for alder. Å definere seg selv som «frisk» er ikke nødvendigvis det samme som å VÆRE frisk.

Etiske spørsmål

Det største problemet jeg ser med denne studien er imidlertid de etiske, og det er flere av dem.

Det første er spørsmålet om skade.

I prosjektbeskrivelsen vises det til Crawlys studie på barn, og at den ikke viste skade, men signifikant bedring. (Det er viktig å huske at «signifikant» og «stor» ikke er synonymer. Signifikant i dagligtale betyr viktig, i statistikk betyr det «sannsynligvis sann«) Det ble ikke nevnt at denne studien har store metodiske feil. I omtale på radio ble mulig skadevirkning bagatellisert. Det er imidlertid meldt inn så mange alvorlige forløp til Nafkam at de i sin tid sendte en bekymringsmelding til Helsedirektoratet. Det ble laget en rapport, der man ikke kunne finne forskjell mellom dem som meldte positiv effekt og dem som opplevde skade. Det betyr at man i en studie som denne ikke kan forutsi hvem som potensielt ville oppleve skade. Spørreundersøkelser i regi av ME-foreningen antyder at det er flere som blir dårligere enn bedre av Lightning Process.

En studie på LP må ha lang nok oppfølgingstid til at man fanger opp evt. skade, og det må være kriterier for å stoppe studien om skade skulle oppstå, og man må ha ordninger for å ivareta dem som evt. opplever skade.

Samtykke til deltagelse i forskning

Når personer skal delta i en studie må de samtykke til at de vet hva de går med på. Norsk senter for forskningsdata skriver: «For at samtykket skal være gyldig, må det være frivillig, spesifikt, informert og utvetydig. Det betyr at de som inviteres til deltakelse må forstå hva samtykket gjelder og hvilke konsekvenser samtykke til deltakelse i forskningen din får.» Det betyr at forskerne må gi deltagerne full oversikt over alle forhold som er relavante – bl.a. interessekonflikter, mulige bivirkninger, risiko for skade osv. Hvordan man kan ivareta dette når man ikke erkjenner at det er personer som har blitt dårligere av LP, er et mysterium.

Denne doktorgraden skal gjennomføres på NTNU. Da kan det være interessant å se hva som står om risikovurdering i NTNUs veileder for planlegging av helseforskning: «Risiko og belastning for deltakerne, og nødvendigheten av prosjektet må kartlegges. Risikoen og belastningen må stå i forhold til påregnelige fordeler for deltakeren selv eller for andre mennesker. Dersom sårbare grupper, som barn, eldre, syke o.l., skal inkluderes må disses behov og lovens tilleggsvilkår særlig iakttas.»

Ut fra de tallene som kom fram i ME-foreningens spørreundersøkelse var det flere som opplevde forverring enn forbedring. Kan man da si at risiko og belastning står i forhold til  påregnelig fordel?

Hjernevask

Det bringer meg til det som bekymrer meg mest, fra et etisk perspektiv. Skade kan også være psykisk.

LP bygger bl.a.. på konseptet at man ikke har ME, man «gjør ME», og man kan lære å slutte å «gjøre ME» gjennom å endre tankemønster og oppførsel – men det virker bare om man gjør det riktig, og om man tror det vil virke. En slik tankegang minner mistenkelig om religion, og helbredelse gjennom religion. Det skjer bare hvis du tror.

Her skal man altså overbevise deltagerne om at noe er sant, slik at de virkelig, helt innerst inne, tror at det er sant. Hvordan håndterer man dette hvis det viser seg at det ikke har effekt?

Man har fortalt dem at hvis de ikke blir friske er det deres egen feil. De har ikke gjort prosessen riktig – de har ikke trodd nok. Hva skjer med tanker og følelser hvis man ikke lykkes? Tar studien høyde for følelser av skam og skyld og skuffelse?

Kan man reversere hjernevask?

Ville man godtatt en studie der man «omvender» pasienter til å tro på en religion? Ikke? Så hvordan kan man forsvare etisk at man i praksis hjernevasker pasienter til å tro på LP?

Prosjektbeskrivelse

4 tanker om “Hvordan designe en dårlig studie”

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut /  Endre )

Google-bilde

Du kommenterer med bruk av din Google konto. Logg ut /  Endre )

Twitter-bilde

Du kommenterer med bruk av din Twitter konto. Logg ut /  Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut /  Endre )

Kobler til %s