Forskningen säger-argumentet är lömskt eftersom det blickar bakåt

Spara och investera Forskning, rapporter och studier
21

Till alla er (förhoppningsvis ganska få) som tvivlar på, ifrågasätter eller ringaktar forskning mer generellt vill jag säga följande:

Kritik av forskning är förstås helt legitim och i grunden sund. Vetenskaplig kritik är det främsta sättet att kvalitetssäkra forskning och inbyggd som en naturlig del i hela det akademiska systemet. Det är en helt annan sak att ifrågasätta forskning generellt.

För att bli forskare måste man i normalfallet först genomgå en treårig akademisk grundutbildning och därefter – ofta i hård konkurrens – söka och komma in på en fyraårig forskarutbildning.

Obligatoriska ämnen inom all forskarutbildning är vetenskapshistoria, vetenskapsteori och vetenskaplig metod. Man måste dessutom genomföra ett omfattande självständigt arbete (skriva en avhandling) vars vetenskapliga kvalitet granskas av experter innan det släpps fram för offentlig disputation. Under disputationen granskas avhandlingen minutiöst av en erkänd auktoritet inom området. Disputationen sker inför publik där andra forskare, kritiker och allmänheten kan framföra sina åsikter. Beslut om godkännande görs därefter av en kommitté, vanligen bestående av ett antal sakkunniga professorer.

Att genomgå och klara en forskarutbildning är ungefär som att få ett ”körkort” – man är betrodd att självständigt bedriva forskning. För de som vill fortsätta och göra karriär inom den akademiska världen följer ytterligare minst två års studier inom något som kallas post doc-program för att bli docent och efter ytterligare några års framgångsrik egen forskning kan man så småningom bli professor.

Under hela den här tiden förväntas man formulera ansökningar för att få forskningsanslag. Den vetenskapliga kvaliteten i ansökningarna prövas ingående av de som fördelar anslagen. När man sedan börjar producera och presentera forskningsresultat sker ytterligare hårda kvalitetsprövningar innan resultaten publiceras i vetenskapliga tidskrifter.

I normalfallet kan vi således lita på forskning och att de allra flesta forskare är seriösa och gör sitt yttersta för att presentera ”sanna” resultat. Sedan har dom ibland fel, men det innebär inte att man kan ifrågasätta all forskning. Dom flesta svanarna är faktiskt vita, och väldigt få människor har någonsin sett en svart svan.

4 gillningar
22

Riktigt så enkelt är det dock inte.

2 gillningar
23

Ja, det där är en bra och viktig artikel. Jag tänker att det är två saker som är sanna samtidigt:

  1. En betydande andel av alla studieresultat är felaktiga, och man bör vara försiktig med att dra slutsatser från enskilda studier.
  2. Forskningen som helhet producerar mycket värdefull kunskap.
3 gillningar
25

Det främsta problemet tänker jag väl egentligen är att folk inte accepterar eller förstår vilka svansrisker globalt aktieindex har rent empiriskt och teoretiskt.

S&P 500 gick ner sådär ~-80% under depressionen på 30-talet från toppen till botten. Om det skulle inträffa idag skulle forumet stå i lågor och folk skulle nog gorma om att forskningen “var felaktig”.

Men nej, givetvis inte. Det hade varit extrem men förväntat möjlig volatilitet inom tillgångsslaget aktier på en relativt effektiv marknad. Men där tror jag att även många på det här forumet hade tappat tron.

1 gillning
26

Hej @marknadstajmarn,

Intressant med inte helt oväntat att John Ioannidis artikel från 2005 skulle dyka upp i det här sammanhanget. Det är en av de mest citerade artiklarna som publicerats i PLOS Medicine, förmodligen eftersom rubriken ”Why Most Research Findings Are False” är vald för att uppröra forskarsamhället och medvetet locka läsare.

Att det finns metodiska brister i flera medicinska studier och att vissa resultat ibland har övertolkats positivt förvånar inte den som är bevandrad inom den medicinska forskningen. Att utifrån detta faktum dra slutsatsen att merparten av forskningen är värdelös och att resultaten inte är sanna (”false”) är enligt min uppfattning direkt felaktigt. Men det kanske vi i första hand ska skylla på tidskriftens rubriksättare. Artikeln i sig är intressant och tankeväckande.

Det finns mycket som man kan säga om John Ioannidis och hans forskning. Han är i grunden läkare och har bedrivit egen klinisk forskning, men han började ganska tidigt att ägna sig åt metastudier – ett forskningsområde som jag själv ägnat en hel del tid åt.

Det handlar något förenklat om att sammanställa resultat från flera olika studier inom ett visst område för att sedan med hjälp av statistiska (och andra) metoder dra slutsatser om den samlade forskningens ståndpunkt i frågan.

Inom medicinsk forskning – och även inom andra forskningsområden – handlar det ofta om att försöka komma fram till ”best practice”. Den föreslagna behandlingsmetoden eller vad det nu kan handla om rekommenderas därefter i kliniskt praktik. Man brukar då säga att metoden är evidensbaserad, vilket betyder att den baseras på vetenskaplig forskning.

När man påbörjar en metastudie preciserar man först det problem som ska studeras. Därefter formuleras kriterier för vilka studier som ska ingå i metastudien. Ett centralt kriterium är att de måste hålla hög vetenskaplig kvalitet.

Det var i arbetet med att välja ut studier för metaanalyser som Ioannidis upptäckte att flera av de tilltänkta studierna inte uppfyllde de högt ställda metodiska inkluderingskriterierna. Det är bakgrunden till hans artikel i PLOS Medicine.

Det Ioannidis (med rätta) reagerade på var brister i replikerbarhet i flera studier, att många studier enbart baserades på hypotesprövning, att antalet observationer ofta var litet och att urvalet ofta var bristfälligt. Han antyder även – liksom i den bifogade videon – att det kan ha förekommit ren manipulation av data för att bekräfta uppställda hypoteser.

Ioannidis konstruerade en egen statistisk modell (som åskådliggörs i videon) som antyder att antalet positiva hypotesprövningar var överrepresenterade.

Ioannidis statistiska modell kritiserades av forskarsamhället för stora validitetsbrister, och slutsatsen att en stor del av den medicinska forskningen var undermålig ansågs grovt överdriven. Ett positivt resultat av Ioannidis artikel var dock att den ledde till intensiva diskussioner framför allt inom den medicinska forskningen, vilket i sin tur ledde till stora kvalitetsförbättringar.

Låt mig avsluta med att direkt citera den sista meningen i den video som du bifogade:

“As flawed as our science may be, it is far away more reliable than any other way of knowing that we have.”

5 gillningar