Noter i statistik

Vægtet kappa

Eksempel 1

I forbindelse med kvalitetskontrol af histokemiske farvninger har to læger bedømt farvekvaliteten af 120 vævssnit, hvilket gav følgende resultat:

 
Læge 1  

  Optimal Good
Borderline Poor i alt
Læge 2 Optimal 45 7 1 0 53
Good 1 40 3 0 44
Borderline 0 5 10 1 16
Poor 0 0 0 7 7
  i alt 46 52 14 8 120
Prøv først at beregne kappa-koefficienten, som gennemgået på side 9.2 (2 decimaler):

Bemærk at i dette tilfælde er der tale om resultater på en ordinal-skala (Optimal, Good, Borderline, Poor), idet der jo findes en naturlig rangordning mellem de 4 kategorier. Dermed kan man med fordel ændre beregningen af Kappa-koefficienten lidt, da det nu giver mening at tale om graden af uoverensstemmelse. Det er jo værre hvis den ene læge siger "poor" og den anden "optimal", end det er hvis den ene læge siger "good" og den anden "optimal".

Dette kan der tages højde for, ved at beregne en såkaldt vægtet kappa-koefficient. Indtil videre vil beregningen ikke blive gennemgået i disse noter, men den nysgerrige læser kan finde yderligere oplysninger på internettet. F.eks. på følgende sider (verificeret den 2/5-2011 - så vær opmærksom på at de selvfølgelig kan være blevet ændret):

http://en.wikipedia.org/wiki/Cohen%27s_kappa

Bruges metoden som gennemgået på disse sider, fås i stedet en kappa-koefficient på 0,83, altså lidt højere end beregnet ovenfor. Dette afspejler, at når lægerne er uenige, så er deres uenighed ikke ret stor.

Vægtet eller ikke-vægtet kappa?

Forskellen på den ikke-vægtede (side 9.2) og den vægtede kappa-koefficint, er altså at sidstnævnte tager højde for om forskellen mellem de enkelte svar er stor eller lille. Havde tabellen set ud som vist her (ændringer markeret med rødt):

    Læge 1
    Optimal Good Borderline Poor
Læge 2 Optimal 45 0 1 7
Good 1 40 3 0
Borderline 0 5 10 1
Poor 0 0 0 7

så er det jo oplagt at overensstemmelsen mellem lægerne er blevet mindre. Dette afspejler sig imidlertid ikke i den almindelige kappa-koefficient, som er stort set uændret. Den vægtede kappa-koefficient bliver imidlertid væsentligt mindre (0,72), og afspejler dermed bedre ændringen.

Det er vigtigt at bemærke at den vægtede kappa-koefficient kun giver mening i forbindelse med ordinal-skalaer. På rene nominal-skalaer kan man jo netop ikke tale om større eller mindre grad af overensstemmelse. Det er kun de to muligheder "enig" eller "uenig".

 

© Thomas Bendsen • 2009 - 2017 • VIA University College Bioanalytikeruddannelsen