Urteilerübereinstimmung und Urteilerunterschiede beim Peer Review

Journal/Book: DRV-Schriften Band 11/98 Seite 90-91 Interdisziplinarität und Vernetzung 7. Rehabilitationswissenschaftliches Kolloquium vom 10. bis 12 März 1997 in Hamburg Tagungsband. 1998;

Abstract: Hochrhein-Institut für Rehabilitationsforschung Bad Säckingen Einleitung Im Rahmen des Qualitätssicherungsprogramms der Rentenversicherungsträger wurde 1996 eine Pilotstudie zum Peer-Review-Verfahren durchgeführt. Bei dem Peer Review bewerteten erfahrene Reha-Ärzte anonymisierte Entlassungsberichte des Indikationsbereichs "Bewegungsapparat" anhand der Checkliste qualitätsrelevanter Prozeßmerkmale und des zugehörigen Manuals. Die Checkliste umfaßt insgesamt 56 Merkmale die sich in die Bereiche "Anamnese" Diagnostik Therapieziele und Therapie Sozialmedizinische Stellungnahme Nachsorgekon- zept und "Dokumentation (Verlauf und Epikrise)" gliedern. Für jeden Bereich wird eine zusammenfassende Bewertung vorgenommen. Überdies wird eine abschließende zusammenfassende Bewertung für die Qualität des gesamten Reha-Prozesses durchgeführt. Für die zusammenfassenden Bewertungen stehen die Antwortkategorien "keine Mängel" leichte Mängel deutliche Mängel und "gravierende Mängel" zur Verfügung. Eine Zielsetzung der Pilotstudie bestand in der Ermittlung der Interrater-Reliabilität (Übereinstimmung verschiedener Urteiler) der Intrarater-Reliabilität (Übereinstimmung der Urteile desselben Peers) und der systematischen Urteilerunterschiede (Strenge des Urteils). Methodik Zunächst wurden zwanzig Klinikärzte und drei Rentenversicherungsärzte in dem Screening der Prozeßqualität d.h. der Handhabung der Checkliste qualitätsrelevanter Prozeßmerkmale und des zugehörigen Manuals intensiv geschult. Für die Bestimmung der Interrater-Reliabilität bewerteten zehn Klinik-Peers und die drei Rentenversicherungsärzte jeweils dieselben zwölf Entlassungsberichte. Für die Analyse der Intrarater-Reliabilität wurden sieben Entlassungsberichte von sieben Klinik-Peers und den drei RV-Peers ein zweites Mal begutachtet. Der Bestimmung der systematischen Urteilerunterschiede wurden die Daten aus der Interrater-Reliabilitäts-Untersuchung zugrundegelegt. Die Peers waren über die parallelen und die wiederholten Begutachtungen nicht informiert worden. Zunächst war geplant als Reliabilitätsmaß die sogenannte Intraklassenkorrelation (Shrout & Fleiss 1979) zu berechnen. Dabei ergab sich das Problem daß die Varianz zwischen den Entlassungsberichten sehr gering war und damit die Intraklassenkorrelation kein aussagekräftiges Reliabilitätsmaß darstellt. Als Ausweg wird in der Literatur (Asendorpf & Wallbon 1979) der sogenannte Finn-Koeffizient (Finn 1970) empfohlen. Der Finn-Koeffizient kann maximal einen Wert von +1 annehmen (perfekte Reliabilität). Werte um Null signalisieren eine fehlende Übereinstimmung. Ergebnisse und Diskussion Die Interrater-Reliabilitäten der Klinikärzte schwanken für die zusammenfassenden Bewertungen der Checkliste zwischen 0 55 und 0 71 und können damit als ausreichend bis gut bezeichnet werden. Die Interrater-Reliabilitäten der Rentenversicherungsärzte weisen mit Werten zwischen 0 37 und 0 76 eine höhere Variation auf. Die mittleren Intrarater-Reliabilitäten der Klinikärzte reichen von 0 44 (ausreichend) bis 0 78 (gut). Dabei beträgt der durchschnittliche Zeitabstand zwischen der ersten und der zweiten Beurteilung 57 1 Tage. Die mittleren Intrarater-Reliabilitäten der Rentenversicherungsärzte liegen bei einem durchschnittlichen Zeitabstand von 74 4 Tagen zwischen 0 51 (ausreichend) und 0 87 (sehr gut). Bezüglich der systematischen Urteilerunterschiede (definiert als Differenz der Bewertungen eines Peers von dem Durchschnitt der Bewertungen aller Peers) zeigte sich daß bei den verschiedenen zusammenfassenden Bewertungen jeweils nur sehr wenige Peers einen substantiellen Urteilerbias (definiert als Abweichung von mindestens einer halben Urteilskategorie) aufweisen. Dabei konnten nur wenige Peers identifiziert werden die konstant über alle zusammenfassenden Bewertungen hinweg zu einem strengeren oder zu einem nachsichtigeren Urteil neigen. In der Gesamtbetrachtung fallen die überprüften Gütekriterien für die zusammenfassende Bewertung der Qualität des gesamten Reha-Prozesses am besten aus. Die Objektivität des am Hochrhein-Institut entwickelten Peer-Review-Verfahrens liegt deutlich höher als in amerikanischen Studien zum Peer Review im akutmedizinischen Bereich (Goldman 1992; Lefevre et al. 1993). Dieser Unterschied kann durch folgende Faktoren bedingt sein: 1. Im Gegensatz zu den amerikanischen Studien (implizites Peer Review) handelt es sich bei dem von uns überprüften Beurteilungsverfahren um ein explizites/strukturiertes Peer Review (sowohl die zu beurteilenden Merkmale als auch die bei der Beurteilung zu berücksichtigenden Bewertungskriterien sind explizit festgelegt). 2. Entsprechend den Empfehlungen von Lefevre et al. haben wir die Peers in dem Begutachtungsverfahren intensiv geschult. 3. Bei den von uns geschulten Klinik-Peers handelt es sich um qualifizierte (indikationsspezifische Facharztqualifikation) und praxiserfahrene Rehabilitationsärzte. ___MH

Zurück | Weiter