Assessing the Validity Evidence of an Objective Structured Assessment Tool of Technical Skills for Neonatal Lumbar Punctures

Abstract

Background The lumbar puncture ( LP ) is a procedural competency deemed necessary by the Accreditation Council for Graduate Medical Education and the Emergency Medicine and Pediatric Residency Review Committees. The emergency department ( ED ) is a primary site for residents to be evaluated performing neonatal LP s. Current evaluation methods lack validity evidence as assessment tools. Objectives This was a pilot study to develop an objective structured assessment of technical skills for neonatal LP ( OSATS ‐ LP ) and to document validity evidence for the instrument in regard to five sources of test validity: content, response process, relation to other variables, inter‐rater reliability, and consequences of testing. Methods Pediatric residents were videotaped in the fall of 2011 for comparison of faculty evaluation of resident performance during a neonatal LP using a video‐delayed format. Residents completed a demographic experience survey evaluating relations to other variables. Content and response process validity was obtained through expert panel meetings and resulted in the following seven domains of performance for the OSATS ‐ LP : preparation, positioning, analgesia, needle insertion, cerebrospinal fluid ( CSF ) collection, management of laboratory studies, and sterility. t‐tests assessed significance between level of training, previous intensive care unit experience, and residents' self‐assessed confidence in comparison with their total performance score. The inter‐rater agreement of the OSATS ‐ LP was obtained using the Fleiss' kappa for each domain. Results Sixteen pediatric residents completed the simulation with six raters evaluating each resident (96 ratings). The domains of sterility and CSF collection had moderate statistical reliability (κ = 0.41 and 0.51, respectively). The domains of preparation, analgesia, and management of laboratories had substantial reliability (κ = 0.60, 0.62, and 0.62, respectively). The domains of positioning and needle insertion were less reliable (κ = 0.16 and 0.16, respectively). Individuals who had completed one or more rotations in the neonatal intensive care unit ( NICU ) had a higher total score (12.5 vs. 16.9; p < 0.01). The residents' own perception of ability to perform an LP unsupervised did not result in a higher total score. Conclusions The OSATS ‐ LP has reasonable evidence in four of the five sources for test validity. This study serves as a launching point for using this tool in clinical environments such as the ED and, therefore, has the potential to provide real‐time formative and summative feedback to improve resident skills and ultimately lead to improvements in patient care. Resumen Comprobación de la Validez de una Herramienta de Evaluación Estructurada Objetiva de Habilidades Técnicas para las Punciones Lumbares Neonatales Introducción La punción lumbar ( PL ) es un procedimiento cuya competencia se considera necesaria por el Accreditation Council for Graduate Medical Education y los Emergency Medicine and Pediatric Residency Review Committees . El servicio de urgencias ( SU ) es un lugar primario para evaluar a los residentes en la realización de la PL neonatal. Los métodos de evaluación actuales carecen de evidencia válida como herramientas de evaluación. Objetivos Éste fue un estudio piloto para desarrollar una evaluación estructurada objetiva de las habilidades técnicas para la PL neonatal ( OSATS ‐ LP ) y para documentar la validez para el instrumento respecto a cinco fuentes de la validez de un test: el contenido, el proceso respuesta, la relación a otras variables, la fiabilidad interobservador y las consecuencias del test. Metodología Los residentes de pediatría fueron grabados en otoño de 2011 para la comparación de la evaluación docente del rendimiento del residente durante una PL neonatal usando un formato de video diferido. Los residentes completaron una encuesta de experiencia demográfica mediante la evaluación de las relaciones con otras variables. La validez del contenido y del proceso de respuesta se obtuvo a través de las reuniones de un panel de expertos y resultó en los siguientes siete dominios de la realización para el OSATS ‐ LP : la preparación, la posición, la analgesia, la inserción de la aguja, la recogida del líquido cefalorraquídeo ( LCR ), el manejo de los estudios de laboratorio y la esterilidad. La significación entre el nivel de entrenamiento, la experiencia previa en una unidad de cuidados intensivos y la confianza autoevaluada del residente en comparación con su puntuación de rendimiento total se analizó con el test de la t de Student. La concordancia interobservador del OSATS ‐ LP se obtuvo con el índice kappa de Fleiss para cada dominio. Resultados Dieciséis residentes de pediatría completaron la simulación con seis evaluadores que examinaron a cada residente (96 clasificaciones). Los dominios de esterilidad y recogida de LCR tuvieron una fiabilidad moderada (k = 0,41 y 0,51, respectivamente). Los dominios de preparación, analgesia y manejo de laboratorio tuvieron una fiabilidad sustancial (k = 0,60, 0,62, y 0,62, respectivamente). Los dominios de la posición e inserción de la aguja fueron menos fiables (k = 0,16 y 0,16, respectivamente). Los residentes que habían realizado más PL se correlacionaron con una puntuación total mayor (coeficiente de correlación de Pearson = 0,5, p < 0,05). Los sujetos que habían completado una o más rotaciones en la unidad de cuidados intensivos neonatal tuvieron una puntuación total más alta (12,5 vs. 16,9; p < 0,01). La autopercepción de los residentes de la capacidad para realizar una PL no supervisada no resultó en una puntuación total más alta. Conclusiones La OSATS ‐ LP tiene una evidencia razonable en cuatro de las cinco fuentes para la validez del test. Este estudio sirve como un punto de partida para usar esta herramienta en los ambientes clínicos como el SU , y por ello, tiene la potencialidad para proporcionar una formación a tiempo real y una retroalimentación sumativa para mejorar las habilidades de los residentes, y conducir finalmente a mejoras en la atención del paciente.