Emergency Medicine Residents’ Self‐assessments Play a Critical Role When Receiving Feedback
Bounds, Richard; Bush, Colleen; Aghera, Amish; Rodriguez, Nestor; Stansfield, R. Brent; Santen, Sally A.; Yarris, Lalena
2013-10
Citation
Bounds, Richard; Bush, Colleen; Aghera, Amish; Rodriguez, Nestor; Stansfield, R. Brent; Santen, Sally A.; Yarris, Lalena (2013). "Emergency Medicine Residents’ Self‐assessments Play a Critical Role When Receiving Feedback." Academic Emergency Medicine (10): 1055-1061. <http://hdl.handle.net/2027.42/100309>
Abstract
Objectives Emergency medicine ( EM ) faculty often aim to improve resident performance by enhancing the quality and delivery of feedback. The acceptance and integration of external feedback is influenced by multiple factors. However, it is interpreted through the “lens” of the learner's own self‐assessment. Ideally, following an educational activity with feedback, a learner should be able to generate and act upon specific learning goals to improve performance. Examining the source of generated learning goals, whether from one's self‐assessment or from external feedback, might shed light on the factors that lead to improvement and guide educational initiatives. Using a standard oral board scenario, the objective of this study was to determine the effects that residents’ self‐assessment and specific feedback from faculty have on not only the generation of learning goals but also the execution of these goals for performance improvement. Methods In this cross‐sectional educational study at four academic programs, 72 senior EM residents participated in a standardized oral board scenario. Following the scenario, residents completed a self‐assessment form. Next, examiners used a standardized checklist to provide both positive and negative feedback. Subsequently, residents were asked to generate “ SMART ” learning goals (specific, measurable, attainable, realistic, and time‐bound). The investigators categorized the learning goals as stemming from the residents’ self‐assessments, feedback, or both. Within 4 weeks, the residents were asked to recall their learning goals and describe any actions taken to achieve those goals. These were grouped into similar categories. Descriptive statistics were used to summarize the data. Results A total of 226 learning goals were initially generated (mean ± SD = 3.1 ± 1.3 per resident). Forty‐seven percent of the learning goals were generated by the residents’ self‐assessments only, while 27% were generated by the feedback given alone. Residents who performed poorly on the case incorporated feedback more often than high performers when generating learning goals. Follow‐up data collection showed that 62 residents recalled 89 learning goals, of which 52 were acted upon. On follow‐up, the numbers of learning goals from self‐assessment and feedback were equal (25% each, 13 of 52), while the greatest number of reportedly executed learning goals came from self‐assessments and feedback in agreement (40%). Conclusions Following feedback on an oral board scenario, residents generated the majority of their learning goals from their own self‐assessments. Conversely, at the follow‐up period, they recalled an increased number of learning goals stemming from feedback, while the largest proportion of learning goals acted upon stemmed from both feedback and self‐assessments in agreement. This suggests that educators need to incorporate residents’ self‐assessments into any delivered feedback to have the greatest influence on future learning goals and actions taken to improve performance. Resumen Objetivos El profesorado de Medicina de Urgencias y Emergencias ( MUE ) a menudo tiene el objetivo de mejorar el rendimiento del residente y mejorar la calidad y el aporte de retroalimentación al residente. La aceptación e integración de la retroalimentación externa están influidas por múltiples factores. Sin embargo, se interpreta a través de “los ojos” de la propia autoevaluación del alumno. Lo ideal sería que, tras una actividad formativa con retroalimentación, un alumno fuera capaz de generar y actuar por objetivos de aprendizaje específicos ( OAE ) para mejorar el rendimiento. La observación de la fuente de OAE generados, bien desde la autoevaluación de uno mismo o la retroalimentación externa, podría dar luz a los factores que permiten una vía de mejora y guiar las iniciativas formativas. A través del escenario de un examen oral clásico, el objetivo de este estudio fue determinar los efectos que la autoevaluación de los residentes y la retroalimentación específica del profesorado tienen, no sólo en la generación de OAE , sino también en la ejecución de estos objetivos en la mejora del rendimiento. Metodología En este estudio docente transversal de cuatro programas universitarios participaron 72 residentes avanzados de MUE en el escenario de un examen oral clásico. Tras el examen, los residentes completaron un formulario de autoevaluación. Después, los examinadores utilizaron una lista de comprobación estandarizada para proporcionar retroalimentación positiva y negativa. Posteriormente, se pidió a los residentes generar OAE “ SMART ” [Specific (específico), Measurable (cuantificable), Attainable (asequible), Realistic (realista), Time‐bound (tiempo determinado)]. Los investigadores clasificaron los OAE como derivados de las autoevaluaciones de los residentes y/o la retroalimentación. En las primeras cuatro semanas, se pidió a los residentes recordar sus OAE y describir cualquier acción llevada a cabo para conseguir aquellos objetivos. Éstos se agruparon en categorías similares. Se utilizó la estadística descriptiva para resumir los datos. Resultados Se generó un total de 226 OAE (media por residente 3,1; DE ±1,3). Un 47% de los OA se generaron sólo por las autoevaluaciones de los residentes y un 27% sólo por la retroalimentación. Los residentes que rindieron pobremente en el caso, incorporaron la retroalimentación más a menudo que los que tuvieron un rendimiento alto cuando se generaron los OAE . Los datos del seguimiento mostraron que 62 residentes recordaron 89 OAE , de los cuáles 52 se llevaron a cabo. En el seguimiento, el número de OAE de la autoevaluación y de la retroalimentación fue el mismo (25% cada uno, 13 de 52), mientras que el mayor número de OAE supuestamente llevados a cabo vino por igual de las autoevaluaciones y de la retroalimentación (40%). Conclusiones Tras la retroalimentación en un examen oral, los residentes generaron la mayoría de sus OAE desde sus propias autoevaluaciones. Al contrario, tras un periodo de seguimiento, recordaron un número mayor de OAE derivados de la retroalimentación, mientras que la mayor proporción de OAE llevados a cabo derivan por igual tanto de la retroalimentación como de la autoevaluación. Esto sugiere que los docentes necesitan incorporar la autoevaluación de los residentes en cualquier retroalimentación proporcionada con el fin de tener la mayor influencia en los futuros OAE y las acciones llevadas a cabo para mejorar su rendimiento.Publisher
Wiley Periodicals, Inc. Solution Tree
ISSN
1069-6563 1553-2712
Other DOIs
Types
Article
Metadata
Show full item recordCollections
Remediation of Harmful Language
The University of Michigan Library aims to describe library materials in a way that respects the people and communities who create, use, and are represented in our collections. Report harmful or offensive language in catalog records, finding aids, or elsewhere in our collections anonymously through our metadata feedback form. More information at Remediation of Harmful Language.
Accessibility
If you are unable to use this file in its current format, please select the Contact Us link and we can modify it to make it more accessible to you.