Oral Reading Fluency Assessment: Issues of Construct, Criterion, and Consequential Validity

Abstract

This study investigated multiple models for assessing oral reading fluency, including 1‐minute oral reading measures that produce scores reported as words correct per minute (wcpm). We compared a measure of wcpm with measures of the individual and combined indicators of oral reading fluency (rate, accuracy, prosody, and comprehension) to examine construct, criterion, and consequential validity. Oral reading data and standardized comprehension test scores were analyzed for students in grades 2, 4, and 6. Our results indicate that assessments designed to include multiple indicators of oral reading fluency provided a finer‐grained understanding of oral reading fluency and fluency assessment, and a stronger predictor of general comprehension. Comparisons across grade levels also revealed developmental differences in the relation between oral reading fluency and comprehension, and the relative contributions of oral fluency indicators to comprehension. When commonly used benchmarks were applied to wcpm scores to identify students at risk of reading difficulty, both false positives and false negatives were found. This study raises issues regarding the alignment of oral reading fluency definitions and assessment, and the widespread use of wcpm measures and benchmarks to identify students at risk of reading difficulty and to plan instruction. [Note: Sheila Valencia discusses the research presented in this article in a podcast from the “Voice of Literacy”: http:www.voiceofliteracy.orgposts40043 .] استقصت هذه الدراسة نماذج متعددة لتقييم مرونة القراءة الجهرية بما فيها مقاييس القراءة الجهرية مدتها دقيقة واحدة التي تنتج علامات مسجلة ككلمات صحيحة لكل دقيقة. فقد قارننا مقياس من كلمات صحيحة لكل دقيقة ومقاييس من مؤشرات فردية وجماعية في مرونة القراءة الجهرية (السرعة والدقة والنطق والاستيعاب) لنفحص صدق تكوين الاختبار الفرضي والمرتبط بالمحك والمترتبي. وقد تم تحليل علامات الاختبار الاستيعابي المقنن ومعطيات القراءة الجهرية للطلاب في الصف الثاني والرابع والسادس. وتشير نتائجنا إلى أن التقديرات المصممة لتشمل مؤشرات متعددة من مرونة القراءة الجهرية وفرت فهماً أدق لها ولتقدير المرونة وكذلك وفرت منبئاً أقوى للاستيعاب العام. ولقد بينت المقارنات عبر الصفوف اختلافات تطورية في العلاقة بين مرونة القراءة الجهرية والاستيعاب والمساهمات النسبية لمؤشرات الطلاقة اللغوية في الاستيعاب. وحين تم تطبيق المقاييس المستخدمة الشائعة على علامات الكلمات الصحيحة لكل دقيقة لتحديد الطلاب على وشك أن يواجهوا صعوبات في القراءة فقد تم إيجاد إيجابيات زائفة وسلبيات زائفة. وترفع هذه الدراسة القضايا المتعلقة بتناسق مرونة القراءة الجهرية والتقييم والاستخدام الشائع من مقاييس الكلمات الصحيحة لكل دقيقة لتحديد الطلاب المتعرضين للخطر من صعوبة القراءة ولتخطيط التعليم. [Podcast: http:www.voiceofliteracy.orgposts40043 .] 本研究调查用以评估朗读流畅度的多个模型，其中包括通过一分钟的朗读测验来计算出受测者每分钟能正确读出的单词数量(wcpm)。本文作者把一项一分钟朗读测验的结果(wcpm)与几项单独和合并的朗读流畅指标(速度、准确性、韵律和理解)测验的结果作比较，以检查其建构效度、标准效度、后果效度。本文作者分析了二、四、六年级学生的朗读资料及他们的标准化阅读理解测验的成绩。分析结果显示，在设计上如包含多个朗读流畅指标的评估测验，能有助于加深对朗读流畅程度与流畅度评估的认识，并能使其成为较有效的普通阅读理解的预测因子。跨级别的比较结果亦发现朗读流畅程度与阅读理解之间的关系存在着发展差异，以及各个朗读流畅指标对阅读理解的相对预测效能。当常用的基准数值应用于一分钟朗读测验的成绩(wcpm)来确定容易有阅读困难的学生时，假阳性与假阴性的结果均有出现。本研究所提出的问题是有关朗读流畅度的定义与评估之间的一致性，以及在确定容易有阅读困难的学生时和在计划教学时，基准数值应用与一分钟朗读测验的结果(wcpm) 的广泛使用。 [Podcast: http:www.voiceofliteracy.orgposts40043 .] Cette étude examine différents modèles d'évaluation de la fluidité en lecture à haute voix, y compris l'évaluation d'une minute de lecture à haute voix qui fournit un score en termes de mots corrects par minute (mcm). Nous avons comparé une évaluation mcm avec des évaluations d'indicateurs individuels et combinés de lecture à haute voix (vitesse, exactitude, expression et compréhension) pour analyser la construction, les critères et la validité résultante. Les résultats en lecture orale et les scores de compréhension aux tests étalonnés ont été analysés chez des élèves de 2 ème , 4 ème et 6 ème année. Nos résultats indiquent que les évaluations, effectuées de telle sorte qu'elles contiennent plusieurs indicateurs de fluidité en lecture à haute voix, procurent une compréhension plus fine de la fluidité en lecture à haute voix et de l'évaluation de la fluidité, et sont un meilleur prédicteur de la compréhension générale. Les comparaisons entre les différents niveaux de classe ont aussi révélé des différences développementales dans la relation entre la fluidité en lecture à haute voix et la compréhension, et les contributions relatives des indicateurs de fluidité en lecture à haute voix à la compréhension. Quand les évaluations courantes sont appliquées aux scores de mcm pour détecter les élèves à risque en lecture, on trouve à la fois des erreurs positives et des erreurs négatives. Cette étude soulève des questions concernant la cohérence entre les définitions et l'évaluation de la lecture à haute voix, et l'utilisation répandue des évaluations par mcm et les évaluations courantes pour détecter les élèves à risque en lecture et planifier l'enseignement. [Podcast: http:www.voiceofliteracy.orgposts40043 .] Исследовались различные модели, применяемые для оценки беглости чтения вслух, в том числе, “минутка” – метод, учитывающий количество слов, которые ученик успевает прочитать за одну минуту (wcpm). Метод wcpm сравнивался с мерами индивидуальных и комбинированных индикаторов беглости чтения вслух (скорости, точности, просодии и понимания прочитанного) с точки зрения структуры, критериев и значимости выводов, которые ученик делает на основе теста. Данные по чтению вслух и итоги стандартного тестирования на понимание прочитанного были проанализированы для учащихся вторых, четвертых и шестых классов. Полученные результаты свидетельствуют о том, что множественные индикаторы дают многогранную картину самого понятия беглости и возможностей ее оценивания. Использование множественных индикаторов позволяет точнее предсказать, как ученик поймет прочитанное. Выяснилось, что для разных возрастных групп связь беглости чтения с пониманием прочитанного выглядит по‐разному. При сочетании эталонных тестов для определения потенциальной группы риска с результатами wcpm, мы получаем и ложноположительные и ложноотрицательные ответы. Таким образом, настоящее исследование поднимает вопрос о необходимости корректировки наших представлений о беглости чтения вслух и ее оценке, а также о применении wcpm и эталонных тестов при причислении детей к группе риска и планировании обучения. [Podcast: http:www.voiceofliteracy.orgposts40043 .] Este estudio investigó varios modelos de evaluación de la fluidez oral, incluyendo la medida de un minuto de lectura oral cuya medida se presenta como “palabras correctas por minuto” (wcpm por sus siglas en inglés). Comparamos una medida de wcpm con las medidas de los indicadores individuales y combinados de la fluidez de lectura oral (coeficientes de precisión, prosodia, y comprensión) para ver los conceptos, los criterios y la validez consiguiente. Se analizaron los datos y los puntajes de los exámenes estandardizados de comprensión de estudiantes de segundo, cuarto y sexto grado. Nuestros resultados indican que las evaluaciones diseñadas para incluir varios indicadores de la fluidez de la lectura oral proporcionan un entendimiento más sutil de la fluidez de la lectura oral y la evaluación de fluidez, y son mejores pronosticadores de la comprensión en general. Comparaciones a través de los grados también sacaron a relucir diferencias de desarrollo en la relación entre la fluidez de la lectura oral y la comprensión, y las contribuciones relativas a los indicadores de fluidez oral a la comprensión. Cuando se aplicaron puntos de referencias comúnmente usados a los puntajes de wcpm para identificar a estudiantes a riesgo de tener dificultades con la lectura, se encontraron igual número de positivas falsas como negativas falsas. Este estudio cuestiona la alineación de las definiciones y evaluaciones de la fluidez de la lectura oral, y el uso extenso de las medidas de wcpm y puntos de referencia para identificar estudiantes a riesgo de tener dificultades con la lectura y para planear la instrucción. [Podcast: http:www.voiceofliteracy.orgposts40043 .]