Profundiza en los datos para descubrir más sobre la historia.
Nuestro equipo está comprometido a innovar en la presentación de puntuaciones de grupos de estudiantes para apoyar mejores oportunidades de aprendizaje para todos los estudiantes. Comenzamos nuestra colaboración como parte de un equipo de co-diseño de usuarios de datos de evaluación centrados en políticas e investigadores que colaboraron para desarrollar mejores reposiciones de los resultados ampliamente utilizados. Lideramos el equipo como socios: investigadores de ETS y el experto en visualización de datos Eli Holder (3iap), que recientemente había publicado el innovador artículo Comparaciones Injustas. La pasada primavera, nos reunimos quincenalmente para conceptualizar diferentes formas de informar los resultados de los tests grupales de estudiantes que trasladaran la reacción de "Así es como es" a "¡Podemos ayudar a los estudiantes abordando las necesidades X, Y y Z!" Durante esa experiencia, un mantra que guió todos nuestros diseños fue "Ir más allá de la media." En este blog, nos reunimos de nuevo para compartir cómo ese simple cambio puede iluminar mucho más sobre el rendimiento estudiantil.
Una historia de tres estados
Durante años, los estudiantes de Massachusetts han superado a los estudiantes de otros estados, de media, en la evaluación de lectura de la Evaluación Nacional del Progreso Educativo (NAEP). Lo hicieron de nuevo en 2024 tanto para 4º como para 8º curso. Estas altas calificaciones han llamado la atención de responsables políticos y líderes educativos de otros estados que utilizan los resultados de Massachusetts como referencia y como pistas para guiar sus propias políticas estatales. Mississippi y Luisiana, dos estados que históricamente obtuvieron puntuaciones mucho más bajas que Massachusetts en las lecturas NAEP, han sido elogiados por sus mejoras en las puntuaciones de lectura NAEP, convirtiéndose en ejemplos de otros estados que buscan ideas en sus políticas. Sin embargo, aunque Mississippi y Luisiana han subido en el ranking estatal NAEP, sus puntuaciones medias siguen siendo inferiores a las de estados en la cima como Massachusetts. Profundizar más en los datos de NAEP y superar las medias puede darnos una comprensión más clara y completa de lo que han logrado Mississippi y Luisiana y cómo se comparan los niveles de alfabetización de sus estudiantes entre sí y con Massachusetts.
Los gráficos de barras no cuentan toda la historia
Figura 1. Un gráfico de barras de las puntuaciones medias de lectura de 4º grado en la Evaluación Nacional del Progreso Educativo (NAEP) 2024 muestra que Massachusetts obtuvo puntuaciones más altas, de media, que Luisiana, Mississippi y el país.
El Explorador de Datos (NDE) de NAEP, que ofrece a los usuarios acceso por menús a un tesoro de datos de NAEP, nos permitió profundizar en el rendimiento lector de estudiantes a nivel estatal para estudiantes de 4º curso. La Figura 1 ofrece un gráfico de barras con las puntuaciones medias de lectura de NAEP de 4º grado para el país y para Luisiana, Mississippi y Massachusetts. Aunque gráficos de barras como estos fueron en su día una convención popular, son engañosos en muchos aspectos, en particular conduciendo al pensamiento deficitario. Observamos algunas observaciones de este simple gráfico de barras:
- Los estudiantes de Massachusetts tienen el rendimiento medio de lectura en cuarto grado más alto de Estados Unidos, con una puntuación media de 225, 10 puntos más que la media nacional de 215 en 2024. Esta diferencia no es ruido aleatorio. Es estadísticamente significativa, al igual que todas las demás diferencias señaladas a lo largo del blog.
- Mississippi tuvo la siguiente puntuación media más alta de los tres estados con 219, 6 puntos menos que Massachusetts pero 4 puntos más alta que el resto del país.
- La puntuación media de Luisiana de 216 fue similar a la del país en general.
Los percentiles ayudan a definir la distribución nacional de puntuaciones
Además de los promedios, el NAEP Data Explorer proporciona datos a nivel estatal por varios percentiles. Los percentiles dividen una muestra de estudiantes en 100 partes iguales, cada una representando el 1% de los estudiantes. Cuando hablamos de un percentil específico, nos referimos al valor en el que un cierto porcentaje de estudiantes está o por debajo del cual se sitúa un cierto porcentaje de estudiantes. Por ejemplo, si la puntuación de un estudiante está en el percentil 75, significa que su puntuación es igual o superior al 75% de las puntuaciones de todos los demás estudiantes. Graficar varios puntos percentiales nos ayuda a entender mejor cómo se comparan las puntuaciones en toda la distribución de estudiantes.
Figura 2. Gráfico de distribución anotado de las puntuaciones de lectura NAEP de 4º grado 2024 para el país.
De izquierda a derecha, los paneles de la Figura 2 muestran cómo la superposición adicional de información proporciona información sobre las puntuaciones de los estudiantes en relación con la escala NAEP.
- En el panel izquierdo, vemos cómo un simple gráfico de barras solo transmite un punto: la media nacional. En gráficos como estos, los usuarios tienden a inventarse su propia idea de la distribución de las puntuaciones dentro o alrededor de la barra, lo que puede llevar a malentendidos sobre los datos y a por qué algunos grupos tienen puntuaciones más bajas que otros.
- En el panel central, utilizamos un gráfico de distribución de puntuaciones para resaltar dónde tendieron a obtener los estudiantes. Aquí, la sección con sombreado más oscuro muestra que el 50% central de los estudiantes a nivel nacional obtuvo puntuaciones entre 189 (percentil 25) y 245 (percentil 75).
- El panel derecho añade los niveles de logro de NAEP para proporcionar un punto de referencia para interpretar los percentiles de puntuación. Los niveles de rendimiento describen lo bien que los estudiantes demuestran conocimientos y habilidades, siendo NAEP Básico una muestra de dominio parcial. Aquí, la sección de sombreado más oscuro muestra que el 50% medio de las puntuaciones estudiantiles abarca tres niveles de rendimiento: por debajo de NAEP Básico, NAEP Básico y NAEP Competente. Además, el percentil 90 está justo por debajo del nivel NAEP Avanzado, lo que significa que menos del 10% de los estudiantes obtuvieron puntuaciones lo suficientemente altas para alcanzar el nivel avanzado.
Los percentiles ayudan a definir la distribución nacional de puntuaciones
Figura 3. Gráficos de distribución de las puntuaciones de lectura del NAEP de 4º grado 2024. Las puntuaciones medias de lectura para el país y cada estado se muestran en blanco. Las líneas verticales discontinuas indican los puntos porcentuales para la distribución nacional.
Echa un vistazo a la Figura 3. ¿Ves lo que vemos nosotros? El lado izquierdo de la distribución de Misisipi se parece más al de Massachusetts que al de la nación o Luisiana. Los percentiles décimo de Misisipi y Massachusetts son unos 10 puntos más altos que el de la nación.
Tanto Misisipi como Massachusetts están viendo
mejores puntuaciones para estudiantes con bajo rendimiento
que la nación en general.
¿Qué ves en el extremo derecho de la distribución? Allí, las puntuaciones de Misisipi son más bajas que las de Massachusetts (por 13 puntos) y Luisiana (por 4 puntos).
Los estudiantes con mejor rendimiento de Misisipi
puede necesitar más soportes para alcanzar el
Niveles de rendimiento iguales que los estudiantes de otros estados.
La trama se complica: Desglosando los resultados por situación económica del estudiante
NAEP también recopila datos sobre varias características de los estudiantes, como si las familias de los estudiantes están económicamente desfavorecidas. Cuando desglosamos las puntuaciones por situación económica, vemos una imagen más completa de las puntuaciones de lectura de 4º curso en Mississippi, Luisiana y Massachusetts (véase la Figura 4).
Figura 4. Gráficos de distribución de las puntuaciones de lectura de NAEP de 4º grado desglosadas por situación económica familiar. Las puntuaciones medias de lectura de 4º grado por situación económica familiar para la nación y cada estado se muestran en blanco. Las líneas verticales discontinuas indican los puntos porcentuales para la distribución nacional.
Cuando se analiza si las familias de los estudiantes están económicamente desfavorecidas, las puntuaciones de lectura varían sustancialmente y generalmente son más altas para estudiantes de familias no económicamente desfavorecidas. Algunos estados parecen estar superando que otros enseñando lectura a estudiantes económicamente desfavorecidos.
¿Ves lo que vemos cuando miramos el panel izquierdo en la Figura 4?
Tanto Misisipi como Luisiana están superando a la nación en su conjunto
En lo que respecta al rendimiento de los estudiantes
de familias económicamente desfavorecidas.
- Mississippi tiene la puntuación media de lectura en cuarto grado más alta (212) entre los estudiantes económicamente desfavorecidos, 8 puntos más alta que Massachusetts (204) y 10 puntos más alta que el país (202).
- Tanto el percentil 10 como el 25 para estudiantes económicamente desfavorecidos son 13 puntos más altos en Misisipi que en Massachusetts, aunque, proporcionalmente, casi el doble de estudiantes están económicamente desfavorecidos en Misisipi (75%) que en Massachusetts (40%).
- Los estudiantes de Misisipi superan a la nación en cada punto percentil de la distribución de puntuaciones entre 6 y 15 puntos, excepto para los estudiantes con la puntuación más alta (en el percentil 90), con las mayores diferencias en el extremo izquierdo de la distribución.
- Con un 73% de sus estudiantes en desventaja económica, Luisiana supera consistentemente a la nación por unos 7 puntos en cada punto percentil, salvo en el punto más bajo.
Al observar el panel derecho de la Figura 4, que muestra las distribuciones de puntuaciones para estudiantes no económicamente desfavorecidos, nos llevó a las siguientes observaciones y a una pregunta profunda.
- Los tres estados tienen puntuaciones medias más altas que el país en general, entre 7 y 10 puntos.
- Mirando el lado izquierdo de las distribuciones, tanto Mississippi como Massachusetts tienen percentiles 10 y 25 notablemente más altos que el país en general, entre 10 y 20 puntos.
- La mayor distinción es el percentil 10 de Mississippi, que es 20 puntos más alto que el país.
- ¿Qué apoyos podrían estar proporcionando estos estados a los estudiantes no económicamente desfavorecidos y con más necesidades?
El nivel de curso marca la diferencia en esta historia
Figura 5. Gráficos de distribución de las puntuaciones de lectura de NAEP de 8º grado desglosados por situación económica familiar. Las puntuaciones medias de lectura de 8º grado por situación económica familiar para la nación y cada estado se muestran en blanco. Las líneas verticales discontinuas indican los puntos porcentuales para la distribución nacional.
Pasemos a los datos de 8º curso de NAEP para nuestros tres estados para ver si las tendencias se mantienen. Desglosando las puntuaciones por situación económica familiar, los gráficos de distribución de puntuaciones en el panel izquierdo de la Figura 5 muestran que Mississippi y Luisiana tienen un rendimiento similar al de Massachusetts entre los estudiantes económicamente desfavorecidos de 8º curso. Los tres estados superan a la nación en general en la porción de distribución de izquierda a media.
Sin embargo, para los estudiantes que no están económicamente desfavorecidos, Misisipi tiene margen de mejora en comparación con otros estados y el país. Mirando el panel derecho en la Figura 5, hacemos las siguientes observaciones:
- En comparación con Massachusetts y Luisiana, Mississippi obtiene puntuaciones más bajas en toda la distribución, tanto para estudiantes con mejores como para estudiantes con puntuaciones más bajas.
- Por ejemplo, en Misisipi, el percentil 25 es 243, lo que es 15 puntos menos que el percentil 25 de Massachusetts que es 258 y 10 puntos menos que el de Luisiana con 253.
- Este resultado para los alumnos de 8º curso de Mississippi que no están económicamente desfavorecidos es notablemente diferente de los hallazgos de 4º curso, lo que sugiere que las intervenciones de lectura podrían necesitar adaptarse a las necesidades de los estudiantes a medida que desarrollan habilidades lectoras más avanzadas en los cursos superiores.
- En cambio, para los estudiantes no económicamente desfavorecidos, Luisiana obtiene un rendimiento más similar al de Massachusetts, superando a menudo a Misisipi por hasta 10 puntos.
Lecciones clave reveladas por las distribuciones nacionales de puntuaciones de evaluación
Al utilizar un programa común de evaluación, los datos de NAEP pueden proporcionar comparaciones valiosas y detalladas del rendimiento estudiantil entre estados.
Las puntuaciones medias de NAEP muestran que los estudiantes de Massachusetts superan a los estudiantes de Luisiana, Misisipi y en todo el país, pero quedarse en los promedios haría que los espectadores no alcanzaran niveles de rendimiento más altos en Misisipi y Luisiana para estudiantes con puntuaciones más bajas. Específicamente, Mississippi, y a veces Luisiana, están superando a Massachusetts y/o a la nación en general en lectura de 4º curso
- estudiantes con puntuaciones más bajas en todo el estado;
- estudiantes económicamente desfavorecidos, especialmente aquellos que obtienen puntuaciones iguales o inferiores a la media; y
- estudiantes no económicamente desfavorecidos, en particular aquellos que obtienen puntuaciones en los percentiles 10 y 25 bajos.
- Tanto Luisiana como Misisipi están mayormente al ritmo de Massachusetts en las puntuaciones de lectura de 8º curso, especialmente entre estudiantes económicamente desfavorecidos. Hay margen de mejora en las puntuaciones de lectura de 8º curso de Mississippi, especialmente entre estudiantes no económicamente desfavorecidos.
Lecciones clave reveladas por las distribuciones nacionales de puntuaciones de evaluación
Nuestra esperanza es que los líderes estatales de la educación puedan utilizar estos resultados como un salto
Fuera de lugar intentar aprender más sobre qué políticas y prácticas llevaron
Luisiana y Mississippi para superar a la nación u otros estados,
Especialmente cuando se trata de mejorar los resultados lectores con puntuaciones más bajas
estudiantes y estudiantes económicamente desfavorecidos.
Una exploración más profunda del rendimiento estudiantil por parte del profesor y las características del colegio disponibles en el Explorador de Datos de NAEP podría mostrarte qué prácticas docentes y escolares pueden estar relacionadas con un mayor rendimiento estudiantil en estos estados o en tu propio estado. Haz clic aquí para comenzar tu propia exploración de los datos.
Marisol Kevelson, Katherine E. Castellano y Emily Kerzabi trabajan en el Instituto de Investigación ETS. Mari es investigadora asociada; Katherine es investigadora principal; Emily es gestora de proyectos de investigación. Eli Holder es el fundador de 3iap.