Investigación TOEIC®

Avanzar en la evaluación, enseñanza y aprendizaje del idioma inglés

Consistencia de la puntuación

Las puntuaciones del TOEIC son consistentes y fiables. La investigación del Programa de Investigación del TOEIC ayuda a garantizar que las puntuaciones solo estén influenciadas por factores relacionados con la habilidad lingüística . Al examinar la consistencia o fiabilidad de las puntuaciones, se consideran múltiples aspectos del procedimiento de prueba, incluyendo ítems de prueba, formularios, ocasiones o administraciones de pruebas y evaluadores.

Análisis estadístico de campo para las pruebas puente® TOEIC rediseñadas

Este artículo informa de los resultados de un estudio de campo que contribuyó al desarrollo de las pruebas TOEIC Bridge rediseñadas. Los análisis estadísticos proporcionan evidencia inicial que respalda las afirmaciones de que las puntuaciones rediseñadas en los TOEIC Bridge son consistentes y que las puntuaciones son indicadores significativos de la competencia en inglés desde los niveles básico hasta intermedio.

Lee el análisis estadístico de estudio de campo para las pruebas puente TOEIC rediseñadas

Argumentando la calidad y el uso de una nueva evaluación de competencia lingüística: argumento de validez para los rediseñados TOEIC® Bridge Tests

Este artículo resume el "argumento de validez" para las pruebas TOEIC Bridge rediseñadas. El argumento de validez consta de cuatro afirmaciones principales sobre la consistencia de las puntuaciones, validez y equidad, uso adecuado de las pruebas e impactos positivos; en conjunto, esto proporciona una narrativa coherente sobre la calidad de la medición y los usos previstos de las puntuaciones. Al considerar las afirmaciones y las pruebas de apoyo presentadas en el argumento de validez, los lectores deberían poder evaluar mejor si las pruebas TOEIC Bridge rediseñadas son adecuadas para su situación.

Read Defendiendo la calidad y el uso de un nuevo argumento de validez de la evaluación de competencia lingüística para los rediseñados Tests Puente TOEIC

Monitorización de los patrones de cambio de puntuación para apoyar la calidad de las pruebas de escucha y lectura del TOEIC®

En programas de pruebas a gran escala y de alto riesgo, como el programa TOEIC, algunos examinados realizan una prueba más de una vez a lo largo del tiempo. Los patrones de cambio de puntuación de estos llamados "repetidores" pueden analizarse para apoyar la calidad global de la prueba (por ejemplo, su fiabilidad, validez, usos previstos). Este estudio examinó los patrones de cambio de puntuación mencionados, con el objetivo de evaluar la fiabilidad y validez de las puntuaciones de las pruebas de Escucha y Lectura del TOEIC^®.

lee más sobre los patrones de cambio de puntuación para apoyar la calidad de los tests de escucha y lectura del TOEIC

Medición de la competencia en inglés entre subgrupos: Uso de la evaluación de la equidad en las puntuaciones para evaluar la equidad en los exámenes

Las evaluaciones de competencia en inglés están diseñadas para una población objetivo de pruebas y pueden incluir a examinados de diversos orígenes demográficos, socioculturales y educativos. Se asume que la prueba es justa y las puntuaciones obtenidas por diferentes subgrupos de examinados tienen el mismo significado. Una forma de evaluar la equidad de la prueba es producir una prueba vinculada para cada subgrupo y comparar los resultados de la prueba vinculada con las puntuaciones de la prueba original que realizaron.

Medición de la competencia en inglés entre subgrupos: Uso de la evaluación de la equidad en las puntuaciones para evaluar la equidad en los exámenes

Cómo puntua ETS las respuestas al examen de expresión oral y escritura del TOEIC®

Normalmente, los evaluadores humanos se utilizan para calificar pruebas de expresión oral y escritura debido a su capacidad para evaluar un rango más amplio de rendimiento lingüístico que los sistemas automatizados. Este artículo describe cómo ETS garantiza la fiabilidad y consistencia de las puntuaciones de los evaluadores humanos en las pruebas de expresión oral y escritura del TOEIC mediante formación, certificación y procedimientos sistemáticos de monitorización administrativa y estadística.

lee más sobre cómo ETS puntua las respuestas del examen de expresión oral y escritura del TOEIC

Vinculación de las partituras de expresión oral del TOEIC® usando las puntuaciones de comprensión auditiva del TOEIC®

En los programas de prueba, se utilizan múltiples formas de una prueba en diferentes administraciones para evitar la sobreexposición de los formularios y reducir la posibilidad de que los examinados adquieran conocimientos anticipados sobre el contenido de la prueba. Debido a que pueden aparecer pequeñas diferencias en la dificultad estadística de los formularios alternativos, se ha utilizado comúnmente un procedimiento estadístico conocido como vinculación de puntuaciones de pruebas para ajustar estas diferencias de dificultad y que los formularios de prueba sean comparables.

lee más sobre cómo vincular las partituras de expresión oral del TOEIC usando las puntuaciones de comprensión auditiva del TOEIC

Monitorización del rendimiento en pruebas de escucha y lectura del TOEIC® entre administraciones utilizando la información de fondo de los examinados

El proceso de puntuación para la prueba de Escucha y Lectura del TOEIC incluye procedimientos de monitorización que ayudan a garantizar que las puntuaciones sean consistentes entre diferentes formas y administraciones de pruebas, y que las interpretaciones de las habilidades sean justas. Este estudio explora la posibilidad de utilizar información sobre los antecedentes de los examinados para mejorar varios tipos de procedimientos de monitorización. Los resultados de los análisis sugirieron que algunas variables de fondo pueden facilitar el seguimiento del rendimiento de las pruebas entre administraciones, fortaleciendo así los procedimientos de control de calidad para la prueba de Escucha y Lectura del TOEIC, así como reforzando la evidencia de consistencia en las puntuaciones.

Lee más sobre el seguimiento del rendimiento en pruebas de escucha y lectura del TOEIC entre administraciones utilizando la información de antecedentes del examinado

Evaluación de la estabilidad de las medias de puntuación en los exámenes de expresión oral y escritura del TOEIC®

Para las pruebas educativas, es fundamental mantener la consistencia de las escalas de puntuación y comprender las fuentes de variación en las medias de puntuación a lo largo del tiempo. Esto ayuda a garantizar que las interpretaciones sobre las capacidades de los examinados sean comparables de una administración (o formulario) a otro. Utilizando procedimientos estadísticos, este estudio examinó la consistencia de las puntuaciones reportadas en las pruebas de expresión oral y escritura del TOEIC.

lee más sobre cómo evaluar la estabilidad de las medias de puntuación en los exámenes de expresión oral y escritura del TOEIC

Comparación de contenido, estadísticas de ítems y rendimiento de los examinados en el examen de escucha y lectura rediseñado y clásico del TOEIC®

Este artículo compara el contenido, la fiabilidad y la dificultad de las pruebas clásicas y de las rediseñadas pruebas de comprensión auditiva y lectora del TOEIC de 2006. Aunque las pruebas rediseñadas incluían tipos de ítems ligeramente diferentes para reflejar mejor los modelos actuales de competencia lingüística, se consideró que las pruebas eran similares entre las versiones.

Lee más sobre la comparación de contenido, estadísticas de ítems y rendimiento de los examinados en el rediseñado y clásico TOEIC Listening and Reading Test

Análisis estadísticos para los formatos ampliados de ítems del TOEIC® Speaking Test

Los programas de evaluación deben revisar periódicamente sus evaluaciones para asegurarse de que sus ítems o tareas estén bien alineados con actividades del mundo real. Por este motivo, para apoyar mejor el aprendizaje comunicativo de idiomas y desincentivar el uso de estrategias de memorización y otras exámenes, ETS amplió el formato existente de algunos ítems del examen de expresión oral TOEIC^® en mayo de 2015.

lee más sobre Análisis Estadísticos para los Formatos Ampliados de Ítems del Examen de Expresión Oral TOEIC®

Análisis estadísticos para la Prueba Actualizada de Escucha y Lectura TOEIC®

Para garantizar que las pruebas sigan satisfaciendo las necesidades de los examinados y usuarios de puntuaciones, es importante que los programas de evaluación revisen periódicamente sus evaluaciones. Por esta razón, para mantenerse al día con el uso continuo y cambiante del inglés y las formas en que las personas comúnmente se comunican en el lugar de trabajo global y en la vida cotidiana, se diseñó y lanzó por primera vez una prueba actualizada de Escucha y Lectura TOEIC en mayo de 2016.

lee más sobre los análisis estadísticos para la Prueba Actualizada de Escucha y Lectura TOEIC®

La consistencia de las puntuaciones de oratoria del TOEIC® entre valoraciones y tareas

Este estudio examina la consistencia de las puntuaciones de TOEIC Speaking. El análisis utiliza una metodología basada en la teoría de la generalizabilidad, que permite a los investigadores examinar hasta qué punto aspectos del procedimiento de evaluación (es decir, evaluadores, tareas) influyen en las puntuaciones. Los resultados aportan evidencia que respalda las afirmaciones de que las puntuaciones de TOEIC Speaking son consistentes.

Lee más sobre la consistencia de las puntuaciones de oratoria del TOEIC entre valoraciones y tareas

Seguimiento del rendimiento individual de los evaluadores para las pruebas de expresión oral y escritura del TOEIC®

Este artículo describe los procedimientos implementados en las pruebas de Speaking and Writing del TOEIC para monitorizar el rendimiento individual de los evaluadores y mejorar la calidad global de la puntuación. Estos procedimientos multifacéticos y cuidadosamente desarrollados ayudan a garantizar que el potencial de error humano se mantenga al mínimo, contribuyendo así a la consistencia y fiabilidad de la puntuación de las pruebas del TOEIC.

lee más sobre el seguimiento del rendimiento individual de los evaluadores en las pruebas de expresión oral y escrita del TOEIC

Formas Alternativas Fiabilidad y Cambios en las Puntuaciones de Pruebas para las pruebas de expresión oral y escritura del TOEIC®

La fiabilidad o consistencia de las puntuaciones puede examinarse de diversas maneras, incluyendo el grado en que las puntuaciones del mismo examinado son consistentes entre diferentes formas de prueba (las llamadas "fiabilidad de formularios equivalentes") y en diferentes ocasiones de prueba ("fiabilidad test-retest"). Este estudio examinó la consistencia de las puntuaciones de TOEIC Speaking and Writing en diferentes formularios de prueba en distintos intervalos de tiempo (por ejemplo, 1–30 días, 31–60 días) y encontró que las puntuaciones de los tests tenían una fiabilidad razonablemente alta entre forma equivalente y repetición.

lee más sobre Formularios Alternativos: Fiabilidad y Cambios en las Puntuaciones de los Exámenes de Expresión Oral y Escritura del TOEIC

Análisis estadísticos para el Estudio Piloto de Oratoria y Escritura del TOEIC®

Este artículo informa de los resultados de un estudio piloto que contribuyó al desarrollo de la prueba de expresión oral y escritura del TOEIC. El análisis de la fiabilidad de las puntuaciones encontró evidencia de varios tipos de consistencia en las puntuaciones, incluyendo la fiabilidad entre evaluadores (acuerdo de varios evaluadores sobre una puntuación) y la consistencia interna (una medida basada en la correlación entre ítems de la misma prueba).

lee más sobre Análisis Estadísticos para el Estudio Piloto de Oratoria y Escritura del TOEIC

Resultados del estudio de campo para el rediseñado TOEIC® Listening and Reading Test

Este artículo describe los resultados de un estudio de campo para las pruebas de Escucha y Lectura rediseñadas del TOEIC en 2006, que incluye análisis de dificultad, fiabilidad y correlaciones entre las secciones de prueba y las clásicas pruebas de Escucha y Lectura del TOEIC. Los resultados son consistentes con otro estudio de comparabilidad (Liao, Hatrak y Yu en 2010), que encontró evidencia de la fiabilidad de las pruebas rediseñadas y sugirió que las puntuaciones en dicha prueba podrían interpretarse y usarse de manera similar a las puntuaciones clásicas de Escucha y Lectura del TOEIC.

lee más sobre los resultados de los estudios de campo para la prueba de escucha y lectura rediseñada del TOEIC