Conectando la charla del TOEFL con la charla en la universidad

Hablar oralmente es fundamental para el éxito en los estudios universitarios. Tanto estudiantes de grado como de posgrado utilizan el lenguaje hablado para gestionar una variedad de tareas dentro y fuera del campus. Los estudiantes de posgrado también suelen enseñar o tutorizar a estudiantes de grado o trabajar en laboratorios de investigación colaborativa.

El iBT actualizado del TOEFL incluye dos tareas oratorias: Escuchar y Repetir y Realizar una Entrevista. Escuchar y Repetir requiere que los examinados escuchen una frase y la repitan con la mayor precisión posible, mientras que la Entrevista Virtual consiste en respuestas abiertas a una serie de preguntas relacionadas con la vida académica.

Recientemente realizamos una investigación sobre estas tareas aquí en la Universidad de Hawái en Mānoa. Como profesores que enseñan, orientan y supervisan a estudiantes internacionales, sabemos lo importantes que son las habilidades orales para el éxito estudiantil. Como investigadores, nos interesa mucho saber cómo las tareas de examen, como las que aparecen en los exámenes TOEFL, se relacionan con las capacidades de expresión en el mundo real.

Las pruebas de idiomas se utilizan para tomar decisiones sobre personas reales. Al utilizar pruebas de idiomas en las admisiones a la educación superior, la principal preocupación es asegurarse de que un estudiante potencial pueda afrontar las exigencias lingüísticas del estudio en inglés. Así que, cuando se utiliza una puntuación para tomar una decisión de admisión, asumimos que la puntuación nos dice algo sobre lo bien que un estudiante podrá usar el inglés en la universidad.

Las puntuaciones de los exámenes se basan en el rendimiento de los exámenes. Para hablar, las actuaciones del alumnado pueden incluir actuaciones muy limitadas, como tareas de Leer en voz alta y Escuchar y repetir, donde lo que el estudiante debe decir se presenta en forma escrita/auditiva, así como actuaciones más espontáneas y creativas, como respuestas a preguntas en la tarea de Entrevista Virtual.

Para aumentar la confianza en lo que las puntuaciones de las pruebas nos dicen sobre capacidades en el mundo real, examinar las cualidades del desempeño de los examinados en tareas y tareas fuera de la prueba tiene valor. Esencialmente, queríamos saber que la fluidez y precisión con que los estudiantes hablan en la prueba indica lo fluida y precisa que pueden producir lenguaje en la comunicación real.

Reclutamos a 149 estudiantes internacionales, todos usuarios del inglés como segunda lengua. Para asegurar que representáramos la amplia gama de competencias, incluimos estudiantes que participaban en programas intensivos a tiempo completo de inglés como segunda lengua, estudiantes que estaban matriculados simultáneamente en cursos universitarios y cursos académicos de inglés, y estudiantes de grado y posgrado con matrícula completa.

Cada estudiante completó tareas de expresión oral administradas en la plataforma operativa de pruebas ETS. ETS nos proporcionó sus puntuaciones de expresión oral y grabaciones de audio. También hicimos que cada participante completara dos tareas académicas de oratoria en un entorno presencial de laboratorio. Estas tareas consistían en (1) describir un gráfico y (2) escuchar una clase magistral de 8 minutos sobre bilingüismo y luego responder a las preguntas del investigador.

También se pidió a los estudiantes que grabaran y entregaran una tarea de intervención relacionada con sus programas académicos. Noventa y nueve estudiantes lo hicieron, de las cuales 65 presentaciones fueron presentaciones formales.

Analizamos todas las muestras de habla para detectar una variedad de características de complejidad, precisión y fluidez relacionadas con la gramática, el vocabulario y la pronunciación. También contamos con profesores experimentados de inglés como segunda lengua que valoraron la efectividad comunicativa de las muestras de habla no relacionadas con pruebas.

Al comparar las puntuaciones de las tareas individuales con las valoraciones de expresión oral de las dos tareas de laboratorio y la tarea de expresión oral basada en cursos, encontramos correlaciones fuertes y positivas (Tabla 1).

Tabla 1.

Correlaciones entre las puntuaciones de expresión oral del TOEFL y las valoraciones de expresión oral no relacionadas con el examen.

Nota. Todas las correlaciones fueron estadísticamente significativas en el nivel p < 0,001.

Para las características lingüísticas, los resultados fueron más complicados. Por un lado, algunas características lingüísticas como la diversidad léxica (diversidad de uso del vocabulario) no eran relevantes para la tarea Escuchar y Repetir, que presentaba respuestas muy restringidas.

Algunas características lingüísticas tenían fuertes correlaciones positivas entre las tareas de expresión oral en TOEFL y las tareas no de prueba, como aquellas relacionadas con la fluidez y precisión de la producción oral. Otras características lingüísticas tenían correlaciones positivas pequeñas a moderadas, como las características de complejidad (por ejemplo, el número de palabras o cláusulas por oración pronunciada). Otras características tenían poca asociación entre tareas.

En resumen, se observó que aspectos de la producción del habla relacionados con la capacidad general para procesar el inglés, como la fluidez y precisión de la gramática, el vocabulario y la pronunciación, estaban fuertemente correlacionados entre los resultados en pruebas y no en el examen. Los aspectos del habla más influenciados por las demandas de la tarea, como la gramática y las elecciones de vocabulario, estaban menos fuertemente correlacionados. 

Nuestra investigación sugiere firmemente que los estudiantes que obtienen altas puntuaciones en tareas como Escuchar y Repetir y Realizar una Entrevista pueden comunicarse eficazmente fuera del contexto de un examen. Este hallazgo se ha aplicado tanto a tareas académicas simuladas en laboratorio (Descripción de gráficos y respuesta a clase) como a presentaciones auténticas relacionadas con los cursos de los estudiantes.

Mientras que la tarea Entrevista de Entrevista, que presenta una producción de lenguaje más espontánea y creativa por parte de los examinados, tendía a tener las correlaciones más fuertes con tareas no relacionadas con la prueba, la tarea Escuchar y Repetir tenía correlaciones igualmente fuertes en la mayoría de los casos. Cabe destacar que parecía captar eficazmente los aspectos relacionados con la fluidez y precisión de la capacidad oral de los examinados que están presentes en todos los contextos hablados.

En general, encontramos que ambos tipos de ítems eran buenos indicadores de cómo los estudiantes se desempeñaban tanto en tareas teóricas simuladas como en tareas académicas reales.

Daniel R. Isbell es profesor asociado en el Departamento de Estudios de Segundas Lenguas de la Universidad de Hawái en Mānoa, donde realiza investigaciones e imparte cursos centrados en la evaluación del lenguaje.

Dustin Crowther es profesor asociado en el Departamento de Estudios de Segundas Lenguas de la Universidad de Hawái en Mānoa. Realiza investigaciones sobre la inteligibilidad del habla en segundas lenguas, con un enfoque principal en Global Englishes.