Conectando la charla del TOEFL con la charla en la universidad

Hablar es fundamental para el éxito en los estudios universitarios. Tanto estudiantes de grado como de posgrado utilizan el lenguaje hablado para realizar una variedad de tareas dentro y fuera del campus. Los estudiantes de posgrado también suelen enseñar o tutorizar a estudiantes de grado o trabajar en laboratorios de investigación colaborativa.

El iBT actualizado del TOEFL incluye dos tareas de oratoria: Escuchar y Repetir y Realizar una Entrevista. Listen & Repeat requiere que los examinados escuchen una frase y la repitan con la mayor precisión posible, mientras que la Entrevista Virtual consiste en respuestas abiertas a una serie de preguntas relacionadas con la vida académica.

Recientemente realizamos investigaciones sobre estas tareas aquí en la Universidad de Hawái en Mānoa. Como profesores que enseñan, orientan y supervisan a estudiantes internacionales, sabemos lo importantes que son las habilidades de oratoria para el éxito estudiantil. Como investigadores, nos interesa mucho saber cómo las tareas de examen, como las que aparecen en los exámenes TOEFL, se relacionan con las capacidades reales de expresión oral.

Las pruebas de idioma se utilizan para tomar decisiones sobre personas reales. Al utilizar pruebas de idiomas en las admisiones a la educación superior, la principal preocupación es asegurarse de que un estudiante potencial pueda afrontar las demandas lingüísticas del estudio en inglés. Así que, cuando se utiliza una puntuación de un examen para tomar una decisión de admisión, asumimos que dicha nos dice algo sobre lo bien que un estudiante podrá usar el inglés en la universidad.

Las puntuaciones de los exámenes se basan en el rendimiento de los exámenes. Para hablar, las actuaciones del alumnado pueden incluir actuaciones muy limitadas, como las tareas de Leer en voz alta y Escuchar y repetir, donde lo que el estudiante debe decir se presenta en forma escrita/auditiva, así como actuaciones más espontáneas y creativas, como respuestas a preguntas en la tarea de Entrevista Virtual.

Para aumentar la confianza en lo que las puntuaciones de las pruebas nos dicen sobre las capacidades del mundo real, examinar las cualidades del desempeño de los examinados en tareas y tareas fuera de la prueba tiene valor. Básicamente, queríamos saber que la fluidez y precisión con que los estudiantes hablan en el examen indica lo fluido y preciso que pueden producir lenguaje en la comunicación real.

Reclutamos a 149 estudiantes internacionales, todos ellos usuarios de inglés como segundo idioma. Para garantizar que representáramos la amplia gama de competencias, incluimos a estudiantes que participaban en programas intensivos de inglés como segunda lengua a tiempo completo, estudiantes que estaban matriculados simultáneamente en cursos universitarios y académicos de inglés, y estudiantes de grado y posgrado con matrícula completa.

Cada estudiante completó tareas de oratoria administradas en la plataforma operativa de pruebas ETS. ETS nos proporcionó sus partituras habladas y grabaciones de audio. También hicimos que cada participante completara dos tareas académicas de intervención en un laboratorio presencial. Estas tareas consistían en (1) describir un gráfico y (2) escuchar una clase de 8 minutos sobre bilingüismo y luego responder a las preguntas del investigador.

También se pidió a los estudiantes que grabaran y entregaran una tarea de oratoria relacionada con sus programas académicos. Noventa y nueve estudiantes lo hicieron, con 65 presentaciones formales.

Analizamos todas las muestras de expresión oral para detectar una variedad de características de complejidad, precisión y fluidez relacionadas con la gramática, el vocabulario y la pronunciación. También tuvimos profesores experimentados de inglés como segunda lengua que valoraron la efectividad comunicativa de las muestras de habla no basadas en pruebas.

Al comparar las puntuaciones de las tareas individuales con las valoraciones de expresión oral de las dos tareas de laboratorio y la tarea de expresión oral basada en cursos, encontramos correlaciones fuertes y positivas (Tabla 1).

Tabla 1.

Correlaciones entre las puntuaciones de expresión oral del TOEFL y las valoraciones de expresión oral no relacionadas con el examen.

Nota. Todas las correlaciones fueron estadísticamente significativas en el nivel p < 0,001.

En cuanto a las características lingüísticas, los resultados fueron más complicados. Por un lado, algunas características lingüísticas como la diversidad léxica (diversidad de uso del vocabulario) no eran relevantes para la tarea Escuchar y Repetir, que presentaba respuestas muy limitadas.

Algunas características lingüísticas presentaron fuertes correlaciones positivas entre las tareas de habla en el TOEFL y las tareas no de prueba, como aquellas relacionadas con la fluidez y precisión de la producción oral. Otras características lingüísticas tenían correlaciones positivas pequeñas a moderadas, como las características de complejidad (por ejemplo, el número de palabras o cláusulas por oración pronunciada). Otras características tenían poca asociación entre tareas.

En resumen, parecía que aspectos de la producción del habla relacionados con la capacidad general para procesar el inglés, como la fluidez y precisión de la gramática, el vocabulario y la pronunciación, estaban fuertemente correlacionados entre los rendimientos en pruebas y no en pruebas. Los aspectos del habla que estaban más influenciados por las demandas de la tarea, como la gramática y las elecciones de vocabulario, estaban menos fuertemente correlacionados. 

Nuestra investigación sugiere firmemente que los estudiantes que obtienen altas puntuaciones en tareas como Escuchar y Repetir y Hacer una Entrevista pueden comunicarse eficazmente fuera del contexto de un examen. Este hallazgo se aplicó tanto a tareas académicas simuladas en laboratorio (Descripción de Grafos y Respuesta a la Clase) como en presentaciones auténticas relacionadas con los cursos de los estudiantes.

Mientras que la tarea Entrevista Acepta, que presenta una producción de lenguaje más espontánea y creativa por parte de los examinados, tendía a tener las correlaciones más fuertes con tareas no relacionadas con el examen, la tarea Escuchar y Repetir tenía correlaciones igualmente fuertes en la mayoría de los casos. Cabe destacar que parecía captar eficazmente los aspectos de fluidez y precisión relacionados con la capacidad de expresión oral de los examinados que están presentes en todos los contextos de habla.

En general, encontramos que ambos tipos de ítems eran buenos indicadores de cómo los estudiantes se desempeñaban tanto en tareas teóricas simuladas como en tareas académicas reales.

Daniel R. Isbell es profesor asociado en el Departamento de Estudios de Segundas Lenguas de la Universidad de Hawái en Mānoa, donde realiza investigaciones e imparte cursos centrados en la evaluación del lenguaje.

Dustin Crowther es profesor asociado en el Departamento de Estudios de Segundas Lenguas de la Universidad de Hawái en Mānoa. Realiza investigaciones sobre la inteligibilidad del habla en segundo idioma, con un enfoque principal en los ingleses globales.