¿Pueden las tareas más eficientes medir aún la capacidad de redacción académica?

Desde su creación en 1964 —el mismo año en que los Beatles giraron por Estados Unidos— el iBT del TOEFL ha pasado por múltiples revisiones. Una fuente de experimentación perpetua es la sección de Escritura del TOEFL, que ha funcionado en muchas formas diferentes a lo largo de las décadas.

Hace varios años, el TOEFL iBT comenzó a investigar la eficacia de una nueva tarea de discusión académica de 10 minutos. Esta investigación tenía como objetivo responder a una pregunta fundamental: ¿Era esta nueva tarea tan eficaz para captar la capacidad de redacción académica en inglés como la tarea tradicional de ensayo de media hora? 

Un nuevo estudio aporta pruebas alentadoras de que sí lo hace. Comparando la tarea retirada de Escritura Independiente con la tarea más reciente Escribe para una Discusión Académica, nuestra investigación encontró una fuerte alineación en puntuaciones, indicadores lingüísticos y comportamientos de escritura en tiempo real. 

Los resultados sugieren que una tarea de escritura cuidadosamente diseñada y eficiente puede preservar pruebas significativas de competencia en la escritura académica, incluso cuando produce respuestas más cortas y de formas diferentes.

Las evaluaciones tradicionales de escritura de alto riesgo a menudo se han basado en ensayos largos y abiertos. En la antigua tarea de Escritura Independiente del TOEFL iBT, los examinados tenían 30 minutos para escribir aproximadamente 300 palabras en respuesta a una pregunta de opinión general. Esta tarea ayudaba a revelar la capacidad del escritor para desarrollar un argumento, organizar ideas y usar un lenguaje variado.

Sin embargo, los ensayos extensos y abiertos también presentan limitaciones reales. Pueden ser laboriosos de administrar y puntuar, y sus temas descontextualizados pueden no parecerse mucho al tipo de escritura que los estudiantes realmente hacen en la comunicación académica contemporánea, que cada vez incluye más contribuciones cortas y conscientes del público.

La nueva tarea Escribe para una Discusión Académica (WAD) fue diseñada teniendo en cuenta ese entorno cambiante. En esta tarea, los examinados leen la pregunta de un profesor y dos respuestas de ejemplo de los estudiantes, y luego contribuyen con su propia respuesta a la discusión. El formato es más corto, más contextualizado e interactivo que un ensayo independiente convencional. 

La pregunta central en nuestra investigación era si la puntuación que produce el WAD puede seguir soportando la misma interpretación que la tarea de Independiente. Es decir: ¿Una puntuación más alta en el WAD sigue reflejando una mayor capacidad académica de redacción en inglés?

Nuestro estudio examinó las respuestas de 1.095 adultos que aprenden inglés en siete universidades chinas. Todos los participantes completaron ambos tipos de tareas a través de una plataforma que registraba sus respuestas escritas, así como todas las pulsaciones de teclas y los tests de movimiento del cursor que realizaban los examinados mientras componían sus respuestas. Esto nos permitió comparar tanto el producto como el proceso de escritura. 

Los participantes recibieron puntuaciones de evaluadores formados en el TOEFL iBT que utilizaban rúbricas holísticas específicas de cada tarea, centradas en el contenido y la elaboración, la organización y coherencia, y la variedad y precisión del lenguaje. 

Los investigadores analizaron después:

• Acuerdo de puntuación de tarea entre ambos formatos
• Características textuales como la longitud, sintaxis, vocabulario, precisión y reutilización del lenguaje de los prompts
• Indicadores basados en pulsaciones de teclado para planificación, pausa y revisión

Esta combinación es importante. Puntuaciones comparables por sí solas no demuestran que dos tareas midan el mismo constructo. Los escritores pueden llegar a puntuaciones similares a través de recursos lingüísticos o procesos cognitivos muy diferentes. Analizar tanto los textos terminados como el comportamiento de escritura de los examinados ofreció una base más sólida para evaluar la interpretación de la puntuación.

Nuestro hallazgo más claro fue que las puntuaciones fueron fuertemente consistentes entre tareas. Casi la mitad de los participantes (47%) recibieron exactamente la misma puntuación en las tareas WAD e Independientes. Otro 50% recibió puntuaciones adyacentes, lo que significa que sus puntuaciones diferían solo en un punto. 

En total, el 97% de los participantes obtuvo puntuaciones idénticas o adyacentes, mientras que solo el 3% diferió por más de un punto. La correlación entre las puntuaciones de las tareas también fue fuerte, con r=0,72.

Es importante destacar que nuestro modelo estadístico no encontró diferencias significativas en las puntuaciones medias entre ambos tipos de tareas en el umbral de significación conservadora del estudio. En términos prácticos, los estudiantes que demostraron una mayor capacidad de redacción en el ensayo extendido generalmente obtuvieron un buen desempeño en la tarea WAD.

Ese hallazgo fue significativo. Si una tarea más corta cambiara sustancialmente quién obtuvo puntuaciones altas o bajas, los interesados tendrían motivos para cuestionar si la prueba medía la misma habilidad. En cambio, los resultados indican que WAD preserva en gran medida el orden de rangos de los escritores establecido por la tarea Independiente más larga.

Las dos tareas no generaron textos idénticos, aunque esto es un producto inevitable de su diseño. Las respuestas WAD no fueron tan largas como las de Independientes. Pero la cuestión más importante es cómo se relacionaban las características lingüísticas provocadas por cada tarea con la calidad. 

En ambas tareas, los escritores con mejores puntuaciones produjeron respuestas con recursos léxicos más sólidos, mayor variedad sintáctica y mejor precisión gramatical, de uso de palabras y mecánica. En otras palabras, los indicadores lingüísticos asociados a una redacción académica más sólida se mantuvieron estables en ambos formatos.

Hay una diferencia que merece atención: la longitud de la respuesta estuvo menos relacionada con la puntuación en WAD que en el ensayo extendido. Esto es, sin duda, un resultado positivo. En una tarea de 10 minutos, la calidad no puede depender principalmente de escribir más. En cambio, los escritores deben usar el espacio limitado de forma eficiente, adoptando una postura clara, aportando apoyo relevante y expresando ideas de forma precisa y coherente. 

El análisis también encontró una mayor reutilización de palabras individuales de prompt y frases cortas en WAD, lo cual no es sorprendente porque la tarea incluye más material fuente. Lo crucial es que el estudio no encontró evidencia de copias generalizadas de cadenas largas. Esto sugiere que los escritores se basaban en el contexto de la discusión sin simplemente reproducirlo.

Los datos de pulsaciones añadieron otra capa de evidencia. En el estudio, examinamos cuánto tiempo tardaban los escritores antes de empezar a teclear, cuánto tiempo pausaban dentro y entre palabras y frases, y cuánto tiempo dedicaban a eliminar o insertar texto.

La mayoría de los patrones de proceso eran en general similares una vez ajustados para diferentes límites de tiempo de tareas. En ambas tareas, los escritores con mejores puntuaciones tendían a dedicar un poco más de tiempo a planificar antes de escribir, a hacer pausas más cortas en varios niveles lingüísticos y a dedicar menos tiempo a la eliminación e inserción a nivel de palabra. Estos patrones son consistentes con una producción lingüística más fluida y un monitoreo más eficiente al escribir bajo presión de tiempo.

La mayor diferencia a nivel de tarea implicaba la planificación. Los escritores dedicaban una mayor proporción de su tiempo disponible a la preescritura durante el WAD. Ese resultado tiene sentido: antes de componer, los examinados necesitaban leer e interpretar la pregunta del profesor y las publicaciones de ejemplo de los estudiantes. En lugar de señalar un constructo diferente, este patrón parece reflejar el contexto discursivo más rico de la tarea. 

Cabe destacar que las interacciones puntuación por tarea para las medidas de proceso fueron generalmente pequeñas. Los que obtuvieron puntuaciones más altas y bajas diferían de manera comparable en ambos formatos. Esto refuerza el hallazgo de que las tareas WAD e Independientes se basan en habilidades subyacentes similares.

La implicación central no es que toda tarea de escritura corta sea automáticamente equivalente a un ensayo más largo. Es que la eficiencia y la validez no son inherentemente incompatibles. Cuando una tarea está diseñada deliberadamente, se califica con una rúbrica adecuada y está respaldada por validación empírica, una respuesta breve y contextualizada puede aportar pruebas significativas de la capacidad de redacción académica. 

Para los proveedores de evaluación, esto ofrece un camino para reducir el tiempo de examen y la carga de puntuación sin necesariamente debilitar la interpretabilidad de las puntuaciones. Para las instituciones, sugiere que los formatos de redacción modernizados siguen proporcionando información creíble sobre la capacidad del solicitante para comunicarse académicamente en inglés. 

Y para los examinados, subraya que el éxito en una tarea corta no depende principalmente de la rapidez o el número de palabras. Depende de planificar rápidamente, responder directamente, usar el lenguaje con precisión y hacer una contribución efectiva dentro de restricciones claras.

La tarea WAD generó puntuaciones que se alineaban estrechamente con las del ensayo tradicional; distinguió a escritores más fuertes y débiles usando muchos de los mismos indicadores lingüísticos; y provocó comportamientos de planificación, pausa y revisión en general comparables.