Elevándose en el aprendizaje de idiomas: cómo la investigación de la Dra. Maria Treadaway podría influir en la evaluación del idioma inglés
24 de marzo de 2023
La Dra. Maria Treadaway ha sido nombrada ganadora del Premio de Tesis Doctoral Jacqueline Ross TOEFL® de este año por su tesis doctoral "Desarrollo y validación de una prueba diagnóstica de lenguaje para pilotos cadetes ab initio." El Premio Jacqueline Ross TOEFL reconoce investigaciones doctorales que hacen una contribución significativa y original al conocimiento sobre pruebas y exámenes de segunda o lengua extranjera y/o al uso y desarrollo de dichas pruebas y pruebas. En esta entrevista, la Dra. Treadaway compartirá su investigación sobre la importancia de los hallazgos para la industria de la aviación y el campo de las pruebas de idiomas, y cómo contribuyen al aprendizaje y evaluación del idioma inglés, entre otros.
¿Puede contarnos cuál fue su inspiración para realizar investigaciones en el área vital de las pruebas de idiomas en la aviación?
Dra. Maria Treadaway: Desde que recibí el Great Big Air Book de Richard Scarry por mi quinto cumpleaños, me fascinaron las aeronaves y la aviación. Finalmente obtuve mi licencia de piloto comercial en 2001, pero tras el 11-S decidí que seguiría volando como hobby en lugar de dedicarme profesionalmente. En su lugar, empecé a enseñar inglés y completé un máster en lingüística aplicada. Mi tesis secundaria combinó el interés por la aviación y la evaluación, e investigué el efecto de la tasa de habla en la comprensión del piloto en situaciones no rutinarias. Durante este tiempo, tuve la increíble suerte de trabajar con el profesor emérito John Read porque su supervisión combinaba conocimientos tanto en aviación como en evaluación. Me di cuenta en mi investigación de máster de que había una necesidad real de investigación sobre pruebas de lenguaje aeronáutico y, como John aceptó trabajar conmigo, supe que me apoyarían en mi doctorado. De hecho, estoy en la posición muy privilegiada de ser el último estudiante de doctorado de John y este premio es tanto para él como para mí. Así que, en mi estudio, pude combinar mi amor por la aviación, el idioma inglés y la evaluación.
¿Puedes ampliar la importancia de tus hallazgos de investigación para la industria de la aviación y el campo de las pruebas de idiomas?
Dra. Maria Treadaway: Mi estudio fue un proyecto aplicado para desarrollar una prueba que midiera la preparación lingüística de los pilotos cadetes ab initio de entornos no angloparlantes para participar con éxito en sus programas prácticos de vuelo impartidos en inglés. La prueba se llama Overseas Flight Training Preparation Test u OFTPT. Por si te lo preguntabas, ab initio significa desde el principio, así que hablamos de estudiantes pilotos que han completado su formación teórica teórica en la escuela teórica y están listos para pasar a la práctica de vuelo, y cadete se refiere al hecho de que muchos de los participantes fueron patrocinados en su estudio por una aerolínea.
La motivación para este proyecto surgió del contexto actual de pruebas de idiomas en entornos de formación aeronáutica. Actualmente, no existen medidas estandarizadas de capacidad lingüística para evaluar a pilotos cadetes de origen no angloparlante que están ingresando en formación práctica de vuelo en países de habla inglesa. En su lugar, cada organización de formación adopta sus propios requisitos de evaluación y acceso, lo que da lugar a un enfoque ad hoc para evaluar la preparación lingüística en contraste con la evaluación sólida y estandarizada de habilidades y capacidades en otras áreas de su formación. En consecuencia, el sector de la educación aeronáutica ha señalado la necesidad de una herramienta de medición válida, fiable y estandarizada, calibrada según la escala de calificación de competencia lingüística de la Organización de Aviación Civil Internacional (OACI) (esta es la medida internacional para la competencia lingüística de pilotos y controladores aéreos), para ayudar a establecer estándares de calidad comparables entre organizaciones con el objetivo de minimizar las consecuencias negativas experimentadas por los estudiantes pilotos, patrocinando aerolíneas y organizaciones de formación cuando se concede la entrada a estudiantes a un programa sin estar listos lingüísticamente. Así que, en cuanto a la importancia de mi investigación, puede representar la herramienta de medición que busca la industria porque fue motivada por las necesidades reales del sector.
Los datos de la investigación del dominio de Uso del Idioma Objetivo (TLU) (Fase 1) y la sesión de establecimiento de estándares (Fase 4) indican que el OFTPT ha logrado captar lo que los expertos en la materia (SMEs) dentro de este dominio (instructores de vuelo, controladores aéreos y profesores de inglés de aviación) valoran en cuanto al contenido de la prueba. El análisis de ítems en los ensayos de prueba (Fase 3) muestra que la operativización del constructo (Fase 2) fue exitosa, ya que la prueba discrimina bien y tuvo un nivel de dificultad adecuado. Durante la definición de estándares con SMEs (Fase 4), también hubo un grado considerable de homogeneidad respecto a los niveles de rendimiento lingüístico que los SMEs esperaban de los no nativos de inglés (NNES) ab initios, lo que sugiere que se puede mantener la confianza en los niveles umbral de rendimiento articulados en los descriptores de nivel de rendimiento y en las puntuaciones de corte, que estaban inferencialmente vinculadas a la escala de competencia lingüística de la OACI. En resumen, cada fase contribuyó a identificar un estándar determinado por los SMEs en una prueba desarrollada específicamente para este dominio TLU. Este es el primer punto de referencia basado en investigación para la entrada a la formación de vuelo, medido según la escala de la OACI. Es un comienzo y sé que muchas otras personas están trabajando para mejorar los estándares en este campo y espero que otros puedan y quieran ampliar mi trabajo.
¿Cómo imaginas que tu investigación contribuya al campo del aprendizaje y la evaluación del idioma inglés?
Dra. Maria Treadaway: En términos de contribución práctica, el resultado principal del proyecto es una prueba totalmente operativa, realizada en línea, que se dirige específicamente a las necesidades de los pilotos ab initio que inician su entrenamiento práctico de vuelo y está alineada con la escala de Calificación de Competencia en Idiomas de la OACI. Las puntuaciones de las pruebas pueden interpretarse como niveles de preparación para realizar entrenamiento práctico de vuelo (por lo que un estudiante está preparado, mínimamente preparado o no listo) y estos niveles de preparación se han vinculado empíricamente a la escala de calificación de la OACI, que, como he dicho antes, es la primera vez que los niveles umbral de dominio lingüístico dentro de este dominio de la LU se vinculan a la escala.
La prueba también se centra en la importante función diagnóstica de las pruebas en este entorno. En el informe de puntuación, los examinados reciben retroalimentación detallada sobre su rendimiento que podría ayudarles a identificar sus fortalezas y debilidades para mejorar sus habilidades lingüísticas de aviación. En la web complementaria de la prueba, seleccioné recursos de aprendizaje a los que los examinados pueden acceder libremente para mejorar sus debilidades y desarrollar sus fortalezas. Así que existe potencial para un efecto positivo en los resultados de aprendizaje de idiomas, donde desarrollan los conocimientos, habilidades y capacidades que necesitan en sus dominios reales y son evaluados en las mismas capacidades en el OFTPT. Esta alineación entre aprendizaje y evaluación fue muy importante para mí al diseñar mi prueba de lengua de aviación. Las tareas de la prueba de idiomas están muy alineadas con las tareas en el dominio de uso del idioma objetivo de los estudiantes, de modo que el aprendizaje y la evaluación fluyen entre sí. Creo que esto es muy importante para motivar a los estudiantes y aumentar su compromiso con el idioma que necesitan para funcionar dentro de su dominio de uso del idioma objetivo, en este caso, la formación práctica de vuelo.
En cuanto a la contribución teórica, este estudio es el primer trabajo en fusionar dos enfoques bien establecidos para la validación en la evaluación: el argumento del Uso de la Evaluación de Bachman y Palmer, y el marco sociocognitivo de O'Sullivan y Weir (2011). Por ello, las descripciones ampliadas del diseño y operacionalización de la OFTPT en la Fase 2 (en el capítulo 5 de mi tesis) podrían servir como un plan útil para los desarrolladores de pruebas ESP/LSP y, en particular, para los desarrolladores de pruebas de aviación, ya que el capítulo también incluye especificaciones detalladas de pruebas y una justificación para cada módulo de la OFTPT (Escucha, Lectura y Habla).
¿Cómo ha impactado la obtención del Premio Jacqueline Ross a la Tesis TOEFL® en tu carrera y trayectoria investigadora?
Dra. Maria Treadaway: Ante todo, recibir este premio ha traído un nivel significativo de reconocimiento en mi escuela y profesorado en la Universidad y Auckland, así como en la comunidad de evaluadores de idiomas en Australia y Nueva Zelanda, y ahora con esta entrevista, quizás también más lejos. Espero que esto aumente la visibilidad de mi proyecto doctoral, quizá resultando en aplicaciones reales del OFTPT dentro de organizaciones de formación en aviación. Además, al ser un premio internacional, añade credibilidad a mi investigación, lo que puede ayudar a la adopción del examen dentro de las organizaciones de formación en aviación y a asegurar financiación futura para futuras validaciones e investigaciones. Además del reconocimiento, el premio incluye apoyo financiero que utilizaré para difundir mi investigación asistiendo a congresos y otras oportunidades de desarrollo profesional. Este reconocimiento ya se traduce en mayores oportunidades de colaboración con otros investigadores de Australia, Brasil y Estados Unidos, lo que a su vez me llevará a nuevas vías de investigación y al avance del campo. Así que creo que este premio me ha ayudado como plataforma para compartir mi trabajo con un público más amplio.
¿Puede hablar sobre la importancia de reconocer y apoyar la investigación en pruebas de idioma?
Reconocer y apoyar la investigación en pruebas de idiomas es fundamental por varias razones. En primer lugar, la investigación en pruebas de idiomas ayuda a garantizar que las pruebas de idiomas sean justas, fiables y válidas, lo cual es especialmente importante en contextos donde la competencia lingüística se utiliza para fines de alto riesgo, como la aviación o la inmigración. Si podemos mejorar la precisión de la evaluación de lenguaje, podemos tener un impacto positivo en las oportunidades educativas y profesionales de las personas, así como en la sociedad en su conjunto. Sin investigación, puede que no podamos captar el concepto objetivo ni medir con precisión la competencia lingüística, lo que lleva a evaluaciones inexactas de los aprendices y consecuencias negativas no deseadas para todos los interesados. Los avances tecnológicos pueden apoyar la investigación en pruebas de idiomas, permitiendo el desarrollo de métodos y herramientas innovadoras que capturen mejor la competencia lingüística y que mejoren la experiencia de evaluación de los examinados, quizás haciendo las pruebas más accesibles y equitativas. Por eso, la investigación en pruebas de idiomas puede ayudar a informar la política y la toma de decisiones lingüísticas, conduciendo a programas de educación lingüística más efectivos y mejores resultados para los estudiantes que lo aprenden. ¡Por tanto, la investigación en pruebas de idiomas puede ayudar a informar la política y la toma de decisiones, conduciendo a programas de educación lingüística más efectivos y mejores resultados para los estudiantes que lo aprenden. ¡Así que la investigación es bastante importante!
¿Cuáles fueron algunos de los mayores retos que enfrentaste durante tu proyecto doctoral y cómo los superaste?
Dra. Maria Treadaway: Gran parte de mi doctorado lo hice durante la pandemia de COVID-19, así que hubo desafíos únicos que hicieron el proceso más complejo, pero también me ofrecieron nuevas oportunidades para explorar soluciones innovadoras usando herramientas digitales y colaborativas. Los retos específicos implicaron gestionar todas las pequeñas tareas que debían completarse, desarrollar y mantener conexiones dentro de la industria de formación aeronáutica, reclutar participantes (especialmente con las restricciones gubernamentales y el distanciamiento social) y la necesidad general de entrevistas virtuales y recogida de datos en línea. Ocasionalmente, no podía acceder a recursos físicos desde la biblioteca, lo que dificultaba la gestión del tiempo y la coordinación del flujo de las actividades de investigación. Aparte del COVID, probablemente como la mayoría de los estudiantes de doctorado, encontré muy difícil mantener la motivación, especialmente durante el proceso de escritura. La forma en que superé esto fue incorporar recreación a mi agenda — paseos, visitas con familiares y amigos y para el trabajo. Este equilibrio era necesario para mantener el enfoque prolongado que necesitaba. También llevaba un registro de las actividades en las que trabajaba, las intenciones/resultados hacia los que trabajaba y una reflexión sobre cómo me iba y el tiempo que dedicaba a las actividades. Este registro de tiempo y actividad fue esencial para ayudarme a mantenerme enfocado, motivado y concentrado en la tarea mientras trabajaba de forma remota y aislada.
Por último, ¿qué mensaje te gustaría compartir con los investigadores en este campo?
Dra. Maria Treadaway: Las implicaciones de las pruebas de lenguaje para la industria aeronáutica son de gran alcance, y creo que hay mucho margen para más investigaciones que garanticen que las pruebas de lenguaje en este campo sean efectivas, actuales y que se desarrollen según estándares profesionales, con evidencia de validación que respalde las inferencias de las puntuaciones de las pruebas. Así que para quienes están investigando y quizás sienten los retos de esto, recordad que las pruebas de lenguaje son de suma importancia para la industria aeronáutica para garantizar la seguridad, mejorar la comunicación y, a su vez, mejorar la conciencia situacional y mejorar la toma de decisiones dentro de la cabina. ¡Seguid adelante y sabed que lo que estáis haciendo cuenta!