Equivalencias funcionales entre tests de lenguaPeter Jan Slagter
Profesor emérito de la Universidad de Utrecht (Países Bajos)

Los expertos reunidos en Estrasburgo empezaron definiendo listas de léxico frecuente, pensando que así captarían diferencias y semejanzas de capacidad de uso entre alumnos de distinto origen y distintos sistemas educativos. Bien pronto se dieron cuenta, sin embargo, de que saber un número determinado de palabras no permite decir que ese candidato también sepa usarlas adecuadamente. Y lo mismo se aplicaba a conocimientos morfosintácticos. Vocabulario y gramática juntos tampoco aclaran el control pragmático necesario para funcionar en una lengua extranjera. Sintaxis, morfología y léxico son los recursos que permiten decir si una oración está correctamente formulada. Los expertos del Consejo de Europa se centraban, además de los aspectos de forma, en el uso del sistema lingüístico, la pragmática, que es la que se pronuncia sobre la propiedad contextual y de uso de unas estructuras y no otras, incluso tratándose de oraciones perfectamente construidas. Hay cosas que no se dicen sin sufrir las consecuencias, por formalmente correctas que sean las locuciones.

Para ello adoptaron enfoques distintos. Siguiendo los estudios de nociones y funciones de David Wilkins,² crearon catálogos de funciones generales, nociones generales y nociones específicas.  Con estas tres categorías ofrecían un inventario que permitía elegir temas de clase. Los inventarios eran negociables en doble sentido: si se trataba de una función menos relevante para determinado público, se podía sustituir por otra. Si el usuario/profesor consideraba que los exponentes lingüísticos propuestos no eran los mejores, se podían sustituir por otros, sin detrimento para el nivel de competencia comunicativa que alcanzaría el alumno. Así habría muchos niveles umbral posibles, y muchos niveles de proficiencia por encima y por abajo de ese primer paso en el desarrollo del producto.

A lo largo de los años se multiplicaron los estudios en torno a estos conceptos. Se crearon descripciones de niveles umbral en todos los idiomas europeos, se llevaron a cabo experimentos de aplicación en cursos de universidades populares de distintos países, en academias de lengua, en enseñanzas medias, en diseño curricular de educación secundaria general lo mismo que en escuelas de enseñanza profesional de todos los tipos. Hemos visto una aceptación masiva y general de estos conceptos, sobre todo en planes oficiales de educación secundaria y superior.

Hemos visto también que la mayoría de las editoriales indican los niveles de los materiales de ELE que publican: A1, A2, B1, B2, C1, C2. El CEFR —por poner un solo ejemplo y dejando aparte de momento las otras modalidades que se distinguen— describe la producción escrita, según las descripciones en las siguientes tablas:

Si estos son lo parámetros para evaluar las muestras redactadas por alumnos y candidatos, ¿en qué nivel de exigencias se sitúa la siguiente tarea?

UNA CARTA A UN ANTIGUO COMPAÑERO DE CLASE³

Redacte una carta de 80 - 100 palabras, 8-10 líneas aproximadamente.

Usted ha asistido a una reunión de antiguos alumnos a la que, sin embargo, no ha podido ir uno de sus mejores amigos. Escríbale una carta contándole cómo se desarrolló la reunión, quién asistió, qué hicieron, etc. La carta debe empezar y terminar así:

Querido _____________:

Después de tantos años nos volvimos a reunir y la verdad es que salió todo muy bien. Te cuento…

Todo el mundo me preguntó por ti o sea que la próxima vez no puedes faltar⁴

Dicho de otro modo: ¿qué nivel de la destreza del alumno se pretende medir con esta tarea?

Y si nos ponemos de acuerdo sobre el nivel de la tarea, esta escritora, ¿cumple o no cumple con lo que esperamos de ella?

Querido Juan,

Después de tantos años nos volvimos a reunir y la verdad es que todo salió muy bien. Te cuento del diá /día? de la reunión porque no has venido. Lo siento que no has podido venir porque había sido muy bien de hablar contigo. Casi todos de nuestros amigos estuven así. Algunos amigos me han ayudado con organizar la reunión. Estuve en mi casa en Utrecht. Algunos compraron unas boteillas de vino, otros prapararon la comida, yo decoré la casa. A las ocho, todos los otros alumnos arrivaron. Hemos hecho un tiempo muy bueno, hemos bebido mucho, hablado mucho, y comido mucho. Espero que la proxima vez puedes ir también, Juan,

Tessa

Es evidente que el lector entiende este mensaje sin problema alguno. Tessa copia todo lo aprovechable del texto de la tarea y esta labor le da mejores resultados que las partes que tiene que crear por su cuenta. El creador de la tarea se sirve de verbos en presente y en pasado. La tarea contiene un caso de imperativo —donde podría haber optado por deber + infinitivo— pero no hay indicios de que pida control de modos. A pesar de las formas del pretérito que se usan en la formulación del encargo, tampoco hay indicios de que se exija control del mismo, ni del contraste definido/imperfecto: una carta repleta de haber + participio no hubiera chocado sobremanera.

Tessa entendió los verbos en pasado, es consciente de las diferencias de aspecto, se lanza a usar algunos verbos que no proceden de la tarea, pero aún confunde ser y estar, y desconoce la forma correcta de algunos verbos, al tiempo que se permite usar «compraron», «prepararon» (praparaon es una errata evidente), «decoré», «arrivaron» (correcta la forma si no fuera porque «arrivar» no se usa ni se escribe así). «Hemos hecho un tiempo muy bueno» es una variante que yo no conocía aún por we had a good time (que suelen traducir mis estudiantes por «teníamos un tiempo muy bueno» por el simple hecho de que todos los cursos en UCU se dan en inglés con los correspondientes falsos amigos que aparecen en menos de nada), pero los otros perfectos están bien. Espero que/siento que + subjuntivo no ha entrado todavía en su repertorio, ni tampoco la eliminación de «lo» en «lo siento mucho que no has venido».

Vaya por delante que un texto no hace verano, necesitamos más muestras. Aquí es donde creo que debemos orientarnos por procedimientos de medición de ACTFL.⁵

Después de estos comentarios a esta única muestra de la producción escrita de Tessa, y suponiendo que podamos disponer de muchas más muestras de su destreza recogidas en un lapso de tiempo limitado, vuelve a surgir la pregunta: ¿dónde se sitúa la proficiencia de Tessa? ¿A1, A2, B1, B2, C1, C2?

El MCER (2001) es el resultado más reciente y más avanzado de las ideas que empezaron a gestarse a principios de los años setenta del siglo pasado. La misión de este documento consiste en ofrecer un punto de referencia para quienes deseen explicar los niveles de sus exámenes y tests a colegas y usuarios de otros países. En el libro se mantienen todos los puntos fuertes de las orientaciones inciales del proyecto. La gran mayoría de países e instituciones de evaluación y testing nacionales y privados has hecho grandes esfuerzos por clarificar los niveles que demuestran los candidatos que se presentan a cada una de esas evaluaciones.

Pegando un gran salto, permítanme contrastar algunas porciones de dos tests, de dos lenguas diferentes, ambos homologados⁶ en el nivel C1 del MCER.

Type of tests: C1	Duration	Mark out of
Listening Comprehension questionnaires dealing with recordings: a long recording (interview, lesson, conference...) approximately eight minutes long (played twice), several short radio broadcasts (newsflashes, surveys, adverts etc) (played once). Maximum duration of recordings: 10 mins.	Approximately 40 minutes	/25
Listening Comprehension questionnaires dealing with recordings: a long recording (interview, lesson, conference...) approximately eight minutes long (played twice), several short radio broadcasts (newsflashes, surveys, adverts etc) (played once). Maximum duration of recordings: 10 mins	Approximately 40 minutes	/25
Reading Comprehension questionnaires dealing with a text of ideas (literary or journalistic), 1,500 to 2,000 words long.	0 h 50	/25
Writing Two part test: Summarise several written documents totalling approximately 1,000 words, write an essay with supporting arguments on the contents of the documents Candidate can choose between two fields: humanities and social studies, science	2 h 30	/25
Speaking A presentation based on a series of written documents, followed by a discussion with the examiners. Candidates can choose between two fields: humanities and social studies, science.	0 h 30 preparation: 1 h	/25

Total duration of all tests: 4 h 00

• Total mark out of 100.
• Overall pass mark: 50/100
• Pass mark per test: 5/25

En cuanto a expresión escrita, este folleto explicativo dice:

Writing

Two part test:

• Summarise several written documents totalling approximately 1,000 words,
• write an essay with supporting arguments on the contents of the documents.

Candidate can choose between two fields: humanities and social studies, science

El segundo examen formula una tarea de redacción, que se denomina de nivel superior, de la siguiente manera:

Probablemente ha habido alguna ocasión en la que habría deseado ser invisible. Redacte un texto en el que deberá:

• comentar cuándo tuvo ese deseo y qué lo provocó;
• cómo se desarrolló toda la situación;
• cuál fue el desenlace y cómo lo recuerda hoy día.

Es evidente que esta tarea pide control de todos los tiempos, presente y pasado. Pero en otros sistemas de medición, como los de ACTFL que distingue entre novato, intermedio, avanzado y superior,⁷ esta tarea se califica como avanzada, no superior, y no es por un matiz semántico irrelevante. Es que la tarea pide narración, en pasado, y según los criterios de ACTFL, para ser superior⁸ le falta un enfoque académico, hipotético, de investigación, formular conjeturas y refutar las mismas a la luz de experiencias y experimentos habidos.

Sea como sea, la diferencia entre un C1 francés, el Superior de ACTFL y el superior de los DELE me parece demasiado grande como para seguir hablando de niveles dentro de un sistema de unidades/crédito. Los candidatos al C1 de francés tienen que saber demostrar otras destrezas, analíticas y de síntesis, distintas de las que pide el DELE superior de español.

Si este no es más que una muestra, que pudiera rechazarse diciendo que es demasiado restringida y parcial, lo que digo es que el lector haga lo que yo he venido haciendo estos últimos años, comparando tests de diferentes idiomas, los DELE, los de francés, y los de italiano como LE, los de Perugia y Siena. Verá que en algunos casos los cambios 'oficiales' de enseñanzas centradas en la comunicación, no han podido eliminar tests de gramática, y eso sin que los responsables ofrezcan una justificación explícita de por qué ciertas estructuras sintácticas son indispensables y representativas de determinados niveles de dominio de la lengua meta. Otras, como el C1 del francés, a mi juicio, reflejan tradiciones académicas que no se corresponden con las demandas de otros países. Para uso nacional me parece perfecto, pero por lo menos habrá que explicitarlo, y no dejarlo sin más explicación bajo la misma rúbrica de C1.

Como colorario, valga este ejemplo de una tarea superior de ACTFL:

4. ESSAY ON MODERN SOCIETY

In the last century, globalization and industrialization have created changes in family structure and the composition of “modern” life, professional activities, as well as the home. In some countries, this has meant an increase in the number of women working outside the home, a decrease in the number of children born to individual families, a transition from predominantly rural to predominantly urban living, and other significant changes. Please write an essay on one such change following the outline below:

1. Select one of these changes in society from the options stated above (or another one that is of particular importance), describe the change, and then identify what factors you believe brought about this innovation or shift in social life at large.
2. Present some of the advantages and disadvantages of this innovation or change. Then state your opinion regarding whether this has been a positive or negative development, and offer support for your point of view.
3. Describe the effects the positive changes that you just detailed might have on life in future and how such changes may improve the quality of life. State what positive outcomes or impact your proposed changes might make.

*Note: You will not be rated on the factual accuracy of your opinions or suggestions.  Only your ability to write and express yourself in Spanish is being evaluated.

Suggested length: 3-4 full paragraphs.

Suggested time: 20 minutes.

Algunas aclaraciones finales:

1. No es mi intención proponer una homologación de todos los tests. Pesan mucho las tradiciones de los distintos países y para funcionar, por ejemplo en intercambios académicos, en contextos diferentes habrá que asimilar también usos y costumbres, normas lingüísticas y metalingúísticas del país receptor.
2. Sí propongo analizar hasta qué punto los exámenes de los distintos países se actualizaron en algún momento a la luz de las ideas expresadas y defendidas en el MCER y en los 40 años de experimentos que ha habido.
3. También, y quizás lo mismo, pero dicho de otro modo, me parece esencial combatir la idea de que el MCER en el fondo no cambió gran cosa y que los tests y exámenes de siempre siguen ahí, intactos. Esto equivale a decir quizás que en la enseñanza de las lenguas tampoco cambió gran cosa. Quod non, creo.
4. En suma, hacer todo lo posible para que ese sistema de unidades/créditos sea la base de una parrilla de destrezas definidas según criterios y procedimientos justos y que de verdad los niveles se puedan comparar entre países.
5. Es necesario entablar estudios de desarrollo de segundas lenguas a base de muestras de texto, que hayan sido evaluadas según los criterios del organismo evaluador y que se hayan evaluado de acuerdo con los criterios de nivel de la tarea en cuestión. Estos materiales, al igual que las valoraciones recibidas han de quedar abiertos a escrutinios de diferentes tipos, para mejorar los estudios de adquisición del español como lengua extranjera (ver la aportación de Marta Baralo a esta misma mesa redonda) y poder enjuiciar sobre una base empírica la propiedad de incluir o no incluir determinadas funciones y sus exponentes en los tests de nivel: si vemos que se piden muestras que superan las capacidades normales de un estudiante,  entonces hay que preguntarnos si a lo mejor pedimos lo imposible. Si en cambio, las tareas propuestas se hacen más complejas en función de los resultados de estudios de adquisición, sabremos que pisamos terreno más firme que cuando nos limitamos a episodios de comunicación oral y escrita que a nosotros nos parecen lógicos y normales, pero que muy bien pueden ser muestras de las vidas de sus creadores, interesantes, únicas, pero que igual no nos permiten determinar si son prototípicas de determinada fase.
6. Yo creo que estas ideas son dignas de estudio y merecedoras de nuevas iniciativas. Necesitarán sólidos apoyos, y ojalá este congreso sirva de plataforma de lanzamiento de una revisión, que más que revisión, será una nueva reflexión, correspondiente y digna para enriquecer y facilitar esos contactos internacionales que vemos todos los días en torno a nosotros. Son estos los contactos que en el futuro deben permitir incorporar a grupos cada más grandes de ciudadanos, los llamados 'ciudadanos del mundo'.  Una visión nacional, nacionalista, o incluso provinciana de nuestro oficio es el bloqueo que nos ata las manos y nos lastra la mente. Lo que tenemos entre manos, el Marco, es sencillamente una muy buena idea. A nosotros,  y a las futuras generaciones de profesionales de la lengua, nos toca darle vida y alimentarla.

Referencias

• COUNCIL OF EUROPE (2003). Relating Language Examinations to the Common European Framework of Reference for Languages: Learning, Teaching, Assessment (CEF). Manual. Preliminary Pilot Version. September 2003, DGIV/EDU/LANG (2003). 5 rev. 1. Strasbourg, Language Policy Division.
• COUNCIL OF EUROPE (2004). Reference Supplement to the Preliminary Pilot Version of the Manual for Relating Language Examinations to the Common European Framework of Reference for Languages: Learning, Teaching, Assessment (CEF). December 2004, DGIV/EDU/LANG (2004) 13.
• COUNCIL OF EUROPE (2009). Relating Examinations to the Common European Framework of Reference for Languages: Learning, Teaching, Assessment (CEFR). A Manual. Strasbourg: Coucil of Europe; http://www.coe.int/T/DG4/Linguistic/Manuel1_EN.asp
• Ek, Jan Van (1975). The Threshold Level. Strasbourg: Council of Europe.
• COUNCIL OF EUROPE (2001). Common European Framework for Languages: Learning, Teaching, Assessment. Strasbourg: Modern Languages Division / Cambridge: Cambridge University Press. http://www.coe.int/T/DG4/Linguistic/CADRE_EN.asp. Edición española, a cargo del Instituto Cervantes:  Marco de referencia europeo de las lenguas, http://cvc.cervantes.es/obref/marco/.
• Slagter, Peter Jan (1979). «Un nivel umbral». Estrasburgo: Consejo de Europa, http://marcoele.com/num/5/nivelumbral.html.
• Trim, John (1978). Some possible lines of development of an overall structure for a European unit/credit scheme for foreign language learning by adults. Strasbourg: Council of Europe, Education & Culture.
• Wilkins, David (1976). Notional syllabuses. Oxford: Oxford University Press.

Notas

• 1. Trim, John (1978). Some possible lines of development of an overall structure for a European unit/credit scheme for foreign language learning by adults. Strasbourg: Council of Europe, Education & Culture.
• 2. Wilkins, David (1976). Notional syllabuses. Oxford: Oxford University Press.
• 3. Esta tarea procede del DELE de noviembre de 2008, Nivel inicial.
• 4. Esta despedida, por un error nuestro, no la copiamos en la tarea y el escritor de la muestra que presentamos a continuación ha tenido que suplir esta carencia por cuenta propia.
• 5. ACTFL American Council on the Teaching of Foreign Languages, White Plains, NY/Alexandria, VA.
• 6. Relating Language Examinations to the Common European Framework of Reference for Languages: Learning, Teaching, Assessment (CEF). Manual. Preliminary Pilot Version. September 2003, DGIV/EDU/LANG (2003). 5 rev. 1. Strasbourg, Language Policy Division. Reference Supplement to the Preliminary Pilot Version of the Manual for Relating Language Examinations to the Common European Framework of Reference for Languages: Learning, Teaching, Assessment (CEF). December 2004, DGIV/EDU/LANG (2004) 13. Relating Language Examinations to the Comon European Framework of Reference for Languages: Learning, Teaching, Assessment (CEFR) (January 2009). Strasbourg: Council of Europe/Language Policy Division.
• 7. Novice, Intermediate, Advanced, Superior.
• 8. Los escritores del nivel Superior saben producir la mayor parte de los distintos tipos de correspondencia formal a informal, resúmenes complejos, síntesis, informes, e informes de investigación sobre una variedad de temas prácticos, sociales, académicos o profesionales que se tratan tanto de forma abstracta como concreta. Se sirven de una variedad de estructuras lingüísticas, sintaxis y vocabulario para adecuar sus textos a públicos específicos, mientras que demuestran su capacidad de variar estilo, tono y organización según las exigencias específicas del discurso. Estos escritores dan claras muestras de tener una elevada consciencia de que dirigen sus textos a otras personas, y que no escriben para su propio uso particular.
  Los escritores que se mueven en el nivel Superior demuestran su capacidad de explicar temas complejos, suministran narraciones detalladas sirviéndose de todos los tiempos y modos, presentan y corroboran opiniones mediante los argumentos convincentes y las hipótesis que presentan. Son capaces de organizar y ordenar por orden de importancia sus ideas manteniendo la fuerza de un tema y utilizando estructura y léxico convincentes y demostrando un uso acertado de los protocolos de redacción, en particular aquéllos que se desmarquen de los protocolos del dominio oral, a fin de hacerle llegar al lector aquello que sea significativo en el discurso que producen. Su redacción se caracteriza por sus pasos fluidos de un subtema o otro y las claras diferenciaciones entre ideas principales y secundarias. Se relacionan las ideas con clara consistencia y evidentes principios de organización y desarrollo, tales como causa y efecto, comparación, cronología y otros principios de ordenamiento apropiados en la cultura de la lengua meta. Estos escritores dominan el tratamiento extenso de un tema que típicamente puede requerir, como mínimo, una serie de párrafos pero que puede requerir varias páginas.
  En este nivel Superior, los escritores demuestran un alto grado de control de gramática, sintaxis, léxico, tanto genal como expecializado / profesional, ortografía y producción de símbolos, recursos cohesivos y puntuación. Su léxico es preciso y variado, y demuestra una textura adecuada de sinónimos, en vez de una mera repetición de palabras y frases clave. Sus textos demuestran sutileza y matices y a ratos se destaca un claro talento de provocar al lector. La fluidez facilita la tarea del público.
  Los escritores que se encuentran en lindes bajos de este nivel Superior, sin embargo, no demostrarán la completa gama de destrezas funcionales que son propias de un hablante nativo educado. Por ejemplo, sus textos pueden no reflejar la totalidad de los moldes culturales, de organización ni estilísticos de la lengua meta. En los límites bajos del nivel Superior, pueden darse ocasionales errores, en particular cuando de trata de estructuras de baja frecuencia de uso, sin que por ello se llegue a detectar ninguna deficiencia sistemática. Los errores que hubiere no interfieren en la comprensión y raras veces distraen al lector nativo.