SIELE: calidad e innovación en certificaciónRichard Bueno Hudson
Director académico del Instituto Cervantes

Esta presentación tiene como objetivo hacer una visita guiada por el SIELE, con el fin de familiarizarse con la prueba.

Descripción del SIELE

El SIELE (Servicio Internacional de Evaluación de la Lengua Española) es un sistema de evaluación del español que se caracteriza, en primer lugar, por ser multinivel en su concepción, ya que los candidatos reciben una puntuación entre 0 y 1000 puntos al realizar la prueba vinculada a los niveles del Marco común europeo de referencia (MCER). Dicha puntuación será mayor o menor dependiendo de su nivel de competencia lingüística en español. El SIELE puede describirse, asimismo, como un sistema de evaluación multicompetencia, ya que los candidatos que lo realizan han de demostrar habilidades de lectura, de comprensión auditiva y de expresión e interacción escritas y orales. Por ello, en el diseño de cada una de las pruebas que lo componen, se ha tratado de que el candidato llevara a cabo acciones susceptibles de formar parte de situaciones de comunicación reales en ámbitos de diferente índole (personal, profesional, educativo, etcétera), al igual que lo haría un hablante real en situaciones comunicativas cotidianas, afrontando acciones lingüísticas concretas en un mundo multicultural y plurilingüe. Muestra de ello es que se haya optado, a la hora de concebir y desarrollar el sistema de pruebas de evaluación del examen, por un sistema de evaluación que se administra íntegramente por ordenador, desde una plataforma alojada en internet.

Si nos fijamos en la pantalla de inicio del examen, podemos ver de inmediato que uno de los principales objetivos es facilitar la experiencia al candidato, dotándole de ayudas, tanto técnicas como de cumplimiento de las tareas: el código de colores, la proliferación de funcionalidades de ayuda al candidato a lo largo de las pruebas, los recordatorios de tiempo disponible, los contadores de palabras, los teclados de español emergentes, etcétera. Estas cuestiones no hacen sino facilitar la labor del candidato, quien está tratando de demostrar sus conocimientos lingüísticos a la vez que cumple unas tareas.

En la imagen 1 podemos ver las distintas pruebas que conforman el examen y la duración máxima de cada una de ellas, sumando un total de 3 horas como máximo si se realizan todas las pruebas. Cabe mencionar que los tiempos son estimativos, ya que, por el momento el SIELE es una prueba de evaluación lineal, en la que va aumentando el nivel de dificultad y el tiempo de realización se prevé mayor al tener que pasar los candidatos por todos los niveles, desde el A1 hasta el C1, o hasta donde decida el propio candidato terminar su actuación. Está previsto que el SIELE se convierta en una prueba adaptativa, en la que el sistema mismo sea el que decida, tras obtener las primeras respuestas del candidato, ir acomodando el nivel de dificultad de las mismas al suyo.

La flexibilidad del SIELE permite además conocer el nivel de dominio del español del candidato haciendo este el examen completo SIELE Global o algunas de sus pruebas, y da respuesta a diferentes necesidades tanto del candidato como de los proveedores de empleos o de las instituciones que deseen tener datos específicos de los niveles de lengua de sus empleados en función de diferentes destrezas. En cualquier caso, los resultados se obtendrán en menos de tres semanas, tanto si es un certificado lo que se expide (si se hace el examen completo) como si es un informe (si se realizan todas las pruebas).

Con el fin de facilitar la navegación del candidato se ha previsto mantener un código de colores por destrezas, lo que ayuda a conocer o a recordar al candidato de qué destreza está siendo evaluado en cada momento: la Comprensión de Lectura (CL) tendrá el color ocre en todos sus componentes, al igual que el verde será el color constante de la Comprensión Auditiva (CA), el azul es el asignado a la prueba de Expresión e Interacción Escritas (EIE) y finalmente, el marrón el que define a la prueba de Expresión e Interacción Orales (EIO).

Comprensión de Lectura (CL)

Al comenzar cada una de las pruebas el candidato puede ver las características generales de las mismas. En el caso de la Comprensión de Lectura, en la primera prueba —tal y como se ha mencionado arriba, enmarcada en su color ocre característico— el sistema brinda al candidato la oportunidad de leer las instrucciones, y observar de qué partes se compone la prueba que está a punto de comenzar (ver imagen 2).

En el caso de la prueba de Comprensión de Lectura (CL), esta está conformada por 5 tareas y 38 preguntas. Las preguntas se formulan a través de textos que deben ser respondidos mediante la selección de opciones correctas (imagen 3). Para esta prueba, de calificación automática, es decir, el propio sistema se encarga de corregir las respuestas de los candidatos sin necesidad de la intervención de un calificador, se ha estimado una duración máxima de 60 minutos. Al igual que en el resto de las pruebas, la puntuación máxima es de 250 puntos.

Hemos de hacer hincapié en este punto en el que la filosofía del examen se centra en «la tarea». El candidato resuelve situaciones comunicativas «reales» contextualizadas en tareas al igual que lo haría en situaciones comunicativas reales, no contesta a baterías de preguntas sueltas e inconexas, lo cual confiere al examen no solo autenticidad situacional e interaccional, sino un halo de realismo que resulta motivador y coherente para el candidato.

Para facilitar al candidato su gestión del tiempo durante la prueba, este podrá ver, en todo momento, cuántas tareas hay y en cuál se encuentra en cada momento. Asimismo podrá, gracias al cronómetro, saber cuánto tiempo le queda para terminar la prueba. Este detalle es de especial utilidad al tratarse de un examen que se puede tomar por pruebas o de un modo global, lo que significa que en el mismo espacio físico habrá candidatos que puedan estar realizando pruebas de diferente duración.

En otro orden de cosas, y siempre con la intención de optimizar el conocimiento del examen por parte del candidato antes de realizarlo, los interesados pueden llegar mejor preparados al examen realizando prácticas previamente en el sitio web del SIELE, https://siele.org, haciendo uso del «modelo 0» interactivo del examen disponible a tal efecto. De este modo se podrán ver los tipos de tareas y de dinámicas de actuación que exige la prueba. Es importante tener en cuenta que en el diseño y desarrollo del SIELE se ha contado con diferentes tipos de actividades y de formas de interactuar con el sistema para evitar posibles sesgos para determinadas poblaciones de candidatos por razones individuales o culturales, por ello el examen recurre constantemente a diferentes interacciones como podrían ser: seleccionar opciones, subrayar fragmentos o palabras, enlazar partes de textos, escoger secciones de párrafos, enlazar textos, entre otros.

Siguiendo con el compromiso de ayudar al candidato, y para evitar que el medio no suponga un conflicto para demostrar su nivel de competencia comunicativa, al terminar una tarea y proceder con la siguiente, el sistema avisará al candidato si no ha respondido a todas las partes para evitar que se salte preguntas inadvertidamente, y que así esto no tenga un impacto negativo en su puntuación final.

Comprensión Auditiva (CA)

La prueba de Comprensión Auditiva (CA) se halla enmarcada en color verde. Dicha prueba consta de 6 tareas con un total de 38 ítems. La duración máxima de la prueba es de 55 minutos y la calificación es automática. Cuenta, al igual que el resto de las pruebas, con una puntuación máxima de 250 puntos.

La prueba de Comprensión Auditiva (CA) presenta, por su propia naturaleza, algunas características que la diferencian de la de Comprensión de Lectura (CL) y que requieren un tratamiento específico: una de ellas es que cuenta con sonido y por tanto hay que asegurarse de que, antes de comenzar la prueba, todos los candidatos pueden escuchar los audios con claridad, como muestra la imagen 4. Si la calidad del audio no es óptima, el candidato es avisado por el sistema de que debe solicitar la atención del personal de apoyo.

Dos factores han sido tema de numerosas sesiones de reflexión entre los equipos académicos ya que se entiende que pueden tener gran incidencia en la actuación de los candidatos: la duración de las diferentes pruebas y la exposición a un número determinado de variedades de la lengua. En lo que se refiere a la duración de las pruebas, es importante recordar que, a pesar de que la conocemos desde el principio, cada tarea cuenta con unos tiempos de respuesta asociados a la duración de los audios.

En cuanto a las variedades de la lengua, en cada una de las formas de examen que el candidato recibe para las pruebas de Comprensión de Lectura y Comprensión Auditiva del SIELE, aparecerá siempre un mínimo de tres variedades del español. En las tareas de nivel bajo (A1-B1), las variedades serán lo más neutras posibles, y se evitarán rasgos dialectales o exclusivos de una variedad. No obstante, los locutores de la Comprensión Auditiva no atenúan los rasgos fonético-fonológicos de su variedad. Para denominar a estas variedades en el sistema se ha optado por el calificativo de «internacional».

A partir del nivel B1 se aumenta el número de las variedades con las que se encontrará el candidato a la hora de resolver las tareas.

Como elementos de ayuda adicionales, cuando se está reproduciendo el audio se muestra en pantalla una barra donde puede observarse el tiempo de audición restante junto con un indicador numérico con la duración total.

En todas las tareas de Comprensión Auditiva las instrucciones se pueden leer y escuchar.

Los audios con el contenido de la tarea se reproducen dos veces, si bien el candidato puede pasar a la actividad siguiente cuando quiera. Si no ha contestado a alguna de las preguntas el sistema le avisará, como hemos visto en las pruebas de Comprensión de Lectura.

En esta prueba, al cabo de unos segundos de terminar el audio, el sistema pasa automáticamente a la siguiente tarea, con aviso previo.

Las tareas de Comprensión Auditiva en general se realizan pulsando opciones (una de tres o de más), por lo que no cambia mucho la dinámica y la pasamos rápido.

Expresión e Interacción Escritas (EIE)

La prueba de Expresión e Interacción Escritas (EIE), enmarcada para su reconocimiento en color azul, se compone solamente de dos tareas: una de interacción, en la que el candidato ha de contestar a un correo electrónico en la que se evalúan los niveles A1-B1, y otra de expresión en la que se evalúan los niveles B2-C1.

Las preguntas en esta ocasión están formuladas mediante textos y han de ser respondidas de forma escrita. En esta ocasión se ha establecido que el tiempo máximo del que puede disponer un candidato es de 50 minutos, la puntuación máxima será, igualmente, de 250 puntos y será calificada por un calificador acreditado.

Siguiendo la máxima de Montaigne, La parole est moitié à celui qui parle, moitié à celui qui écout (‘La palabra es propiedad tanto del que la emite como del que la interpreta’), en la que la producción y la recepción de un texto oral dependen tanto de aquellos que hablan como de los que escuchan, esta prueba logra la homogeneización de criterios a la hora de evaluar las producciones gracias a la uniformidad de estándares que tiene el banco de calificadores acreditados mediante los cursos de acreditación de calificadores diseñados y desarrollados por el Instituto Cervantes (la prueba de Expresión e Interacción Orales, EIO) y la Universidad de Salamanca (la prueba de Expresión e Interacción Escritas, EIE). Dichos cursos permiten a los calificadores acreditados tomar decisiones estandarizadas siguiendo unos criterios conjuntos y uniformes que siguen unas bandas de calificación, unos descriptores consensuados y un marco conceptual uniforme.

Con el fin de facilitar la navegación del candidato, en la caja de texto de las tareas de Expresión e Interacción Escritas (EIE), como vemos en la imagen 7, el candidato no dispone de un corrector automático, pero sí de un contador de palabras que le permite controlar su producción en todo momento, a pesar de que el número de palabras en sí mismo no sea un criterio de calificación. Asimismo, el candidato cuenta con un botón para desplegar los caracteres especiales del teclado español, para aquellos casos en que los teclados de los ordenadores que se empleen estén configurados para otras lenguas y no tengan a su alcance los signos y grafías que puedan necesitar para un uso correcto de la ortografía en español.

En la segunda tarea (imagen 8), en la que el candidato debe elegir entre dos opciones de tarea, este tiene un tiempo máximo para tomar su decisión y optar por una de las dos opciones. Si llegara a sobrepasar este tiempo, el sistema elegiría una de las opciones de modo aleatorio.

Expresión e Interacción Orales (EIO)

La prueba de Expresión e Interacción Orales (EIO), para la que se estima un tiempo de alrededor de 15 o 20 minutos, se encuentra enmarcada por el color marrón.

Esta prueba consta de 5 tareas (imagen 9) en las que se combinan preguntas formuladas mediante texto y locución, y han de ser respondidas de forma oral mediante un sistema de grabación. Esta es la segunda de las cuatro pruebas que requiere de la intervención de un calificador acreditado para su calificación. Para ello se cuenta con la cantera de expertos lingüistas de SIELE, que han seguido y superado el curso de acreditación de calificadores de las pruebas de Expresión e Interacción Orales.

La primera tarea (imagen 10) de Expresión e Interacción Orales es de interacción; para resolverla, el candidato escucha una pregunta (una o dos veces, en caso de que necesite una segunda escucha) y graba su respuesta. La tarea tiene dos preguntas de nivel A1 y dos de nivel A2, todas ellas pertenecientes a un ámbito personal.

En la segunda tarea (imagen 11), esta vez de nivel A2, el candidato ha de seleccionar una foto entre las dos opciones que el sistema le propone, para proceder a realizar su descripción.

Para preparar esta tarea, el candidato cuenta con dos minutos, y puede tomar notas en pantalla que podrá usar durante la realización de la misma para articular su descripción.

La tercera tarea de la prueba de Expresión e interacción Orales (imagen 12), que no cuenta con tiempo de preparación, insta al candidato a responder a dos situaciones simuladas, la primera de las cuales es del ámbito privado y la segunda perteneciente al ámbito público. En dichas situaciones puede elegir entre dos opciones.

En la tarea 4 el candidato puede elegir un tema entre dos opciones sobre el que contestará tres preguntas. Ese mismo tema será el mismo sobre el que hablará en la última tarea, la tarea 5. Una vez finalizada la tarea 4, el candidato puede avanzar a la siguiente tarea, en la que habrá de optar por una de las dos frases que se le proponen; estas frases siempre están relacionadas con el tema de la tarea 4. La tarea 4 es de interacción, y en ella, el candidato ha de leer un breve texto para luego escuchar tres preguntas a las que deberá contestar de una en una.

Una vez haya concluido esta fase, el candidato pasará a la tarea 5 y contará con 2 minutos para preparar un monólogo de un máximo de 3 minutos sobre la frase elegida, que grabará en el sistema.

Una vez terminadas las pruebas de las que el candidato se haya examinado, el sistema notificará al candidato que el examen ha terminado (imagen 13), y con esto finalizará la actuación del candidato, quien, en un plazo máximo de tres semanas, podrá descargarse su diploma o certificado digital.

SIELE: la cuenta atrás

A continuación se procederá a presentar, a modo de conclusión, un relato numérico descendente con las cifras de referencia que definen el SIELE.

Puntuación

1000 es el número máximo de puntos que un candidato puede obtener al realizar el examen. El candidato no aprueba o suspende, sino que recibe un resultado sobre 1000 puntos valorando su actuación, y que se relaciona con los niveles del MCER.

En la imagen 15 puede apreciarse la información que recibe un candidato que ha realizado el SIELE Global y que ha obtenido un total de 775 puntos.

Estándares de calidad del Sistema Internacional de Certificación del Español como Lengua Extranjera (SICELE)

55 son los estándares de calidad del Sistema Internacional de Certificación del Español como Lengua Extranjera (SICELE) que definen las prácticas adecuadas en el desarrollo de las diferentes actividades y procesos implicados en los sistemas de certificación lingüística. El SIELE está diseñado teniendo en cuenta estos estándares, que se organizan en cuatro grandes apartados:

1. Proceso de elaboración y desarrollo del examen.
2. Dispositivo de gestión y administración de las pruebas de examen.
3. Calificación y análisis de resultados.
4. Información a los usuarios.

Los estándares del SICELE fueron aprobados en julio de 2012 y servirán como base en los procesos de auditoría y evaluación de los sistemas de certificación de los miembros que culminan con la concesión del distintivo de calidad SICELE.

Variedades lingüísticas del español

6 es el número de variedades lingüísticas del español a cuyo tratamiento el SIELE presta especial atención.

Las variedades son las siguientes:

1. mexicana-centroamericana
2. chilena
3. caribeña
4. andina
5. rioplatense
6. peninsular

Los textos de lectura y las audiciones incorporan las distintas variedades geográficas de lengua, mientras que en la producción escrita y oral de los examinandos se admite toda norma hispánica.

Fases para el diseño del examen

5 son las fases para el diseño del examen:

1. Definición del diseño. Definición de los contenidos, tareas y pruebas: descripción de las especificaciones iniciales, creación de un prototipo, primeras experimentaciones en papel
2. Implementación del diseño. Implementación de las tareas en formato electrónico, navegación, etcétera: definición de la tipología de tareas, creación del prototipo interactivo, implementación de tres formas de examen.
3. Experimentación. Administración de las pruebas a candidatos para comprobar su idoneidad: pilotaje masivo de las pruebas objetivas, ensayos de las pruebas subjetivas.
4. Análisis. Análisis psicométricos de los resultados de la experimentación y juicios de expertos para las pruebas: informe psicométrico de las pruebas objetivas, calibración y estandarización de muestras de EIE y EIO, juicios expertos para cada prueba.
5. Documentación de apoyo. Incorporación de los datos obtenidos en los análisis a las especificaciones generales y desarrollo de guías y herramientas específicas para creadores, para usuarios, para calificadores: guía para usuarios, guía para creadores, especificaciones generales.

Niveles del SIELE

5 son también los niveles del Marco común europeo de referencia para las lenguas (MCER) a los que se corresponde la puntuación obtenida por los candidatos.

El SIELE es un examen multinivel, con pruebas compuestas de tareas que suben de nivel progresivamente, desde el nivel inicial (A1) hasta el de usuario competente (C1).

La puntuación obtenida en cada prueba, corresponde a un nivel del MCER.

Combinaciones posibles del examen

5 son las diferentes combinaciones de posibilidades de realización del SIELE: SIELE Global, y las modalidades independientes SIELE que surgen de cuatro combinaciones posibles de las pruebas que constituyen el examen SIELE Global.

Las 4 combinaciones posibles son las siguientes:

• S1: Incluye la prueba de Comprensión de Lectura (CL) y la prueba de Comprensión Auditiva (CA).
• S2: Incluye la prueba de Comprensión de Lectura (CL) y la prueba de Expresión e Interacción Escritas (EIE).
•  S3: Incluye la prueba de Comprensión Auditiva (CA) y la prueba de Expresión e Interacción Orales (EIO).
•  S4: Conformada únicamente por la prueba de Expresión e Interacción Orales (EIO).

Las pruebas

4 son las pruebas de las que consta el examen SIELE Global, que se corresponden con las cuatro actividades comunicativas de la lengua: Comprensión de Lectura, Comprensión Auditiva, Expresión e Interacción Escritas y Comprensión e Interacción Orales (como se ilustra en la imagen 27).

Pasos en la elaboración de las tareas del SIELE

3 son los pasos que intervienen en la elaboración de las tareas del SIELE. En la producción de las tareas para el SIELE podemos distinguir una primera fase estrictamente académica, en la que participan solo los equipos académicos, y una segunda fase, que podemos denominar tecnológica, en la que también participan las instituciones académicas, pero cuyo papel protagonista corresponde a Telefónica Educación Digital (TED). En la fase académica de producción de tareas se pueden distinguir tres etapas:

1. La creación, en las que se crean las tareas de acuerdo con las especificaciones generales.
2. La validación, que consiste en la revisión minuciosa de las tareas desarrolladas.
3. La edición en la que las tareas validadas se editan, se graban y pasan al formato establecido para ser incorporadas por TED a la plataforma SIELE.

Los resultados

3 semanas es el tiempo máximo en el que un candidato recibe los resultados del examen.

Para terminar...

Lo sencillo sería decir que uno es el puesto que ostenta el SIELE en la lista de exámenes de evaluación certificativa de español por ordenador, pero podría ser también el número de minutos que deberían tardar ustedes en inscribirse en el examen ya que lo puede hacer desde este momento.

¡Arranca el SIELE!