Introducción

En Educación Superior actualmente la evaluación formativa es esencial para la mejora de los procesos de aprendizaje de los estudiantes, ya que proporciona retroalimentación del profesorado, de los compañeros o de ellos mismos e impulsa su responsabilidad (Black y William, 1998; Nicol y Macfarlane-Dick, 2006). Su empleo supone una alternativa a los modelos tradicionales de evaluación dirigidos únicamente a la calificación y se convierte en el eje central de los programas educativos centrados en la enseñanza por competencias, donde el estudiante tiene la oportunidad de colaborar en el proceso de aprendizaje como evaluador activo (López-Pastor, 2012; Raposo-Rivas y Martínez-Figueira, 2014). Otro beneficio de la evaluación formativa es la activación de las capacidades cognitivas y motivacionales de los estudiantes. Puede ayudarles a autorregular su aprendizaje, centrarse en aquellos aspectos que deben mejorar y prestarles mayor atención (Panadero et al., 2018). Además, durante el prácticum, ayudará a los futuros docentes a identificar sus fortalezas y debilidades, reflexionar y obtener retroalimentación enfocada en los detalles de su desempeño.

Entre las estrategias de evaluación formativa, la autoevaluación permite realizar un análisis y valoración del proceso y/o resultado de las actuaciones o producciones, identificando criterios de evaluación y tomando decisiones sobre el grado en que los han cumplido (Rodríguez et al., 2013; López-Pastor, 2012). Los estudios han averiguado que permite al alumnado involucrarse en su aprendizaje, desarrollar la capacidad de autorregulación cuando tiene oportunidades de autocontrol, y fomentar la reflexión mediante la valoración cualitativa del proceso y del producto final obtenido a partir de criterios preestablecidos de evaluación (Nicol y Macfarlane-Dick, 2006; Panadero y Romero, 2014). Cuando los estudiantes están familiarizados con los criterios de evaluación y los comprenden, su autoevaluación puede mejorar (Andrade et al., 2009). A pesar de los potenciales beneficios de la autoevaluación, existen interrogantes sobre el efecto de las herramientas empleadas (Gallardo-Fuentes et al., 2017).

En la autoevaluación formativa, las rúbricas contienen criterios esenciales de calidad. La autoevaluación con rúbricas guía al alumnado, mejora su autoeficacia y constituye una herramienta coherente y útil que promueve el aprendizaje produciendo un aumento de los niveles de autorregulación, rendimiento y precisión (Andrade et al., 2009; Panadero y Romero, 2014). Los criterios, los niveles de logro y el sistema de valoración son particularidades de las rúbricas los criterios, los niveles de logro y el sistema de valoración. Estas características permiten al evaluador tener a su disposición pautas explícitas de evaluación, siendo conscientes de los aspectos que serán objeto de valoración y de su peso en la calificación global, promoviendo una evaluación más objetiva y transparente al conocer porqué obtienen ciertas calificaciones e información para realizar mejoras en el futuro (Chan y Ho, 2019; Raposo-Rivas y Martínez-Figueira, 2014). El evaluado percibe que la mayor transparencia puede disminuir su ansiedad e influir en sus estrategias de autorregulación, al descender los niveles de “evitación de la autorregulación” procedentes de emociones negativas, lo que a su vez puede tener un efecto positivo en el rendimiento al prestar más atención a la modificación de sus errores (Panadero y Jonsson, 2013).

En este estudio se emplean las rúbricas en su versión electrónica (e-rúbricas). El uso de las tecnologías en la evaluación formativa ha fomentado que éstas mantengan las características y beneficios de las rúbricas en papel. El empleo de la evaluación formativa en experiencias blended learning con futuros docentes les ofrece oportunidades para mejorar la interactividad y la retroalimentación, con aspectos activos, interactivos, reflexivos, colaborativos y/o autorregulados (Gikandi et al., 2011). Los estudios de Seifert y Feliks (2018) y Cebrián-de la Serna et al. (2014) confirman estas características cuando emplean las e-rúbricas. Crear este tipo de experiencias de evaluación formativa electrónica mediante autoevaluación o evaluación de pares con rúbricas es positivo para los futuros docentes y puede promover el empleo de estos métodos de evaluación en el futuro. Es importante contar con este tipo de experiencias en la formació inicial, ya que tanto docentes de educación primaria como futuros docentes señalan la dificultad de integrar las TIC en las prácticas evaluativas (Ruiz López, 2015). Aunque el uso de tecnologías para la evaluación formativa en el prácticum no está muy extendido, es necesario fomentar estrategias, instrumentos, criterios de evaluación y estándares que favorezcan valorar la construcción de conocimiento práctico profesional en la formación del profesorado (Gallego-Arrufat y Cebrián-de-la-Serna, 2018). Este estudio apunta en esta dirección.

La retroalimentación formativa electrónica debe ser un proceso que promueva el pensamiento reflexivo y las estrategias de autorregulación (Gikandi et al., 2011). Así, la evaluación formativa electrónica puede apoyar las necesidades de los futuros docentes durante el prácticum, por su potencial para el aprendizaje y la autorregulación. Aunque la retroalimentación tiende a promover el aprendizaje y el rendimiento, la mayoría de los estudiantes reciben poca información sobre sus trabajos (Black y Wiliam, 1998; Hattie y Timperley, 2007), quizás por la elevada ratio y la escasez de tiempo. De ahí el interés por que los propios estudiantes puedan recibir retroalimentación mediante la autoevaluación. Debido a que la autoevaluación formativa favorece que los estudiantes piensen en la calidad de sus trabajos, en el presente estudio se analizan los argumentos de auto-retroalimentación como un proceso complementario que fomenta el juicio evaluativo y los procesos reflexivos.

A lo largo del prácticum es preciso contar con estrategias e instrumentos de apoyo a la capacidad de emitir juicios evaluativos de calidad y de reflexionar sobre el aprendizaje práctico. La capacidad de los estudiantes para emitir juicios de su propio trabajo es un objetivo importante en la educación superior (Boud et al., 2013; Cowan, 2010). Fomentar el desarrollo del juicio evaluativo, capacidad de tomar decisiones propias sobre la calidad del trabajo, puede ser una ayuda valiosa al desarrollarse en contextos propios de su vida profesional (Cowan, 2010; Tai et al., 2018). El juicio evaluativo facilita no solo una autoevaluación con e-rúbricas siguiendo unos criterios y niveles de logro de evaluación, sino también una reflexión sobre su proceso de aprendizaje práctico de manera profunda y una percepción más ajustada sobre la calidad de sus actuaciones.

Otro componente esencial del prácticum es la reflexión, que representa un compromiso con sus prácticas profesionales para analizar críticamente y evaluar su aprendizaje práctico (Black y Plowrightb, 2010). La reflexión ha sido considerada una competencia esencial en los programas de formación docente inicial desde hace varias décadas (Schön, 1983). Dewey (1933) defendió su importancia como proceso riguroso e intencional de pensamiento que implica considerar y ser consciente de las acciones individuales. A partir de Dewey aparecen en la literatura conceptualizaciones y variados modelos de reflexión. Un denominador común es que destacan el papel evolutivo y multidimensional del proceso reflexivo para los futuros docentes al crear conciencia personal de los valores, prácticas y resultados educativos; integrar, aplicar y evaluar conocimientos y pedagogías específicas de la teoría a la práctica; y construir un entendimiento personal y cambios en la práctica basados una indagación cuidadosa (Etscheidt et al., 2012).

En este estudio es clave la progresión de la reflexión en cuatro etapas secuenciales que van desde la mera descripción de las situaciones vividas en las prácticas al análisis, resolución de problemas y búsqueda de soluciones con vistas a la mejora a lo largo del prácticum (Tabla 1). Smyth (1989) propone que implicarse en ellas conlleva una mejora profesional. Mediante la reflexión en las diferentes etapas lograrán realizar un examen cuidadoso y unirán sus ideas para crear una nueva visión mediante ciclos continuos de expresión y reevaluación de sus aprendizajes prácticos (Marshall, 2019). Por ello, en este estudio dotamos a los futuros docentes de estrategias de autoevaluación que apoyen la reflexión.

El propósito de este estudio es investigar los efectos de la autoevaluación con rúbricas electrónicas en la mejora de los procesos reflexivos de los estudiantes durante el prácticum. Los objetivos específicos son examinar la evolución de las autoevaluaciones de los estudiantes, identificando diferencias significativas en las puntuaciones obtenidas en las aplicaciones progresivas de la rúbrica electrónica y analizar los argumentos de auto-retroalimentación que aportan los futuros docentes según su proceso reflexivo.

Metodología

En este estudio se emplea un diseño no experimental con un enfoque descriptivo (Bourque, 2004).

Procedimiento

El uso progresivo de la autoevaluación se realiza durante nueve semanas durante las que los futuros docentes escriben un diario reflexivo sobre momentos significativos de su práctica, siguiendo los temas proporcionados en los seminarios según la siguiente secuencia: adaptación, aspectos organizativos, psicoevolutivos y didácticos. En este proceso, los estudiantes son asesorados recibiendo retroalimentación del tutor y monitorización para el uso formativo de la e-rúbrica en cuatro aplicaciones, al tiempo que orientan la redacción de sus diarios de prácticas hacia un enfoque reflexivo (Figura 1). Se realiza tanto un análisis cuantitativo de las puntuaciones de la e-rúbrica como un análisis cualitativo de las reflexiones según el modelo adaptado de Smyth (1989).

Resultados

Siguiendo el primer objetivo, la Tabla 3 muestra los resultados descriptivos de la puntuación de los estudiantes en su autoevaluación progresiva realizada mediante la e-rúbrica, así como, en cada una de las competencias que se han analizado (Tabla 2). Como se puede observar en la Tabla 3, las puntuaciones de autoevaluación presentan medias aritméticas altas y muestran un aumento progresivo desde la primera aplicación hasta la tercera aplicación, pero en la última aplicación la puntuación media de las autoevaluaciones desciende ligeramente respecto a la anterior.

Respecto a cada competencia, la Tabla 3 muestra que la C1 ha obtenido una puntuación media moderadamente más alta en las autoevaluaciones de los estudiantes que el resto de competencias en todas las aplicaciones de la e-rúbrica y su aumento ha sido progresivo, a diferencia del resto de competencias que se detecta que desde la primera hasta la tercera aplicación mejoran sus puntuaciones, pero en la cuarta las puntuaciones descienden (C2 y C3). Esto puede obedecer a que esos criterios representan diferentes niveles de dificultad para los fututos docentes y necesitan tiempo y tal vez más entrenamiento para aprenderlos.

A continuación, se analiza si existen diferencias estadísticamente significativas entre las puntuaciones de autoevaluación en los diferentes momentos temporales en los que se aplica la e-rúbrica. En la Tabla 4 se observan diferencias significativas (p<0,05) en el Test de Friedman, esto indica que los estudiantes se autoevalúan mejor en unas aplicaciones de la e-rúbrica que en otras y que estas diferencias no se deben al azar. Esta prueba también arroja diferencias significativas entre competencias (C1, C2 y C3) en las diferentes aplicaciones de la e-rúbrica.

Además, se realizan diversos contrastes post-hoc con la prueba Wilcoxon para comprobar entre qué aplicaciones de la e-rúbrica se producen, o no, diferencias significativas. En la Tabla 4 se observa que hay diferencias significativas en la puntuación de la autoevaluación de los estudiantes entre la aplicación 2 y 3 (p=0.04), indicando que los cambios en la evaluación en los diferentes momentos temporales dependen del momento en que se aplique. Tras el uso de la e-rúbrica, comprobamos que hay un progreso significativo desde la primera autoevaluación hasta la última, A1 y A4 (p<0.05), aunque no sea continuo en todas las aplicaciones.

Al realizar un análisis de puntuaciones de cada competencia en cada aplicación de la e-rúbrica, la prueba de Wilcoxon revela diferencias significativas en la competencia C1 entre las puntuaciones obtenidas en la aplicación 1 y 2 (p=0.02), en la C2 entre la aplicación 1 y 2 (p=0.019) y la 2 y 3 (p=0.005) y en la C3 entre la aplicación 2 y 3 (p=0.006). Esto se puede interpretar porque en la primera la primera autoevaluación de C1 son conscientes de los criterios y logran aplicarlos cuando realizan su tarea y, por lo tanto, al ser aspectos formales no varían dependiendo de la temática de los diarios. Mientras que en la C2 y C3 también se aprecia mejora, pero o bien sigue mejorando o bien lo hace a partir de la segunda aplicación, lo cual puede deberse a los aspectos sobre los que se reflexiona o a la falta de integración de los indicadores en sus textos. Aunque todas las competencias muestran un progreso significativo desde la primera a la cuarta aplicación de la e-rúbrica, los resultados muestran que el uso repetido de la autoevaluación con e-rúbricas ayuda a los futuros docentes.

En segundo lugar, también se codifican los argumentos de auto-retroalimentación de los futuros docentes, según su frecuencia (N=531) primero en conjunto y después según competencias, destacando la reducción progresiva en número desde la primera aplicación de la e-rúbrica, pero aumentando la profundidad en la reflexión. El análisis cualitativo encuentra evidencias de progreso en la argumentación, justificación y profundidad de los comentarios reflexivos agrupadas según las aportaciones de las e-rúbricas a las etapas del proceso reflexivo de los futuros docentes adaptado de Smyth (1989) (Tabla 1). En ellas E=futuro docente y A=aplicación.

Descripción: Los futuros docentes describen sus actuaciones mostrando qué aprendizajes prácticos han desarrollado en sus diarios: “Describo las programaciones, los espacios y tiempos, pero no reflexiono. Es cierto que incluyo opiniones mías, pero creo que no es exactamente lo que se pide” (E50, A2). También expresan: “Describo los puntos que para mí son más importantes en mi aprendizaje, pero podría explicar más acerca de cómo lo he aprendido” (E37, A2). Se estima que perciben aquello que ha sucedido en sus prácticas, lo que han comprendido y lo que no, dándole sentido en sus diarios y si es adecuado o no, siendo consciente de si está incluyendo hechos relevantes o no, aunque podría informar todo esto más.

Información: También los futuros docentes informan sobre sus actuaciones, indicando y analizando qué significan los aprendizajes prácticos que han escrito en sus diarios, por qué y para qué, con reflexiones como las siguientes: “Mi reflexión sobre estas experiencias está basada en mi aprendizaje académico, sin embargo, esta vez hay ausencia de referencias de autores en el propio texto, aspecto negativo pues en esta reflexión se pueden incluir autores del ámbito de la psicología. Es decir, me he basado en conocimientos anteriores, pero han faltado referencias de autores.” (E54, A3). También, autoevaluar sus diarios e informar sobre sus contenidos les ayuda a ser conscientes de si proporcionan explicaciones o se quedan en la mera descripción de los hechos. Así, formulan justificaciones del tipo: “Realizo un resumen de lo que acontece en el aula centrándome en diferentes aspectos, pero sin realizar una síntesis reflexiva” (E51, A2) o “Redacto los hechos o experiencias, pero no incluyo mi valoración personal” (E39, A2).

Confrontación: Los futuros docentes indican las razones de sus actuaciones confrontándolas con los indicadores y niveles de logro de la e-rúbrica, identifican los aspectos que deben mejorar y justifican cuáles son las causas percibidas de sus fallos. Ej: “Trato todos los temas, es decir, contextos, espacios y tiempos, pero no los he relacionado entre sí. Esto debería de relacionarlo para mejorar mi narrativa.” (E58, A2). También, justifican la selección de los niveles de logro. Algunos juicios relacionados con su puntuación son: “En este apartado considero que tendría el nivel más bajo. Cuando lo cambie mejoraré mi redacción en cuanto a la redacción y la utilización de códigos audiovisuales.” (E4, A1). Y se puede afirmar que se acostumbraron a identificar cuando reflexionan, a ser conscientes de su evolución (respecto al comienzo, cuando sus textos no fueron de naturaleza reflexiva) y percibir sus fortalezas y debilidades. Ejemplos de estos cambios son: “En comparación con la primera reflexión, he mejorado; aunque debería de realizarlas más cortas.” (E23, A3), “En esta nueva reflexión he estado atenta en relacionar cada una de las ideas que plasmo y tras leer varias veces mi narrativa veo una gran mejora en cuanto a la estructura” (E15, A3) o “En este último escrito he llegado a reflexionar sobre algunos aspectos descritos y voy mejorando en este ámbito, donde “flojeaba” en pasados textos.” (E6, A4).

Reconstrucción: Los futuros docentes razonan cómo podrían mejorar las diferentes competencias, aportan reflexiones críticas en sus argumentos de auto-retroalimentación y comienzan a identificar cómo introducir las mejoras necesarias. Además, indican los aspectos a mejorar lejos de valoraciones positivas vacías de contenido o autocomplacientes y se acercan a reflexiones más profundas sobre la competencia adquirida y por adquirir en el futuro. En este sentido, señalan “(…) he concluido con una valoración de mi experiencia en las prácticas, pero creo que me ha faltado una síntesis de mi aprendizaje al final” (E12, A2) o “(…) se podría argumentar un poco más el porqué (o qué consecuencias podría tener) la metodología empleada en el aula” (E43, A2).

Confrontar datos cuantitativos y cualitativos (las puntuaciones de cada competencia y los argumentos de auto-retroalimentación) ha permitido profundizar en los resultados obtenidos, por ejemplo, conocer el descenso de comentarios en la tercera aplicación de la e-rúbrica (sobre aspectos psicoevolutivos) coincide con una mayor puntuación de las competencias mientras que en la cuarta aplicación (sobre aspectos didácticos) aumentan los comentarios y las puntuaciones disminuyen. Nuestra hipótesis es que podría influir la temática recogida en sus diarios o que al ser la cuarta aplicación la última de la secuencia comprenden mejor los criterios y qué significa una reflexión argumentada con calidad, siendo más críticos.

Discusión y conclusiones

El presente estudio se centra en la autoevaluación con e-rúbricas y, más concretamente, en la evolución de las puntuaciones y los argumentos de auto-retroalimentación de los futuros docentes durante el prácticum. Los resultados muestran una tendencia similar a otros estudios sobre los efectos de las e-rúbricas en la autoevaluación de las competencias adquiridas por los futuros docentes (Cebrián-de-la-Serna et al., 2014; Martínez-Figueira et al., 2013). En esta ocasión profundizamos en los procesos reflexivos, ya que ser capaz de identificar, interpretar, argumentar y atender desde la reflexión las situaciones surgidas en el centro educativo es fundamental para que un futuro docente logre ser competente en su futuro profesional (Barceló Cerdá y Ruiz-Corbella, 2015).

Los resultados de las puntuaciones de las autoevaluaciones muestran un progreso significativo desde la primera a la cuarta aplicación de la e-rúbrica, pero no es significativo en todas las aplicaciones. Esto puede estar ocasionado por el grado de dificultad de los contenidos de esa semana en el diario, ser más conscientes de lo que supone la autoevaluación con e-rúbrica, las condiciones de realización (ser la cuarta aplicación y realizarse al final del semestre, cuando se aproxima la entrega de trabajos y exámenes) o percibir disparidad entre las exigencias entre tutores/as de la universidad (Martínez et al., 2013; Ponz Miranda et al., 2019).

La práctica repetida de la autoevaluación puede influir en la progresión de las puntuaciones obtenidas en la e-rúbrica, ya que ayuda a los estudiantes a ser conscientes de los resultados de su aprendizaje, siendo motivo de avance (Hung, 2019) como se muestra en los resultados. El porcentaje de cambio de las valoraciones coincide con los resultados de Martínez et al. (2013) “El punto de partida para estos estudiantes en nuevas situaciones de uso de la rúbrica estará en el nivel aprehendido” (p. 385).

El empleo sucesivo y progresivo de la autoevaluación con la e-rúbrica ayuda a los futuros docentes a controlar y regular su proceso de pensamiento reflexivo. Se ha mostrado que las rúbricas pueden permitir a los evaluadores tomar conciencia de su nivel de reflexión y satisfacer sus expectativas de mejora, lo que puede, a su vez, influir en su motivación (Alsina et al., 2017). A su vez puede tener un efecto positivo en el rendimiento al prestar más atención a la modificación de sus errores y tener una mayor transparencia sobre qué aspectos son importantes, como muestra el aumento significativo de las puntuaciones de autoevaluación, coincidiendo con los datos del estudio de Panadero y Jonsson (2013).

En relación al segundo objetivo, los resultados de la autoevaluación muestran que los estudiantes realizan argumentos de auto-retroalimentación en las diferentes aplicaciones de las e-rúbricas y, por lo tanto, están activamente involucrados. Las aplicaciones progresivas de la e-rúbrica han permitido explorar el juicio evaluativo, de modo que pasan desde la mera descripción superficial o reproducción de los criterios hasta mejorar en las siguientes aplicaciones, porque informan de cómo y dónde tienen que mejorar (García-Sanz, 2014). Como señalan Tai et al. (2018) la calidad de un juicio evaluativo reside no solo en su realización, sino también en los procesos de pensamiento y las justificaciones empleadas. Aquí los juicios evaluativos de los estudiantes engloban diferentes niveles de reflexión, desde la descripción o información hasta otros más profundos de confrontación o reconstrucción (Smyth, 1989). Pero no todos los evaluadores emiten juicios evaluativos de calidad o llegan a realizar buenos argumentos, algunos no son conscientes de la importancia de este proceso como futuros docentes. Sería necesario apoyar la autoevaluación con e-rúbricas con otras estrategias para ayudar a los evaluadores a identificar y usar los criterios apropiados y comprender si su trabajo cumple con estos requisitos (Tai et al., 2018).

El empleo de la autoevaluación con e-rúbricas ayuda a los estudiantes a ser conscientes de las competencias que deben alcanzar, ser partícipes desde la reflexión de sus diarios de prácticum, decidir y actuar para realizarlos con calidad. La incorporación de rúbricas aporta varios beneficios a los estudiantes: son útiles tanto como mecanismo de evaluación como de aprendizaje, promueven la autorregulación, aportan información sobre los objetivos de aprendizaje, fomentan la responsabilidad y autonomía (Gikandi et al., 2011 Panadero y Jonsson, 2013). En este estudio se han considerado esenciales los criterios que posee la e-rúbrica para lograr una autoevaluación efectiva, ya que haciéndose explícitos estarán más seguro de cómo evaluarse y si lo están haciendo correctamente o no (Panadero y Romero, 2014). En síntesis, un uso progresivo mediante la autoevaluación para que sea un proceso continuo, dinámico y reflexivo, y pueda guiar a los estudiantes a través del proceso cíclico de observar su tarea, identificar sus debilidades y corregirlas (Hung, 2019). Por tanto, se recomienda la autoevaluación con e-rúbricas en el prácticum para lograr una mayor participación de los futuros docentes en su proceso de evaluación y aprendizaje y, sobre todo, para mejorar sus procesos reflexivos. Este último aspecto es fundamental, ya que aproximadamente la mitad de los futuros docentes solo llegan a un nivel intermedio de reflexión, realizan valoraciones y/o críticas de lo observado, concretamente de su propia intervención y su satisfacción general de su estancia en el centro de prácticas (Ruiz-Bernardo et al., 2018). Puede considerarse una limitación del estudio que se realiza solo con estudiantes en prácticum generalista (primer año).

Se concluye que los procesos reflexivos son un requerimiento fundamental para evaluar el desempeño profesional de un docente, sobre todo si se enfocan a la autoevaluación (Salazar et al., 2016). En este estudio la e-rúbrica ha ayudado a la autoevaluación de aquellos aspectos que deben mejorar los estudiantes para afrontar con éxito su futuro desempeño, desarrollando su competencia reflexiva, así como su juicio evaluativo.

En futuros estudios sería interesante averiguar los motivos de que algunos estudiantes no incluyan en ocasiones argumentos de auto-retroalimentación en alguna de las aplicaciones de autoevaluación con e-rúbricas y también en diferencias en cuanto realización y precisión, empleo previo de rúbricas para autoevaluación u otras formas de evaluación formativa. También, podría ser beneficioso combinar la autoevaluación con otras formas de evaluación formativa, como la evaluación por pares, junto a la de tutores. Sería interesante también aplicar el instrumento y replicar el procedimiento con estudiantes de otro nivel de prácticum u otras titulaciones y emplear un diseño con un grupo de control para comparar, y producir así evidencias más sólidas que pudiesen ampliar los estudios en esta línea de investigación.

(1)