Páginas: 183-193

Recibido: 2022-10-11

Revisado: 2022-10-26

Aceptado: 2023-02-02

Preprint: 2023-03-15

Publicación Final:2023-05-15

 

 

www.revistascientificas.us.es/index.php/fuentes/index

DOI: https://doi.org/10.12795/revistafuentes.2023.22222

 

 

Cocreación de la Evaluación Mediada por Tecnología en Educación Superior: Perspectiva Docente

 

Assessment Co-Creation medicated by Technology in Higher Education: Professors’ Perspective

 

Jennifer Saray Santana-Martel
Universidad de las Islas Baleares (España)

Adolfina Pérez Garcias
Universidad de las Islas Baleares (España)

 

 

Resumen

Esta investigación indaga las percepciones que los profesores tienen sobre los procesos de cocreación de la evaluación en entornos de aprendizaje enriquecido por tecnología en educación superior. En este estudio cualitativo de casos múltiples se entrevistó a seis profesores (cuatro mujeres y dos hombres) y se analizaron los datos siguiendo el criterio inductivo-deductivo por medio de Atlas.ti. Este artículo presenta resultados relacionados con el nivel de participación de los/las estudiantes, el rol del alumnado y del profesorado, así como el papel de las TIC en procesos de cocreación y los aprendizajes que ambos agentes adquirieron en él. Del análisis cualitativo de los resultados, se infiere un rol más democrático en el profesorado y un rol activo en el alumnado. Igualmente, se percibe un aumento en el nivel de participación de los/as estudiantes. Además, los aprendizajes de los participantes de este proceso sacan a la luz algunos beneficios y limitaciones sobre la cocreación de la evaluación. Por un lado, se observa la adquisición de habilidades prácticas, de razonamiento y profesional por parte del alumnado. Asimismo, se percibe un aumento de la alfabetización en evaluación, la motivación y la empatía por parte de los mismos. Por otro lado, el profesorado expone el factor tiempo y organizacional como grandes limitantes del proceso de cocreación. Por último, se señala que esta investigación busca contribuir a la escasa literatura y no pretende generalizar sus resultados.

 

Abstract

This research aims to gain professors’ perceptions on assessment co-creation processes in Technology Enhanced Learning Environments (TELE) in Higher Education. We will present results related to students’ level of participation, and students’, professors’, and ICT’s role in the co-creation process. Furthermore, we will show what students’ and professors’ learnt from this process. To do so, we conducted a qualitative multi-case study and we interviewed six professors (four females and two males) who participated in this research. To analyze data, we used Atlas.ti following the inductive-deductive criteria. It is inferred that professors tend to have a more democratic role whereas students assume a more active one. Also, students’ level of participation seems to be raised. In addition, participants, from their learning in assessment co-creation, revealed some benefits and limitations in the process. On the one hand, professors perceived students' acquisition of practical, reasoning, and professional skills on the part of students. Likewise, teachers reported an increase in evaluation literacy, motivation, and empathy on their part. On the other hand, the teaching staff pointed out as major constraints to the co-creation process the time and organizational factors. Finally, we would like to highlight that this research seeks to contribute to the scarce literature and does not intend to generalize its results.

 

Palabras clave / Keywords

Cocreación, evaluación, educación superior, tecnología, percepción, docente, estudiante universitario, estudio de caso

co-creation, assessment, higher education, technology, perception, professor, university student, case studies


1. Introducción

 

Las Tecnologías de la Información y la Comunicación (TIC) están presentes en los procesos de enseñanza-aprendizaje, lo que ha conllevado el surgimiento de metodologías activas donde el alumnado adquiere mayor participación y responsabilidad. El codiseño educativo (Santana-Martel y Pérez-Garcias, 2020), la cocreación de los procesos de enseñanza-aprendizaje (Bovill, 2020), el diseño participativo (Sanders y Stappers, 2008), Staff-student partnership (Deeley y Bovill, 2017), y Students as Partners (Healey et al., 2014) son enfoques metodológicos que nacen de la necesidad de involucrar al alumnado en diversos aspectos de la vida académica. Aunque estos términos se utilizan indistintamente (Bovill, 2020), en este trabajo referiremos generalmente al concepto de cocreación entendido como la construcción colaborativa de aprendizaje y/o recursos educativos entre profesorado y alumnado en procesos de enseñanza-aprendizaje (Bovill et al., 2016). Igualmente, se destaca el codiseño educativo como un enfoque incipiente en el que se encuentran diversas perspectivas. Por ejemplo, para Healey et al. (2016) el codiseño presenta cuatro grandes áreas de actuación interrelacionadas entre sí; (1) el aprendizaje, la enseñanza y la evaluación, (2) diseño curricular y consultoría pedagógica, (3) asignaturas basadas en investigación y (4) becas para el aprendizaje y la enseñanza. Bovill et al. (2016), por su parte, distingue entre cocreación del currículo, entendiéndose como el proceso que ocurre antes que se dé inicio al programa académico o al curso, y cocreación en el currículo, aquel que se lleva a cabo en el transcurso de los mismos.

En cuanto a las fases del proceso de codiseño, Gros (2019) presenta tres: (1) fase de descubrimiento, (2) fase de ideación y (3) fase de prototipado.  La primera pretende una familiarización entre agentes sobre las diferentes formas de trabajar. La segunda busca la participación colaborativa para comprender y organizar la labor a realizar.  Y en la última, estos dan forma al producto codiseñado de manera reiterativa hasta ajustarlo tal como se lo imaginaron. Además, Bovill (2019) añade que para cocrear el aprendizaje y la enseñanza se deben considerar múltiples aspectos que atienden al contexto educativo y las características de los agentes implicados, así como los diversos motivos por los cuales se desarrolla la cocreación en educación superior.

Entre los aportes del codiseño, Dollinger et al. (2018) anuncian dos indicadores, por un lado, de valor agregado, ligado al efecto que la cocreación genera y por otro, la coproducción, entendida a su vez, como una manera de compartir información, establecer equidad e interactuar. Adicionalmente, el codiseño educativo promueve un cambio de rol entre los participantes.  Por ejemplo, Bovill y Bulley (2011) describen cuatro niveles de participación: en el primer escalón, el/la tutor/a tiene el control de la toma de decisiones, en el segundo, los/as docentes toman decisiones a partir de la retroalimentación del alumnado, en el tercero, los/as estudiantes tiene capacidad de elección e influencia y, por último, en el cuarto escalón, el estudiantado toma decisiones y ejerce influencia substancialmente. Por lo que se infiere un rol docente tradicional (centrado en él/ella) en los primeros peldaños, mientras que en los últimos asume un rol democrático dentro del proceso educativo, centrado en el alumnado. Desde otro ángulo, Bovill et al. (2016), explican que dentro del codiseño educativo el alumnado puede asumir uno o varios de los siguientes roles: representante, consultor, coinvestigador o codiseñador pedagógico. La cocreación en el curriculum mediada por tecnología está poco a poco tomando fuerza, y aunque la literatura es limitada, se destacan algunas experiencias llevadas a cabo con el alumnado universitario. Por ejemplo, se han codiseñado diversidad de iniciativas artísticas (Chemi y Krogh, 2017), soluciones innovadoras para aprender ciencias fuera de clase (Dural et al., 2019) e incluso, modelos para el aprendizaje con la metodología aula invertida (Blau y Shamir-Inbal, 2017; Uskoković, 2018). También, se han cocreado itinerarios de aprendizaje (Villatoro y de-Benito, 2022), herramientas para itinerarios de aprendizaje (Hyysalo et al., 2019; Wareing et al., 2019), así como actividades de resolución de problemas en línea (Pee, 2020). Igualmente, se ha diseñado de manera colaborativa entre profesorado y alumnado un programa de aprendizaje asistido entre iguales (Higgins et al., 2019), recursos digitales de aprendizaje basados en juegos (Clarke et al., 2020) y un campus virtual 3D para la enseñanza a distancia sincrónica (González-Yebra et al., 2019).

En cuanto a la participación del alumnado en procesos de evaluación se distinguen tres fases: (1) planificación de la evaluación, (2) desarrollo y/o ejecución de la evaluación y/o (3) valoración de los resultados de aprendizaje (Rodríguez Gómez et al., 2013). Concretando en la cocreación de la evaluación, se puede negociar y decidir entre profesorado-alumnado el tipo de evaluación y/o el peso de la nota en los diferentes procesos evaluativos. También, se pueden codiseñar los criterios de evaluación, técnicas/instrumentos de evaluación y/o retroalimentación. Asimismo, se puede reflexionar de manera colaborativa sobre el proceso de codiseño en sí y/o del producto cocreado. Y, finalmente, se puede cocrear la valoración de los resultados por medio de la coevaluación entendida como el consenso de la nota final entre profesorado y alumnado.

Pese a que en educación superior la literatura sobre procesos de cocreación de la evaluación es escasa (Santana-Martel y Pérez-Garcias, 2022b), se muestran diferentes maneras de abordar el codiseño en un ámbito tan delicado como la evaluación. Por ejemplo, Walters et al. (2017) diseñaron el examen mediante talleres donde el alumnado lideraba y el profesorado orientaba, mientras que Doyle y Buckely (2020) cocrearon preguntas de selección múltiple de las cuales se seleccionaron algunas para ser incluidas en el examen. Además, Walters et al. (2017) acordaron con el alumnado la fecha de entrega, la naturaleza y la rejilla de evaluación de una actividad. Asimismo, Deeley y Bovill (2017) cocrearon con su alumnado la rúbrica de evaluación que además luego fue usada para evaluar un trabajo. Similarmente, Thompson et al. (2020) consensuaron la nota con sus estudiantes. Por último, Triantafyllakos et al. (2011) codiseñaron una aplicación móvil destinada a realizar la evaluación a través de la cocreación y la gamificación educativa.

Por otro lado, la literatura sobre procesos de cocreación enriquecida por TIC también es limitada (Gros, 2019). Villatoro y de Benito (2021) observan que la plataforma Moodle es el entorno virtual más usado en codiseño educativo. Por otra parte, los sistemas de videoconferencia (Blau y Shamir-Inbal, 2018), las Wikis de Moodle, los Grupos de Facebook (Gros y López, 2016) y el correo electrónico (Doyle et al., 2018) son las herramientas que se han utilizado para interactuar durante el proceso de cocreación. Además, ‘Looping Slideshow’ (Durall-Gazulla et al., 2019), infografías, calendario y mensajes de foros (Villatoro y de Benito, 2021) se han usado para planear el codiseño. Por otro lado, Tablets (Haraldseid et al., 2016), correo electrónico (Doyle et al., 2018), Fablabs y Canva (Durall-Gazulla et al., 2019), Hybrid Ideation Space (Dorta et al., 2016), así como sistema de gestión del aprendizaje, mapas conceptuales, cuestionarios, Webquests, buscadores de internet y Google Docs (Villatoro y de Benito, 2021) han sido las herramientas y recursos TIC seleccionados para prototipar. En el caso del uso de las tecnologías digitales en la cocreación de la evaluación, Doyle et al. (2018) utilizaron el correo electrónico, Benítez-Sillero et al. (2020) Kahoot y Doyle y Buckely (2020) PeerWise para la fase de prototipado donde cocrearon preguntas de selección múltiple. Asimismo, Doyle y Buckley (2020) codiseñaron un vídeo con su alumnado como parte de un trabajo donde debían desarrollar contenido de la asignatura. Finalmente, se destaca Aropä (Deeley y Bovill, 2017) y EvalCOMIX (Quesada et al., 2017) como herramientas estrechamente relacionadas con la cocreación de evaluación en educación superior.

Finalmente, el codiseño educativo comprende una serie de aprendizajes (Santana-Martel y Pérez-Garcias, 2022a), beneficios y limitaciones (Santana-Martel y Pérez-Garcias, 2022b). El aprendizaje se entiende como un proceso mediante el cual se desarrolla una modificación relativamente estable de las relaciones estímulo-respuesta como consecuencia de la interacción funcional con el entorno a través de los sentidos (Lachman, 1997). Santana-Martel y Pérez-Garcias (2022a) observaron en su estudio una serie de aprendizajes relacionados con la adquisición y/o mejoramiento de habilidades académicas y de aprendizaje para toda la vida. Las autoras indicaron como el proceso de cocreación mostraba indicios en el aumento de la autoregulación, agencia y motivación del alumnado. Asimismo, lo anterior es visto como un beneficio patente derivado del proceso de codiseño (Blau y Shamir-Inbal, 2018). Además, Santana-Martel y Pérez-Garcias, 2022b), destacaron como beneficios el mejoramiento del aprendizaje y las tareas realizadas, la oportunidad de estar activamente involucrados en su propio proceso de aprendizaje y el sentimiento de comunidad desprendido del proceso de cocreación. Por otro lado, las autoras concluyeron que el trabajo colaborativo entre los agentes involucrados suponía una limitación en conjunto con la cantidad de tiempo y esfuerzo que el proceso de codiseño requiere.

 

2. Metodología

 

La presente pesquisa busca identificar la percepción que los docentes tienen sobre el proceso de cocreación de la evaluación (PCE) mediado por TIC en educación superior (ES) (en adelante, PCE-TIC-ES). Para llevar a cabo esta investigación, se ha seleccionado el paradigma cualitativo bajo dos métodos: el estudio de caso y el fenomenológico. Por un lado, el estudio multicaso  busca conocer la manera en que el fenómeno se desarrolla en diferentes ambientes, recopilando datos de seis casos diferentes, cuyo quintain se enfoca en los PCE-TIC-ES (Stake, 2006:23). Y, por otro lado, se busca describir el fenómeno desde el punto de vista de las personas que llevan a cabo la experiencia (Neubauer et al, 2019), en este caso, la percepción de los profesores. Por lo que, se plantean las siguientes preguntas de investigación sobre el PCE-TIC-ES desde el punto de vista del profesorado:

 

(1)   ¿Cuál es el rol del alumnado, del profesorado y de las TIC?

(2)    ¿Cuál es el nivel de participación del alumnado?

(3)   ¿Cuáles son los aprendizajes y/o habilidades que el alumnado ha adquirido o mejorado?

(4)   ¿Qué tipo de aprendizajes y reflexiones se genera en el profesorado?

 

Los casos de estudio se obtuvieron a partir de invitación a docentes participantes de un seminario previo de formación en codiseño educativo, de los cuales cuatro profesoras y dos profesores aceptaron la invitación a participar en esta investigación y cocrearon la evaluación con su alumnado de la Universidad de las Islas Baleares (universidad pública española) durante el año académico 2021-22 (ver tabla 1). Una vez dado el consentimiento informado, se conformaron seis casos en asignaturas relacionadas con tecnología educativa impartidas en modalidad virtual (caso 1 y 2) o semipresencial (caso 3, 4, 5 y 6):

 

·       En el primer caso, la docente cocreó la rúbrica de evaluación de un trabajo con sus alumnas (6) de segundo curso del grado en Educación Primaria. Cabe aclarar que en la asignatura “Medios y recursos tecnológicos para la enseñanza-aprendizaje en educación primaria” se trabaja por medio de secuencias didácticas. Por lo que sólo se cocreó con la totalidad de los alumnos que seleccionaron la secuencia didáctica “Diseño de una secuencia didáctica enriquecida por TIC”.

·       En el segundo caso, la profesora codiseñó con sus alumnas (2) de tercer semestre del grado de Educación Primaria los criterios de evaluación, los porcentajes de evaluación y el peso que cada uno de estos debía tener en la nota de una actividad. Como en el caso anterior, al ser la misma asignatura, la propuesta pedagógica está basada en secuencias didácticas, pero en este caso se cocreó con alumnos que seleccionaron la secuencia didáctica “Propón tu proyecto personal”. No obstante, de la totalidad de los alumnos que seleccionaron esa secuencia (5) solo cocrearon 2, el resto decidió no participar y expusieron que estarían de acuerdo con lo que sus compañeras y la docente codiseñaran para su evaluación.

·       En el tercer caso, el docente cocreó con sus alumnas de primer semestre del grado de Educación Infantil (14) los criterios de evaluación para una actividad de clase. El instrumento de evaluación fue usado en repetidas ocasiones, ya que la actividad se realizaba en varios momentos del semestre.

·       En el cuarto caso, la profesora codiseñó con su alumnado (61) del grado en Pedagogía los criterios de evaluación y el instrumento de evaluación de un trabajo.

·       Finalmente, en el quinto y sexto caso, los docentes compartían asignatura, no obstante, cada uno cocreó por separado la rúbrica de evaluación de una actividad con su alumnado (20 estudiantes en el caso 5 y 35 en el caso 6) de cuarto semestre del grado de Pedagogía, que se encontraba dividido en dos seminarios dentro de la asignatura. Cada docente llevó un proceso de codiseño diferente, por lo que se consideran dos casos diferentes.

 

Tabla 1:

Descripción de los casos estudiados

(Caso)

Asignatura

Grado

Semestre

Alumnado participante en PCE-TIC-ES/ total matriculados

Producto cocreado

Modalidad de aprendizaje

Tipología

(1)    Medios y recursos tecnológicos para la enseñanza-aprendizaje en educación primaria

Grado de Educación Primaria

3

6/19

Rúbrica de evaluación

Virtual

 

Obligatoria

(2)    Medios y recursos tecnológicos para la enseñanza-aprendizaje en educación primaria

Grado de Educación Primaria

3

2/49

Porcentajes de evaluación

Criterios de evaluación y el peso que cada criterio debía tener en la nota final.

Virtual

Obligatoria

(3)     Comunicación audiovisual y multimedia en Educación Infantil

Grado de Educación Infantil

1

14/14

Criterios de evaluación

Semipresencial

 

Optativa

(4)    Tecnología Educativa II: Elaboración de Materiales Didácticos

Grado de Pedagogía

3

61/61

Criterios de evaluación

Instrumento de evaluación

Semipresencial

Obligatoria

(5)    Gestión del conocimiento y aprendizaje en red

Grado de Pedagogía

4

20/55

Rúbrica de evaluación

Semipresencial

Obligatoria

(6)    Gestión del conocimiento y aprendizaje en red

Grado de Pedagogía

4

35/55

Rúbrica de evaluación

Semipresencial

Obligatoria

 

También, hay que exponer que en los casos tres, cuatro, cinco y seis, el alumnado tenía como base un instrumento de evaluación previamente diseñado, aunque los/as alumnos/as podían modificarlo en su totalidad si así ellos/as lo consideraban oportuno. No obstante, en los dos primeros casos no se tuvo ningún referente. Por otro lado, cabe aclarar que en los casos 1 y 2 el PCE se realizó de manera virtual con trabajo sincrónico y asincrónico. En los casos 3 y 4 se codiseño en modalidad tanto presencial como virtual, debido a que el PCE se extendía a varias sesiones. Mientras que en los casos 4 y 5 se cocreó exclusivamente de manera presencial, ya que el producto se realizó en una sesión de clase. Asimismo, se hace necesario clarificar que los docentes participantes explicaron el concepto de cocreación y las fases que se llevarían a cabo en los respectivos casos, siendo el PCE de carácter voluntario donde los estudiantes ganarían la experiencia educativa. En todos los casos, los alumnos aceptaron participar en este proceso, a excepción del caso 2, en el que tres alumnos decidieron no participar.

Por otro lado, el instrumento usado para recoger datos ha sido la entrevista cualitativa de tipo semiestructurada basada en 5 dimensiones: (1) Roles (estudiante, docente y TIC), (2) nivel de participación, (3) habilidades y aprendizajes adquiridos por el alumnado, y (4) aprendizajes y reflexiones de las/os docentes, cuya duración osciló entre los 40-90 minutos dependiendo del caso. Es necesario aclarar que, al ser la presente investigación parte de un estudio mayor que busca diseñar un modelo para la cocreación de la evaluación teniendo en consideración la percepción de ambos agentes (estudiantado y profesorado), se tuvo como referencia el cuestionario validado que se administró a los estudiantes con anterioridad para la creación del instrumento (Santana Martel y Pérez-Garcias, 2022a; Santana-Martel y Pérez-Garcias, 2022b).

El análisis de datos se realizó mediante la herramienta Atlas.ti aplicando criterios inductivos-deductivos en el que previamente se establecieron las categorías generales relacionadas con las dimensiones a analizar y, posteriormente, se asignaron códigos a cada categoría a través de la metodología inductiva.

 

3. Resultados

A continuación, se presentan los resultados del estudio multicaso cuyo objetivo principal es conocer la percepción docente en PCE-TIC-ES. En primer lugar, se muestran las evidencias encontradas respecto a los roles que docente y alumnado asumieron durante el PCE, así como su nivel de participación. En segundo lugar, se presenta el rol de las TIC en los PCE estudiados. En tercer lugar, se analizan las habilidades y aprendizajes adquiridos por los alumnos. Y, por último, se relatan los aprendizajes y reflexiones que los docentes obtuvieron luego del PCE.

 

3.1. Percepción sobre rol del docente, el rol del estudiante y el nivel de participación

 

Durante el PCE los/las docentes asumieron diferentes papeles en cada uno de los casos: rol de codiseñador (caso 1, 2, 4 y 5), guía (caso 1, 2, 4, 5 y 6) y organizador (caso 1, 3, 4 y 5), asesor (caso 1, 2 y 4), facilitador (caso 2, 3 y 5), gestor del aprendizaje (caso 2, 3 y 4) y dinamizador (caso 1, 3 y 5), así como tutor (caso 5). En cuanto a la percepción del rol del alumnado, todos los docentes coincidieron en que estos asumieron el rol de codiseñador pedagógico. No obstante, se percibieron diferencias sobre el nivel de participación del alumnado. Por un lado, el profesorado de los casos 1, 2, 3 y 6 consideran que los estudiantes tuvieron el control en la toma de decisiones, influyendo substancialmente en el PCE, alcanzando de esa manera un partenariado entre profesorado-alumnado. Mientras que las profesoras de los casos 4 y 5 expresan que aunque sus alumnos tuvieron cierta capacidad para elegir e influir en su proceso de evaluación, el hecho de haberles dado ciertos criterios o pautas preestablecidas limitó su nivel de participación.

 

3.2. El rol de las TIC

 

En cuanto al papel de las TIC en el PCE se identifican cinco finalidades (ver tabla 2): (1) para contextualizar el PCE, (2) para activar el PCE, (3) para prototipar, (4) para comunicarse durante el PCE y (5) para trabajar con el producto cocreado, independientemente de la modalidad de aprendizaje usada (virtual o semipresencial). Zoom (caso 2), Formulario de Google (caso 4) y PowerPoint (caso 5) fueron las tecnologías digitales que se usaron para contextualizar el codiseño educativo. Jamboard (caso 2) y Formularios de Google (caso 4) se seleccionaron para activar el PCE. Por otro lado, Google Docs fue la herramienta usada por excelencia para prototipar en la mayoría de los casos, a excepción del cuarto caso que usó Padlet y Formulario Google. Zoom (caso 1, 2, 3 y 4) y Foros de Moodle (caso 1, 2 y 3) fueron las herramientas más utilizadas para comunicarse durante el PCE, aunque también se hizo uso de mensajería de Moodle (caso 2). Finalmente, la plataforma Moodle se seleccionó en cinco casos (1, 2, 3, 5 y 6) para trabajar con el producto cocreado, mientras que en el cuarto caso se usó Formulario Google.

Por otro lado, se destaca que tanto Zoom como Moodle son herramientas institucionales, siendo Moodle la plataforma institucional que integra a su vez el sistema de videoconferencias Zoom. Igualmente, se recalca el esencial uso del Campus Virtual (Moodle) en todos los casos, ya que es el entorno en el cual se conduce el trabajo sincrónico y asincrónico en ambas modalidades de aprendizaje (virtual y semipresencial), incluido el PCE. Además, cabe aclarar que Zoom, Jamboard, Formulario de Google, PowerPoint y Padlet fueron usados de manera sincrónica mientras que el Foro y Mensajería de Moodle se usó de forma asíncrona. Igualmente, indicar que Google Docs se usó indistintamente de manera asíncrona y síncrona en los tres primeros casos mientras que en los dos últimos se usó de forma asíncrona. Para terminar, cabe resaltar Google Docs como la herramienta por excelencia para prototipar, Zoom para comunicarse y Moodle para trabajar con el producto cocreado tanto en modalidad virtual como semipresencial.

Tabla 2:

El uso de las TIC en la cocreación de la evaluación

Propósito

Caso 1

Caso 2

Caso 3

Caso 4

Caso 5

Caso 6

Para contextualizar

 

 

Zoom (s)

 

Formulario Google (s)

Power Point (s)

 

Para activar la cocreación

 

Jamboard (s)

 

Formulario Google (s)

 

 

Para prototipar

Google Docs
(s y a)

Google Docs
(a y s)

Google Docs
(s y a)

Padlet (s)

Formulario Google (s)

Google Docs
(s)

Google Docs (s)

Para comunicarse

Zoom (s)
Foro (a)

Zoom (s)
Foro (a)
Mensajería (a)

Zoom(s)
Foro (a)

 

Zoom (s)

 

 

Para trabajar con el producto cocreado

Plataforma Moodle (a)

Plataforma Moodle (a)

Plataforma Moodle (a)

Formulario Google (s)

Plataforma Moodle (a)

Plataforma Moodle (a)

(a)    Asincrónico

(s)    Sincrónico

 

 

 

3.3. Aprendizajes de los alumnos

 

El profesorado percibe diferentes tipos de aprendizajes que los/las estudiantes adquieren o fortalecen durante el PCE. Todos los participantes (excepto el caso 3) aluden a la importancia de adquirir competencias para evaluar, dado que se crea conciencia sobre el proceso de evaluación al que se enfrentarán como futuros profesionales de la educación, que desde el punto de vista de algunos docentes (caso 1 y 6) esta competencia está poco desarrollada en los grados de Educación Primaria y Pedagogía. Asimismo, la profesora del quinto caso expresa que los alumnos del Grado en Pedagogía no tienen ninguna asignatura referente a procesos de evaluación por lo que la cocreación beneficia al alumnado a tomar conciencia de las implicaciones que lleva evaluar. Igualmente, las docentes del segundo y cuarto caso aportan que se evidenció la adquisición de esta conciencia, puesto que aprendieron que existen diferentes elementos a tener en cuenta dentro de la misma (agentes, porcentajes, criterios, objeto de evaluación…), así como lo que implica diseñar la evaluación y evaluar en sí mismo.

La habilidad de reflexionar se hizo patente mientras ganaban conciencia sobre el proceso de evaluación. Por ejemplo, en el cuarto caso, la profesora expresa que los alumnos codiseñaron los criterios de evaluación partiendo de la reflexión sobre los aprendizajes conceptuales que iban adquiriendo en la asignatura y que se debían tener en cuenta para evaluar sus productos finales. Mientras que en el caso 1, el proceso de reflexión les invitaba a tomar decisiones de manera consciente y objetiva. Además, el profesor del tercer caso, expone que la cocreación de los criterios de evaluación supone un cierto nivel de complejidad por causa del componente reflexivo de los criterios de evaluación codiseñados. En este caso, los estudiantes tenían que hacer constar los contenidos que tenían que adquirir en la asignatura, al mismo tiempo que el producto cocreado debía invitar a reflexionar sobre los mismos. Conjuntamente, el profesor recalcaba el aumento de la motivación en sus alumnos por el hecho de ser partícipes en la construcción de los criterios de evaluación. De igual manera, algunos profesores (caso 3, 4 y 6) expresan que el codiseño de la evaluación fomenta la capacidad de negociación, puesto que este proceso requiere de discusión y, sobre todo, consenso. Específicamente, el profesor del sexto caso resalta la necesidad de generar consensos en grupos grandes como en su asignatura. Por otra parte, la docente del quinto caso considera que mediante el PCE se fomenta el pensamiento crítico así como la habilidad de ponerse en el lugar del otro, aumentando así la empatía en el alumnado. Desde otro ángulo, la docente del cuarto caso percibe que se fomenta el uso de las TIC durante el trabajo en grupos. Finalmente, la docente del caso 1, expresa que los estudiantes aprendieron a realizar mejor sus diseños didácticos debido a la naturaleza de los contenidos a evaluar, puesto que el alumnado debía entender los procesos de diseño en profundidad para poder cocrear la rúbrica satisfactoriamente.

 

3.4. Aprendizajes y reflexiones de los docentes

 

Los profesores entrevistados expresan que han aprendido del PCE con su alumnado de diversas maneras. Por ejemplo, la docente del primer caso considera que su aprendizaje surge del  PCE en sí mismo, ya que para ella, esta es una estrategia pedagógica en entornos personales de aprendizaje enriquecida por tecnologías que tienen fases concretas (ideación, descubrimiento y prototipado) que ayudan a materializar su propuesta metodológica personal. Igualmente, la profesora del segundo caso  considera que el PCE enriquece el proceso educativo, no obstante, resalta que es necesario tomarse tiempo para establecer mejor las fases para crear el producto codiseñado. Similarmente, los/as docentes de los casos 4, 5 y 6 expresan que uno de los aprendizajes recae en la necesidad de rediseñar las fases llevadas a cabo. Además, la docente del cuarto caso recalca la importancia de repensar las estrategias para recolectar los consensos cuando se trabaja con grupos grandes. Adicionalmente, el docente del sexto caso considera que se debe presentar y ejecutar el PCE desde el inicio de curso en lugar de hacerlo finalizando el semestre como sucedió en su caso. Por otro lado, la profesora del quinto caso expresa que durante el PCE se hizo evidente que el alumnado estaba motivado pese a la carencia cognitiva sobre la evaluación, por lo que considera que los docentes deben dar más voz y voto a sus estudiantes incluso en estos procedimientos. Por consiguiente, enfatiza la necesidad de trabajar colaborativamente entre profesorado-alumnado en este ámbito académico. No obstante, la docente del cuarto caso expone que para que lo anterior sea tangible es necesario que se produzca un proceso de apropiación por parte del alumnado. Finalmente, el profesor del tercer caso destaca como aprendizaje el hecho de poder crear un ambiente óptimo donde el diálogo entre docente-alumnado es fluido y al mismo nivel, salvaguardando las limitaciones de tiempo y trabajo que el PCE requiere.

Partiendo de los aprendizajes adquiridos de este proceso de innovación, se destaca que todos los/as profesores/as desean volver a cocrear la evaluación. En la mayoría de los casos (1, 2, 4, 5 y 6) se desea hacer una re-planificación del proceso o ajustes del mismo. Indudablemente, cada docente reflexiona sobre cuál sería la mejor manera de aproximarse al PCE de cara a futuros grupos. Por ejemplo, el docente del sexto caso considera oportuno comenzar a cocrear con antelación en su asignatura, mientras que la profesora del quinto caso piensa que no se debe adelantar demasiado el PCE, ya que quizás a esas alturas el alumnado no tiene claridad de lo que se requiere hacer en el trabajo a realizar en su asignatura. Además, esta profesora considera que el tiempo de cocreación debe estar limitado, por lo que no establecería periodos largos para este fin. En el segundo caso, la profesora, motivada por los resultados obtenidos, aunque conocedora del factor tiempo como mayor limitante, está decidida a extender esta práctica en las diferentes actividades propuestas para su asignatura, ajustando la propuesta de codiseño inicial. Finalmente, la profesora del cuarto caso incluirá la cocreación de la evaluación, pero simplificará procedimientos, ya que su asignatura presenta varias metodologías activas (gamificación, codiseño de itinerarios, Aps…) que abruman al alumnado y sobrecargan al docente.

 

4. Discusión

 

Este estudio proporciona información valiosa sobre los roles de los agentes involucrados en PCE, el nivel de participación, el papel de las TIC y los aprendizajes de los/as participantes sobre en el PCE.

En primer lugar, se observa que el papel asumido por los/as docentes dista, ostensiblemente, del rol del “docente tradicional”, tratando de alejarse de una concepción elitista recurriendo a que los alumnos tomen parte activa en la toma de decisiones dentro del aula (Belavi et al, 2021). En la búsqueda por tener una interacción trasformadora, en la que el alumnado debe asumir a su vez un rol activo, en este caso como codiseñador pedagógico, se observa que, por un lado, en cuatro casos el profesorado se identifica como codiseñador, guía y organizador, así como en 3 casos se definen como docente asesor, facilitador, gestor del aprendizaje y dinamizador. En este cambio de paradigma, el profesorado da a sus alumnos/as libertad y oportunidad de aprender, por lo que se podría inferir que los/as docentes apropian, a su vez, un rol de co-aprendiz (Rogers y Freiberg, 1994) mediante el PCE. Así pues, se hace evidente que la posición del docente cambia, convirtiéndose en “el entrometido en la mitad” (Kaminskiene et. al, 2020) durante el PCE. Además, se muestra que los docentes trataron de ubicarse en los últimos escalones de la escalera de participación propuesta por Bovill y Bulley (2011) situándose cuatro profesores/as en “parternariado-currículo negociado” y dos profesoras en “estudiantes en control de áreas preestablecidas”, pese a que otros estudios contemplan la reticencia a ceder el poder frente al alumnado por parte del profesor en educación superior (Bovill, 2020).

Por otro lado, en cuanto al rol de las TIC, se observa como “Moodle” ha sido la plataforma de aprendizaje virtual más usada en PCE, correspondiéndose con los resultados del estudio de Villatoro y de Benito (2021). Además, se coincide con las autoras en el uso de Zoom para contextualizar el proceso de codiseño, aunque éstas también señalan el uso de infographic, calendar y mensaje de foros de Moodle para este fin. Igualmente, Durall-Gazulla et al. (2019) incorporó Looping Slideshow en esta fase en lugar de PowerPoint. Para comunicarse se observa similitud sobre el uso de sistemas de videoconferencia con otros autores (Blau y Shamir-Inbal, 2018). No obstante, se encuentran diferentes opciones para interactuar en el codiseño educativo: Grupos de Facebook, Wikis de Moodle (Gros y López, 2016) y el correo electrónico (Doyle et al., 2018). Finalmente, para prototipar se observa semejanza con la pesquisa de Villatoro y de Benito (2021) en el uso del Formulario Google y Google Docs.

Por otro lado, los/as docentes observaron cómo su alumnado adquirió y/o reforzó habilidades prácticas y de razonamiento (Blau y Shamir-Inbal, 2018) como la capacidad de realizar diseños didácticos, fomentar el pensamiento crítico, habilidad de reflexionar (Cook-Sather et al., 2014), empatía (Santana-Martel y Pérez-Garcias, 2022a), así como la capacidad de tomar decisiones y negociar (Bovill, 2020). Por lo que de alguna manera, el PCE contribuye en la adquisición de habilidades para toda la vida (Santana-Martel y Pérez-Garcias, 2022a). Además, se afirma que se observa el aumento de la motivación estudiantil por medio del codiseño educativo (Deeley y Bovill, 2017). Igualmente, se intuye que los PCE favorecen el desarrollo profesional (Blau y Shamir-Inbal, 2018). Específicamente, en este estudio se resalta el valor de codiseñar la evaluación, debido a que su futuro profesional requerirá que tengan conciencia sobre el proceso de evaluación. Por tanto, los docentes entrevistados señalan la importancia sobre la alfabetización en materia de evaluación (Santana-Martel y Pérez-Garcias, 2022b), así como la adquisición de competencias para evaluar de manera efectiva como futuros profesionales de la educación.

Adicionalmente, los profesores entrevistados reflexionaron sobre sus propios aprendizajes en el PCE. Por un lado, se evidenció la importancia de establecer un ambiente propicio para que el diálogo, las negociaciones y los consensos se pudieran generar. Para ello, se resalta la necesidad de favorecer espacios de comunicación (Deeley y Bovill, 2017) donde el profesor acepte a sus alumnos como socios críticos que pueden aportar conocimiento (Kaminskienė et al., 2020), dando de esta manera mayor participación al alumnado en su proceso de enseñanza-aprendizaje. No obstante, durante el PCE se debe propiciar una orientación adecuada. Consecuentemente, una de las docentes exaltaba el valor de partir de modelos existentes (Bovill y Bulley, 2011; Dollinger et al., 2018; Gros, 2019; Healey et al., 2016), ya que, al tener unas fases concretas, se puede establecer una metodología apropiada y adaptada a las necesidades del grupo y, por ende, guiar mejor a su alumnado. En concordancia, otros docentes reflexionaron sobre la trascendencia de rediseñar los procedimientos llevados a cabo durante esta práctica, planificando nuevamente para establecer mejor las fases. Por otro lado, los/as docentes expresan haber aprendido que, pese a que los/as alumnos carecían del conocimiento necesario para codiseñar la evaluación (Santana-Martel y Pérez-Garcias, 2022b), este procedimiento les resultó motivante (Haraldseid et al., 2016). Finalmente, en este estudio, los profesores percibieron que el PCE requiere de mucha dedicación (Bovill, 2020) y tiempo (Blau y Shamir-Inbal, 2018), por lo que se expone la necesidad de establecer muy bien las fases en PCE-TIC-ES.

 

5. Conclusiones

 

En concordancia con el análisis de los resultados de este estudio y su discusión, se destacan las siguientes conclusiones: en primer lugar, se evidencia el cambio de roles que los agentes asumen durante el proceso de cocreación. Por un lado, el docente se desprende del rol tradicional y trata de asumir roles más democráticos (codiseñador, guía, organizador, asesor, facilitador, gestor del aprendizaje y dinamizador). Por su parte, el alumnado se posiciona como un agente activo dentro de su proceso de enseñanza-aprendizaje, tomando el papel de codiseñador pedagógico. Asimismo, se muestra como los alumnos se han situado en los dos últimos peldaños de la escalera de participación en educación, mostrando el alto nivel de participación en el proceso de codiseño.

Del mismo modo, este estudio ha ilustrado el rol que las TIC han tenido en el proceso de cocreación de la evaluación. Las tecnologías digitales además de ser el vehículo (Campus Virtual) por el cual se desarrolla el PCE, independientemente de la modalidad de aprendizaje (virtual o semipresencial), se han usado para: (1) comunicarse: Zoom, Foros y mensajería de Moodle, (2) contextualizar: Zoom, Formulario de Google y una presentación PowerPoint, (3) activar el PCE: Jamboard y Formularios de Google, (4) prototipar: Google Docs, Padlet y Formulario Google y (5) trabajar con el producto cocreado, Moodle y Formularios Google.

En cuanto a los aprendizajes obtenidos por parte del alumnado se observan, sobre todo, beneficios. De ellos, se resalta la contribución con la alfabetización en evaluación que los y las estudiantes adquieren en los Grados de Educación Primaria, Educación Infantil y Pedagogía mediante el PCE, debido a que en su desarrollo profesional deberán tener asumidas competencias para saber evaluar a sus futuros/as alumnos/as. Además, se percibe un aumento de la motivación y de empatía, así como un fortalecimiento en la adquisición de habilidades prácticas, de razonamiento y profesionales por parte del alumnado a partir de este proceso académico.

En cuanto a las reflexiones docentes frente a sus propios aprendizajes, se exalta el significativo interés del profesorado en seguir participando en procesos de codiseño educativo, pese a la carga de tiempo y trabajo como gran limitante, ya que se observan resultados positivos en su alumnado (aumento de motivación, alfabetización en materia de evaluación y adquisición de habilidades). Sin embargo, los docentes son conscientes de la necesidad de planificar nuevamente o realizar ajustes necesarios a las fases que se llevarán a cabo en futuros cursos con el fin de garantizar el buen desarrollo de la cocreación de la evaluación.

Finalmente, se exalta el valor de esta investigación, enmarcada en un estudio mayor, debido a su contribución con la limitada literatura con respecto a los PCE-TIC-ES. No obstante, se hace necesario aclarar que debido a la naturaleza de este estudio, la información proporcionada debe entenderse como la descripción del fenómeno que ocurrió en seis casos específicos con un grupo limitado y homogéneo de estudiantes, siendo ésta nuestra mayor limitación. Por ello, no pretendemos generalizar nuestros resultados. Futuras líneas de investigación deberán indagar en los efectos cognitivos y de adquisición de habilidades que el codiseño educativo pueda tener en los estudiantes de educación superior. Del mismo modo, futuras investigaciones deberán diseñar un modelo para la cocreación de la evaluación que se ajuste a las necesidades educativas de los estudiantes universitarios.

 

Apoyos

Esta publicación es parte del proyecto de I+D+i PID2020-113101RB-I00, financiado por MCIN/ AEI/10.13039/501100011033/.

 

Referencias

 

Belavi, G., Flores-Sánchez, C., Guiral, C., & Türk, Y. (2021). La democracia en los centros educativos españoles: concepciones de docentes y estudiantes. Revista Fuentes, 23(2). https://doi.org/10.12795/revistafuentes.2021.15375

Benítez-Sillero, J. D., Villena-Serrano, M., Castejón-Riber, C., & Morente-Montero, Á. (2020). Experiencia innovadora en alumnado universitario del grado de educación primaria mediante la utilización del Kahoot. En Claves para la innovación pedagógica ante los nuevos retos: respuestas en la vanguardia de la práctica educativa (pp. 2031-2039). Octaedro. https://www.innovagogia.es/claves-para-la-innovacion-pedagogica-ante-los-nuevos-retos/

Blau, I., & Shamir-Inbal, T. (2017). Re-designed flipped learning model in an academic course: The role of co-creation and co-regulation. Computers & Education, 115, 69-81. https://doi.org/10.1016/j.compedu.2017.07.014

Blau, I., & Shamir-Inbal, T. (2018). Digital technologies for promoting “student voice” and co-creating learning experience in an academic course. Instructional Science, 46(2), 315-336. https://doi.org/10.1007/s11251-017-9436-y

Bovill, C. (2020). Co-creation in learning and teaching: the case for a whole-class approach in higher education. Higher Education, 79(6), 1023-1037. https://doi.org/10.1007/s10734-019-00453-w

Bovill, C. (2019). A co-creation of learning and teaching typology: What kind of co-creation are you planning or doing?. International Journal for Students as Partners, 3(2), 91-98. https://doi.org/10.1007/s10734-019-00453-w

Bovill, C. & Bulley, C.J. (2011) A model of active student participation in curriculum design: exploring desirability and possibility. En: Rust, C. (ed.) Improving Student Learning (ISL) 18: Global Theories and Local Practices: Institutional, Disciplinary and Cultural Variations. Series: Improving Student Learning (18). Oxford Brookes University: Oxford Centre for Staff and Learning Development: Oxford, pp. 176-188. http://www.brookes.ac.uk/services/ocsld/books/improving_student_learning/global_theories.html

Bovill, C., Cook-Sather, A., Felten, P., Millard, L., & Moore-Cherry, N. (2016). Addressing potential challenges in co-creating learning and teaching: overcoming resistance, navigating institutional norms and ensuring inclusivity in student–staff partnerships. High Educ 71, 195–208. https://doi.org/10.1007/s10734-015-9896-4

Clarke, S., Masters, A., Collins, B., Flynn, D., & Arnab, S. (2020, September). Using frugal education principles and the RPG Maker MV game engine to aid the co-creation of digital game-based learning resources. In Proceedings of the 14th International Conference on Game Based Learning, ECGBL (pp. 87-95). https://dx.doi.org/10.34190/GBL.20.029

Chemi, T., & Krogh, L. (2017). Co-creation in higher education: Students and educators preparing creatively and collaboratively to the challenge of the future. Springer.

Cook-Sather, A.,  Bovill, C. & Felten, P. (2014). Engaging students as partners in learning and teaching: A guide for faculty. John Wiley & Sons.

Deeley, S. J., & Bovill, C. (2017). Staff student partnership in assessment: enhancing assessment literacy through democratic practices. Assessment & Evaluation in Higher Education, 42(3), 463-477. https://doi.org/10.1080/02602938.2015.1126551

Dollinger, M., Lodge, J., & Coates, H. (2018). Co-creation in higher education: Towards a conceptual model. Journal of Marketing for Higher Education, 28(2), 210-231. https://doi.org/10.1080/08841241.2018.1466756

Dorta, T., Kinayoglu, G., & Boudhraâ, S. (2016). A new representational ecosystem for design teaching in the studio. Design Studies, 47, 164-186. https://doi.org/10.1016/j.destud.2016.09.003

Doyle, E., & Buckley, P. (2020). The impact of co-creation: an analysis of the effectiveness of student authored multiple choice questions on achievement of learning outcomes. Interactive Learning Environments, 1-10. https://doi.org/10.1080/10494820.2020.1777166

Doyle, E., Buckley, P., & Whelan, J. (2018). Assessment co-creation: an exploratory analysis of opportunities and challenges based on student and instructor perspectives. Teaching in Higher Education, 24(6), 739-754. https://doi.org/10.1080/13562517.2018.1498077

Durall Gazulla, E., Bauters, M., Hietala, I., Leinonen, T., & Kapros, E. (2020). Co-creation and co-design in technology-enhanced learning : Innovating science learning outside the classroom. ID&A INTERACTION DESIGN & ARCHITECTURE(S), (42), 202-226. http://www.mifav.uniroma2.it/inevent/events/idea2010/doc/42_10.pdf

González-Yebra, O., Aguilar, M. A., Aguilar, F., & Lucas, M. (2019). Co-Design of a 3D Virtual Campus for Synchronous Distance Teaching Based on Student Satisfaction: Experience at the University of Almería (Spain). Education Sciences, 9 (1), 21.. https://doi.org/10.3390/educsci9010021

Gros , B. (2019). La investigación sobre el diseño participativo de entornos digitales de aprendizaje. http://hdl.handle.net/2445/144898

Gros, B., & López, M. (2016). Students as co-creators of technology-rich learning activities in higher education. International Journal of Educational Technology in Higher Education, 13(1), 1-13. https://doi.org/10.1186/s41239-016-0026-x

Haraldseid, C., Friberg, F., & Aase, K. (2016). How can students contribute? A qualitative study of active student involvement in development of technological learning material for clinical skills training. BMC nursing, 15(1), 1-10. https://doi.org/10.1186/s12912-016-0125-y

Healey, M., Flint, A., & Harrington, K. (2016). Students as partners: Reflections on a conceptual model. Teaching & Learning Inquiry, 4(2), 8-20. https://doi.org/10.20343/teachlearninqu.4.2.3

Kaminskiene, L., Žydžiunaite, V., Jurgile, V., & Ponomarenko, T. (2020). Co-creation of learning: A concept analysis. European Journal of Contemporary Education, 9(2), 337-349. https://doi.org/10. 13187/ejced.2020.2.337 .

Higgins, D., Dennis, A., Stoddard, A., Maier, A. G., & Howitt, S. (2019). ‘Power to empower’: con- ceptions of teaching and learning in a pedagogical co-design partnership. Higher Education Research & Development, 38, 1154–1167. https://doi.org/10.1080/07294360.2019.1621270

Hyysalo, S., Perikangas, S., Marttila, T., & Auvinen, K. (2019). Intermediate Codesigning in Transitions Governance: Catalysing and Channelling Participant Action. The Design Journal, 22(6), 873–894. https://doi.org/10.1080/14606925.2019.1661557

Lachman, S. J. (1997). Learning is a process: Toward an improved definition of learning. The Journal of psychology, 131(5), 477-480. https://doi.org/10.1080/00223989709603535

Neubauer, B. E., Witkop, C. T., & Varpio, L. (2019). How phenomenology can help us learn from the experiences of others. Perspectives on Medical Education, 8(2), 90–97. https://doi.org/10.1007/S40037-019-0509-2

Quesada, V., Garcia-Jimenez, E., & Gomez-Ruiz, M. A. (2017). Student participation in assessment processes: A way forward. In Innovative practices for higher education assessment and measurement (pp. 226-247). IGI Global. https://doi.org/10.4018/978-1-5225-0531-0.ch012

Rodríguez Gómez, G., Ibarra Saiz, M., & García Jiménez, E. (2013). Autoevaluación, evaluación entre iguales y coevaluación: conceptualización y práctica en las universidades españolas. Revista de Investigación en Educación, 2 (11), 198-210. https://revistas.uvigo.es/index.php/reined/article/view/1958

Rogers, C. R., & Freiberg, H. J. (1994). Freedom to learn. (3rd Ed) Columbus, OH: Charles Merrill.

Sanders, E. B.-N. & Stappers, P. J. (2008). Co-creation and the new landscapes of design. CoDesign, 4(1), 5–18. https://doi.org/10.1080/15710880701875068

Santana-Martel, J. S., & Pérez-Garcias, A. (2020). El codiseño educativo haciendo uso de las TIC en educación superior: una revisión sistemática de literatura. Revista Electrónica de Tecnología Educativa. Edutec, 74, 25–51. https://doi.org/10.21556/edutec.2020.74.1799

Santana Martel, J. S., & Perez Garcías, A. (2022). Students’ Agency and Self-Regulated Skills through the Lenses of Assessment Co-creation in Post-COVID-19 Online and Blended Settings: A Multi-Case Study. Journal of Interactive Media in Education, 2022(1), 8. http://doi.org/10.5334/jime.746

Santana-Martel, J.S. & Pérez-Garcias, A. (2022b). Co-creating rubrics: studentsperspective on their process and the product designed in TELE context resource En J. M. Esteve & A. Fernández (Ed.), Transformando la educación a través del conocimiento. Editorial Octaedro. https://octaedro.com/libro/transformando-la-educacion-a-traves-del-conocimiento/

Stake, R. E. (2006). Multiple case study analysis. Guilford press.

Triantafyllakos, G., Palaigeorgiou, G., & Tsoukalas, I. A. (2011). Designing educational software with students through collaborative design games: The We! Design&Play framework. Computers & Education, 56(1), 227-242. https://doi.org/10.1016/j.compedu.2010.08.002

Thompson, J., Couzner, L., & Houston, D. (2020). Assessment partnerships from the start: Building reflective practice as a beginning paramedic student competency. Australasian Journal of Paramedicine, 17. https://doi.org/10.33151/ajp.17.750

Uskoković, V. (2018). Flipping the flipped: the co-creational classroom. Research and Practice in Technology Enhanced Learning, 13(1), 1-24. https://doi.org/10.1186/s41039-018-0077-9

Villatoro, S., & De Benito, B. (2021). An Approach to Co-Design and Self-Regulated Learning in Technological Environments. Systematic Review. Journal of New Approaches in Educational Research, [S.l.], v. 10, n. 2, p. 234-250. https://doi.org/10.7821/naer.2021.7.646

Villatoro, S & de-Benito, B. 2022. Self-Regulation of Learning and the Co-Design of Personalized Learning Pathways in Higher Education: A Theoretical Model Approach. Journal of Interactive Media in Education, 2022(1): 6, pp. 1–16. https://doi.org/10.5334/jime.749

Walters, S. R., Silva, P., & Nikolai, J. (2017). Teaching, Learning, and Assessment: Insights into Students’ Motivation to Learn. The Qualitative Report, 22(4), 1151-1168. http://nsuworks.nova.edu/tqr/vol22/iss4/13

Wareing, L., Rodgers, P. A., & Dunn, N. (2019). Co-designing Pathways to Opportunities for Young People in the North West of England. The Design Journal, 22, 863–883. https://doi.org/10 .1080/14606925.2019.1595405