|
Páginas: 138-153 Recibido:
2022-10-28 Revisado:
2022-12-14 Aceptado: 2023-02-02 Preprint: 2023-03-15 Publicación
Final: 2023-05-15 |
|
Evaluación del Máster en
Psicopedagogía en España: impacto del proceso de acreditación
Evaluation of the Master's
Degree in Psychopedagogy in Spain: impact of
the accreditation process
|
Francisco
José Fernández-Cruz |
||
|
Jesus
Miguel Rodríguez-Mantilla |
||
|
Sandra
Gómez del Pulgar Cinque |
Resumen
Para afrontar los cambios exigidos por el EEES en
las titulaciones universitarias se ha visto necesario el trabajo desarrollado
por las Agencias de Garantía de Calidad (AGC) para alcanzar una mayor
transparencia, diversidad, competitividad y calidad de los planes de estudio
ofertados. Sin embargo, no existen suficientes estudios que traten de detectar
el impacto que la evaluación de las titulaciones universitarias tiene en los
procesos que desarrollan. El presente trabajo pretende analizar el impacto del
proceso de acreditación en las titulaciones del Máster en Psicopedagogía en
España, aportando información sobre las diferencias encontradas entre las
distintas agencias regionales y las instituciones universitarias y los puntos
débiles que deben optimizar en los planes de mejora. Para ello, se utilizó una metodología de
investigación cualitativa basada en un análisis documental que recabó y estudió
los informes oficiales del proceso de acreditación en 12 universidades españolas
de las 22 que ofrecen este título y que han pasado por esta evaluación. Se
destaca, como resultado principal, la media que se obtiene en el conjunto de
todas las acreditaciones del título del Máster en Psicopedagogía (=1,90), lo que supone un Valor C (Se alcanza
parcialmente), obteniendo mejores puntuaciones aquellas universidades que más
tiempo llevan verificadas. Como conclusión, se requiere de una mayor
profundización en este tipo de estudios en cuanto al análisis de su repercusión
en la titulación, especialmente en el proceso de aprendizaje.
Abstract
To face the changes required by the EHEA in
university degrees, the work carried out by the Quality Assurance Agencies
(QAA) has been necessary to achieve greater transparency, diversity,
competitiveness, and quality of the study plans offered. However, there are not
enough studies that try to detect the impact that the evaluation of university
degrees has on the processes they develop. This paper aims to analyse the
impact of the accreditation process on Master's degrees in
Educational Psychology in Spain, providing information on the
differences found between the different regional agencies and university
institutions and the weak points that need to be optimised in the improvement
plans. For this purpose, a qualitative
research methodology was used based on a documentary analysis that collected
and studied the official reports of the accreditation process in 12 Spanish
universities out of the 22 that offer this degree and that have undergone this
evaluation. The main result is the average obtained in the set of all the
accreditations of the Master's degree in Educational
Psychology (=1.90), which means a C value (partially
achieved), with better scores being obtained by those universities that have
been verified for longer periods of time. In conclusion, further study is
required in this type of studies in terms of analysing their impact on the
degree, especially on the learning process.
Palabras
clave / Keywords
Calidad de la educación, Evaluación de la educación, Eficiencia de la
educación, Control de calidad, Acreditación, Evaluación comparativa, Universidad,
Psicopedagogía.
Quality of education, Evaluation of education,
Efficiency of education, Quality assurance, Accreditation, Benchmarking,
University, Psycho-pedagogy.
1.
Introducción
A partir de la
implantación del Espacio Europeo de Educación Superior (EEES), iniciado con la
Declaración de Bolonia de 1999, la institución universitaria ha sufrido una
serie de cambios, alguno de ellos drásticos, cuya intención inicial ha sido la
mejora de la calidad educativa (López-Aguado, 2018). Las bases de estos cambios
se concentraron en torno a cuatro pilares fundamentales: calidad, movilidad,
diversidad y competitividad (Puente et al., 2020). En ese marco, se ha
producido un giro importante en el rumbo de lo que se venía haciendo en la
educación superior, resaltando la definición de las competencias como el
elemento fundamental para diseñar los planes de estudio y sus titulaciones
(Magaña y Bara, 2020). Esta modificación en la estructura de la enseñanza
universitaria tuvo como consecuencia otras reformas relevantes: descartar la
exclusividad del aprendizaje memorístico de los conocimientos científicos para
centrar el aprendizaje en la actividad del estudiante, el nuevo crédito europeo
y sistema de transferencia (ECTS), la incorporación de un conjunto combinado de
metodologías didácticas activas (aprendizaje basado en proyectos, gamificación,
flipped learning,
aprendizaje cooperativo, investigación acción, etc.), el acompañamiento
personalizado y la tutoría del docente en todo el proceso de aprendizaje, la
aplicación de los aprendizajes en contextos y situaciones concretas derivadas
del ámbito social y empresarial de la profesión desarrollada, la incorporación
de técnicas e instrumentos de evaluación activa que permita determinar las
competencias y los resultados de aprendizaje desarrollados por los estudiantes
o el incremento de la competencia innovadora del docente universitario
(Fernández-Cruz y Rodríguez-Legendre, 2021).
No obstante, para
hacer efectivos los cambios planteados por el EEES se ha necesitado de
instituciones, organismos o agencias que controlasen la calidad de las propias
universidades, la integridad y la mejora de los estudios ofertados y la
acreditación del profesorado que las desarrollan (López-Aguado, 2018). En este
sentido, el aseguramiento de la calidad supuso un procedimiento clave en la
implantación del EEES, lo que proporciona más transparencia, diversidad,
competitividad y calidad a las instituciones universitarias europeas. El
fomento de la cooperación europea en materia de garantía de calidad con vistas
a desarrollar criterios y metodologías comparables fue una de las líneas
fundamentales para la aplicación de las nuevas titulaciones de educación
superior (Sin, Tavares y Amarala, 2016).
Estos nuevos
procesos de garantía de la calidad en la universidad, desconocidos hace dos
décadas por la mayoría de los países implicados, se impulsaron inicialmente a
través de la Asociación Europea para la Garantía de la Calidad de la Educación
Superior (European Association
for Quality Assurance in Higher Education, ENQAHE), que desarrolló los Criterios y
directrices para el Aseguramiento de la Calidad en el Espacio Europeo de
Educación Superior (European Standards
and Guidelines
ESG) (Figura 1), en cooperación con la Unión Europea de Estudiantes
(ESU), la Asociación de Instituciones de Educación Superior (EURASHE) y
Asociación Universitaria Europea (EUA), para guiar la implementación de políticas
y esquemas de acreditación de la calidad en toda Europa (ENQA, 2015).
Establecer un marco compartido europeo y común para todas las agencias de
aseguramiento de la calidad, mejorar la calidad de la educación superior
europea, favorecer la confianza y la movilidad de los titulados universitarios
entre los países miembros y facilitar la transparencia sobre la información del
proceso de evaluación de la calidad y mejora de las instituciones de educación
superior son los fines y principios que ofrece los ESG (ENQA, 2015).
La incorporación de
estas agencias, que ejercían de organismos externos para afianzar y evaluar la
calidad de las titulaciones de educación superior, ha permitido el desarrollo y
la implantación de procesos de verificación, modificación y acreditación de los
planes de estudios universitarios para la búsqueda del aseguramiento de la
calidad de las titulaciones universitarias europeas. En España, para el
desarrollo de estos procedimientos de control y evaluación de la calidad de las
titulaciones, se crea en el año 2001 la Agencia Nacional de Evaluación de la
Calidad y la Acreditación (ANECA), lo que propició el impulso legislativo
necesario para crear los actuales sistemas de Aseguramiento Interno de Calidad
(SAIC), con profesionales técnicos de la evaluación debidamente preparados
(Ibáñez-López, Hernández-Pina y Monroy, 2020), con el fin de cumplir con los
Criterios y directrices para el Aseguramiento de la Calidad en el Espacio
Europeo de Educación Superior (ENQA, 2015).
Con la creación de
la ANECA y su desarrollo normativo posterior (L.O. 6/2001; R.D. 1393/2007), se
reguló en España la evaluación de los títulos universitarios, en el que se
establecieron los sistemas de verificación, modificación y acreditación de los
planes de estudios de las diversas titulaciones oficiales, la periodicidad de
dichas evaluaciones y su procedimiento (ANECA, 2020). Igualmente, se reconoció
los organismos que podían realizar dicha evaluación, siendo la ANECA para
aquellas comunidades que no dispongan de agencias propias inscritas en el
Registro Europeo de Agencias de Calidad – EQAR. (López-Aguado, 2018):
•
Agencia Nacional: Agencia Nacional de
Evaluación de la Calidad y Acreditación (ANECA)
•
Andalucía: Agencia Andaluza del Conocimiento
(AAC)
•
Aragón: Agencia de Calidad y Prospectiva Universitaria
de Aragón (ACPUA)
•
Canarias: Agencia Canaria de Calidad
Universitaria y Evaluación Educativa (ACCUEE)
•
Castilla y León: Agencia para la Calidad del
Sistema Universitario de Castilla y León (ACSUCYL)
•
Cataluña: Agència per a la Qualitat del Sistema Universitari a Catalunya (AQU)
•
Madrid: Fundación para el Conocimiento madri+d
•
Valencia: Agència
Valenciana d'Avaluació i Prospectiva (AVAP)
•
Galicia: Agencia para la Calidad del Sistema
Universitario de Galicia (ACSUG)
•
País Vasco: Agencia de Calidad del Sistema
Universitario Vasco (UNIBASQ)
Actualmente, una
gran mayoría de instituciones universitarias y, por tanto, todas sus
titulaciones, están implicadas en una cultura de calidad y de evaluación para
la mejora continua y constante de los planes de estudios que ofertan
(Michavila, 2011; Ibáñez-López, Hernández-Pina y Monroy, 2020; ANECA, 2020).
•
Asegurar que
la titulación oficial se está desarrollando según los términos aprobados en el
proyecto inicial (memoria de verificación).
•
Refrendar que todos los elementos que
conformar la titulación (competencias, resultados de aprendizaje, contenidos,
metodología, evaluación…) contribuyen a la formación integral y de calidad de
los estudiantes, consiguiéndose los objetivos planificados.
Sin embargo, existen
diversos autores que han sacado a la luz diferentes obstáculos que estos
procesos de evaluación de la calidad de las titulaciones han tenido y siguen
teniendo que combatir (Vázquez García, 2015; López-Aguado, 2018). La escasa
cultura de evaluación dentro de las universidades, la desconfianza hacia la
eficacia de los procedimientos de evaluación por parte de la comunidad
educativa, la falta de reconocimiento a las personas implicadas en los procesos
de evaluación de la calidad, el no generar un sistema de formación e
información que de mayor transparencia a los resultados de la acreditación, la
falta de financiación material y personal necesaria para cubrir los fastos de
planificación, realización, puesta en común y análisis de los puntos fuertes y
áreas de mejora, entre otros, ha suscitado recelo en los diferentes grupos de
interés que deben participar en los procedimientos de evaluación de la calidad
de las titulaciones (Ibáñez-López, Hernández-Pina y Monroy, 2020).
Por otro lado, en
este contexto de evaluación externa de la calidad de los planes de estudios
universitarios, existen escasos estudios que traten de analizar los mecanismos
causales y el impacto de dichos procedimientos de evaluación de las
titulaciones y la mejora de su calidad (González-Losada, García Rodríguez y
Triviño García, 2014; Leiber, Prades, y Álvarez del
Castillo, 2018; Bejanet al., 2018). Es por ello por
lo que existe una urgencia relativamente importante por determinar si todos los
recursos, procedimientos y tiempo dedicado al control y evaluación de la
calidad por parte de las propias instituciones universitarias y las agencias
externas estatales y regionales implicadas (Verifica, Modifica y Acredita)
surten efecto a medio o corto plazo en la mejora de la calidad de las
titulaciones universitarias y se mantienen a lo largo del tiempo (Befani y Mayne, 2014; Fernández-Díaz, 2013).
Es cierto que en las
dos últimas décadas se han generado una gran variedad de procedimientos e
instrumentos de control y aseguramiento de la calidad en la enseñanza superior
(Leiber, Stensaker y Harvey
2015). Pero la cuestión importante a resolver sigue siendo si estas técnicas y
herramientas tienen la eficacia prevista, al mismo tiempo que se identifiquen
los mecanismos causales de impacto y de control de calidad en las instituciones
de educación superior y de sus titulaciones (Leiber, Stensaker y Harvey 2015; Stensaker
y Leiber 2015).
El proyecto europeo
IMPALA (2016) puede identificarse como uno de los pocos intentos importantes
para la evaluación de impacto de los procesos de garantía de calidad universitaria,
utilizando un diseño de investigación basado en la aplicación de unos
cuestionarios a las audiencias implicadas y su comparación antes y después de
la acreditación. Este estudio se desarrolló en diversas universidades de
distintos países europeo (Finlandia, Alemania, Rumanía y España) y su
conclusión más importante destaca que, desde el punto de vista técnico para la
evaluación del impacto de la acreditación de los títulos, es preferible
metodologías basadas en estudios comparativos y longitudinales. Por otro lado,
sus resultados apuntan que los procesos de acreditación tienen cierto impacto
positivo en cuanto a la actitud de los implicados, pero no contribuyen a la
mejora de la enseñanza y el aprendizaje (Bejan et
al., 2018, Jurvelin, Kajaste
y Malinen 2018; Leiber, Moutafidou y Welker, 2018; Leiber,
Prades y Álvarez 2018).
1.2. Objetivos e hipótesis
Atendiendo a esta
limitación, en cuanto a los estudios y las metodologías utilizadas para medir
el impacto de los procesos de evaluación las titulaciones universitarias, el
presente trabajo recoge este marcado
interés y pretende responder a la pregunta de si el proceso de acreditación
está impactando en los aspectos fundamentales de las titulaciones (AQUC, 2010):
organización y desarrollo, información y transparencia, sistema de garantía
interno de calidad, personal académico, personal de apoyo, recursos y
servicios, resultados de aprendizaje e indicadores de rendimiento y
satisfacción.
En concreto, se
centra en el estudio del impacto de la acreditación de una titulación, el
Máster Universitario de Psicopedagogía. En las titulaciones de máster, la
evaluación de la acreditación se realiza cada cuatro años, a fin de confirmar
que el plan de estudios está cumpliendo con el proyecto inicial verificado.
El objetivo de este
trabajo es analizar el impacto del proceso de
acreditación en las titulaciones del Máster en Psicopedagogía en España,
aportando información sobre las diferencias encontradas entre las distintas
agencias regionales y las instituciones universitarias. Igualmente se
pretende hacer un análisis sobre qué dimensiones reciben un número mayor de
mejoras por parte del órgano evaluador en las titulaciones del Máster en
Psicopedagogía en España, además de hacer un estudio cualitativo de los ámbitos
que requieren cambios en la titulación para mejorar el plan de estudios según
las distintas agencias autonómicas.
Si bien la calidad
de las titulaciones universitarias viene definida según los criterios y
directrices de las agencias de aseguramiento de la calidad (Ver Figura 1 y
Tabla 3), el impacto hace referencia a los efectos consolidados en el tiempo
(medio-largo plazo) producidos como consecuencia de una intervención concreta
(Fernández-Díaz, 2013). Por ello, en el presente estudio se hace hincapié en
los títulos que han pasado la acreditación, según los criterios de calidad de
las agencias, con el fin de analizar las mejoras que permanecen a lo largo del
tiempo que se acredita. En la actualidad, existen numerosas instituciones
universitarias españolas públicas y privadas que están ofertando el Máster en
Psicopedagogía, o pasarán a hacerlo en un período corto de tiempo, tal y como
se puede percibir en la tabla siguiente (Tabla 1):
Tabla 1
Titulaciones del Máster en Psicopedagogía en España:
verificación, modificación o acreditación. Fuente: elaboración propia.
|
Código |
Universidad |
Abr. |
Verificación |
Mod.1 |
Mod.2 |
Mod.3 |
Acred.1 |
Acred.2 |
|
4310057 |
U.
de Barcelona |
UBA |
13/05/2009 |
X |
X |
|
X |
X |
|
4310532 |
U.
de Lleida |
ULL |
01/06/2009 |
X |
X |
X |
X |
X |
|
4312593 |
U.
de València (Estudi General) |
UVA |
29/07/2010 |
X |
X |
|
X |
|
|
4312855 |
U.
de Alcalá |
UAH |
26/07/2011 |
X |
|
X |
||
|
4313123 |
U.
de Valladolid |
UVALL |
03/11/2011 |
|
X |
X |
||
|
4313192 |
U.
Jaume I de Castellón |
UJ1 |
01/06/2012 |
|
X |
|||
|
4313754 |
U.
Autónoma de Barcelona |
UAB |
06/05/2013 |
X |
X |
X |
X |
|
|
4314458 |
U.
Complutense de Madrid |
UCM |
09/10/2014 |
X |
X |
X |
X |
X |
|
4314575 |
U.
Ramón Llull |
URLL |
07/10/2014 |
X |
X |
X |
X |
|
|
4314715 |
U.
Internacional de La Rioja |
UNIR |
24/04/2014 |
X |
X |
X |
X |
|
|
4315028 |
U.
de A Coruña |
UAC |
07/10/2014 |
|
||||
|
4315148 |
U.
de Sevilla |
USE |
23/07/2014 |
X |
|
X |
||
|
4315939 |
U.
de Extremadura |
UEX |
09/06/2016 |
|
X |
|||
|
4316126 |
U.
Internacional Valenciana |
UIV |
15/12/2016 |
X |
|
|||
|
4316202 |
U.
Internacional de Catalunya |
UIC |
23/06/2017 |
X |
|
|||
|
4316242 |
U.
Oberta de Catalunya |
UOC |
31/07/2017 |
X |
|
|||
|
4316354 |
U.
a Distancia de Madrid |
UDIMA |
31/07/2017 |
|
||||
|
4316504 |
U.
de Málaga |
UMA |
06/06/2018 |
|
||||
|
4316786 |
U.
Antonio de Nebrija |
UAN |
30/10/2018 |
X |
|
|
|
|
|
4317195 |
U.
Internacional Villanueva |
UIV |
15/10/2019 |
|
|
|
|
|
|
4317223 |
U.
Alfonso X el Sabio |
UAXS |
10/03/2020 |
|
|
|
|
|
|
4317251 |
U.
Pontificia de Comillas |
UPC |
07/11/2019 |
|
|
|
|
|
Fuente: Elaboración propia
2.
Metodología
2.1. Participantes
Para el desarrollo del presente estudio, con el fin de analizar el
impacto de los procesos de acreditación que se están llevando a cabo en el
Máster en Psicopedagogía de las distintas instituciones universitarias en las
que se está ofreciendo esté título oficial, se utilizó el estudio de la documentación disponible sobre los informes de
acreditación elaborados por las diferentes agencias autonómicas o estatales que
controlan la calidad de la implantación de los planes de estudios en el entorno
del Espacio Europeo de Educación Superior. Dichos informes de acreditación,
todos ellos oficiales y externos, suponen una fuente muy importante que ha
permitido obtener información retrospectiva y referencial sobre la importancia
del proceso de evaluación de seguimiento que implica todas las acreditaciones a
las que tienen que someterse las titulaciones dentro del EEES. A su vez, este
estudio sistemático y planificado de la documentación aportada por las
diferentes agencias que controlan la calidad de las universidades ha
posibilitado desarrollar estudios comparativos en función de los criterios
comunes que se están utilizando en los procesos de acreditación de las
titulaciones oficiales (Tabla 3), pudiendo confrontar los puntos fuertes y
áreas de mejora del Máster en Psicopedagogía en cada una de las instituciones
de educación superior que la ofertan.
Para cumplir con las exigencias que implica el
desarrollo de esta metodología de investigación basada en el análisis
documental, se procedió a la búsqueda e inventario de todos los documentos e
informes oficiales existentes sobre el proceso de acreditación de todas
aquellas universidades que han pasado por este proceso de control de su
calidad. Hay que decir que existen
algunas instituciones que ofertaron el Máster en Psicopedagogía desde hace
bastante tiempo (2009), siendo otras noveles en dicha titulación (2019).
Tabla 2
Titulaciones del Máster en Psicopedagogía en España con
una acreditación como mínimo. Fuente: elaboración propia
|
Código |
Abv. |
Agencia |
Presencial |
Online |
ECTS Oblig. |
ECTS Optat. |
ECTS Pract. |
ECTS TFM |
Idioma |
|
4310057 |
UBA |
AQU |
X |
|
15 |
25 |
14 |
6 |
Cat./Cast. |
|
4310532 |
ULL |
AQU |
X |
|
25 |
15 |
14 |
6 |
Cat./Cast./Eng. |
|
4312593 |
UVA |
AVAP |
X |
|
43,5 |
33 |
7,5 |
6 |
Cast. |
|
4312855 |
UAH |
madri+d |
X |
|
30 |
12 |
6 |
12 |
Cast. |
|
4313123 |
UVALL |
ACSUCYL |
X |
|
12 |
32 |
10 |
6 |
Cast. |
|
4313192 |
UJ1 |
AVAP |
X |
|
24 |
24 |
0 |
12 |
Cast. |
|
4313754 |
UAB |
AQU |
X |
|
15 |
30 |
9 |
6 |
Cat./Cast. |
|
4314458 |
UCM |
madri+d |
X |
|
30 |
12 |
6 |
12 |
Cast. |
|
4314575 |
URLL |
AQU |
X |
|
40 |
0 |
14 |
6 |
Cat./Cast. |
|
4314715 |
UNIR |
ANECA |
|
X |
12 |
30 |
9 |
9 |
Cast. |
|
4315148 |
USE |
AAC |
X |
|
20 |
24 |
6 |
10 |
Cast. |
|
4315939 |
UEX |
ANECA |
X |
|
48 |
0 |
6 |
6 |
Cast. |
2.2. Procedimiento
Una vez recopilados los informes de acreditación de las instituciones que
imparten el Máster en Psicopedagogía en España, se procedió a analizar cuáles
eran los ámbitos evaluados dentro de dicho proceso y cuáles eran los criterios
y valores que las distintas agencias de control de la calidad universitaria
están utilizando en este proceso de acreditación de los planes de estudio. A
este respecto, hay que indicar que, aunque todas las agencias de gestión de la
calidad universitaria, tanto regionales como estatales, tienen muchos elementos
similares en cuanto a las dimensiones, indicadores y sistema de valoración,
todos ellos surgidos de la Asociación Europea para la Garantía de la Calidad en
la Educación Superior (2015), existen pequeñas diferencias que en ningún caso
han impedido hacer el estudio documental que se plantea. En este sentido, para
facilitar el procedimiento de comparación de los resultados obtenidos por las
diversas agencias autonómicas en la acreditación del título universitario
analizado, se procedió a utilizar la estructura que determina la Agencia
Nacional de Evaluación de la Calidad y Acreditación (ANECA) por ser de índole
estatal y por compartir el mayor número de elementos con el resto de las
agencias autonómicas (Ver Tabla 3).
Tabla 3
Dimensiones, criterios y directrices evaluadas en el
proceso de acreditación de una titulación (ANECA, 2019). Fuente: elaboración
propia
|
Dimensión |
Nº |
Criterio |
Directrices |
|
Gestión
del Título |
1 |
Organización y
desarrollo |
La implantación del plan de estudios y la
organización del programa son coherentes con el perfil de competencias,
objetivos y resultados de aprendizaje pretendidos recogidos en la memoria
verificada y/o sus posteriores modificaciones. |
|
El perfil de egreso definido (y su despliegue
en el plan de estudios en competencias y resultados de aprendizaje) mantiene
su relevancia y está actualizado según los requisitos de su ámbito académico,
científico y profesional. |
|||
|
El título cuenta con mecanismos de
coordinación docente que permiten tanto una adecuada asignación de carga de
trabajo del estudiante como una adecuada planificación temporal, asegurando
la adquisición de los resultados de aprendizaje. |
|||
|
Los criterios de admisión aplicados permiten
que los estudiantes tengan el perfil de ingreso adecuado para iniciar estos
estudios y en su aplicación se respeta el número de plazas ofertadas en la
memoria verificada. |
|||
|
La aplicación de las diferentes normativas
académicas (permanencia, reconocimiento, etc.) se realiza de manera adecuada
y permite mejorar los valores de los indicadores de rendimiento académico. |
|||
|
2 |
Información y
transparencia |
Los responsables del título publican
información adecuada y actualizada sobre sus características, su desarrollo y
sus resultados, incluyendo la relativa a los procesos de seguimiento y
acreditación. |
|
|
Los estudiantes matriculados en el título
tienen acceso en el momento oportuno a la información relevante del plan de
estudios y de los resultados de aprendizaje previstos. |
|||
|
3 |
El SGIC implementado y revisado
periódicamente garantiza la recogida y análisis continuo de información y de
los resultados relevantes para la gestión eficaz del título, en especial los
resultados de aprendizaje y la satisfacción de los grupos de interés. |
||
|
El SGIC implementado facilita el proceso de
seguimiento, modificación y acreditación del título y garantiza su mejora
continua a partir del análisis de datos objetivos y verificables. |
|||
|
Recursos |
4 |
Personal académico |
El personal académico del título reúne el
nivel de cualificación académica requerido para el título y dispone de la
adecuada experiencia y calidad docente e investigadora. |
|
El personal académico es suficiente y dispone
de la dedicación adecuada para el desarrollo de sus funciones y atender a los
estudiantes |
|||
|
El profesorado se actualiza de manera que
pueda abordar, teniendo en cuenta las características del título, el proceso
de enseñanza-aprendizaje de una manera adecuada. |
|||
|
(En su caso) La universidad ha hecho
efectivos los compromisos incluidos en la memoria de verificación, y las
recomendaciones definidas en los informes de verificación, autorización, en
su caso, seguimiento del título relativos a la contratación y mejora de la
cualificación docente e investigadora del profesorado. |
|||
|
5 |
Personal de apoyo,
recursos y servicios |
El personal de apoyo que participa en las
actividades formativas es suficiente y soporta adecuadamente la actividad
docente del personal académico vinculado al título. |
|
|
Los recursos materiales (las aulas y su
equipamiento, espacios de trabajo y estudio, laboratorios, talleres y
espacios experimentales, bibliotecas, etc.) se adecuan al número de
estudiantes y a las actividades formativas programadas en el título. |
|||
|
En el caso de los títulos impartidos con
modalidad a distancia/semipresencial, las infraestructuras tecnológicas y
materiales didácticos asociados a ellas permiten el desarrollo de las
actividades formativas y adquirir las competencias del título. |
|||
|
Los servicios de apoyo y orientación
académica, profesional y para la movilidad puestos a disposición de los
estudiantes una vez matriculados se ajustan a las competencias/resultados de
aprendizaje pretendidos y a la modalidad del título. |
|||
|
En el caso de que el título contemple la
realización de prácticas externas, éstas se han planificado según lo previsto
y son adecuadas para la adquisición de las competencias del título. |
|||
|
(En su caso) La universidad ha hecho
efectivos los compromisos incluidos en la memoria de verificación, y las
recomendaciones definidas en los informes de verificación, autorización, en
su caso, seguimiento del título relativos al personal de apoyo que participa
en las actividades formativas, a los recursos materiales, y a los servicios
de apoyo del título. |
|||
|
Resultados |
6 |
Resultados de
aprendizaje |
Las actividades formativas, sus metodologías
docentes y los sistemas de evaluación empleados son adecuados y se ajustan
razonablemente al objetivo de la adquisición de los resultados de aprendizaje
previstos. |
|
Los resultados de aprendizaje alcanzados
satisfacen los objetivos del programa formativo y se adecúan a su nivel en el
MECES. |
|||
|
7 |
Indicadores de
resultados |
La evolución de los principales datos e
indicadores del título, (tasa de graduación, tasa de abandono, tasa de
eficiencia, tasa de rendimiento y tasa de éxito) es adecuada, de acuerdo con
su ámbito temático y entorno en el que se inserta el título y es coherente
con las características de los estudiantes de nuevo ingreso. |
|
|
La satisfacción de los estudiantes, del
profesorado, de los egresados y de otros grupos de interés es adecuada. |
|||
|
Los valores de los indicadores de inserción
laboral de los egresados del título son adecuados al contexto científico, socio-económico y profesional del título. |
Tabla 4
Valores utilizados en el proceso de acreditación de una
titulación (ANECA, 2019). Fuente: elaboración propia
|
Valor |
Definición |
|
|
A B C D N |
El estándar para este criterio se logra completamente y además
existen ejemplos que exceden de los requerimientos básicos y que se indican
en el presente Informe. El estándar para este criterio se logra completamente. Se logra el estándar para este criterio en el mínimo nivel,
pero se detectan aspectos concretos que han de mejorarse y que se indican en el
presente Informe. El criterio no logra el nivel mínimo requerido para llegar al
estándar y será necesario implementar las modificaciones indicadas en el
presente Informe. No procede. |
|
2.3. Análisis de datos
Dentro de la especificación de las dimensiones y criterios anteriormente
señalados, la ANECA (2019) establece una serie de directrices para su
aplicación en el proceso de evaluación de la acreditación de los títulos
desarrollado por el panel de expertos.
Estas directrices se concretan con los siguientes criterios:
•
Organización y desarrollo: El programa
formativo está actualizado y corresponde con la memoria verificada.
•
Información y transparencia: Existen
mecanismos de comunicación de las características del programa y de los
procesos que garantizan su calidad.
•
Sistema de garantía interno de calidad: El
SGIC está formalmente establecido y asegura la mejora continua del título.
•
Personal académico: Es suficiente y adecuado
de acuerdo con las características del título y el número de estudiantes.
•
Personal de apoyo, recursos y servicios: Son
adecuados en función de la naturaleza, modalidad de enseñanza-aprendizaje,
número de estudiantes matriculados y competencias a adquirir por los mismos.
•
Resultados de aprendizaje: Son coherentes
con el perfil de egreso y se corresponden con el nivel de MECES del título
(Marco Español de Cualificaciones para la Educación Superior).
•
Indicadores de rendimiento y satisfacción:
Son congruentes y satisfactorios con el diseño, la gestión y los recursos
puestos a disposición del título.
Hay que mencionar que la mayoría de las agencias autonómicas del control
de la calidad en el ámbito universitario coinciden casi a la perfección en
cuanto a los elementos determinados por la ANECA para la valoración de los
resultados de la acreditación de los planes de estudio del Máster en
Psicopedagogía (Fundación madri+d, AAC y AVAP),
siendo necesarias pequeñas modificaciones para las restantes (ACSUCYL y AQU).
En concreto, la AQU no incluye un criterio sobre los indicadores de rendimiento
y satisfacción dentro de la dimensión de Resultados, añadiendo únicamente un
criterio sobre resultados del estudio. Por otro lado, la ACSUCYL dispone de un
conjunto de dimensiones e indicadores con una estructura diferente, lo que no
ha impedido ubicar los criterios analizados y corresponderlos con los
establecidos por la ANECA para poder realizar el estudio comparativo.
Igualmente, se debe mencionar que, aunque existen pequeñas diferencias en
cuanto a la definición de los distintos valores que se pueden utilizar para evaluar
cada uno de los criterios en el proceso de acreditación de la titulación, se
han utilizado los definidos por la ANECA al ser ampliamente correspondidos con
los utilizados por las otras agencias de control de la calidad en educación
superior.
Una vez establecidos los valores identificados por la ANECA como
elementos de evaluación común para todas las titulaciones del Máster en
Psicopedagogía implicadas, se propuso una correspondencia de puntuación
numérica asociada a cada uno de los niveles de valoración. En este aspecto, se
utilizó el siguiente código de evaluación:
Tabla 5
Cuadro de correspondencia entre valores y puntuación
directa. Fuente: elaboración propia
Para completar la información que se obtuvo de las valoraciones o puntuaciones
que otorgaron los paneles evaluadores a cada una de las dimensiones analizadas
en la acreditación, se completó el estudio con la recopilación de los puntos
fuertes y áreas de mejora detectados en cada uno de los apartados, la
recopilación de todas las mejoras necesarias y recomendadas que establecían los
expertos para mejorar la titulación, así como la identificación de los aspectos
que recibían mayor número de sugerencias de cambios, tanto en la propia
institución universitaria como en el conjunto de las universidades que
participan impartiendo el Máster en Psicopedagogía.
3.
Resultados
Una vez analizados con detenimiento todos los informes de acreditación de
la titulación del Máster en Psicopedagogía que se han implantado en España en
diversas universidades, se adjudicó una valoración a cada uno de los apartados
en función de lo establecido anteriormente en la Tabla 5. En consecuencia, se
obtuvo el siguiente cuadro donde se especificaron los valores que corresponde a
cada una de las dimensiones estudiadas en función de la evaluación establecida
por agencia de control de la calidad que realizó la acreditación del título
(Tabla 6).
Tabla 6
Puntuaciones por Universidad en las dimensiones evaluadas
en el proceso de acreditación del M. Psicopedagogía en España. Fuente: elaboración
propia
Los primeros resultados obtenidos identifican valores aceptables en los
resultados de los procesos de acreditación del Máster en Psicopedagogía, aunque
son claramente mejorables. Como se puede apreciar, la mitad de las
universidades que acreditan este título logran el estándar mínimo, detectando
aspectos concretos que pueden y deben mejorarse en un futuro (Valor C),
mientras que la otra mitad consiguen el estándar de forma completa, aunque no
con excelencia (Valor B). En este sentido, cabe destacar el Máster en
Psicopedagogía que se imparte en la Universidad Complutense (=2,18 / B) y en las universidades catalanas (=2,17 / B), como el de la Universidad de Barcelona,
de Lleida y la Universidad Ramón Llull. Por el contrario, aquellas
universidades que alcanzan peores puntuaciones en la acreditación del título
son la Universidad de Valladolid (=1,43
/ C), la de Sevilla (=1,57
/ C) y la de Valencia (=1,82
/ C).
Si se hace un análisis descriptivo de los resultados generales, tal y
como se aprecia en la Tabla 6 y la Figura 2, la media que se obtiene en el
conjunto de todas las acreditaciones del título del Máster en Psicopedagogía
alcanza valores intermedios (=1,90)
teniendo en cuenta la escala utilizada (0 valor más bajo y 3 corresponde al más
alto). Como se puede subrayar, los resultados de cada una de las dimensiones
evaluadas en la acreditación superan el valor medio de la escala (=1,5), aunque solo los aspectos relativos a la
“Información y transparencia” logra el estándar de forma completa, aunque no de
forma excelente (=2,10). Por el contrario,
el resto de las dimensiones alcanzan de forma parcial y mejorable el estándar
deseado, siendo dos de las dimensiones clave para la calidad de la titulación
las que obtienen la peor puntuación: la relacionada con los “Indicadores de
rendimiento y satisfacción” (=1,72)
y el “Personal académico” (=1,77).
Figura 2.
Valoración de las dimensiones del Máster en Psicopedagogía en España por
Universidad. Fuente: elaboración propia.
Si se hace un análisis comparativo, vinculando los datos aportados
anteriormente por la Tabla 6 con los indicados en la Tabla 1, se logra
identificar que el factor que puede influir en la mejora de las puntuaciones de
las acreditaciones del título de Máster en Psicopedagogía en las distintas
universidades españolas es el propio proceso de acreditación. Parece ser
evidente que existe una relación entre el número de acreditaciones y
modificaciones sufridas por la titulación y la mejora en la evaluación que
llevan a cabo las distintas agencias de control de la calidad, sean autonómicas
o estatales, obteniendo mejores resultados aquellas titulaciones de las
universidades que más tiempo llevan verificadas y que más han utilizado el
procedimiento de modificación o acreditación en sus planes de estudio. Estos
indicios pueden corroborar la idea de la existencia de un impacto considerable
de los procesos de acreditación y modificación en la calidad de las
titulaciones que se han estudiado.
En este marco, es razonable pensar que aquellas titulaciones de las
universidades que han obtenido una menor puntuación en el proceso de
acreditación de su plan de estudios reciban un número mayor de recomendaciones
o mejoras que deben ser implementadas para resolver dichas carencias e
incrementar la calidad de la titulación, tal y como se puede apreciar en la
Figura 3.
Figura 3.
Mejoras que deben incluirse en los últimos procesos de acreditación del Máster
en Psicopedagogía por Universidad. Fuente: elaboración propia
Por otro lado, si se hace un análisis que permita clasificar las mejoras
planteadas por el proceso de acreditación del Máster en Psicopedagogía en
función de la Dimensión y los Criterios establecidos por la ANECA (2019), tal y
como se ilustra en la Figura 4, se pueden identificar aquellos elementos que
reciben un número mayor de recomendaciones para su mejora. Este proceso resulta
mucho más interesante pues establece cuáles son los puntos débiles generales a
los que tiene que hacer frente los órganos de coordinación de las titulaciones
en sus universidades:
·
Organización
y desarrollo (implantación del plan de estudios, el perfil de egreso, la
coordinación docente y los criterios de admisión al título, entre otros).
·
Resultados
de aprendizaje (actividades formativas, metodologías docentes, sistema de
evaluación; resultados de aprendizaje adecuados al nivel MECES3).
·
Personal
Académico (nivel de cualificación académica, número suficiente, dedicación
adecuada, actualización docente, adecuación a lo verificado).
Los tres criterios más destacados resultan ser los que llevan un mayor
peso en la calidad de una titulación universitaria y en la que las propias
instituciones debieran poner todo su empeño.
Figura 4.
Mejoras incluidas en los procesos de acreditación del Máster en Psicopedagogía
por Criterios. Fuente: elaboración propia
Haciendo un análisis más profundo de los resultados de la acreditación en
relación con los aspectos que reciben un número mayor de mejoras en los títulos
del Máster en Psicopedagogía, se pudo realizar una clasificación de los
aspectos concretos que son identificados como puntos débiles del plan de
estudios en el conjunto de las universidades que lo imparten (Figura 5). En este
sentido, uno de esos puntos débiles detectado tiene que ver con el claustro
docente del Máster (12), donde se reclama una mejor cualificación del
profesorado (% de doctores, sexenios, dedicación permanente, experiencia
profesional e investigadora…). Igualmente se destaca una carencia de la calidad
de la información ofrecida al futuro estudiante (9), exigiendo una mejora y
actualización de los datos ofrecidos de la titulación por los canales oficiales
de la institución (web), como por ejemplo la publicación del curriculum de los miembros del claustro docente, así como
una mejora de la información de los perfiles de ingreso del estudiante y de sus
salidas profesionales. Otro aspecto que demanda una mejora en numerosos
informes de acreditación es el propio Sistema de Gestión Interno de la Calidad
(8), requiriendo una mejor implantación del sistema y un incremento de
participación de docentes y estudiantes. Igualmente, se destaca como aspecto
ampliamente mejorable el propio plan de estudios del Máster en Psicopedagogía
(8), donde se requiere un mayor número de prácticas en las asignaturas, cubrir
todos los ámbitos profesionales de la Psicopedagogía (formal y no formal) o
incrementar el nivel de los contenidos a la altura de un máster (MECES3).
Otros aspectos que pueden destacarse por el número de veces que se
reclaman como mejora en los distintos informes de acreditación del Máster en
Psicopedagogía son la coordinación docente entre las distintas asignaturas (7),
el incremento de la satisfacción de todos los implicados (6), el incremento del
número de horas de prácticas y la tipología del centro donde se realiza el practicum (6), publicar, revisar y unificar las guías
docentes de las asignaturas (6) y mejorar la recogida de información sobre la
inserción laboral de los egresados (5).
Figura 5.
Mejoras incluidas en los procesos de acreditación del Máster en Psicopedagogía
por ámbitos desarrollados. Fuente: elaboración propia
4.
Discusión y conclusiones
Resulta imprescindible saber cuáles son los beneficios concretos y los
impactos precisos sobre los sistemas universitarios que las actividades
implementadas por las agencias de calidad en el ámbito universitario están
aplicando a través de los procesos de verificación, modificación y acreditación
en los planes de estudio de la educación superior. Sin embargo, todavía no
existen suficientes estudios profundos que puedan dar evidencias empíricas
sobre este hecho, tal y como han mencionado otros autores (Manatos y Huisman, 2020; Andreani et al., 2019; López-Aguado, 2018;
González-Losada, García Rodríguez y Triviño García, 2014; Galán, González-Galán
y Rodríguez-Patrón, 2014).
Bien al contrario, mucho de esos estudios han identificado las
dificultades señaladas por muchos de los partícipes en los programas de
evaluación de sus títulos, como los responsables de los Sistemas de Garantía de
Calidad (López-Aguado, 2018), los directivos de las instituciones
universitarias (Pham, 2018), o los propios docentes y
estudiantes de las titulaciones (Andreani et al., 2020; Ibáñez-López,
Hernández-Pina y Monroy, 2020; Buwalda et al., 2018;
Cardoso, Rosa y Videira, 2018; Vincenzi.
Garau y Guaglianone, 2018).
Aspectos como la falta de coordinación entre los agentes, la escasa validez de
la garantía de calidad externa, la burocratización que conlleva una carga de
trabajo pesada, repercusiones positivas superficiales y no permanentes, las
mejoras limitadas en los resultados de aprendizaje de los estudiantes, la
carencia de recursos, así como la falta de formación de los agentes implicados,
son algunas de las deficiencias que estos estudios han encontrado en los
procesos de evaluación de la calidad de las titulaciones universitarias.
No obstante, tal y como se ha pretendido hacer en este estudio, se debe
hacer un énfasis en la especificación del impacto que los procesos de
acreditación de las titulaciones tienen en las tareas concretas que se
desarrollan en las instituciones universitarias. En este aspecto, tal y como se
han practicado en algunos estudios recientes, se ha visto necesaria la
evaluación del impacto de la gestión de la calidad en la educación superior (Leiber, 2018) o se ha estudiado el uso de las normas o
directrices europeas que hacen las agencias de acreditación nacionales (Manatos
y Huisman, 2020). Incluso se han introducido nuevas
metodologías de investigación para encontrar evidencias empíricas en el impacto
de los sistemas de acreditación y garantía de calidad basadas en modelos de
regresión logística multivariante (Andreani et al., 2019), diseños pre-test/post-test (Leiber, Prades y Álvarez de Castillo, 2018), aplicando
metodologías no experimentales expost-facto (Bejan et al., 2018) o metodologías cualitativas de revisión
de documentación (Leiber, Moutafidou
y Welker, 2018), tal y como se presenta en esta investigación.
En la línea de los estudios presentados, este trabajo ha encontrado
evidencias contrastables sobre el impacto que ha sufrido la titulación del
Máster en Psicopedagogía en las diferentes universidades que desarrollan este
plan de estudio en España. En este sentido, analizando los informes de
acreditación de la titulación emitidos por las agencias de aseguramiento de la
calidad regionales y nacionales, se percibe que existe una relación entre el
número de acreditaciones y modificaciones sufridas por la titulación y la
mejora en los resultados de dicha evaluación. En concreto, este estudio
evidencia que han obtenido mejores resultados aquellas titulaciones de las
universidades que más tiempo llevan verificadas y que más han utilizado el
procedimiento de modificación o acreditación en sus planes de estudio,
corroborando la existencia de un impacto considerable de los procesos de
acreditación y modificación en la calidad de las titulaciones que se han
estudiado.
En relación con esta evidencia, se ha podido relacionar en esta
investigación que aquellas universidades que tienen una implantación de la
titulación más reciente y, en consecuencia, un número menor de modificaciones o
acreditaciones de su plan de estudio, suelen recibir un número mayor de recomendaciones
o mejoras que deben implementar en alguno de sus procesos relacionados con la
puesta en marcha del Máster en Psicopedagogía.
Por otro lado, otro de los objetivos que se ha tratado de alcanzar con
este trabajo de investigación ha sido identificar cuáles han sido los criterios
(ANECA, 2019) que reciben un número mayor de recomendaciones para su mejora,
siendo la “Organización y desarrollo”, los “Resultados de aprendizaje” y el
“Personal Académico” los aspectos que más veces ha sido requerido para su
revisión por las agencias de seguimiento de la calidad dentro del Máster en
Psicopedagogía en las distintas instituciones universitarias. Este dato resulta
muy destacable al ser los tres criterios que más vinculación tienen con la
calidad del proceso de enseñanza-aprendizaje, por lo que se puede reconocer que
todavía hay que trabajar por identificar el impacto del proceso de acreditación
en la mejora de los resultados del propio aprendizaje, tal y como se reconocen
en otros estudios (Andreani et al., 2020; Leiber,
Prades y Álvarez de Castillo, 2018).
No obstante, en este trabajo sí se han podido vislumbrar los aspectos que
las agencias de evaluación han reconocido en sus informes de acreditación como
áreas de mejora a desarrollar en los planes de perfeccionamiento de la
titulación del Máster en Psicopedagogía. En este marco, se destacan como puntos
débiles la escasa cualificación del profesorado (doctorado, sexenios…), la
deficiente información ofrecida al estudiante sobre la titulación, el propio
desarrollo del Sistema de Gestión Interno de la Calidad y la falta
participación en él de todos sus miembros, el reducido número de prácticas en
las asignaturas, el insuficiente trato del ámbito psicopedagógico no formal y
un nivel de contenidos no semejable a un máster en el plan de estudio (MECES3).
Como conclusión, en este estudio se ha podido identificar cierto impacto
del proceso de acreditación en las titulaciones del Máster en Psicopedagogía en
España, aunque se debe seguir insistiendo en estudiarlo desde puntos
metodológicos diversos y atendiendo a su influencia en distintos aspectos
concretos de las titulaciones universitarias. A este respecto, tal y como
apuntan otros autores (Cuevas et al., 2019; y López-Aguado, 2018; Leiber, 2018; Manatos y Huisman,
2020; Andreani et al., 2019; Leiber, Prades y Álvarez
de Castillo, 2018; Bejan et al., 2018; Leiber, Moutafidou y Welker,
2018), los sistemas de evaluación de los títulos deben focalizar su atención en
aspectos más estratégicos y menos burocráticos, incrementar la participación de
las universidades y sus diferentes audiencias, asentar una cultura de la
evaluación y la calidad y tratar de evaluar el impacto del título hacia el
ámbito externo social, cultural o laboral. Para ello es necesario realizar
cambios estructurales en las universidades y la coordinación de sus planes de
estudio, que persigan un liderazgo proactivo en los procesos de mejora que
sirvan para una mayor calidad de las titulaciones y un funcionamiento más
eficaz de las universidades.
Referencias
Andreani, M., Russo, D., Salini, S., & Turri, M. (2020). Shadows over accreditation in higher education: some quantitative
evidence. Higher Education, 79(4), 691-709. DOI: https://doi.org/10.1007/s10734-019-00432-1
ANECA (2019). Documento Marco: Evaluación para la renovación de la
acreditación de títulos oficiales de Grado y Máster Universitario. Programa
ACREDITA. Recuperado de https://cutt.ly/ankon7u
ANECA (2020). ANECA. Recuperado de http://www.aneca.es/ANECA
AQUC (2010). Framework for the
Validation, Monitoring, Modification and Accreditation of Recognised
University Degrees (VSMA Framework). Barcelona: AQU Catalunya. Recuperado de http://www.aqu.cat/doc/doc_27365192_1.pdf
Befani, B., &
Mayne, J. (2014). Process tracing and contribution analysis: A combined
approach to generative causal inference for impact evaluation. IDS bulletin,
45(6), 17-36. DOI: https://doi.org/10.1111/1759-5436.12110
Bejan, A. S., Damian,
R. M., Leiber, T., Neuner, I., Niculita,
L., & Vacareanu, R. (2018). Impact evaluation of
institutional evaluation and programme accreditation at Technical University of
Civil Engineering Bucharest (Romania). European Journal of Higher Education,
8(3), 319-336. DOI: https://doi.org/10.1080/21568235.2018.1474780
Buwalda,
N., Braspenning, J., van Dijk, N., & Visser, M.
(2018). Local and national effects of a quality system in Dutch general
practitioner specialty training: a qualitative study. Quality in HigHer education, 24(1), 43-54. DOI: https://doi.org/10.1080/13538322.2018.1445431
Cardoso, S., Rosa, M.J. & Videira, P.
(2018). Academics’ participation in quality assurance: does it
reflect ownership?, Quality in Higher Education, 24(1),
66–81. DOI:
https://doi.org/10.1080/13538322.2018.1433113
Cuevas
López, M., Fernández Cruz, M., Díaz Rosas, F., Gijón Puerta, J., Lizarte Simón, E.J., Ibáñez-Cubillas, P., El Homrani,
M., Ávalos Ruiz, I., & Rodríguez Muñoz, R. (2019). Liderazgo y
calidad en la Educación Superior. EDMETIC, Revista de Educación Mediática y
TIC, 8(2), 52-72. DOI: https://doi.org/10.21071/edmetic.v8i2.12120
ENQA (2015). Standards and Guidelines for Quality Assurance in the
European Higher Education Area. Brussels, Belgium.
Recuperado de https://enqa.eu/index.php/home/esg/
Fernández Díaz, M. J. (2013). Evaluación del impacto para un cambio
sostenible en las organizaciones educativas. Revista Española de Pedagogía, 71 (254), 119-140.
Recuperado de https://cutt.ly/MnkiIlw
Fernández-Cruz, F. J.,
& Rodríguez-Legendre, F. (2021). The innovation
competence profile of teachers in higher education institutions. Innovations
in Education and Teaching International, 1-12. DOI: https://doi.org/10.1080/14703297.2021.1905031
Galán, A., González-Galán, M. A. y Rodríguez-Patrón, P. (2014). La
evaluación del profesorado universitario en España. Sistema nacional y
divergencias territoriales. Revista de Educación, 366, 136-164.
Recuperado de https://cutt.ly/snkiveZ
González Losada, S., García Rodríguez, M. P. y Triviño García, M. A.
(2014). La evaluación institucional en la Universidad: percepción del
profesorado y del Personal de Administración y Servicios. REDU, Revista de
Docencia Universitaria, 12(4), 17-37. Recuperado de https://cutt.ly/xnkiaHX
Ibáñez-López, F. J., Hernández-Pina, F., & Monroy, F. (2020).
Evaluación y acreditación de titulaciones universitarias en Educación desde el
punto de vista del profesorado. Revista interuniversitaria de formación del
profesorado: RIFOP, 34(3),
137-154. DOI: https://doi.org/10.47553/rifop.v34i3.81380
IMPALA (2016). Impact Analysis of
External Quality Assurance Processes of Higher Education Institutions.
Pluralistic Methodology and Application of a Formative Transdisciplinary Impact
Evaluation. Accessed November 24, 2019.
https://www.evalag.de/en/international/impact-analysis/ the-project
Jurvelin,
J. A., Kajaste, M., & Malinen,
H. (2018). Impact evaluation of EUR-ACE programme accreditation at Jyväskylä University of Applied Sciences (Finland). European
Journal of Higher Education, 8(3), 304-318. DOI: https://doi.org/10.1080/21568235.2018.1474779
Leiber, T. (2018).
Impact evaluation of quality management in higher education: a contribution to
sustainable quality development in knowledge societies. European Journal of Higher Education, 8(3),
235-248. DOI: https://doi.org/10.1080/21568235.2018.1474781
Leiber, T., Moutafidou, N., & Welker, B. (2018). Impact evaluation
of programme review at University of Stuttgart
(Germany). European Journal of Higher Education, 8(3), 337-350.
Leiber, T., Moutafidou, N., & Welker, B. (2018). Impact evaluation
of programme review at University of Stuttgart (Germany). European Journal
of Higher Education, 8(3), 337-350. DOI: https://doi.org/10.1080/21568235.2018.1474781
Leiber, T., Prades, A., & Álvarez del Castillo, M. (2018). Impact evaluation of programme accreditation
at Autonomous University of Barcelona (Spain). European
Journal of Higher Education, 8(3), 288-303.
DOI: https://doi.org/10.1080/21568235.2018.1474778
Leiber, T., Stensaker, B., & Harvey, L. (2015). Impact evaluation
of quality assurance in higher education: methodology and causal designs. Quality
in Higher Education, 21(3), 288-311. https://doi.org/10.1080/13538322.2015.1111007
López-Aguado, M. (2018). La evaluación de la calidad de títulos universitarios. Dificultades
percibidas por los responsables de los sistemas de garantía de calidad. Educación
XX1, 21(1), 263-283.DOI: https://doi.org/10.5944/educXX1.16580
Magaña, E., & Bara,
F. (2020). La Universidad Europea: entre Bolonia y la Agenda 2020. Revista
Española de Educación Comparada, 36: 54-73 DOI: https://doi.org/10.5944/reec.36.2020.26179
Manatos, M. J., & Huisman, J. (2020). The
use of the European Standards and Guidelines by national accreditation agencies
and local review panels. Quality in higher
education, 26(1), 48-65. DOI: https://doi.org/10.1080/13538322.2020.1728835
Michavila,
F. (2011). Bolonia en crisis. Revista de Docencia
Universitaria. REDU, 9(3), 15−27. DOI: https://doi.org/10.4995/redu.2011.6146
Pham, H. T. (2018). Impacts of higher education quality accreditation: a
case study in Vietnam. Quality in Higher
Education, 24(2), 168-185. DOI: https://doi.org/10.1080/13538322.2018.1491787
Puente, J., Fernandez, I., Gomez, A., & Priore,
P. (2020). Integrating Sustainability in the Quality Assessment of EHEA
Institutions: A Hybrid FDEMATEL-ANP-FIS Model. Sustainability, 12(5), 1707. DOI: https://doi.org/10.3390/su12051707
Sin, C., Tavares, O.,
& Amaral, A. (2017). The impact of programme accreditation on Portuguese higher education
provision. Assessment & Evaluation in Higher Education,
42(6), 860-871. DOI: https://doi.org/10.1080/02602938.2016.1203860
Stensaker,
B., & Leiber, T. (2015). Assessing the
organisational impact of external quality assurance: hypothesising key
dimensions and mechanisms. Quality in Higher Education, 21(3), 328-342.
DOI: https://doi.org/10.1080/13538322.2015.1111009
Vázquez García, J. A. (2015). Nuevos
escenarios y tendencias universitarias. Revista de Investigación
Educativa, 33(1),
13−26. DOI: http://doi.org/10.6018/rie.33.1.211501
Vincenzi,
A., Garau, A. & Guaglianone,
A. (2018). Has the quality of teaching and learning processes
improved as a result of the implementation of quality
assurance coordinated by the state? Quality in Higher Education, 24(1),
pp. 55–65. DOI:
https://doi.org/10.1080/13538322.2018.1426382