Introducción

El rendimiento académico es una problemática actual, en cierta medida refleja la calidad del proceso de formación y su impacto en el aprendizaje. Según su naturaleza se concibe desde lo social (delimitado por las características de los contextos sociales y educativos), lo demográfico (diversidad y complejidad del alumnado) y lo individual (dominio de conocimientos, habilidades, destrezas, etc.). En sentido general, es un indicador clave para medir el nivel de dominio del aprendizaje. Si bien el estudiantado es el máximo responsable de su aprendizaje, en el rendimiento académico intervienen factores externos (contexto escolar, familiar, social, las cualidades del profesor y los tutores, entre otros) y psicológicos (motivación, interés hacia la asignatura, etc.). Detectar a priori, los posibles estudiantes propensos a bajo rendimiento académico permitirá implementar acciones didácticas preventivas.

Predecir el rendimiento académico es una de las áreas de investigación de auge en la educación superior. Zaldumbide & Párraga (2018), declara que en el periodo 2003-2017 diversas investigaciones educativas reflejan una evolución en este sentido, empleando para ello la minería de datos educativos. El impulso de la predicción del rendimiento académico ha permitido adaptar métodos computacionales y aplicarlos a la Educación desde los fundamentos de las tecnologías educativas y la educomunicación.

Diversas disciplinas computacionales intervienen en este proceso predictivo, destacándose las analíticas de aprendizaje, el aprendizaje automático, la minería de datos educativos y las teorías difusas (Rastrollo-Guerrero, Gómez-Pulido & Durán-Domínguez, 2020). La predicción del rendimiento académico se ha analizado en diversas revisiones sistemáticas indexadas en Scopus. Shahiri, Husain & Rashid (2015), realiza un análisis (2002-inicios 2015) de las técnicas de minería de datos educativos. Del Rio & Pineda (2016), evalúan el periodo 2011-2016, coincidiendo con Shahiri, Husain y Rashid (2015), en cuanto a las técnicas de minería de datos. Na & Tasir (2017), en el periodo 2010-2016, identifican los riesgos asociados al rendimiento académico en los entornos virtuales de aprendizaje (EVA) y las técnicas de predicción. Shingari, Kumar & Khetan (2017), presenta variables para determinar la predicción del rendimiento académico y se centran en demostrar la aplicación de la minería de datos en la educación (periodo 2013-2016). Hellas, et.al., (2018), estudian 357 artículos (2010-inicios del 2018), al realizar un análisis profundo logran superar las revisiones sistemáticas publicadas anteriormente y muestra especial interés en los modelos ocultos de Markov. Zaldumbide & Párraga (2018), efectúan un mapeo sistemático de la literatura (2003-2017), enfocando su análisis en la minería de datos y los modelos predictivos. Rahul & Katarya. (2019), centran su atención en las técnicas de aprendizaje automático (periodo 2006-inicios del 2019). Ameen, Alabi & Adewole (2019), analizan el periodo 2007-inicios del 2019 y muestra una taxonomía relacionada con las variables que intervienen en el rendimiento académico. Rastrollo-Guerrero, Gómez-Pulido & Durán-Domínguez (2020), centra su análisis en las técnicas de aprendizaje supervisado y no supervisado. Cáceres, Rodríguez-García, Gómez & Rodríguez (2020), realizan una valoración de la aplicación de las analíticas de aprendizaje en la educación, identificando un grupo de investigaciones y clasificándolas según los procedimientos empleados.

Estas revisiones sistemáticas abordan la predicción del rendimiento académico, sin embargo, no identifican los tipos de investigaciones en que se sustentan los estudios primarios (experimentales y no experimentales), ni los clasifican según las modalidades de estudios (online-en línea-, presencial o semipresencial) y en pocos, se establecen la relación con las variables del rendimiento académico. Debido a las limitaciones antes mencionadas, este artículo tiene como objetivo analizar los estudios de la última década (2010-marzo 2020) relacionados con la predicción del rendimiento académico en dos escenarios: (1) modalidades de estudios online (en línea) y semipresencial; y (2) Apoyo tecnológico a la modalidad presencial. Ello contribuirá a realizar un mapeo basado en cuatro disciplinas computacionales: analíticas de aprendizaje, aprendizaje automático, minería de datos educativos, redes neuronales artificiales y, las teorías difusas.

Metodología

Se aplicó el protocolo PRISMA (Urrútia & Bonfill, 2010) y las anotaciones establecidas por Torres, González, Aciar & Morales (2018). Se empleó un método revisión compuesto por tres fases: Planificación (preguntas de la investigación, criterios de selección y exclusión; estrategia de búsqueda y protocolo de revisión); Conducción (evaluación y extracción de los datos por tres evaluadores) e Informe de los resultados (análisis de la validez de los estudios primarios y descripción de los datos).

Preguntas de la investigación

• Pregunta 1 (P1) ¿Cuáles son las técnicas y algoritmos que se emplean en el rendimiento académico según los escenarios: (1) modalidades de estudios online (en línea) y semipresencial y; (2) apoyo tecnológico a la modalidad presencial?

• Pregunta 2 (P2) ¿Qué variables del rendimiento académico se utilizan en correspondencia a las estrategias de investigación empleadas en los estudios primarios y según las modalidades de estudios?

• Pregunta 3 (P3) ¿Qué estrategia de investigación (experimentos o estudios de casos) predominan en los estudios primarios relacionados con el rendimiento académico?

Estrategia de búsqueda: Se realizó una búsqueda (periodo 2010-marzo 2020) en Bases de Datos y Bibliotecas especializadas (Scopus, IEEE Xplore, Springer y ACM Digital Library). La estrategia (Tabla 1) se efectuó en idioma inglés y español.

Criterios de elegibilidad y criterios de inclusión y exclusión:

• Fenómeno de interés: Predicción del rendimiento académico.

• Contexto: Educación secundaria y superior.

• Criterios de inclusión: Artículos cualitativos y cuantitativos, revisados por pares y que emplean estudios de casos (único o múltiples) o experimentos. Se incluyen artículos en revistas, revisiones sistemáticas y comunicaciones en actas de conferencias indexadas.

Existen diversidad de criterios en la metodología de la investigación científica, por lo cual, asumimos las siguientes. Metodología cualitativa (Stake, 2005) y Metodología cuantitativa (Cea d´Ancona, 2001).

• Criterios de exclusión: artículos cortos, tutoriales e investigaciones que no argumenten sus resultados.

Procedimiento de selección y validez: Se diseñó un formulario para garantizar la fiabilidad y validez. Primeramente se analizó el título, resumen y palabras claves y posteriormente, dos evaluadores analizaban los artículos; en caso de discrepancias, un tercer evaluador emitía su criterio. Para el diseño y aplicación del formulario se empleó la técnica de palabras claves «Keywording technique» (Petersen et al., 2008) y los criterios de evaluación establecidos por el Instituto de Joanna Briggs (Lockwood et al., 2015)

Extracción de datos: Se utilizó un protocolo estandarizado permitiendo la extracción de la siguiente información: referencia, autores, fecha de publicación, indexación, técnica y método de predicción, país y variables del rendimiento académico. El análisis y síntesis de los datos, se realizó mediante talleres virtuales en el Grupo de Investigación de Educación a Distancia perteneciente al Centro Nacional de Educación a Distancia, Cuba y con miembros del Grupo Computación Científica de la Universidad de las Ciencias Informáticas, Cuba.

Limitaciones: Selección del idioma español e inglés y, la búsqueda en solo cuatro bases de datos por lo cual, se obviaron investigaciones con importantes resultados publicados en otros idiomas o indexados en otras bases de datos.

Resultados

El análisis realizado permitió la identificación de 69 estudios primarios (Figura 1). En la siguiente URL (doi: https://dx.doi.org/10.13140/RG.2.2.12523.57128), se comparten los estudios de la Etapa 2. 

Las distribuciones de las publicaciones seleccionadas fueron: 2010 (1), 2011 (1), 2012 (2); 2013 (6); 2014 (5); 2015 (6), 2016(7); 2017 (8); 2018(14); 2019(12) y mazo de 2020 (7). Para responder la P1 y P2 se identificaron las disciplinas base y su relación con las variables de rendimiento académico (Tabla 2). Para profundizar en los 69 trabajos se comparten los datos obtenidos (doi: http://dx.doi.org/10.13140/RG.2.2.12104.14085).

Para responder la P3, se agruparon las publicaciones según los tipos de investigación (Tabla 3; Tabla 4; Tabla 5; Tabla 6). Se refleja que el 81.16% de las evidencias emplean estrategias basadas en estudios de casos de ellos; el 26.08% son estudios de casos mútliples y el 55.07% estudios de caso único. Lo anterior demanda en la necesidad de profundizar en investigaciones de tipo experimental.

Se identificaron las disciplinas base según los escenarios (Figura 2) y los tipos de investigación (Figura 3). Estos resultados muestran la efectividad de la aplicación de las cinco disciplinas que se referencian además, se resaltan los siguientes aspectos: (1) una mayor representatividad de estudios de casos sobre los estudios experimentales; (2) la posible relación entre un bajo engagement y el rendimiento académico «con énfasis en la modalidad de estudios online (en línea) y semipresencial»; (3) para analizar factores psicológicos tales como: motivación, compromiso, engagement, y actitudes, el método de análisis de regresión es el más recomendado; y (4) en cuanto a la predicción en sí, hay una tendencia a emplear los árboles de decisión y el perceptrón multicapa.

Discusión

En la revisión sistemática se detectó como regularidades que, en la disciplina: Teorías difusas aplicadas, se destacan las técnicas neuro-difusos. Estas aceptan múltiples entradas con varias reglas que pueden aplicarse en múltiples capas, es decir permite relacionar redes neuronales artificiales y la lógica difusa. Para lograr una correcta modelación difusa lingüística se identifican el objetivo y la información a manipular, proceso que es centrado en interpretabilidad o en exactitud, siendo la principal entrada las calificaciones de los estudiantes.

En cuanto a las Disciplinas: Minería de datos educativos y redes neuronales artificiales, se evidencia una tendencia al uso de la técnica de K vecino más cercano y a la integración de las técnicas de árboles de decisión, análisis de la regresión y el algoritmo Naïve Bayes. La técnica de K vecino más cercano, empleada por los autores tiene como particularidad que, al aplicar el algoritmo regresión del Gran margen de vecino más cercano (LMNNR, siglas en inglés) se basa en la extensión (Leon & Popescu, 2017) de las funciones objetivos finales. El LMNNR se emplea para determinar la predicción del rendimiento del alumno en función de su interacción e interactividad en los blogs, herramientas de microblogging y actividades de colaboración. Las herramientas más empleadas son: DataShop, GISMO, Meerkat-ED y MDM Tool. De conjunto con la minería de datos, se potencia el empleo de la red neuronal artificial, que si bien no es frecuente en los estudios analizados, se refleja el uso de una red neuronal prealimentada o el clásico Perceptrón multicapa -red con alimentación hacia delante-.

En la Disciplina de Aprendizaje automático, por tendencia «en dependencia del escenario educativo», se pueden utilizar tres modelos: (1) Modelos de transporte, el proceso al ser predecible (al estudiante no se le provee diferentes rutas de aprendizaje) se emplean matrices de tiempo-tarea y la secuencia del tiempo será principalmente término por término; (2) Modelos basado en árboles (contienen nodos de decisión críticos pero se mantiene la linealidad en los puntos inicial y final), dirigido fundamentalmente cuando el estudiante desconoce que alternativas de rutas de aprendizaje escoger; y (3) los modelos complejos, se emplean para procesos de aprendizaje impredecibles. Se utilizan como tendencia las técnicas: (1) algoritmo k-means de conjunto con el agrupamiento que realiza el software RapidMiner y el índice de Davies-Bouldin (DB) para validar el agrupamiento interno; (2) Máquinas de vectores de soporte, algoritmo Naïve Bayes, Regresión lógica, Bosques Aleatorios y el Extreme Gradient Boosting; y (3) Aprendizaje profundo memoria a largo plazo.

Por ultimo en la Disciplina Analíticas de aprendizaje, se reflejan como tendencias: (1) las herramientas LOCO Analyst, GISMO, openDLAs (basada en la analítica descriptiva), edX-MAS+ (basada en la analítica predictiva), edX-WS: Warning System (basadas en la analítica prescriptiva); edXFAS: Feedback Analysis System (basadas en la analítica prescriptiva) y Student System Success, y (2) incluir dentro del estudio clásico del desempeño estudiantil asincrónico, lo relacionado con el registro y análisis de datos que permita determinar competencias asociadas al trabajo grupal y la gestión eficaz del tiempo. La calidad de las predicciones se mide por precisión, recuerdo y medida. La precisión es el porcentaje de estudiantes identificados correctamente en la predicción (en riesgo). Recordar es el porcentaje de estudiantes que están en riesgo según la predicción identificada. La medida F es la media armónica de precisión y recuperación que generalmente se usa para proporcionar el rendimiento del modelo de clasificación utilizando una medida. Se evidencia en las analíticas de aprendizaje, el empleo de modelos de agrupación en clústeres. Los estudios a gran escala evidencian un marcado empleo de las herramientas Student Probability Model (SPM) y OU Analyse (OUA). Los SPM se basan en modelos generados a través de regresiones logísticas de un conjunto de variables explicativas agrupadas en, Factores estudiantiles, Curso de estudiante, Progreso previo en la universidad y, Variables de curso y calificación. El OUA emplea tres métodos de aprendizaje automático: (1) clasificador Naïve Bayes (NB), (2) Árbol de clasificación y regresión (CART) y (3) k Vecinos más cercanos (k-NN). Por tendencia se refleja que en los cursos abiertos masivos en línea (MOOCs por sus siglas en inglés), considerar las siguientes variables de entrada: (1) estructura del curso y sus elementos de evaluación; (2) estado de los alumnos en cada componente del curso; (3) mensajes e interacciones del foro; (4) calificaciones del estudiantado en cada actividad evaluada y por cada asignatura; y (5) datos de flujo de clics.

Los resultados obtenidos en esta revisión permitieron sintetizar en los siguientes escenarios, la relación entre las variables pertenecientes a la educación y a la predicción del rendimiento académico:

• Escenario: apoyo tecnológico a la modalidad presencial, se destacan las siguientes relaciones: aprendizaje automático-información académica, demográfica, factores psicológicos y resultados docentes (Rahul y Katarya, 2019; Rastrollo-Guerrero, Gómez-Pulido y Durán-Domínguez, 2020); (2) minería de datos educativos-información académica, demográfica y resultado en los exámenes (Na y Tasir, 2017; Hellas, et., al, 2018); (3) teoría difusa aplicada-resultado en los exámenes (Meca, Mollá-Campello y Rabasa, 2019); y (4) las analíticas de aprendizaje con los temas discutidos en el Chat, estadísticas de progreso, retroalimentación de ejercicios y, tiempo de interacción (Rienties, Herodotou, Olney, Schencks y Boroowa,2018; Herodotou, Rienties, Boroowa, Zdrahal y Hlosta, 2019)

• Escenario: modalidades de estudios online (en línea) y semipresencial, las relaciones entre disciplinas computacionales-variables del rendimiento académico son: (1) minería de datos educativos-resultado en los exámenes, información académica e interactividad (Hasan, Palaniappan, Raziff, Mahmood y Sarker, 2018; Popescu y Leon, 2018); (2) la teoría difusa aplicada (Yildiz, Bal y Gulsecen, 2013) y el aprendizaje automático (Shanthini, Vinodhin y Chandrasekaran, 2018) ambas relacionadas con los exámenes y la interactividad mientras que, las analíticas de aprendizaje están relacionadas con: (1) temas que los grupos están discutiendo en el chat y estadísticas de progreso, (2) retroalimentación en la realización de ejercicios, tiempo de interacción estudiante-sistema, estilos de aprendizaje, motivación, datos de disposiciones de aprendizaje y datos del sistema de gestión del aprendizaje y, (3) estructura del curso; estado de los alumnos en cada componente del curso; interacciones del foro; calificaciones y datos de flujo de clics.

El uso de la lógica difusa en la evaluación del rendimiento académico permite detectar a priori posibles dificultades de aprendizaje sin embargo, depende de la base de conocimientos, las reglas diseñadas y, los fundamentos psicopedagógicos en las cuales se sustentan (Amelia, Gafar & Mulyadi, 2019). Otro de los resultados obtenidos que coinceden con estudios previos, es lo relacionado con el uso de estrategias de minerías de datos basadas en los algoritmos genéticos difusos, las redes neuronales y los árboles de decisión (Rahul & Katarya, 2019; Hamsa, Indiradevi & Kizhakkethottam, 2016) sin embargo, sigue siendo latente las pedagogías emergentes que orienten el cómo interpretar los resultados de la predicción y la intervención pedagógica.

Conclusiones

El artículo presenta una revisión sistemática de la predicción del rendimiento académico desde la tecnología educativa. Las técnicas y algoritmos que más se emplean en esta predicción son: las analíticas de aprendizaje, aprendizaje automático, minería de datos educativos, redes neuronales artificiales y, las teorías difusas.

Las estrategias de investigación que predominan en los estudios primarios analizados son los estudios de caso único y los estudios de casos múltiples. Lo anterior refleja la necesidad de potenciar el empleo de experimentos controlados para determinar objetivamente la predicción del rendimiento académico.

En el escenario de “modalidades de estudios online (en línea) y semipresencial”, hay una preponderancia a emplear analíticas de aprendizaje, el aprendizaje automático y la minería de datos educativos; sin embargo en el segundo escenario “apoyo tecnológico a la modalidad presencial”, se emplean en mayor medida las teorías difusas aplicadas; la minería de datos educativos y el aprendizaje automático.

Se considera que sí hay evidencias que apoyan la predicción del rendimiento académico, aun así, desde una perspectiva de la sociología de la educación y desde la psicopedagogía, aun es insuficiente la inclusión de variables tales como: factores del alumnado (salud física, actitudinal y afectivo), factores casuales (contexto familiar, escolar y social) y el autocontrol (Mendoza-Macías y Barcia-Briones, 2020).

¿Se logra predecir el rendimiento académico? Respondemos que sí, sin embargo a modo de cierre deseamos aclarar que, en el Escenario: Modalidades de estudios online (en línea) y semipresencial, se destacan cinco variables (Tabla 2), sin embargo es interesante que aun cuando los investigadores declaran obtener más del 85% de efectividad, los resultados no son del todo predictivos al declararse por tendencia la necesidad de investigar la relación entre las variables. En este sentido, se concuerda con los resultados (Quinn & Gray, 2020), que aun cuando los estudiantes mantienen una alta motivación, interacción e interactividad, pueden obtener un rendimiento inadecuado. Por otro lado, en el Escenario: Apoyo tecnológico a la modalidad presencial, se destacan el empleo de variables agrupadas en demográficos, socioeconómicos y, académicos. Los primeros, relacionados fundamentalmente a la edad y el sexo, sin embargo es casi nulo la inclusión de los criterios del estado civil y el status migratorio. Los segundos, asociados a la solvencia económica de los padres, sin embargo es carente la inclusión del criterio trabajo laboral realizado por el estudiante. Por último, lo factores académicos, que integran la motivación profesional, las calificaciones de los exámenes y el recorrido cognitivo previo del estudiante, sin incluir criterios asociados a la autoeficacia. Estas carencias en criterios establecidos en el rendimiento académico, son coherentes con investigaciones psicopedagógicas (Fernández-Mellizo & Constante-Amores, 2020) por lo cual se convierten en proyecciones para el trabajo futuro

Desde nuestra perspectiva, las investigaciones analizadas se limitan a solo presentar los resultados de la predicción del rendimiento académico, sin explicar que estrategias se proponen para mitigar o mejorar este rendimiento. Por tal motivo, se sugiere como trabajo futuro que, al realizar y publicar una investigación relacionada con la predicción del rendimiento académico, se respondan además pregunta tales como ¿Cuáles acciones pedagógicas son las más adecuadas en relación a los resultados obtenidos en la predicción del rendimiento académico?, ¿cuáles son los resultados de aplicar estas acciones pedagógicas? Por tanto, se considera que, investigar en la predicción del rendimiento académico implica además el cómo intervenir pedagógicamente en el aprendizaje del estudiante y valorar los resultados obtenidos.

(1)