|
Páginas: 1-11 Recibido: 2022-08-15 Revisado: 2022-09-16 Aceptado: 2022-12-13 Preprint: 2023-01-31 Publicación
Final: 2023-01-31 |
|
|
Juan
Pablo Cancino-Santizo |
||
|
José
Manuel Vázquez Antonio |
||
|
David
Chávez Herting |
Resumen
El perfil de
egreso de la Educación
Normal destaca que los futuros docentes desarrollen competencias para la
producción de documentos escritos, con la intención de divulgar información
generada en sus investigaciones. Desde el enfoque socioformativo se considera
prioritario apoyarse en procedimientos evaluativos que fortalezcan los procesos
de enseñanza y aprendizaje. Sin embargo, al realizar una búsqueda de diversos
documentos en bases de datos de revistas indexadas e indizadas, se localizaron
pocos instrumentos que valoraran ensayos académicos de estudiantes normalistas.
Ninguno de estos consideró a la evaluación socioformativa y en su mayoría
carecían de procesos de validez científica, haciéndolos poco objetivos y
confiables. Considerando lo anterior, en el presente estudio se plantearon los
siguientes propósitos: 1) diseñar una Escala Estimativa Socioformativa (EES)
atendiendo la taxonomía que propone la socioformación; 2) remitir la EES para
procesos de revisión y juicio de expertos; 3) realizar un pilotaje del
instrumento y 4) analizar las características psicométricas de validez de
contenido y constructo. Los resultados exponen que la EES presentó niveles de
validez de contenido pertinentes (V de Aiken ≥0.75). La aplicación con el grupo
piloto (n = 15) mostró un adecuado grado de comprensión, pertinencia y
satisfacción. En lo que se refiere al análisis factorial confirmatorio, mostró
dos factores, lo cual está acorde con lo esperado a nivel teórico o en el
diseño del instrumento, con confiabilidades superiores a 0.9. Se concluye que
la EES es pertinente para valorar ensayos académicos. Se sugieren nuevos
estudios de validez y confiabilidad con
poblaciones de mayor rango.
Abstract
The graduate profile of teacher education emphasizes that future teachers develop competencies for the production of written documents, with the intention of disseminating information generated in their research. From the socio-formative approach, it is considered a priority to rely on evaluative procedures that strengthen the teaching and learning processes. However, a search of various documents in databases of indexed and indexed journals revealed few instruments that evaluated academic essays of teacher training students. None of these considered socio-formative assessment and most of them lacked scientific validity processes, making them not very objective and reliable. Considering the above, the present study had the following purposes: 1) to design a Socioformative Estimate Scale (EES) according to the taxonomy proposed by socioformation; 2) to submit the EES for review and expert judgment; 3) to conduct a pilot test of the instrument; and 4) to analyze the psychometric characteristics of content and construct validity. The results show that the EES presented relevant levels of content validity (Aiken's V ≥0.75). The application with the pilot group (n = 15) showed an adequate degree of understanding, relevance and satisfaction. With regard to the confirmatory factor analysis, it showed two factors, which is in accordance with what was expected at the theoretical level or in the design of the instrument, with reliabilities above 0.9. It is concluded that the EES is relevant for assessing academic essays. Further validity and reliability studies with larger populations are suggested.
Palabras
clave / Keywords
Confiabilidad,
educación normalista, enfoque socioformativo, evaluación de textos, evaluación
socioformativa, producción de textos, validez, valoración.
Normal education, reliability, socioformative approach, socioformative evaluation, text evaluation, text production, validity, valuation /assessment.
1. Introducción
En la actualidad, la sociedad del conocimiento exige
que las personas dispongan de competencias profesionales que permitan enfrentar
los retos inherentes a este tipo de sociedad. Ante esto, se requiere que los
sistemas educativos reinventen sus procesos formativos, abandonando las formas
convencionales de enseñanza
En contraste con lo anterior, una situación alarmante
en México en materia educativa; es el bajo nivel de desempeño estudiantil en la
escala global de lectura. Para PISA, los estudiantes que se desempeñan por
debajo del nivel 1b “[…] son incapaces de realizar el tipo de lectura más
básico que busca medir […]. Esto no significa que no posean habilidades
lectoras. […] la mayoría de estos estudiantes probablemente pueden leer —en el
sentido técnico de la palabra—, pero tienen serias dificultades para utilizar
la lectura como herramienta para impulsar y ampliar sus conocimientos y habilidades
en otras áreas” (p. 75). En consecuencia, derivado de estos bajos niveles de
compresión lectora, los estudiantes muestran carencias en la redacción de
textos académicos. Ante esto, es urgente que la escuela, en todos sus niveles
académicos, brinde a los educandos las herramientas necesarias para afrontar
dichos desafíos
En relación al tema, en la educación Normal, el Perfil
de egreso del Plan de estudios 2018 para la Licenciatura en Educación Primaria
(Acuerdo 14/07/18, 2018), plantea competencias genéricas y profesionales que
los Normalistas deben alcanzar al concluir su formación y acordes con este
planteamiento, destacando las siguientes: a) solucionar problemas y tomar
decisiones utilizando su pensamiento crítico y creativo, b) colaborar con
diversos actores para generar proyectos innovadores de impacto social y
educativo, c) utilizar las tecnologías de la información y la comunicación de
manera crítica, d) integrar recursos de la investigación educativa para
enriquecer su práctica profesional, expresando su interés por el conocimiento,
la ciencia y la mejora de la educación, y e) aplicar sus habilidades
lingüísticas y comunicativas en diversos contextos.
Por otra parte, un producto de evidencia que demuestra
los resultados de aprendizaje y adquisición de competencias al concluir
cualquier trayecto formativo es el ensayo académico. Para la
Pero ¿cómo evaluar estos textos académicos? Un
instrumento propuesto por la evaluación socioformativa es la escala de
estimación, la cual valora las evidencias establecidas en el proceso de
enseñanza, comprobando el nivel de calidad o predominio de cada indicador de
desempeño. Sin duda alguna, evaluar en la socioformación es progresar
permanentemente hasta garantizar niveles de desempeños significativos,
considerando las sugerencias de mejora y los logros alcanzados. Este enfoque
busca que todos los agentes involucrados en el proceso de enseñanza y
aprendizaje prosperen integralmente, afianzando su proyecto ético de vida
En esta perspectiva, una problemática detectada fue la
escasez en la producción de textos académicos a nivel Normalista. Como parte de
esta investigación, se solicitó a diversos docentes de las Normales del Estado
de Chiapas, compartir sus ensayos académicos como evidencias de productos
Algunos precedentes aludieron sobre la importancia de
validar el contenido y constructo de los instrumentos de valoración. Al
respecto,
No cabe duda, que existe la necesidad de formar a los
docentes en Educación Superior para que elaboren instrumentos de valoración
validados en su diseño y contenido. Al respecto, la Escuela Normal Fray Matías
de Córdova [FRAYMACO] carece de instrumentos idóneos que permitan valorar las
competencias de los estudiantes; remitiéndose únicamente a simples
cuestionarios, exámenes conceptuales, rúbricas y listas de verificación,
diseñados sin procesos de validación, causando en los docentes una falta de
claridad para identificar el desempeño y progreso de los alumnos. En
consecuencia, es de suma importancia diseñar y aplicar instrumentos de
evaluación pertinentes y confiables; que hayan sido sometidos a pruebas
estadísticas y con un alto rigor científico
Por otro lado, es necesario que al interior de la
comunidad Normalista se promuevan experiencias de aprendizaje que consoliden la
redacción de textos académicos, contando con instrumentos de evaluación válidos
y confiables para asegurar su calidad y pertinencia. De tal manera, que se
cumpla con la misión de formar profesionales que enfrenten los retos de la
sociedad del conocimiento con un desempeño óptimo. Por lo anterior, los
propósitos de este trabajo son: 1) diseñar una Escala Estimativa Socioformativa
(EES) considerando la taxonomía que propone la socioformación; 2) remitir la
EES para procesos de revisión y juicio de expertos; 3) realizar un pilotaje del
instrumento y 4) analizar las características psicométricas de validez de
contenido y constructo.
2. Metodología
2.1 Tipo de Estudio
El tipo de estudio
para esta investigación fue instrumental, teniendo como propósito analizar las
cualidades psicométricas de la validez de contenido y constructo de una Escala
de Estimación Socioformativa (EES) para evaluar ensayos académicos en la educación
Normal. Tomando en cuenta la idea de los autores
2.2 Procedimiento
El procedimiento se
estableció en seis fases: 1) diseño del
instrumento desde el enfoque y taxonomía socioformativa a partir de la revisión
documental; 2) revisión preliminar y mejora de la EES por expertos en
evaluación desde la socioformación; 3) búsqueda y selección de jueces expertos;
4) valoración del instrumento mediante juicio de expertos; 5) pilotaje del
instrumento y 6) análisis de sus propiedades psicométricas. A continuación, se
describen brevemente.
2.2.1.
Diseño del instrumento desde el enfoque y taxonomía socioformativa
Para el diseño del instrumento se
realizó una búsqueda avanzada de artículos científicos, libros y capítulos de
libros en bases indexadas e indizadas como SCOPUS, WoS y Google Académico sobre
dos tópicos clave: a) teoría y metodología de la evaluación socioformativa y;
b) elaboración de ensayos académicos. Referente a la teoría y metodología de la
evaluación desde el enfoque socioformativo se identificaron principalmente
libros, dentro de los que destacan las obras de
Por otro lado, en la búsqueda de
orientaciones o guías que ofrecieran las pautas para la creación de ensayos
académicos se encontraron libros, manuales y páginas web. Los más
representativos fueron
Considerando las diversas aportaciones
teóricas y metodológicas de las referencias mencionadas en los párrafos
anteriores, la EES se estructuró con las siguientes seis dimensiones: Portada,
Introducción, Desarrollo, Conclusiones, Referencias y finalmente; Formato, Ortografía
y Redacción. Cada una contó con un indicador (un total de trece para todo el
instrumento): 1) Título del ensayo, 2) Datos personales e institucionales del
autor, 3) Citación del ensayo, 4) Resumen, 5) Palabras clave, 6) Abstract, 7)
Keywords, 8) Problema a investigar, 9) Análisis del problema, 10) Propuesta de
solución, 11) Presentación de las conclusiones, 12) Citas y referencias;
finalmente 13) Formato, ortografía y redacción. Se establecieron 51 ítems
valorados mediante cinco niveles de desempeño: Muy bajo, Bajo, Medio, Medio
alto, Muy alto (Cancino et al., 2022).
2.2.2. Revisión preliminar y
mejora de la EES por expertos en evaluación desde la socioformación
Para esta fase, se contó con el apoyo de cinco expertos en evaluación socioformativa. Los aspectos analizados por los expertos fueron: comprensión, pertinencia y relevancia de cada indicador. A partir de sus análisis, se recibieron sugerencias de mejora de las diferentes dimensiones e indicadores para que, finalmente se hicieran las adecuaciones necesarias al instrumento. Todo este proceso se realizó con apoyo de un formulario digital diseñado por el Centro Universitario CIFE (2021).
2.2.3. Búsqueda y selección de
jueces expertos
En cuanto a la búsqueda y selección de jueces expertos, los posibles candidatos para realizar este ejercicio valorativo fueron obtenidos de la plantilla docente de la Escuela Normal y la base de datos proporcionada por la mesa de ayuda de CIFE (2021), atendiendo los siguientes criterios: 1) laborar en alguna Institución de Educación Superior (IES), 2) contar con experiencia en la elaboración y/o revisión de ensayos académicos, y 3) tener un grado mínimo de maestría.
Inicialmente, 30 docentes fueron
invitados mediante correo electrónico a valorar la EES, obteniendo una muestra
final de 17 jueces. Se recolectaron sus datos personales y laborales mediante
la técnica del Biograma
Tabla 1
Datos
Sociodemográficos de los Expertos
|
|
Frecuencia |
Porcentaje |
|
|
Sexo |
Hombres |
6 |
35.3% |
|
Mujeres |
11 |
64.7% |
|
|
Educación |
Doctorado completo |
6 |
35.3% |
|
Doctorado incompleto |
2 |
11.8% |
|
|
Maestría |
7 |
41.2% |
|
|
Especialización |
2 |
11.8% |
|
|
|
|
Media |
D.E. |
|
Edad |
51.06 |
10.41 |
|
|
Conferencias por invitación |
14.18 |
39.19 |
|
|
Grado de experiencia
como revisor (1-4) |
3.06 |
1.30 |
|
|
Años de experiencia |
Docencia |
15.35 |
9.53 |
|
Investigación |
6.59 |
8.06 |
|
|
Publicaciones |
Artículos |
4.53 |
7.62 |
|
Libros |
0.82 |
1.98 |
|
|
Capítulos |
0.82 |
1.72 |
|
|
Ponencias |
17.00 |
46.50 |
|
|
Educación continuada |
Cursos |
20.82 |
23.88 |
Fuente: CIFE 2021
En lo referente a las consideraciones éticas de la presente investigación, tanto los jueces expertos, como los participantes de la muestra final, fueron contactados por correo electrónico y se les hizo llegar una carta de Consentimiento Informado donde se les notificó las condiciones para la participación en el estudio, poniendo énfasis en la confidencialidad de sus datos personales.
2.2.4. Valoración del instrumento
mediante juicio de expertos
La evaluación de la comprensión y
pertinencia de los ítems fue a través de un enfoque cuali-cuantitativo. Para la
estimación cuantitativa, se utilizó el coeficiente de validez de contenido V de Aiken
2.2.5. Pilotaje del instrumento
Concluida la fase de validez de
contenido, se aplicó el instrumento a un grupo piloto, que no pertenecía al
grupo de expertos, con la finalidad de establecer la validez, adecuar los
errores producidos y dar paso a la versión final de la Escala
2.2.6. Análisis de las
propiedades psicométricas
Este análisis se hizo mediante la
aplicación del instrumento para la evaluación de una muestra de 165 ensayos de
la Normal, con la que se realizó un análisis factorial confirmatorio de la
escala, usando el software estadístico JASP. Para muestras con datos
categóricos ordinales, se suele recomendar el uso de los métodos de mínimos
cuadrados no-ponderados (ULS, por sus siglas en inglés), o de mínimos cuadrados
ponderados diagonalmente (DWLS, por sus siglas en inglés), mientras que el
método de máxima verosimilitud (ML, por sus siglas en inglés) debiera
restringirse a análisis de variables continuas
En el presente estudio, se usó el
método ULS, que ha mostrado mejor desempeño que DWLS en distintas simulaciones
A la fecha, no existen alternativas
confiables a estos índices de bondad de ajuste que sean específicos a los
modelos que usan datos categóricos ordinales (como es el caso de esta
investigación), pero estudios recientes sugieren que la raíz cuadrada media
residual estandarizada (SRMR) es un índice relativamente robusto, que no
presenta variaciones importantes en análisis factoriales que usan ULS
Para evitar estos problemas, en el
presente estudio evaluamos dos posibles modelos
En cuanto al análisis final del modelo
elegido, se hará fundamentalmente en función del SRMR, considerando la
recomendación de
3. Resultados
Dentro de la evaluación del juicio de expertos, los docentes contaron con una escala de cuatro opciones para valorar el grado de comprensión y pertinencia de los ítems: 1) No cumple con el criterio, 2) Bajo grado, 3) Aceptable grado y 4) Alto grado. Partiendo del análisis cuantitativo de los datos se obtuvieron los porcentajes de cada ítem tanto de la comprensión como de la pertinencia. Se observó que los porcentajes más altos del grado de la comprensión se obtuvieron en los ítems Resumen, Abstract y Keywords (88.2%). Mientras que, en la pertinencia, el grado más alto se presentó en los indicadores Abstract y Cita y Referencias (94.1%) (Tabla 2).
Tabla 2
Frecuencias porcentuales de la comprensión y pertinencia del instrumento por los jueces expertos (n = 17)
|
Indicador |
Comprensión |
Pertinencia |
||||||
|
Alta |
Aceptable |
Baja |
No es comprensible |
Alta |
Aceptable |
Baja |
No es pertinente |
|
|
1. Título |
52.9% |
41.1% |
5.8% |
- |
70.5% |
29.4% |
- |
- |
|
2. Datos personales |
70.5% |
29.4% |
- |
- |
76.4% |
17.6% |
5.8% |
- |
|
3. Citación |
70.5% |
23.5% |
5.8% |
- |
76.4% |
17.6% |
5.8% |
- |
|
4. Resumen |
88.2% |
11.7% |
- |
- |
76.4% |
23.5% |
- |
- |
|
5. Palabras clave |
70.5% |
23.5% |
5.8% |
- |
76.4% |
23.5% |
- |
- |
|
6. Abstract |
88.2% |
11.7% |
- |
- |
94.1% |
5.8% |
- |
- |
|
7. Keywords |
88.2% |
11.7% |
- |
- |
88.2% |
5.8% |
5.8% |
- |
|
8. Problema |
64.7% |
35.2% |
- |
- |
76.4% |
23.5% |
- |
- |
|
9. Análisis |
64.7% |
35.2% |
- |
- |
82.3% |
17.6% |
- |
- |
|
10. Propuesta |
82.3% |
17.6% |
- |
- |
88.2% |
11.7% |
- |
- |
|
11. Conclusiones |
82.3% |
17.6% |
- |
- |
82.3% |
17.6% |
- |
- |
|
12. Citas |
82.3% |
17.6% |
- |
- |
94.1% |
5.8% |
- |
- |
|
13. Formato |
76.4% |
23.5% |
- |
- |
88.2% |
5.8% |
5.8% |
- |
|
Escala general |
52.9% |
47.0% |
- |
- |
70.5% |
29.4% |
- |
- |
Fuente: elaboración propia
Asimismo, en la evaluación general de la pertinencia, comprensión y satisfacción por parte de los jueces expertos se pudo observar que el instrumento obtuvo un alto grado de pertinencia (70.5%), un aceptable (47%) y alto grado (52.9%) de comprensión general. Finalmente, el 52.9% de los expertos dijo tener una excelente satisfacción al aplicar la EES en la evaluación de los ensayos académicos.
En lo que respecta a la validez de contenido, el coeficiente de V de Aiken demostró que la mayoría de los ítems superaron el límite inferior de 0.7; por lo que, de acuerdo con diversos estudios, se demostró la confiabilidad de esta prueba estadística, al sintetizar la evaluación de la relevancia del contenido de los ítems obtenidos de un panel de jueces expertos (Carrillo-Ruíz y Luna-Cornejo, 2021; Penfield y Giacobbi, Jr., 2004; Tobón et al., 2021; Torres-Hernández, 2022). A excepción del ítem 1, concretamente en la dimensión de comprensión no se cumplió con esta condición. No obstante, como se observa en la Tabla 3, en la práctica, el valor sólo se aleja marginalmente del umbral especificado. Adicionalmente, se debe considerar que el umbral impuesto es uno conservador, por lo que una desviación tan pequeña (de apenas 0.003) no parece representar un problema.
Tabla 3
Resultados
del análisis de validez de contenido mediante la V de Aiken
|
Ítems |
Media |
D.E. |
V de Aiken |
Límite Inferior |
Límite Superior |
|
|
1. Título |
Pertinencia |
3.71 |
0.46 |
0.902 |
0.790 |
0.957 |
|
Comprensión |
3.47 |
0.61 |
0.824 |
0.697 |
0.904 |
|
|
2. Datos personales |
Pertinencia |
3.65 |
0.76 |
0.882 |
0.766 |
0.945 |
|
Comprensión |
3.71 |
0.46 |
0.902 |
0.790 |
0.957 |
|
|
3. Citación |
Pertinencia |
3.71 |
0.57 |
0.902 |
0.790 |
0.957 |
|
Comprensión |
3.65 |
0.59 |
0.882 |
0.766 |
0.945 |
|
|
4. Resumen |
Pertinencia |
3.76 |
0.42 |
0.922 |
0.815 |
0.969 |
|
Comprensión |
3.88 |
0.32 |
0.961 |
0.868 |
0.989 |
|
|
5. Palabras clave |
Pertinencia |
3.76 |
0.42 |
0.922 |
0.815 |
0.969 |
|
Comprensión |
3.65 |
0.59 |
0.882 |
0.766 |
0.945 |
|
|
6. Abstract |
Pertinencia |
3.94 |
0.24 |
0.980 |
0.897 |
0.997 |
|
Comprensión |
3.88 |
0.32 |
0.961 |
0.868 |
0.989 |
|
|
7. Keywords |
Pertinencia |
3.82 |
0.51 |
0.941 |
0.841 |
0.980 |
|
Comprensión |
3.88 |
0.32 |
0.961 |
0.868 |
0.989 |
|
|
8. Problema |
Pertinencia |
3.76 |
0.42 |
0.922 |
0.815 |
0.969 |
|
Comprensión |
3.65 |
0.48 |
0.882 |
0.766 |
0.945 |
|
|
9. Análisis |
Pertinencia |
3.82 |
0.38 |
0.941 |
0.841 |
0.980 |
|
Comprensión |
3.65 |
0.48 |
0.882 |
0.766 |
0.945 |
|
|
10. Propuesta |
Pertinencia |
3.88 |
0.32 |
0.961 |
0.868 |
0.989 |
|
Comprensión |
3.82 |
0.38 |
0.941 |
0.841 |
0.980 |
|
|
11. Conclusiones |
Pertinencia |
3.82 |
0.38 |
0.941 |
0.841 |
0.980 |
|
Comprensión |
3.82 |
0.38 |
0.941 |
0.841 |
0.980 |
|
|
12. Citas |
Pertinencia |
3.94 |
0.24 |
0.980 |
0.897 |
0.997 |
|
Comprensión |
3.82 |
0.38 |
0.941 |
0.841 |
0.980 |
|
|
13. Formato |
Pertinencia |
3.82 |
0.51 |
0.941 |
0.841 |
0.980 |
|
Comprensión |
3.76 |
0.42 |
0.922 |
0.815 |
0.969 |
Fuente: CIFE (2021)
Posteriormente, se procedió a realizar un análisis factorial confirmatorio con los datos obtenidos. Dos modelos teóricos fueron puestos a prueba: un primer modelo unifactorial (Modelo 1), y un modelo bifactorial (Modelo 2), que consideraba un factor de elementos periféricos (ítems 1-7), que incluyó componentes como el título y el resumen, y un factor de elementos centrales (ítems 8-13), que admitió elementos como la problematización y el formato en la redacción de ensayos académicos. En general, el Modelo 2 mostró un mejor ajuste a los datos (χ2[64] = 61.038; TLI = 1.000; CFI = 1.000; RMSEA = .000; SRMR = .052) que el Modelo 1 (χ2[65] = 112.396; TLI = .991; CFI = .992; RMSEA = .067; SRMR = .083), por lo que los análisis posteriores se refieren exclusivamente al modelo bifactorial, siendo el único que cumple con SRMR < .06, infiriéndose a un buen ajuste a los datos.
Se evaluó entonces la validez convergente del modelo (Tabla 4), observándose que todas las cargas factoriales superan el umbral de 0.5, pese a que el ítem 3 mostró un valor relativamente bajo (λ = .569) al compararlo con los demás ítems, pero que aun así se consideró aceptable. Las VME de ambos factores es de 0.6, lo que implica que los datos explican algo más del 60% de los factores considerados, con niveles de confiabilidad de .931 y .909, respectivamente. La Tabla 4 incluye, además, el valor del Alfa de Cronbach de cada factor, dado que se trata de un estadístico ampliamente usado, con el fin de facilitar el proceso de comparación de resultados en posibles estudios posteriores. Estos resultados sugieren que el modelo elegido posee validez convergente.
Tabla 4
Validez convergente del modelo bifactorial
|
Escala |
# de ítems |
Confiabilidad compuesta |
Alfa de Cronbach |
VME |
Cargas factoriales |
|
Factor 1 |
7 |
0.931 |
0.919 |
0.663 |
Item 01 (.714); Item 02 (.794); Item 03
(.569); Item 04 (.828); Item 05 (.939); Item 06 (.869); Item 07 (.925) |
|
Factor 2 |
6 |
0.909 |
0.907 |
0.627 |
Item 08
(.854); Item 09 (.697); Item 10 (.801); Item 11 (.838); Item 12 (.753); Item
13 (.797) |
Fuente:
elaboración propia
El modelo final quedó conformado por los dos factores detectados teóricamente, con cargas que oscilan entre .569 y .939, mostrando una covarianza de .80. Esto se explica fácilmente por la fuerte relación entre ellos. Es importante destacar que la varianza residual estandarizada es generalmente baja (con excepción de los ítems 3 y 9), lo que implica que los factores explican una proporción importante de la varianza de los ítems. Esto permitió deducir que los ítems efectivamente están representando de manera adecuada los factores del modelo (Figura 1).
Figura 1. Modelo final (todos los valores estandarizados)
Fuente: elaboración propia
4.
Discusión
El instrumento diseñado consideró los
ejes esenciales de la socioformación y puede ser relevante para posteriores
investigaciones. Vale la pena reiterar que, dentro de la revisión documental
realizada en revistas indexadas, no se encontró ningún artículo con estas
características, por lo que se puede considerar que el presente estudio es
original y relevante por la finalidad y características del instrumento. En su
gran mayoría se identificaron cuestionarios de preguntas cerradas, carentes de
la óptica de la socioformación
La construcción de esta escala se basó en el juicio de expertos, pasando primeramente por una validación de expertos en materia de evaluación de ensayos académicos desde el enfoque socioformativo. Los aspectos evaluados por los jueces fueron: comprensión y pertinencia de los indicadores, utilizando un rango de valor cuantitativo (escala del 1 al 4, donde 1 fue el nivel más bajo y 4 el más alto). En general, los resultados muestran evidencia inicial de que la escala puede ser usada para evaluar ensayos académicos en la Educación Normal.
El análisis factorial confirmatorio mostró una estructura bifactorial: elementos periféricos y elementos centrales de los ensayos académicos. Aunque también se testeó una solución unifactorial, los resultados revelaron que el modelo bifactorial se ajusta mejor a los datos, opción que se analizó en este estudio. Adicionalmente, la estructura bifactorial mostró buena validez convergente, con valores de varianza media extraída sobre el umbral establecido por Fornell y Larcker (1981), y cargas factoriales por sobre 0.7 en todos los ítems, con excepción de un ítem. No obstante, dada su relevancia teórica, y el hecho de que la escala no experimentaba mejoras sustanciales en sus propiedades al eliminarlo, se optó por mantenerlo en el análisis. En ambos factores, la confiabilidad medida tanto en el índice de confiabilidad compuesta como por el Alfa de Cronbach, obtuvieron valores superiores a 0.9, lo que indica una muy buena confiabilidad de la escala. Si se considera que cada ítem mide un elemento distinto del ensayo académico, no es factible asumir que este valor se deba a la redacción de los ítems. Cabe señalar que la alta correlación entre estos factores (r = 0.8) sugiere baja validez discriminante. No obstante, dada la cercanía teórica de los conceptos, no resulta sorprendente. Globalmente, los resultados permiten inferir que la escala propuesta posee buenas características psicométricas, tanto a nivel de confiabilidad como de validez, lo cual la hacen adecuada para su uso en la población objetivo.
5. Conclusiones
A partir del estudio llevado a cabo, puede concluirse que la EES es pertinente y relevante para evaluar ensayos académicos en la educación Normal. Las investigaciones recientes y similares en cuanto al tipo, objeto de estudio y propiedades psicométricas a esta investigación, ayudaron a reconocer las fortalezas y debilidades del problema de investigación expuesto.
También se concluye que los resultados obtenidos fueron consistentes sobre los ítems a valorar y, por lo tanto, el instrumento consigue tener una propiedad psicométrica de validez de constructo pertinente y es confiable puesto que posee claridad para su empleo ante los posibles usuarios.
Otra conclusión importante es asegurar que la investigación cumple con uno de sus principales propósitos que es contribuir con el desarrollo y fortalecimiento de la competencia comunicativa en la redacción de textos académicos. Si bien es cierto, esta competencia no es exclusiva de los contextos educativos, trasciende hasta otros escenarios como los empresariales y públicos.
Finalmente, se reconoce que, si bien la EES representa una contribución relevante para la formación y valoración de competencias profesionales comunicativas en Educación Normal, es fundamental que, para futuras investigaciones relacionadas con este estudio, se recurra a muestras poblacionales a escalas mayores, con la finalidad de continuar descubriendo y fortaleciendo sus características psicométricas y contribuir con nuevos conocimientos relación al tema.
Referencias
Acevedo, K. M., y Romero, S. (2019). La
educación en la sociedad del conocimiento. Revista Torreón Universitario,
8(22), 79–83. https://doi.org/10.5377/torreon.v8i22.9032
Aguilar-Esteva, V. A.,
Juárez-Hernández, L. G., y Acosta-Banda, A. (2021). Validez de constructo y
confiabilidad de un instrumento para evaluar la integración del enfoque
socioformativo en las prácticas docentes en instituciones de educación superior
en México. Revista Fuentes, 2(23), 178–189. https://doi.org/10.12795/revistafuentes.2021.12905
Antoniou, P., y Lu, M. (2017). Evaluating the measuring
properties of the principal instructional management rating scale in the
Chinese educational system: Implications for measuring school leadership. Educational
Management Administration and Leadership, 46(4), 1–18. https://doi.org/10.1177/1741143217700282
Arias, F. G.
(2016). El Proyecto de investigación. Introducción a la metodología científica (Séptima
edición). Editorial Episteme.
Boluarte, A., y Tamari, K. (2017).
Validez de contenido y confiabilidad inter-observadores de Escala Integral
Calidad de Vida. Revista de Psicología, 35(2), 641–666. https://doi.org/10.18800/psico.201702.009
Cancino, JJ.P., Vázquez Antonio, J.M.,
& Chávez Herting, D. (2022). Socioformación, Mendeley Data, V1, https://doi.org/10.17632/rw4ds98h7b.1
Carrillo-Ruíz, M., y Luna-Cornejo, M.
B. (2021). Diseño y validación de un Instrumento para diagnosticar la atención
de los problemas del contexto desde el enfoque socioformativo. FORHUM International Journal of
Social Sciences and Humanities, 3(5), 72–85. https://doi.org/10.35766/j.forhum2021.03.05.4
Casasola, W. (2014). La investigación
documental para elaborar un ensayo académico. Revista de Lenguas Modernas,
20, 475–497. https://bit.ly/3OL9knO
del Castillo-Rengifo, D. (2020). Más
allá del ensayo. Perspectivas metodológicas de un género literario por
excelencia. FORHUM. Revista Departamento de Ciencia Política, 17,
150–178. https://doi.org/https://doi.org/10.15446/frdcp.n17.78913
Delgado, E. J., Mengual, S., López, E.,
y Vázquez-Cano, E. (2015). La justicia evaluativa en la valoración de proyectos
grupales: propuesta y aplicación en el grado de Educación Primaria. Pulso
Revista de Educación, 38, 163–177. https://bit.ly/3zovQgG
Dino-Morales, L. I., y Tobón, S.
(2017). El portafolio de evidencias como una modalidad de titulación en las
escuelas normales. IE Revista de Investigación Educativa de La REDIECH, 8(14).
https://bit.ly/3JjW9sZ
Escurra, L. M. (1988). Cuantificación
de la validez de contenido por criterio de jueces. Revista de Psicología,
6(1–2), 103–111. https://doi.org/https://doi.org/10.18800/psico.198801-02.008
Flores-Becerra, J. (2021). Proyecto
Ético de Vida: un instrumento indispensable para alcanzar el desarrollo
sostenible. Ecocience
International Journal, 3(4), 77–93. https://doi.org/10.35766/ecocience.21.3.4.6
Fornell, C., y
Larcker, D. F. (1981). Structural Equation Models with Unobservable Variables
and Measurement Error: Algebra and Statistics. Journal of Marketing Research,
18(3), 382–388. https://doi.org/https://doi.org/10.1177/002224378101800313
Gignac, F., Gresle, A.-S., Santoro, V.,
Yepes-Baldó, M., de La Torre, L., y Pinazo, M.-J. (2021). Self-evaluating participatory
research projects: A content validation of the InSPIRES online impact
evaluation tool. Research Evaluation, 30(4), 500–513. https://doi.org/10.1093/reseval/rvab026
Guevara, G.,
Veytia, M. G., y Sánchez, A. (2020). Validez y confiabilidad para evaluar la rúbrica analítica socioformativa
del diseño de secuencias didácticas. Revista Espacios, 41(9). http://bit.ly/3g09JHN
Hair, J. F.,
Black, W. C., Babin, B. J., y Anderson, R. E. (2014). Multivariate Data Analysis (7th
Edition). Pearson
Education.
Hernández, G.,
y Rodríguez, G. (2009). Lógica ¿para qué? (L. Gaona y C. Martínez, Eds.; Primera Edición). Pearson Educación.
Hernández, J. S., Tobón, S., Ortega, M.
F., y Ramírez, A. M. (2018). Evaluación socioformativa en procesos de formación
en línea mediante proyectos formativos. Educar, 54(1), 147–163. https://doi.org/10.5565/rev/educar.766
Hu, L., y
Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure
analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1–55. https://doi.org/10.1080/10705519909540118
Instituto Nacional para la Evaluación
de la Educación. (2016). México en PISA 2015. https://bit.ly/3oLAPmF
Istiyono, E.,
Sunu, W., Setiawan, R., y Megawati, I. (2019). Developing of computerized
adaptive testing to measure physics higher order thinking skills of senior high
school students and its feasibility of use. European Journal of Educational
Research, 9(1), 91–101. https://doi.org/10.12973/eu-jer.9.1.91
Juárez-Hernández, L. G., Luna-Nemecio,
J., y Guzmán, C. (2019). Talento, Investigación y Socioformación (2019th
ed.). Kresearch. https://doi.org/DOI: http://dx.doi.org/10.24944/9781945721304
Karamitri, I.,
Kitsios, F., y Talias, M. A. (2020). Development and Validation of a Knowledge Management Questionnaire for
Hospitals and Other Healthcare Organizations. Sustainability, 12(7). https://doi.org/10.3390/su12072730
Kholis, N.,
Mardapi, D., y Kartowagiran, B. (2020). Development and Validation of an Instrument to
Measure a Performance of Vocational High School. European Journal of
Educational Research, 9(3), 955–966. https://doi.org/10.12973/eu-jer.9.3.955
Lai, K. (2021).
Fit difference between nonnested models given categorical data: measures and
estimation. Structural Equation Modeling: A Multidisciplinary Journal, 28(1),
99–120. https://doi.org/10.1080/10705511.2020.1763802
Laibhen-Parkes,
N., Kimble, L. P., Mazurek, B., Sudia, T., y Codone, S. (2018). An adaptation
of the original fresno test to measure evidence-based practice competence in
pediatric bedside nurses. Worldviews Evid Based Nurs, 15(3),
230–240. https://doi.org/10.1111/wvn.12289
López, R.,
Tobón, S., Veytia, M. G., y Juárez, L. G. (2020). Validación de constructo de dos instrumentos para evaluar el proceso de
mediación en el aula para favorecer la inclusión educativa. Revista Fuentes,
2(22), 153–164. https://doi.org/10.12795/revistafuentes.2020.v22.i2.04
Merino, C., y Livia, J. (2009).
Intervalos de confianza asimétricos para el índice la validez de contenido: un
programa Visual Basic para la V de Aiken. Anales de Psicología, 25(1),
169–171. https://bit.ly/3zPCj5E
Montero, I., y León, O. G. (2002).
Clasificación y descripción de las metodologías de investigación en Psicología.
Revista Internacional de Psicología Clínica y de La Salud, 2(3),
503–508. https://bit.ly/3zP4qBV
Montero, I., y León, O. G. (2005).
Sistema de clasificación del método en los informes de investigación en
Psicología. International Journal
of Clinical and Health Psychology, 5(1), 115–127. https://bit.ly/3zsSa93
Mounkoro, I., y
Veytia, M. G. (2019). Validación de contenido de una rúbrica
para evaluar la competencia oral de una lengua extranjera desde la
socioformación. Revista de Investigación Apuntes Universitarios, 9(3),
1–12. https://doi.org/10.17162/au.v9i3.378
Mussons-Torras,
M., y Tarrats-Pons, E. (2018). Instrumento evaluador de la
credibilidad emprendedora en estudiantes de educación postobligatoria. Aula
Abierta, 47(2), 203–210. https://doi.org/https://doi.org/10.17811/rifie.47.2.2018.203-210
Ojeda, R., y Agüero, F. C. (2018).
Globalización, Agenda 2030 e imperativo de la Educación Superior: reflexiones. Revista
Conrado, 15(2), 125–134. https://bit.ly/3Q6MsjE
Pacheco, O., Martínez, J. E., López,
E., y García, L. F. (2019). Diseño y validez de una rúbrica para evaluar las
prácticas curriculares en instituciones de educación superior. Espacios,
40(29), 20–27. https://bit.ly/3Bvgeux
Pairumani, R. (2020). Apa: Guía de
Citas y Referencias Bibliográficas. Amazon Digital Services.
Penfield, R. D., y Giacobbi, P. R.
(2004). Applying a
Score Confidence Interval to Aiken’s Item Content-Relevance Index. Measurement
in Physical Education and Exercise Science, 8(4), 213–225. https://doi.org/10.1207/s15327841mpee0804_3
Pérez, A. L., y
Montoya, M. A. (2020). Ensayo. In M. Sánchez y A. Martínez
(Eds.), Evaluación del y para el aprendizaje: instrumentos y estrategias
(Primera, pp. 195–209).
Sánchez, A. A. (2016). El ensayo
académico: aproximación y recomendaciones para su escritura. Revista
Reflexiones y Saberes, 3(5), 44–55. https://bit.ly/3zme3qp
Sánchez, C. (2019, February 8). Normas
APA – 7ma (séptima) edición. Normas APA – 7ma (Séptima) Edición. https://bit.ly/3oPcJYh
Satar, M. S., y Natasha, S. (2019). Individual social
entrepreneurship orientation: towards development of a measurement scale. Asia
Pacific Journal of Innovation and Entrepreneurship, 13(1), 49–72. https://doi.org/10.1108/APJIE-09-2018-0052
Savalei, V., y Rhemtulla, M. (2013). The performance of robust test
statistics with categorical data. British Journal of Mathematical and
Statistical Psychology, 66(2), 201–223. https://doi.org/10.1111/j.2044-8317.2012.02049.x
Secretaría de Educación Pública.
(2019). Disposiciones técnicas para la elaboración del ensayo y la planeación
didáctica de clase. In Proceso de admisión al Servicio Público Educativo en
Educación Básica. Ciclo Escolar 2019-2020 (pp. 1–7). Coordinación Nacional
del Servicio Profesional Docente.
Secretaría de Educación Pública.
(2021). Plan de estudios 2018. In Programa del curso Educación física. Séptimo
semestre. SEP. https://bit.ly/3vsApW0
Shi, D., y Maydeu-Olivares, A. (2020). The Effect of Estimation Methods
on SEM Fit Indices. Educational and Psychological Measurement, 80(3),
421–445. https://doi.org/10.1177/0013164419885164
Shi, D.,
Maydeu-Olivares, A., y Rosseel, Y. (2020). Assessing Fit in Ordinal Factor
Analysis Models: SRMR vs. RMSEA. Structural Equation Modeling: A
Multidisciplinary Journal, 27(1), 1–15. https://doi.org/10.1080/10705511.2019.1611434
Suárez-Ortega,
M. (2013). Performance, Reflexivity, and Learning Through
Biographical-Narrative Research. Qualitative
Inquiry, 19(3), 189–200. https://doi.org/10.1177/1077800412466223
Tobón, S. (2013). Formación integral y
competencias. Pensamiento complejo, currículo, didáctica y evaluación. In Pensamiento
complejo, currículo, didáctica y evaluación (4ta Ed., Issue 2). ECOE. https://bit.ly/3d30pBa
Tobón, S. (2017a). Ejes esenciales de
la sociedad del conocimiento y la socioformación. In Journal of Chemical Information and
Modeling (Primera edición, Issue 9). Kresearch. https://doi.org/dx.doi.org/10.24944/isbn.978-1-945721-18-2
Tobón, S.
(2017b). Evaluación socioformativa. Estrategias e
instrumentos (Primera). Kresearch. https://doi.org/10.24944/isbn.978-1-945721-26-7
Tobón, S., Juárez-Hernández, L. G.,
Herrera-Meza, S. R., y Núñez, C. (2021). Pedagogical Practices: Design and Validation of
SOCME-10 Rubric in Teachers who have Recently Entered Basic Education. Psicología Educativa, 27(2), 155–165. https://doi.org/10.5093/psed2021a13
Uscanga, M., y Garza, J. Á. (2011).
Ensayo argumentativo: instrumento guía para elaborar un ensayo académico;
plantilla estándar de una publicación académica. Ergo, 26, 93–98.
https://bit.ly/3zoCFid
Vázquez-Antonio, J. M., Tobón, S.,
Vázquez-Antonio, J., Herrera-Meza, S. R., y Juárez-Hernández, L. G. (2018).
Diseño y validez de contenido de una rúbrica socioformativa para evaluar el
informe de prácticas profesionales en la Educación Normal. Revista Espacios,
39(53), 29–39. https://bit.ly/3PKXj33
Vázquez-Antonio, J., Tobón, S.,
Vázquez-Antonio, J. M., Guzmán, C. E., y Herrera-Meza, S. R. (2018). Diseño y
validez de contenido de una rúbrica socioformativa para evaluar la tesis de
investigación en la Educación Normal. Espacios, 39(53). https://bit.ly/3PStw8J
Xia, Y., y Yang, Y. (2019). RMSEA, CFI, and TLI in structural
equation modeling with ordered categorical data: The story they tell depends on
the estimation methods. Behavior Research Methods, 51(1), 409–428. https://doi.org/10.3758/s13428-018-1055-2