Escala de Estimación Socioformativa (EES): validez de contenido y constructo para valorar ensayos académicos en Educación Normal

Juan Pablo Cancino-Santizo; José Manuel Vázquez Antonio; David  Chávez Herting

doi:10.12795/revistafuentes.2023.21776

Authors

Juan Pablo Cancino-Santizo Centro Universitario CIFE - Escuela Normal "Fray Matías de Córdova" (México) https://orcid.org/0000-0003-2034-0451
José Manuel Vázquez Antonio Centro Universitario CIFE - Escuela Normal Rural "Lic. Benito Juárez" (México) https://orcid.org/0000-0002-3182-6847
David Chávez Herting Escuela de Ciencias Jurídicas y Sociales - Universidad de Viña del Mar (Chile) https://orcid.org/0000-0003-4700-0588

DOI:

https://doi.org/10.12795/revistafuentes.2023.21776

Keywords:

Normal education, reliability, socioformative approach, socioformative evaluation, text evaluation, text production, validity, valuation /assessment

Abstract

The graduate profile of teacher education emphasizes that future teachers develop competencies for the production of written documents, with the intention of disseminating information generated in their research. From the socio-formative approach, it is considered a priority to rely on evaluative procedures that strengthen the teaching and learning processes. However, a search of various documents in databases of indexed and indexed journals revealed few instruments that evaluated academic essays of teacher training students. None of these considered socio-formative assessment and most of them lacked scientific validity processes, making them not very objective and reliable. Considering the above, the present study had the following purposes: 1) to design a Socioformative Estimate Scale (EES) according to the taxonomy proposed by socioformation; 2) to submit the EES for review and expert judgment; 3) to conduct a pilot test of the instrument; and 4) to analyze the psychometric characteristics of content and construct validity. The results show that the EES presented relevant levels of content validity (Aiken's V ≥0.75). The application with the pilot group (n = 15) showed an adequate degree of understanding, relevance and satisfaction. With regard to the confirmatory factor analysis, it showed two factors, which is in accordance with what was expected at the theoretical level or in the design of the instrument, with reliabilities above 0.9. It is concluded that the EES is relevant for assessing academic essays. Further validity and reliability studies with larger populations are suggested.

Downloads

References

Acevedo, K. M., y Romero, S. (2019). La educación en la sociedad del conocimiento. Revista Torreón Universitario, 8(22), 79–83. https://doi.org/10.5377/torreon.v8i22.9032

Aguilar-Esteva, V. A., Juárez-Hernández, L. G., y Acosta-Banda, A. (2021). Validez de constructo y confiabilidad de un instrumento para evaluar la integración del enfoque socioformativo en las prácticas docentes en instituciones de educación superior en México. Revista Fuentes, 2(23), 178–189. https://doi.org/10.12795/revistafuentes.2021.12905

Antoniou, P., y Lu, M. (2017). Evaluating the measuring properties of the principal instructional management rating scale in the Chinese educational system: Implications for measuring school leadership. Educational Management Administration and Leadership, 46(4), 1–18. https://doi.org/10.1177/1741143217700282

Arias, F. G. (2016). El Proyecto de investigación. Introducción a la metodología científica (Séptima edición). Editorial Episteme.

Boluarte, A., y Tamari, K. (2017). Validez de contenido y confiabilidad inter-observadores de Escala Integral Calidad de Vida. Revista de Psicología, 35(2), 641–666. https://doi.org/10.18800/psico.201702.009

Cancino, JJ.P., Vázquez Antonio, J.M., & Chávez Herting, D. (2022). Socioformación, Mendeley Data, V1, https://doi.org/10.17632/rw4ds98h7b.1

Carrillo-Ruíz, M., y Luna-Cornejo, M. B. (2021). Diseño y validación de un Instrumento para diagnosticar la atención de los problemas del contexto desde el enfoque socioformativo. FORHUM International Journal of Social Sciences and Humanities, 3(5), 72–85. https://doi.org/10.35766/j.forhum2021.03.05.4

Casasola, W. (2014). La investigación documental para elaborar un ensayo académico. Revista de Lenguas Modernas, 20, 475–497. https://bit.ly/3OL9knO

del Castillo-Rengifo, D. (2020). Más allá del ensayo. Perspectivas metodológicas de un género literario por excelencia. FORHUM. Revista Departamento de Ciencia Política, 17, 150–178. https://doi.org/https://doi.org/10.15446/frdcp.n17.78913

Delgado, E. J., Mengual, S., López, E., y Vázquez-Cano, E. (2015). La justicia evaluativa en la valoración de proyectos grupales: propuesta y aplicación en el grado de Educación Primaria. Pulso Revista de Educación, 38, 163–177. https://bit.ly/3zovQgG

Dino-Morales, L. I., y Tobón, S. (2017). El portafolio de evidencias como una modalidad de titulación en las escuelas normales. IE Revista de Investigación Educativa de La REDIECH, 8(14). https://bit.ly/3JjW9sZ

Escurra, L. M. (1988). Cuantificación de la validez de contenido por criterio de jueces. Revista de Psicología, 6(1–2), 103–111. https://doi.org/https://doi.org/10.18800/psico.198801-02.008

Flores-Becerra, J. (2021). Proyecto Ético de Vida: un instrumento indispensable para alcanzar el desarrollo sostenible. Ecocience International Journal, 3(4), 77–93. https://doi.org/10.35766/ecocience.21.3.4.6

Fornell, C., y Larcker, D. F. (1981). Structural Equation Models with Unobservable Variables and Measurement Error: Algebra and Statistics. Journal of Marketing Research, 18(3), 382–388. https://doi.org/https://doi.org/10.1177/002224378101800313

Gignac, F., Gresle, A.-S., Santoro, V., Yepes-Baldó, M., de La Torre, L., y Pinazo, M.-J. (2021). Self-evaluating participatory research projects: A content validation of the InSPIRES online impact evaluation tool. Research Evaluation, 30(4), 500–513. https://doi.org/10.1093/reseval/rvab026

Guevara, G., Veytia, M. G., y Sánchez, A. (2020). Validez y confiabilidad para evaluar la rúbrica analítica socioformativa del diseño de secuencias didácticas. Revista Espacios, 41(9). http://bit.ly/3g09JHN

Hair, J. F., Black, W. C., Babin, B. J., y Anderson, R. E. (2014). Multivariate Data Analysis (7th Edition). Pearson Education.

Hernández, G., y Rodríguez, G. (2009). Lógica ¿para qué? (L. Gaona y C. Martínez, Eds.; Primera Edición). Pearson Educación.

Hernández, J. S., Tobón, S., Ortega, M. F., y Ramírez, A. M. (2018). Evaluación socioformativa en procesos de formación en línea mediante proyectos formativos. Educar, 54(1), 147–163. https://doi.org/10.5565/rev/educar.766

Hu, L., y Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1–55. https://doi.org/10.1080/10705519909540118

Instituto Nacional para la Evaluación de la Educación. (2016). México en PISA 2015. https://bit.ly/3oLAPmF

Istiyono, E., Sunu, W., Setiawan, R., y Megawati, I. (2019). Developing of computerized adaptive testing to measure physics higher order thinking skills of senior high school students and its feasibility of use. European Journal of Educational Research, 9(1), 91–101. https://doi.org/10.12973/eu-jer.9.1.91

Juárez-Hernández, L. G., Luna-Nemecio, J., y Guzmán, C. (2019). Talento, Investigación y Socioformación (2019th ed.). Kresearch. https://doi.org/DOI: http://dx.doi.org/10.24944/9781945721304

Karamitri, I., Kitsios, F., y Talias, M. A. (2020). Development and Validation of a Knowledge Management Questionnaire for Hospitals and Other Healthcare Organizations. Sustainability, 12(7). https://doi.org/10.3390/su12072730

Kholis, N., Mardapi, D., y Kartowagiran, B. (2020). Development and Validation of an Instrument to Measure a Performance of Vocational High School. European Journal of Educational Research, 9(3), 955–966. https://doi.org/10.12973/eu-jer.9.3.955

Lai, K. (2021). Fit difference between nonnested models given categorical data: measures and estimation. Structural Equation Modeling: A Multidisciplinary Journal, 28(1), 99–120. https://doi.org/10.1080/10705511.2020.1763802

Laibhen-Parkes, N., Kimble, L. P., Mazurek, B., Sudia, T., y Codone, S. (2018). An adaptation of the original fresno test to measure evidence-based practice competence in pediatric bedside nurses. Worldviews Evid Based Nurs, 15(3), 230–240. https://doi.org/10.1111/wvn.12289

López, R., Tobón, S., Veytia, M. G., y Juárez, L. G. (2020). Validación de constructo de dos instrumentos para evaluar el proceso de mediación en el aula para favorecer la inclusión educativa. Revista Fuentes, 2(22), 153–164. https://doi.org/10.12795/revistafuentes.2020.v22.i2.04

Merino, C., y Livia, J. (2009). Intervalos de confianza asimétricos para el índice la validez de contenido: un programa Visual Basic para la V de Aiken. Anales de Psicología, 25(1), 169–171. https://bit.ly/3zPCj5E

Montero, I., y León, O. G. (2002). Clasificación y descripción de las metodologías de investigación en Psicología. Revista Internacional de Psicología Clínica y de La Salud, 2(3), 503–508. https://bit.ly/3zP4qBV

Montero, I., y León, O. G. (2005). Sistema de clasificación del método en los informes de investigación en Psicología. International Journal of Clinical and Health Psychology, 5(1), 115–127. https://bit.ly/3zsSa93

Mounkoro, I., y Veytia, M. G. (2019). Validación de contenido de una rúbrica para evaluar la competencia oral de una lengua extranjera desde la socioformación. Revista de Investigación Apuntes Universitarios, 9(3), 1–12. https://doi.org/10.17162/au.v9i3.378

Mussons-Torras, M., y Tarrats-Pons, E. (2018). Instrumento evaluador de la credibilidad emprendedora en estudiantes de educación postobligatoria. Aula Abierta, 47(2), 203–210. https://doi.org/https://doi.org/10.17811/rifie.47.2.2018.203-210

Ojeda, R., y Agüero, F. C. (2018). Globalización, Agenda 2030 e imperativo de la Educación Superior: reflexiones. Revista Conrado, 15(2), 125–134. https://bit.ly/3Q6MsjE

Pacheco, O., Martínez, J. E., López, E., y García, L. F. (2019). Diseño y validez de una rúbrica para evaluar las prácticas curriculares en instituciones de educación superior. Espacios, 40(29), 20–27. https://bit.ly/3Bvgeux

Pairumani, R. (2020). Apa: Guía de Citas y Referencias Bibliográficas. Amazon Digital Services.

Penfield, R. D., y Giacobbi, P. R. (2004). Applying a Score Confidence Interval to Aiken’s Item Content-Relevance Index. Measurement in Physical Education and Exercise Science, 8(4), 213–225. https://doi.org/10.1207/s15327841mpee0804_3

Pérez, A. L., y Montoya, M. A. (2020). Ensayo. In M. Sánchez y A. Martínez (Eds.), Evaluación del y para el aprendizaje: instrumentos y estrategias (Primera, pp. 195–209).

Sánchez, A. A. (2016). El ensayo académico: aproximación y recomendaciones para su escritura. Revista Reflexiones y Saberes, 3(5), 44–55. https://bit.ly/3zme3qp

Sánchez, C. (2019, February 8). Normas APA – 7ma (séptima) edición. Normas APA – 7ma (Séptima) Edición. https://bit.ly/3oPcJYh

Satar, M. S., y Natasha, S. (2019). Individual social entrepreneurship orientation: towards development of a measurement scale. Asia Pacific Journal of Innovation and Entrepreneurship, 13(1), 49–72. https://doi.org/10.1108/APJIE-09-2018-0052

Savalei, V., y Rhemtulla, M. (2013). The performance of robust test statistics with categorical data. British Journal of Mathematical and Statistical Psychology, 66(2), 201–223. https://doi.org/10.1111/j.2044-8317.2012.02049.x

Secretaría de Educación Pública. (2019). Disposiciones técnicas para la elaboración del ensayo y la planeación didáctica de clase. In Proceso de admisión al Servicio Público Educativo en Educación Básica. Ciclo Escolar 2019-2020 (pp. 1–7). Coordinación Nacional del Servicio Profesional Docente.

Secretaría de Educación Pública. (2021). Plan de estudios 2018. In Programa del curso Educación física. Séptimo semestre. SEP. https://bit.ly/3vsApW0

Shi, D., y Maydeu-Olivares, A. (2020). The Effect of Estimation Methods on SEM Fit Indices. Educational and Psychological Measurement, 80(3), 421–445. https://doi.org/10.1177/0013164419885164

Shi, D., Maydeu-Olivares, A., y Rosseel, Y. (2020). Assessing Fit in Ordinal Factor Analysis Models: SRMR vs. RMSEA. Structural Equation Modeling: A Multidisciplinary Journal, 27(1), 1–15. https://doi.org/10.1080/10705511.2019.1611434

Suárez-Ortega, M. (2013). Performance, Reflexivity, and Learning Through Biographical-Narrative Research. Qualitative Inquiry, 19(3), 189–200. https://doi.org/10.1177/1077800412466223

Tobón, S. (2013). Formación integral y competencias. Pensamiento complejo, currículo, didáctica y evaluación. In Pensamiento complejo, currículo, didáctica y evaluación (4ta Ed., Issue 2). ECOE. https://bit.ly/3d30pBa

Tobón, S. (2017a). Ejes esenciales de la sociedad del conocimiento y la socioformación. In Journal of Chemical Information and Modeling (Primera edición, Issue 9). Kresearch. https://doi.org/dx.doi.org/10.24944/isbn.978-1-945721-18-2

Tobón, S. (2017b). Evaluación socioformativa. Estrategias e instrumentos (Primera). Kresearch. https://doi.org/10.24944/isbn.978-1-945721-26-7

Tobón, S., Juárez-Hernández, L. G., Herrera-Meza, S. R., y Núñez, C. (2021). Pedagogical Practices: Design and Validation of SOCME-10 Rubric in Teachers who have Recently Entered Basic Education. Psicología Educativa, 27(2), 155–165. https://doi.org/10.5093/psed2021a13

Uscanga, M., y Garza, J. Á. (2011). Ensayo argumentativo: instrumento guía para elaborar un ensayo académico; plantilla estándar de una publicación académica. Ergo, 26, 93–98. https://bit.ly/3zoCFid

Vázquez-Antonio, J. M., Tobón, S., Vázquez-Antonio, J., Herrera-Meza, S. R., y Juárez-Hernández, L. G. (2018). Diseño y validez de contenido de una rúbrica socioformativa para evaluar el informe de prácticas profesionales en la Educación Normal. Revista Espacios, 39(53), 29–39. https://bit.ly/3PKXj33

Vázquez-Antonio, J., Tobón, S., Vázquez-Antonio, J. M., Guzmán, C. E., y Herrera-Meza, S. R. (2018). Diseño y validez de contenido de una rúbrica socioformativa para evaluar la tesis de investigación en la Educación Normal. Espacios, 39(53). https://bit.ly/3PStw8J

Xia, Y., y Yang, Y. (2019). RMSEA, CFI, and TLI in structural equation modeling with ordered categorical data: The story they tell depends on the estimation methods. Behavior Research Methods, 51(1), 409–428. https://doi.org/10.3758/s13428-018-1055-2