Diseño y validación de un protocolo de observación para evaluar las actividades de enseñanza en quinto grado de primaria en la asignatura de matemáticas

Abstract

Resumen: El propósito de este estudio fue diseñar un protocolo de observación que permitiera recabar información válida y confiable sobre las actividades de enseñanza en la asignatura de matemáticas, entendiendo como “actividades de enseñanza” las acciones y procedimientos que los docentes realizan en el aula para facilitar la construcción de conocimientos de los estudiantes. Las dimensiones que evalúa el Protocolo de Observación de las Actividades de Enseñanza en Matemáticas (POAEM) son: a. Claridad de la tarea matemática: comunicación sobre el trabajo que deben realizar los estudiantes y la comprensión que muestran al respecto. b. Exigencia cognitiva: tipo y nivel de pensamiento requerido para realizar las tareas matemáticas propuestas. c. Recursos empleados durante la tarea: uso que docentes y estudiantes hacen de los recursos disponibles para promover o fortalecer los aprendizajes. d. Alternativas de solución: flexibilidad del docente para promover y aceptar una variedad de estrategias o procedimientos para resolver un problema matemático. e. Preguntas para la reflexión: tipo de preguntas que se generan a partir de la tarea matemática para dar sentido a ideas o relaciones matemáticas importantes. f. Conexión/aplicación de los conocimientos matemáticos: oportunidad de conectar los aprendizajes matemáticos con la experiencia de los estudiantes, con otras disciplinas o situaciones de la vida cotidiana. g. Trabajo colaborativo: interacción, negociación y cooperación entre los estudiantes para lograr un propósito común. Los participantes en el estudio fueron 20 docentes de escuelas primarias públicas, a quienes se videograbó en dos ocasiones mientras impartían la clase de matemáticas. En total se recabaron 40 videograbaciones que a su vez se seccionaron en 111 tareas matemáticas, ya que se utilizó la tarea matemática como unidad básica de análisis de las actividades de enseñanza. El proceso de construcción del POAEM se documentó con el propósito de ofrecer un referente teórico para otros estudios metodológicos que tengan como objetivo el diseño de instrumentos para evaluar la práctica docente. Asimismo se señalan los análisis estadísticos utilizados para ofrecer evidencias de validez y confiabilidad de la información recabada con el POAEM. Los resultados muestran que la estructura dimensional del instrumento se agrupa en un factor y no en cuatro como se había propuesto con base en la revisión de literatura. Esta información se corroboró con un Análisis Factorial Confirmatorio a partir del cual se propone una nueva organización dimensional para el instrumento (ver apartado de resultados). El cambio en la estructura dimensional del POAEM mostró que todas las variables, excepto la de claridad de la tarea matemática, se relacionan con el mismo constructo (actividades de enseñanza). El estudio de generalizabilidad aporta información sobre las distintas fuentes de error en la medición, y mostró que la mayoría de las dimensiones reportaron porcentajes altos de error. Es decir el modelo propuesto para estimar la varianza de las diferentes facetas explicó poco sobre las fuentes de error para cada una de las dimensiones (55%-60%). Sin embargo, las dimensiones en conjunto explicaron cerca del 80% de la varianza, por lo que es posible que el comportamiento de los datos se deba al modelo desbalanceado a partir del cual se realizó el estudio de generalizabilidad, a las ocasiones de observación o a algunos aspectos del diseño del instrumento. Considerando que a nivel nacional falta recorrer un largo camino para el desarrollo de instrumentos que aporten bases sólidas para obtener información válida y confiable sobre diferentes aspectos de la práctica de enseñanza (López y Mota; 2003 y Ávila et al. 2013). Se espera que el proceso que se ha seguido para desarrollar este estudio sirva como un referente para futuras investigaciones que tengan como propósito diseñar instrumentos para evaluar la práctica docente, ya que en la actualidad la política educativa apunta hacia la evaluación del desempeño docente, considerando que su papel y función, hasta ahora irreemplazable, es una pieza clave para lograr la mejora de la calidad de la educación.

Abstract: This study was aimed at designing an observational protocol which gathers valid and reliable information about the teaching activities in mathematics subject, understanding as teaching activities those actions and procedures that teachers perform to facilitate students construction of knowledge. The dimensions evaluated by the Observation Protocol for Teaching Activities in Mathematics (POAEM) are: a. Clarity of the task: communication about the work students must to do and the understanding they show about it. b. Cognitive demand: type and level of thinking required to perform the proposed mathematical tasks. c. Resources used during the task: use the available resources to promote or strengthen learning. d. Alternative solutions: teacher's flexibility to promote and accept a variety of strategies or procedures to solve a mathematical problem. e. Questions for reflection: questions that are generated from the mathematical task to give meaning to important mathematical ideas or relationships. f. Connection / application of mathematical knowledge: opportunity to connect the mathematical learning with the students' experience, with other disciplines or with everyday life. g. Collaborative work: Interaction, negotiation and cooperation among students to achieve a common purpose. Participants in the study were 20 teachers from public elementary schools; all of them were videotaped twice while they were teaching mathematics. A total of 40 videotapes were collected and divided into 111 mathematical tasks, since the mathematical task was used as the basic unit of analysis of teaching activities. The POAEM construction process was documented with the purpose of offering a theoretical reference for other methodological studies aim to design instruments to assess teaching practice. Likewise, the statistical analyzes used to provide evidence of validity and reliability of the information collected with the POAEM are indicated. Results shown that the dimensional structure of the instrument is grouped only in one factor and not into four factors as had been proposed based on the literature review. The information was confirmed with a Confirmatory Factor Analysis which proposes a new dimensional organization for the instrument (see the results section). The change in the dimensional structure of the POAEM showed that all variables except clarity of the mathematical task are related to the same construct (teaching activities). The generalizability study provides information on the different sources of error in a measurement, for this study showed that most of the dimensions reported high percentages of error. The proposed model to estimate the variance of the different facets explained little about the sources of error for each of the dimensions (55%-60%). However, dimensions together accounted for about 80% of the variance, so it is possible that the behavior of data was due to the unbalanced model from which the generalizability study was through, to the observation occasions considered, or to the design of the instrument. Despite the difficulties encountered during the process of designing the instrument, and on the process of validating the information, the contribution of this study focuses on offering a theoretical reference for other methodological studies that aim to design instruments to assess teaching practice. Through these processes it is expected to pay the referents for the development of instruments to evaluate teaching practice.