1. Metodología para la construcción de las pruebas
2. Definición de las pruebas
3. Instrumentos
4. Aplicaciones

1. Metodología para la construcción de las pruebas

Las pruebas empleadas en SABER 5º y 9º se estructuraron bajo la metodología denominada diseño de especificaciones basado en evidencias, que consiste en un conjunto de procesos que parten de la identificación de las competencias que serán evaluadas y llegan hasta la definición de las preguntas, de manera que estas últimas se constituyan en las evidencias de los conocimientos, habilidades o capacidades que se quieren medir, permitiendo definir las especificaciones de contenido a ser evaluadas.

Esta metodología garantiza la elaboración de instrumentos de evaluación con igualdad de características durante un período largo de tiempo, debido a que provee los elementos necesarios para que grupos de constructores de preguntas puedan producir pruebas equivalentes. Con ello, se asegura la comparabilidad de lo que se evalúa y de los resultados obtenidos en cada una de las aplicaciones. Asimismo, permite dar información explícita sobre lo que los estudiantes pueden o no hacer.

En el diseño de las pruebas participaron docentes de básica en ejercicio, profesores universitarios y expertos en evaluación. En mesas de trabajo se definió lo que debería ser evaluado en cada una de las áreas.

El diseño de especificaciones basado en evidencias comienza identificando las competencias y componentes dentro de los estándares básicos que se pueden evaluar en una prueba escrita. Una vez seleccionadas las competencias que se van a evaluar la metodología lleva a formular las afirmaciones; estas son enunciados que se hacen acerca de los conocimientos, habilidades y capacidades de los estudiantes que se pueden identificar a partir de las respuestas dadas por los estudiantes en las pruebas. En otras palabras, la afirmación “traduce” el estándar en desempeños observables y permite dar cuenta del significado de los puntajes de los estudiantes.

A partir de las afirmaciones se construyen las evidencias, que se definen como las acciones o productos observables que hacen posible verificar los desempeños a los que se refieren las afirmaciones. Éstas deben responder a la siguiente pregunta: ¿qué deben hacer los estudiantes en las pruebas que permita inferir que tienen determinados conocimientos o habilidades? Las evidencias, finalmente, son la base para la construcción de las preguntas de las pruebas.

Proceso de elaboración de las pruebas a través de la metodología de diseño basado en evidencias

Volver arriba

2. Definición de las pruebas

Lenguaje
Matemáticas
Ciencias Naturales

Lenguaje

Los estándares básicos de competencias producidos por el Ministerio de Educación Nacional destacan la importancia del lenguaje como requisito para la adquisición de conocimientos y parte fundamental para la interacción en un entorno social. Los estándares abarcan tanto el lenguaje verbal como el no verbal y están orientados a las capacidades expresivas y comprensivas de los estudiantes. De este modo, se organizan en cinco factores: a) producción textual, b) comprensión e interpretación textual, c) literatura, que comprende la perspectiva estética del lenguaje, d) medios de comunicación y otros sistemas simbólicos y e) ética de la comunicación, que es el elemento transversal a los cuatro factores anteriores.

A su vez, en esta diversidad de factores o manifestaciones del lenguaje ocurren varios procesos, dentro de los que se encuentra: la construcción de sistemas de significación, la interpretación y producción de textos, los procesos culturales y estéticos asociados al lenguaje, los principios de interacción y procesos culturales implicados en la ética de la comunicación y los procesos de desarrollo del pensamiento.

La prueba de Lenguaje, evalúa la competencia comunicativa a través de dos procesos: la compresión e interpretación textual (lectura) y la producción textual (producción o escritura). El proceso de lectura se refiere a la búsqueda y reconstrucción del sentido y los significados presentes en diferentes tipos de textos (literarios, informativos, descriptivos, avisos, tablas, gráficos, entre otros) y otras formas de comunicación no verbal, tales como gestos, música y expresiones artísticas. En términos generales, esta prueba propone a los estudiantes una reflexión en torno a qué dice el texto (contenidos conceptuales e ideológicos), cómo lo dice (organización), para qué y por qué lo dice (pragmática); así como, cuándo lo dice y quién lo dice.

En este sentido, el proceso de lectura explora la forma cómo los estudiantes leen e interpretan diferentes tipos de textos y su capacidad para movilizar información a partir de estos. Por consiguiente, las preguntas de la prueba están orientadas a establecer la capacidad de los estudiantes para realizar lecturas de tres tipos:

• Literales, que hacen referencia a la comprensión de la información explícita de los textos.
• Inferenciales, donde se debe identificar la información explícita y la implícita que se derivan de los textos, y establecer relaciones entre sus contenidos y los conocimientos acerca de un determinado tema.
• Criticas, a partir de las cuales se realizan inferencias, se sacan conclusiones y se asumen posiciones argumentadas a partir del contenido del texto y de los conocimientos derivados de otros saberes.

El proceso de producción tiene que ver con la generación de significados, tanto para expresarse como para transmitir información o interactuar con los demás. La prueba evalúa el proceso de escritura y no la escritura en sí. Esto significa que no se solicita a los estudiantes la elaboración de textos escritos, sino que las preguntas indagan sobre los tipos de textos que ellos utilizan para lograr un determinado propósito o finalidad comunicativa; la forma cómo los organizarían para expresar un mensaje o una idea y aspectos relativos al uso adecuado de las palabras y frases para que se produzcan textos con sentido. De esta manera, en lo respectivo a este proceso, en la prueba se revisan las siguientes fases o etapas del proceso de escritura:

• Planeación, preescritura o preparación
• Textualización, escritura o elaboración de borradores
• Revisión o reescritura

En esta prueba se consideran tres componentes transversales a los dos procesos evaluados:

• Semántico: hace referencia al sentido del texto en términos de su significado. Este componente indaga por el qué se dice en el texto.
• Sintáctico: se relaciona explícitamente con la organización del texto en términos de su coherencia y cohesión, por tanto indaga por el cómo se dice.
• Pragmático: tiene que ver con el para qué se dice, en función de la situación de comunicación que envuelve el texto, es decir, las particularidades de comunicación que se emplean en él.

La siguiente tabla se presenta la distribución porcentual de los ítems de la prueba de lenguaje en cada una de las competencias y componentes evaluados. La proporción es la misma para quinto y noveno grado.

Distribución porcentual de los ítems en la prueba de lenguaje para quinto y noveno grado

Nota: en algunos casos las sumas de los porcentajes no son exactas debido al redondeo de decimales.

Conozca las afirmaciones elaboradas para cada componente y competencia de la prueba de lenguaje.

Volver arriba

Matemáticas

La evaluación en matemática está referida al saber hacer en el contexto matemático escolar, es decir, a las formas de proceder asociadas al uso de los conceptos y estructuras matemáticas. En este sentido, se privilegian las significaciones que el estudiante ha logrado construir y que pone en evidencia cuando se enfrenta a diferentes situaciones y problemáticas enmarcadas en las mismas matemáticas, la vida diaria y las otras ciencias. De esta manera, en las pruebas es fundamental evaluar el significado de los conceptos matemáticos y la práctica significativa, relacionada esta última con la matematización que exige al estudiante simbolizar, formular, cuantificar, validar, esquematizar, representar y generalizar. Estás actividades le permitirán al estudiante desarrollar descripciones matemáticas, explicaciones o construcciones.

Los estándares básicos y lineamientos curriculares establecen cinco procesos generales de la actividad matemática: la formulación, el tratamiento y resolución de problemas; la modelación de procesos y fenómenos de la realidad; la comunicación; el razonamiento y la formulación, comparación y ejercitación de procedimientos. Para la construcción de la prueba, estos se reagruparon en tres competencias específicas:

• El razonamiento y la argumentación: se encuentra relacionada con dar cuenta del cómo y del porqué de los caminos que se siguen para llegar a conclusiones, es decir, justificar y distinguir los tipos de razonamiento y evaluar cadenas de argumentos para llegar a conclusiones determinadas.
• La comunicación, la representación y la modelación: se refiere a la capacidad del estudiante para expresar ideas, interpretar, representar, usar diferentes tipos de lenguaje y describir relaciones.
• Planteamiento y resolución de problemas: hace referencia a la formulación de problemas a partir de situaciones dentro y fuera de la matemática, el desarrollo y aplicación de diferentes estrategias, la capacidad de verificar e interpretar resultados a la luz del problema original y a la generalización de soluciones y estrategias para dar respuesta a nuevas situaciones.

Adicionalmente, en los estándares y lineamientos curriculares se establecen cinco tipos de pensamientos relacionados con el desarrollo de las competencias matemáticas: numérico y sistemas numéricos, espacial y sistemas geométricos, métrico y sistema de medidas, aleatorio y sistema de datos y variacional y sistemas algebraicos y analíticos. Estos pensamientos son agrupados en los tres componentes evaluados en la prueba: el numérico-variacional, el geométrico-métrico y el aleatorio.

• Numérico – variacional: indaga por la comprensión de los números y la estructura del sistema de numeración; el significado de las operaciones, la comprensión de sus propiedades y de las relaciones entre ellas; el uso de los números y las operaciones en la resolución de problemas diversos; la descripción de fenómenos de cambio y dependencia; conceptos y procedimientos asociados al concepto de función.
• Geométrico-métrico: involucra la comprensión del espacio, el desarrollo del pensamiento visual, el análisis abstracto de figuras y formas en el plano y en el espacio a través de la observación de patrones y regularidades, el razonamiento geométrico y la solución de problemas de medición, así como la construcción de conceptos de cada magnitud.
• Aleatorio: indaga específicamente la exploración, representación, lectura e interpretación de datos en contexto, y la formulación de inferencias y argumentos usando medidas estadísticas.

Las siguientes tablas presentan la distribución porcentual de los ítems de la prueba de matemáticas en cada una de las competencias y componentes considerados en la evaluación.

Distribución porcentual de los ítems en la prueba de matemáticas para quinto grado

Nota: en algunos casos las sumas de los porcentajes no son exactas debido al redondeo de decimales.

Distribución porcentual de los ítems en la prueba de matemáticas para noveno grado

Nota: en algunos casos las sumas de los porcentajes no son exactas debido al redondeo de decimales.

Conozca las afirmaciones elaboradas para cada componente y competencia de la prueba de matemáticas.

Volver arriba

Ciencias naturales

Los estándares básicos de competencias de ciencias naturales resaltan la importancia de la formación científica dado el contexto actual; en un mundo en el que la ciencia y la tecnología cada vez juegan un papel más importante en la vida cotidiana y el desarrollo de las sociedades. Por esta razón, se adopta la perspectiva de la ciencia como práctica social, al entenderse como un proceso colectivo de construcción, validación y debate. De esta manera, por ciencias naturales se entienden los cuerpos de conocimientos, en permanente construcción, que se ocupan del mundo natural, teniendo presente la complejidad del mismo. Éstas a su vez, se dividen en tres grandes categorías que están entrelazadas entre sí: procesos biológicos, procesos químicos y procesos físicos.

La prueba de ciencias naturales, tiene como objetivo establecer y diferenciar las competencias de los estudiantes, para poner en juego sus conocimientos básicos de las ciencias naturales en la comprensión y resolución de problemas. De tal manera, la evaluación busca conocer la capacidad de los estudiantes para establecer relaciones entre nociones y conceptos provenientes de contextos propios de la ciencia y de otras áreas del conocimiento, poniendo en ejercicio su capacidad crítica, entendida como la habilidad para identificar inconsistencias y falacias en una argumentación, para valorar la calidad de una información o de un mensaje y para asumir una posición propia.

Se abordan tres competencias que hacen referencia al aspecto disciplinar y metodológico del trabajo de las ciencias:

• Uso comprensivo del conocimiento científico: entendida como la capacidad para comprender y usar conceptos, teorías y modelos en la solución de problemas, a partir del conocimiento adquirido.
• Explicación de fenómenos: consiste en la capacidad para construir explicaciones y comprender argumentos y modelos, que den razón de fenómenos. Está relacionada con la forma como los estudiantes van construyendo sus explicaciones en el contexto de la ciencia escolar y busca fomentar en el estudiante una actitud crítica y analítica que le permita establecer la validez o coherencia de una afirmación o un argumento.
• Indagación: entendida como la capacidad para plantear preguntas y procedimientos adecuados en la búsqueda, selección, organización e interpretación de información relevante para dar respuesta a esas preguntas. Involucra los procedimientos, las distintas metodologías que se dan para generar más preguntas o intentar dar respuesta a una de ellas. Por tanto, implica plantear preguntas, buscar relaciones de causa – efecto, hacer predicciones, identificar variables, realizar mediciones y organizar y analizar resultados.

Teniendo en cuenta que la compresión de las ciencias naturales en el contexto de la vida cotidiana se va adquiriendo gradualmente desde la experiencia y en la medida en que el estudiante conoce el lenguaje y los principios de la ciencia, la prueba evalúa los siguientes componentes:

• Entorno vivo: aborda temas relacionados con los seres vivos y sus interacciones. Se centra en el organismo para entender sus procesos internos y sus relaciones con los medios físico y biótico. Los temas unificadores que se abordan dentro de este componente son: estructura y función, homeóstasis, herencia y reproducción, ecología, evolución, diversidad y semejanza.
• Entorno físico: se orienta a la comprensión de los conceptos, principios y teorías a partir de los cuales el hombre describe y explica el mundo físico con el cual interactúa. Dentro de este se estudia el universo y la materia con sus propiedades, su estructura y transformaciones, apropiando nociones o conceptos como mezclas, combinaciones, reacciones químicas, energía, movimiento, fuerza, tiempo, espacio y sistemas de medición.
• Ciencia, tecnología y sociedad (CTS): busca estimular en los jóvenes la independencia de criterio y un sentido de responsabilidad crítica hacia el modo como la ciencia y la tecnología pueden afectar sus vidas, las de sus comunidades y las del mundo en general.

La siguiente tabla presenta la distribución porcentual de los ítems de la prueba de ciencias naturales en cada una de las competencias y componentes considerados en la evaluación.

Distribución porcentual de los ítems en la prueba de ciencias naturales para quinto y noveno grado

Nota: en algunos casos las sumas de los porcentajes no son exactas debido al redondeo de decimales.

Conozca las afirmaciones elaboradas para cada componente y competencia de la prueba de ciencias naturales.

Volver arriba

3. Instrumentos

Los instrumentos que fueron administrados a todos los estudiantes tienen las siguientes características:

• Pruebas: consiste en las preguntas aplicadas, las cuales son de selección múltiple con única respuesta. Se administraron seis pruebas, que correspondían a las tres áreas y a los dos grados. Cada estudiante contestó pruebas de dos de las tres áreas evaluadas. En una sesión de 240 minutos de duración, los alumnos de quinto grado respondieron 84 o 96 ítems; y los de noveno 108.

• Cuestionario sociodemográfico: dirigido a los estudiantes de ambos grados, contenía 13 preguntas que indagan por los siguientes aspectos: edad, género, condición de discapacidad, bilingüismo en alguna lengua  indígena, asistencia a algún modelo educativo, condiciones del hogar y antecedes académicos de los padres. La información recolectada permitió realizar la clasificación socioeconómica de los alumnos y de los establecimientos educativos.

Adicionalmente, en el operativo muestral se aplicaron cuestionarios a submuestras representativas de rectores, docentes y estudiantes para recoger información acerca de los contextos escolares. También se recolectaron datos sobre las condiciones físicas de las aulas y de los establecimientos educativos. Con ello se identificarán aquellos factores institucionales y las prácticas pedagógicas que inciden en los resultados. Estos hallazgos contribuirán a orientar la definición de políticas y programas específicos de mejoramiento de la calidad.

Características de los instrumentos de recolección de información para análisis de factores asociados a los resultados

Volver arriba

4. Aplicaciones

En 2009, SABER 5° y 9° constó de dos aplicaciones que se llevaron a cabo en mayo (calendario B) y octubre (calendario A). En ambas hubo dos operativos: el censal y el muestral controlado. En el primero, que contó con la participación de más de un millón de estudiantes y cerca de 17.000 establecimientos –y sus respectivas sedes y jornadas– de todos los departamentos y municipios del país, las pruebas fueron administradas directamente por cada establecimiento bajo la responsabilidad de los rectores y secretarías de educación. Los resultados de este operativo fueron procesados para uso exclusivo de las instituciones educativas y tienen el propósito fundamental de servir como herramienta oportuna para fortalecer los planes de mejoramiento institucional y los planes de apoyo por parte de las secretarías de educación.

Total de estudiantes e instituciones evaluadas en la aplicación Censal SABER 5° y 9° en 2009

La aplicación muestral controlada, que se realizó de manera paralela al censo, consistió en la aplicación de las mismas pruebas, administradas directamente por el ICFES, a una muestra probabilística de estudiantes, conformada por cerca de 102 mil de quinto grado y un poco más de 87 mil de noveno de ambos calendarios académicos.

Total de estudiantes e instituciones evaluadas en la aplicación muestral SABER 5° y 9° en 2009

Con esta aplicación, se asegura que los resultados publicados minimizan el sesgo y los errores en la medición en los que naturalmente se incurre cuando una aplicación es no controlada. Así mismo, el diseño muestral utilizado permite reportar estimaciones precisas para algunas entidades territoriales certificadas y al mismo tiempo, utilizar esta información para las estimaciones de los resultados representativos a nivel nacional.

Volver arriba