La Evaluación de Programas (EP) se refiere a una sistemática investigación a través de métodos científicos del diseño, implementación, efectos, resultados y objetivos de un programa, con el fin de tomar decisiones (Matos Bazó, 2005). Lo que se evalúa en EP son programas de intervención, que son acciones ordenadas que se diseñan y se implementan, y nosotros debemos evaluar para comprobar si hemos conseguido mejoras.

¿Cómo es un proceso de evaluación en Psicología?

En la actualidad, no hay ningún proceso que no se evalúe, aunque sea con un mero cuestionario de satisfacción (Tejedor, 2000). Estamos constantemente haciendo evaluaciones del tipo que sea. El proceso de evaluación es muy largo y completo, y está compuesto por 3 fases:

1. Diseño

En esta primera fase evaluamos el diseño del programa, estableciendo la calidad técnica, su viabilidad práctica y su evaluabilidad, para así implementar el programa en condiciones óptimas.  Tenemos que preguntarnos varias cosas y confirmarlas antes de pasar a la siguiente fase de la evaluación:

  • Evaluación de necesidades: ver si existe una evaluación de necesidades donde se ha encontrado que hay gente que necesita lo que ofrece el programa que estamos evaluando.
  • Se deben haber formulado objetivos y metas a alcanzar.
  • Evaluabilidad del programa: asegurarme de que el programa puede ser evaluado.
  • Suficiencia de apoyos, recursos y medios (recursos, dinero, mano de obra…).
  • Costes de la evaluación.

2. Implementación (poner en marcha el programa)

Aquí tenemos que ir comprobando si el programa se está desarrollando como se quería. Recogemos información sobre el desarrollo del programa, resultados intermedios, efectos no planeados. Además, acumulamos información para introducir mejoras en ediciones futuras. Es importante controlar la mortandad de los usuarios (que dejen de acudir por las condiciones que sea). Nos preguntamos diversas cosas:

  • Cumplimiento del programa.
  • Coherencia institucional.
  • Eficacia parcial: en este momento, aunque no haya terminado el programa, ver la eficacia que está teniendo.
  • Satisfacción de los implicados.

3. Resultado

La última fase que debemos evaluar. Recogemos información sobre los resultados en relación con los objetivos; efectos positivos o negativos no planeados, beneficios colaterales… Los criterios para medir los resultados son varios:

  • Eficacia-eficiencia-efectividad (EEE):
    • Eficacia: grado de cumplimiento de los objetivos.
    • Eficiencia: coste-beneficio.
    • Efectividad: consecuencias positivas no esperadas.
  • Satisfacción de los implicados.
  • Impacto del programa en el contexto.

Investigación Cualitativa en Psicología

Diferencias y similitudes con otros procesos de investigación

Debemos tener en cuenta las diferencias y semejanzas de la EP con otros procesos de investigación (Bustelo, 1999).

  • Diferencias:
    • Debe ser utilizada para problemas reales: los programas obedecen a que existe un problema. La forma de tratarlo es a través de un programa. No voy a diseñar programas para cuestiones que con una intervención puntual se solucione. La evaluación debe de utilizarse para problemas reales que puedan ser solucionados mediante programas.
    • Debemos tener en cuenta el punto de vista del cliente, ya que es para quien estamos trabajando.
    • Lo más importante para el evaluador es el programa.
    • No siempre la evaluación es aceptada: el evaluador puede tener intereses ocultos y no le sale rentable publicar el programa (intereses económicos, políticos, sociales…).
    • Es poco frecuente la publicación de los resultados de la evaluación: solamente se lo damos a la persona o personas que nos ha pedido que la hagamos.
    • La evaluación es comparar “lo que es” con “lo que debería ser”: hay una comparativa constante con el modelo ideal y comprobamos que el modelo ideal se cumpla con el modelo real resultante.
  • Semejanzas:
    • Se utilizan los diversos métodos de investigación: utilizamos sus diseños, técnicas de recogida de datos… Utilizamos los “instrumentos” de la investigación.
    • El evaluador debe conocer el proceso de investigación: tenemos que conocer los diseños y los procesos de investigación porque va a ser muy semejante, tenemos que conocer la investigación.

Tipos de Evaluación de Programas

En cuanto a los tipos de EP, los dividimos según varios criterios: según las funciones, según el momento, según quién haga la evaluación y según el carácter o los fines (Fernández y León, 1996).

1. Según las funciones

Según las funciones, la evaluación del programa puede ser sumativa o formativa.

  • Sumativa: importa el resultado/producto final, es lo único que me importa. Con el resultado, calculo en qué grado he conseguido lo que quería. Esta evaluación es máximamente objetiva, información de tipo objetiva sobre grado de cumplimiento de los objetivos. Es ventajosa ya que es rápida, coste prácticamente cero y existen muchas escalas para evaluar, pero, entre sus grandes inconvenientes, nos encontramos con la dificultad de encontrar indicadores de evaluación y con la no posibilidad de mejorar el programa, ya que sólo nos centramos en la tercera fase, los resultados.
  • Formativa: me fijo en el proceso de implementación, cómo se desarrolla el programa, reviso cambios, alteraciones. Con esta evaluación sí puedo ayudar a la mejora de un programa. Puedo evaluar diseño, puedo dar feedback, puedo evaluar resultados, diseño… Sirve para ayudar a la puesta en marcha de un programa o para mejorar lo que se está realizando o su funcionamiento. Lo negativo es que es muy larga y costosa, pero arreglamos todos los inconvenientes de la evaluación sumativa.

2. Según el momento

  • Evaluación antes del programa (diseño): el programa no ha empezado. Lo único que puedo evaluar es el diseño, la fase del diseño. Se evalúa la pertinencia, viabilidad y eficacia potencial. Decisión acerca de implantar o no el programa (coste/beneficio).
  • Durante el programa (implementación): obligatoriamente el programa tiene que haber empezado, y lo que evalúo es el desarrollo del programa, la implementación del programa. Evaluar los cambios, en qué medida se están cumpliendo.
  • Después del programa (resultados): el programa ha terminado, por lo que puedo evaluar resultados. No puedo evaluar implementación, sino que sólo comparamos la situación inicial con la final.

3. Según quién haga la evaluación

  • Interno: personas del propio programa o relacionadas lo evalúan. Aquí podemos encontrar problemas con la subjetividad, ya que lo conocen y forman parte de él de alguna manera. Las ventajas son que reduce el control, costes, reflexión…
  • Externo: agencias de calidad, empresas de evaluación… no hay subjetividad, las evaluaciones son muy sistemáticas, pero desconocen la implementación, el diseño, algún desajuste… Personas ajenas al programa. Son objetivas, pero demasiado controladoras.
  • Mixto: equipos mixtos, lo ideal. Evaluador interno (lo que sucede en el programa, incidencias…) con evaluador externo, que aporta objetividad. Es la más recomendable.

4. Según el carácter o fines

  • Evaluación de carácter proactivo: está orientado a hacer cambios y a mejorar los procesos. Siempre está cambiando, reflexionando, haciendo cosas…
  • Evaluación de carácter retroactivo: evaluación de resultados. Sólo es una exposición de resultados, se compara el antes con el después.

Modelos en Evaluación de Programas

Todos los modelos tienen sus pros y sus contras. Al elegir uno hay que tener conciencia. Ambos modelos están muy relacionados con el proceso de diseño de un programa (Fernández y León, 1996).

Esquema tradicional (muy sumativo)

Si queremos trabajar desde este modelo, nuestra evaluación queda exclusivamente para evaluar resultados. Vamos a tener que esperar a que acabe el programa para poder evaluar. Podemos evaluar eficacia, eficiencia y efectividad. No tiene en cuenta en ningún momento si hay errores de diseño o desajustes en la implementación. Si trabajas desde este modelo, debes tener muy claro desde el principio cuál va a ser tu plan de evaluación (planificar cuándo recoger los datos…). Es bastante complicado trabajar en este modelo.

Ventajas:

  • Es muy rápido
  • Es sencillo
  • Paso el cuestionario antes y al finalizar, los comparo y ya tengo los resultados de las tres E (eficacia, eficiencia y efectividad).

Contras (sobre todo si no funciona):

  • No puedes ver dónde han estado los fallos.
  • No sé la formulación de los objetivos.
  • No podemos darle un buen feedback.
  • No se sabe el porqué de los resultados.
  • No puedes mejorar el programa.
  • No puedo justificar ni por qué falla ni por qué acierta.

Todo esto se resuelve con el modelo siguiente.

Esquema vigente (formativo menos la evaluación de resultados)

No es un modelo tan lineal como el otro, sino que evalúa todas las partes de un programa, y si se hace bien, no pasaríamos a la siguiente parte del programa sin haber tenido una evaluación positiva de la fase en la que estamos.

  • Identifico las necesidades o problemas y hago la evaluación de las necesidades (si las necesidades son reales vamos al siguiente punto).
  • Se diseña el programa y lo sometemos a evaluación (si es positivo, seguimos al siguiente punto).
  • Se pone en marcha la intervención y evaluamos las tres E. Se evalúan los resultados.

Con este modelo resuelvo todo lo anterior:

  • Puedo dar un feedback.
  • Puedo ayudar a la mejora del programa (tanto en el diseño como en la implementación).
  • Puedo evaluar los resultados y decir el porqué de ellos (tanto positivos como negativos).

Tiene problemas:

  • Son evaluaciones muy largas, tenemos muchas evaluaciones, necesitamos tiempo.

Nos quedamos con uno u otro depende de lo que nos pida el programa. La teoría dice que el mejor es el modelo vigente (es más concreto, tiene más argumentos, más cuidadoso, ayuda más), pero depende del programa. Nosotros decidimos la forma de evaluar, cada uno es libre.

El concepto de Inteligencia, qué es y cómo ha evolucionado

Referencias bibliográficas

Published On views: 417
Cagegories

Leave a Reply

Your email address will not be published. Required fields are marked *