Papeles del Psicólogo, 1987. Vol. (31).

ERNESTO LÓPEZ MÉNDEZ

ANTE el insólito despliegue actual de Programas de Intervención social, el título de mi conferencia, la Evaluación de Programas, pretende responder a una pregunta elemental: ¿sirven estos programas para algo, para que sirven, está justificada la inversión de recursos que ellos suponen?.

Recientemente, los representantes gubernamentales de los 16 países que integran el Grupo Pompidou del Consejo de Europa, tras dos días de sesiones, aprobaron un Plan de Acción de lucha contra la Droga, que implica diferentes niveles de intervención social. Estiman estos representantes, preocupados, que la droga constituye un "problema social de primera magnitud en Europa Occidental". El Secretario General del Consejo de Europa, D. Marcelino Oreja, señaló escandalizado la relación existente entre tráfico de drogas y terrorismo internacional, y lamentó apesadumbrado que los traficantes de drogas pueden llegar a poner en peligro la existencia misma de los regímenes democráticos y que pueden infiltrarse en las mismas fuerzas armadas. La preocupación del señor Oreja no deja de estar fundamentada, pues si las honorables fuerzas armadas pueden, por ejemplo, disparar a quemarropa y acribillar a balazos a los campesinos en Manila, imaginen Vdes. lo que serían capaces de hacer estando bajo los efectos de la droga.

No deja de ser chocante este interés a tan alto nivel por desarrollar sin demora programas de intervención, por ejemplo en el área de las drogodependencias. El gobierno norteamericano, cuyo máximo representante promueve, junto a su activa esposa, bondadosos programas contra la droga, participa activamente, no obstante, en el sucio comercio del narcotráfico, apoyando, a través de él, las operaciones de la "contra" nicaragüense. Cabe esperar que las democráticas preocupaciones de D. Marcelino Oreja y del Consejo de Europa les inspiren el suficiente espíritu de cruzada para desarrollar programas de intervención contra el narcotráfico del gobierno de los Estados Unidos de América.

Es claro que asistimos en este momento a un auge, hasta ahora desconocido, de programas de intervención social, auspiciados, ya no por instituciones como Cáritas, Acción Católica, sino por organismos gubernamentales, municipales, nacionales e internacionales. La misma secta MOON viene desplegando, con un enorme poderío económico y con su red de influencia internacional, con el apoyo de prestigiosos políticos de todo el mundo, con las bendiciones del Papa Juan Pablo II, y con los parabienes del propio Rey de España, una intensa actividad de programas dirigidos a enderezar a los jóvenes inmersos en la droga, y a cumplir, ante todo, el mandato divino de impedir, a toda costa, que las naciones de la tierra sean devoradas por el dragón comunista. Son todos ellos planes y programas de acción puestos de manifiesto en una conferencia internacional celebrada en octubre pasado en Madrid por la Asociación Aula, afín a la secta Moon.

Obviamente con otras intenciones y con otros propósitos, estamos estos días aquí para hablar de programas de intervención social. ¿Por qué este interés?. Retengan esta pregunta, pues me gustaría retomarla en el coloquio posterior.

Al intentar desarrollar el tema de la conferencia para Vdes., lo haré desde la perspectiva de un profesional que trabaja en un equipo de intervención social. Sería, por otra parte impensable, querer desarrollar con la debida extensión todo el proceso técnico de la evaluación de programas en todos y cada uno de sus componentes. Descartado ese propósito, me voy a ceñir a una serie de reflexiones en las que trataré de subrayar aspectos que a mí me parecen relevantes en el proceso de evaluación de un programa de intervención. Y serán precisamente aquellos aspectos que ponen de manifiesto la necesidad de evaluar, y de alguna manera, la necesidad y el deseo de someter a contrastación los principios, los modelos y las estrategias que configuran la Psicología de la Intervención y la Psicología Comunitaria.

Desearía que estas reflexiones, además de referir aspectos del proceso técnico de evaluación de programas, nos sirvieran a todos los que estarnos hoy aquí para evaluar las propias acciones de intervención social en las que podamos estar actualmente implicados.

Desde la perspectiva del Modelo de Competencia que inspira la Psicología Comunitaria, un programa de intervención social es un sistema organizado de acciones para lograr cambios conductuales, organizacionales y sociales a través de la distribución de recursos. Los recursos (humanos, tecnológicos, económicos, de salud ... ) se distribuyen en una organización o comunidad de acuerdo con diferentes reglas formales e informales. Es perfectamente constataba que el poder, el control y la influencia son recursos que no están equitativamente distribuidos entre los ciudadanos. Nuestras políticas y programas de intervención se establecen idealistamente sobre el olvido de esta constatación y sobre la base de una inexistente igualdad en la distribución de los recursos. Este engaño explica a menudo su ineficacia.

Por otra parte, los programas de intervención social no han de pretender tan sólo redistribuir los recursos, sino que han de dirigirse a la modificación de las reglas que indefinidamente determinan la desigual distribución de los mismos.

En definitiva, la evaluación pretende averiguar cómo se han distribuido los recursos que el programa comporta y cómo se ha logrado el cambio conductual y organizacional que el programa se proponía.

La evaluación es, como dice la OMS, "un medio sistemático de aprender empíricamente y de utilizar las lecciones aprendidas" para:

a) el cambio o mejoramiento de las actividades del programa.

b) el fomento de una planificación más satisfactoria y una toma de decisiones más racional para el futuro.

La evaluación es, dicho de otro modo, un instrumento que nos permite verificar el proceso de planificación y programación. Resulta obvio decir que la evaluación es un proceso vacío sí, como a veces ocurre, nuestros programas de intervención social no han sido planificados ni, paradójicamente, programados. Parece a veces como si el temor a enfrentarse a los resultados de una rigurosa evaluación hubiera hecho descuidar a propósito la fase de planificación de los programas, a sabiendas de que si no se ha planificado, no se puede evaluar o se puede evaluar sólo con la guía sesgada de la propia visión subjetiva y favorable de los resultados obtenidos.

La evaluación, por otra parte, es un conjunto de acciones del ciclo administrativo, integrado por la planificación, la ejecución de las acciones del programa, y la propia evaluación (Fig. l).

La evaluación es, por lo que acabo de exponer, un elemento clave en el desarrollo de un programa. De una manera telegráfica enumero algunos objetivos que avalan su utilidad. La evaluación sirve para:

- aprender

- hacer reajustes en la planificación

- mejorar la toma de decisiones

- mejorar los programas

- comprender mejor las acciones que se evalúan

- informar a la comunidad

- acrecentar en el equipo interdisciplinario la comprensión del programa y su implicación en la toma de decisiones futuras

- interrumpir el programa.

A la vista de las ventajas que acabo de enumerar, parece que sí es pertinente el proceso de evaluación. No hay otra vía por la cual podamos alcanzar esos objetivos.

Ahora bien, en la medida en que no haya preguntas que contestar, o cuando la decisión de poner en marcha el programa ha sido tomada ya al margen de consideraciones sobre su pertinencia, y obedece sólo a intereses internos de la institución que lo inicia, entonces diseñar y ejecutar el proceso de evaluación carece de sentido y constituirá un despilfarro de tiempo y de dinero.

El proceso de evaluación invierte tiempo y recursos, humanos y económicos. Por eso, cuando los objetivos de un programa de intervención social no han sido definidos, o lo están de manera vaga e imprecisa, cuando no existe una orientación clara, la evaluación no debería ser intentada.

Hay que decir que, a menudo, la única evaluación que los responsables públicos hacen de los programas de intervención social es la constatación, impresa en un folleto de propaganda, de las partidas presupuestarias invertidas en determinados programas y de la cantidad de personal contratado, sin entrar en el verdadero meollo de la evaluación:

- ¿para qué ha servido el gasto público?

- ¿qué se ha conseguido?

- ¿ha sido rentable?

Me pregunto yo cuánto sirve el dinero gastado por el Ayuntamiento de Madrid en la desintoxicación de heroinómanos en las comunidades terapéuticas de la asociación El Patriarca, conocido el alto número de recaídas. ¿Habrá servido para algo más que para incrementar el beneficio económico de esa asociación privada y para figurar en los folletos y en las memorias de gestión donde se reseñan las inversiones sociales del Ayuntamiento de Madrid?

Si es pertinente, si es necesario evaluar, ¿disponemos, en verdad, de la suficiente osadía y espíritu crítico para someter nuestros programas de intervención social al veredicto severo de una evaluación rigurosa? ¿Seremos capaces de no dejarnos impresionar por esa idea tan generalizada de que los procesos sociales no pueden encorsetarse en la "frialdad" de los números y de los datos?

Si es pertinente, si es necesario evaluar, ¿será posible evaluar la eficacia y eficiencia de las sesudas reuniones de los honorables mandatarios del Consejo de Europa sobre las Drogas?

De una manera esquemática voy a exponer a continuación alguno de los componentes que deben ser tenidos en cuenta en el proceso de evaluación.

Preparar el proceso. Cuando se planifica un programa se especificarán las condiciones y los recursos para llevar a cabo el proceso de evaluación.

Obtención de apoyo informativo para evaluar el programa.

Especificar las necesidades de información.

Establecer las fuentes disponibles y las que es necesario crear.

a) datos que emanan del mismo funcionamiento del programa. Esto supone establecer un sistema de información y recogida de datos, y supone, por supuesto, que los datos se vayan recogiendo en el transcurso del programa.

b) establecer métodos e instrumentos.

Establecer y definir:

a) indicadores de cambio conductual y organizacional e indicadores de distribución de recursos. Estos indicadores han de ser válidos, objetivos, sensibles, específicos.

b) normas de acción.

c) obtener apoyo informativo para cada fase del proceso de evaluación.

¿Cuáles son los motivos por los que se implanta el programa?.

¿Responde a necesidades bien definidas?.

¿Responde a criterios de prioridad?.

¿Es una demanda de la comunidad?.

¿Qué consecuencias tendría la ausencia o terminación del programa?.

¿Supone o no duplicidad de servicios?.

¿Está justificado política y socialmente en relación con las causas del problema sobre el que el programa interviene?.

¿Quién justifica el programa, el problema o la población que lo tiene?.

¿Hay razones para poner fin al programa?.

¿Se han definido con claridad los problemas?.

¿Se ha formulado adecuadamente el programa?.

a) ¿están definidos con claridad los objetivos y las metas en términos mensurables?

b) ¿se ha establecido un plan de acción detallado y un calendario?

c) ¿están claramente definidas las responsabilidades y tareas?

d) ¿se han especificado los recursos?

e) ¿se han definido las técnicas e instrumentos?

f) ¿se ha definido la metodología de penetración en las organizaciones de la comunidad? ¿se han definido los principios para lograr el cambio en las organizaciones de la comunidad afectadas por el programa?

g) ¿se han definido los indicadores y criterios?

h) ¿se han definido los frentes de entrada en las organizaciones de la comunidad?

Evaluación de los progresos, es decir, del grado de correspondencia entre la ejecución efectiva lograda y laque se había planificado:

- En el plan de acción

- En el calendario

- En la cobertura

- En la accesibilidad

- En las metas alcanzadas

- En los recursos.

Evaluación de la coordinación interdisciplinaria, interinstitucional e intersectorial:

¿Se ha planificado coordinadamente?.

¿Se ha evitado duplicar innecesariamente las intervenciones en las organizaciones de la comunidad?.

¿Se ha evitado duplicar innecesariamente los recursos?.

¿Han intervenido los sectores que estaba previsto que intervinieran?.

¿Se han definido el grado y los niveles de participación?.

¿Cuál es el grado de accesibilidad a la participación en las acciones del programa por parte de la comunidad?.

¿Es efectiva la participación en el proceso de toma de decisiones?.

¿Qué acciones del programa son ejecutadas por los propios recursos humanos de la comunidad?.

¿Se ha promovido la formación de agentes de intervención social no profesionales?.

¿Se han previsto en la institución y en los equipos que promueven el programa los cambios necesarios para facilitar la incorporación de recursos humanos no profesionales?.

¿En qué medida se ha diseminado el programa en las organizaciones de la comunidad?.

¿Se han realizado las acciones correctamente y de acuerdo con las normas y criterios?.

¿Han sido efectivos las técnicas e instrumentos empleados?.

¿Con qué rentabilidad se emplearon los recursos materiales y financieros?.

¿Cuál ha sido la disponibilidad y accesibilidad del programa?.

¿Cuál es el grado de satisfacción de los usuarios?.

¿Cuál es la calidad de los servicios prestados por el programa?.

¿Cómo han funcionado los recursos humanos?.

- ¿han sido suficientes, o excesivos?

- ¿era adecuado su perfil profesional y su grado de preparación?.

¿Cómo se ha llevado a efecto la gestión del programa?.

- la supervisión y el control del equipo

- los estilos de dirección

- estrategias de solución de problemas y de toma de decisiones

- clima social

- trabajo en equipo.

¿Se han logrado los objetivos y las metas?.

¿Se ha reducido o ha desaparecido el problema?.

¿Se ha mejorado una situación?.

¿Ha mejorado, gracias al programa la situación sobre el que intervenía?.

¿Se ha producido cambio organizacional y social?.

¿Tiene virtualidad preventiva el programa?.

¿Tiene efectos indeseables?.

¿Ha tenido el programa impacto en las causas del problema?.

Este rápido recorrido por el complejo camino de la evaluación nos pone de manifiesto que la tarea es ardua. Son muchas las preguntas que hay que contestar. Pero si tenemos el claro propósito de contestarlas en todos nuestros programas de intervención social, podremos llegar a saber si estamos proporcionando a la comunidad recursos útiles y si nosotros mismos, como profesionales, somos un recurso útil para la comunidad.

Material adicional / Suplementary material

Figura 1. El lugar de la evaluación en el proceso administrativo de un programa.