Papeles del Psicólogo, 1988. Vol. (33-34).

ANA MARIA CALLES y JUAN FERNANDEZ

Profesores de la Facultad de Psicología. UCM. Directores del Equipo evaluador de la I Escuela de Verano de Madrid Psicología-87.

La Junta Rectora del Colegio de Psicólogos programó para el año 1987 la I Escuela de Verano de Madrid. Psicología-87, con el objetivo fundamental de "proporcionar un marco para la formación, el debate y el encuentro de los psicólogos y otros profesionales con los que habitualmente trabajamos en equipos interdisciplinares".

El carácter formativo, de actualización y comunicación de este "particular" proceso educativo implicaba tener presente, desde el primer momento, su correspondiente fase de evaluación, que sirviera de retroinformación, posibilitando el ajuste y la mejora de las condiciones de una actividad considerada de interés para el reciclaje profesional.

Con el objetivo de realizar este proceso de evaluación, D. José María Prieto, Secretario de la Junta Rectora, Delegación de Madrid, y D. Juan Carlos Duro, Coordinador de la 1 Escuela de Verano de Madrid, se pusieron en contacto con dos profesores de la Facultad de Psicología de la Universidad Complutense de Madrid, indicándoles los aspectos principales que deberían cubrirse con dicha evaluación.

En primer lugar y con el fin de ordenar y recoger las numerosas dimensiones o aspectos a evaluar (ver para una revisión: ANGULO, FERNANDEZ Y MARTINEZ, 1987) y al objeto de poder responder a algunas de las principales cuestiones que se plantean desde distintos enfoques de evaluación (ver para una revisión actualizada: HOUSE, 1980) y que facilitan la toma de decisiones y un análisis de la eficiencia y de la consecución de los objetivos previstos, se establecieron bloques teóricos principales: siete, para la Escala de participantes (ORGANIZACION, PROGRAMACION, CONTENIDOS, PROFESORADO, PARTICIPANTES, VALORACION GENERAL, PROSPECCION) y tres bloques teóricos para la Escala de profesores (ORGANIZACION BUROCRATICA, PROGRAMACION ACADEMICA, GENERAL - Contenidos, Relación Profesor-Alumno, Satisfacción).

En segundo lugar, se determinaron dos niveles de aplicación: - nivel de participantes y - nivel de profesores que impartían los cursos. Si en un contexto de "enseñanza formal" es difícil llegar a un consenso de lo que se entiende por "buen profesor", en el que nos ocupa, nos parecía un reto poner de manifiesto, no sólo esto, sino a su vez qué se entendía por "buen participante", o lo que es lo mismo, cuál era el nivel de optimización del conjunto "profesor-alumno", máxime que tantos unos como otros, tenían el rango de profesionales, es decir, estaban dotados de la "competencia profesional" inherente a una titulación cursada (psicólogos, pedagogos, etc.). Desde nuestro punto de vista, tener presente la estructura de eficacia del profesor de Medley (1982), nos permitió abordar, conjuntamente, los dos componentes de la diada: - características, competencias y "destrezas" del profesor y - características y experiencias de aprendizaje del alumno.

Sujetos.- A) PARTICIPANTES.- El número total de sujetos que respondió a la Escala fue de 1.121, de los cuales el 35,33% (396) fueron varones, el 63,78% (71 5) fueron mujeres, y un 0,89% (10) no indicó su sexo. La edad media fue de 29,28 años y la desviación típica de 5,69, encuadrándose dentro de un rango que iba desde los 19 hasta los 58 años.

B) PROFESORES.- El número total de profesores que cumplimentaron la Escala fue de 53, de los cuales 13 pertenecían al área de Educación, 8 al área de Trabajo, 9 al área de Servicios Sociales y 23 al área de Salud. Los años de experiencia, así como otros datos demográficos y curriculares están recogidos en el 22 Informe, noviembre 1987.

Se elaboraron dos Escalas de Evaluación "ESCU-87", una para los participantes y otra para los profesores. La primera de las escalas, constaba de 34 elementos que trataban de operativizar los bloques teóricos señalados anteriormente. Los primeros 28 elementos exigían para su cumplimentación la valoración de cada uno de ellos en una escala de Likert de siete puntos, que iba desde el grado más bajo (1) al más alto (7). Los restantes elementos, correspondientes al bloque "Prospección" presentaban la forma de elección múltiple de alternativas. La recogida de los datos de la muestra de participantes se realizó en la última sesión de cada taller.

La segunda Escala constaba de 37 elementos, referidos a los bloques teóricos: Organización Burocrática, Programación Académica y General. Los primeros 22 elementos se valoraban también en una escala Likert de siete puntos y los restantes eran de elección múltiple de alternativas. Dicha Escala fue enviada por correo por el Colegio de Psicólogos a todos y cada uno de los profesionales que impartieron los talleres, quienes, una vez cumplimentada la remitieron al Colegio de Psicólogos.

Con el fin de obtener una aproximación a las propiedades psicométricas de las escalas -fiabilidad y validez-, se realizaron Análisis Factoriales con los 28 primeros elementos (muestra de participantes) y los 22 primeros elementos (muestra de profesionales). Lo que interesaba obtener era un índice de consistencia interna y una fiabilidad teórica que, según aparece reflejado en la literatura especializada, son los más apropiados para este tipo de escalas.

Con respecto a la fiabilidad, los índices Theta de Carmines alcanzaron los valores de:

.9547 (ESCU-87 Muestra de participantes).

.9583 (ESCU-87 Muestra de profesores).

Por lo que respecta a la validez teórica, de la primera escala se obtuvieron cinco factores, que explicaron el 68% de la Varianza total. El análisis de los mismos parece ofrecer un claro apoyo empírico a los núcleos teóricos que se establecieron a priori, a la luz de la literatura especializada.

En cuanto a la validez teórica de la segunda escala, se obtuvieron tres factores, que explicaron el 87% de la Varianza total y que ofrecieron un fuerte apoyo empírico a los tres bloques teóricos que se habían establecido previamente.

Todo ello parece indicar que las dos escalas gozan de una relativamente alta fiabilidad y una aceptable validez teórica.

Los análisis estadísticos de los datos procedentes de ambas escalas fueron realizados en el Servicio Informático del Campus de Somosaguas de la U.C.M. mediante su ordenador CYBER.

Se establecieron ficheros independientes para cada taller (Escala I) y para cada área (Escala II), uniéndose posteriormente todos los ficheros correspondientes a cada escala con el fin de realizar análisis globales referidos a toda la muestra.

Para el análisis de los datos se utilizó el paquete de programas BMDP (BMDP2D: Análisis Descriptivo; BMDP4M: Análisis Factorial).

Escala "ESCU-87" (Muestra de participantes).

La pauta básica para la interpretación general de cada taller se determinó por: a) el corte teórico a partir del cual se juzgaba la valoración del mismo como positiva (Media igual o superior a 3,5 y Moda igual o superior a 4).

b) la desviación típica y los porcentajes correspondientes a los diferentes grados de la escala Likert.

Todo ello nos permitió juzgar la valoración de los distintos bloques teóricos en cada taller así como el análisis de los distintos elementos que los constituían. En su conjunto, la mayoría de los talleres (91%) fueron valorados positivamente.

Del análisis global de todos los talleres por todos los participantes se desprendió una valoración positiva en prácticamente todos los bloques teóricos, fundamentalmente en los bloques referidos a: Profesorado, Participantes y Valoración General (Cuadro nº 1).

Dentro del análisis de los elementos, destacan los que hacen referencia a:

PROFESORADO: nº 11 Adecuada competencia profesional; nº 8 Logro despertar interés; nº 7 Selección adecuada.

PARTICIPANTES: nº 19 Posibilidad le manifestar opiniones; nº 20 Participación activa.

CONTENIDOS: nº 15 Aplicabilidad Profesional.

VALORACION GENERAL: nº 23 :Programa; nº 26 Calidad del Profesorado.

Con respecto a los últimos elementos de la Escala, de carácter prospectivo, la mayoría de los participantes 59%) consideraron el mes de JULIO como FECHA OPTIMA para la realización de futuras Escuelas de Verano.

Un 46,6% consideró que DOS SEMANAS es la duración óptima para cada taller frente a un 45,9% que opinó que UNA SEMANA es la duración más pertinente.

En relación a la amplitud del taller, la MEDIA JORNADA fue elegida por el 77,8%, frente a un 22,2% que creía más adecuada la opción de jornada completa; son también mayoría (78,3%) los que consideraron SUFICIENTES el NUMERO DE TALLERES PROPUESTOS. Con respecto a la relación Coste/Beneficios, un 49% opinó que fue DEMASIADO CARA, frente a un 46,7% que la encontró AJUSTADA.

El corte dicotomizador valorativo de positividad versus negatividad viene dado por el valor "4", matizable en función de la desviación típica y el análisis de las frecuencias y porcentajes de cada elemento.

Teniendo esto en cuenta, una primera valoración global de todas y cada una de las áreas y del conjunto de las mismas parece permitir la emisión de un juicio muy favorable de esta primera Escuela de Verano, según la opinión de los profesionales. Dicha valoración positiva general y global es manifestada por todas las áreas sin apenas diferencias significativas entre ellas.

Desde un punto de vista de "evaluación formativa", cabe hacer un análisis de los elementos intrafactores e interfactores de cada área concreta, con el objetivo de establecer unas bases firmes sobre las que se puedan llevar a cabo futuras tomas de decisiones. (Ver cuadros nº 2, 3 y 4).

Con respecto a los últimos elementos de la Escala, el 98.1% de los profesionales consideran CONVENIENTE que el Colegio de Psicólogos organizase más actividades formativas del tipo de esta I Escuela de Verano.

En lo referente al elemento 24 de la Escala: "Relación entre esfuerzos de preparación del taller/honorarios", hay una mayor discrepancia por áreas. El 100% de los profesionales de Psicología del Trabajo los consideran bajos, frente al 52,8% de las restantes áreas que los consideran adecuados.

El 100% de la muestra de profesores juzga OPORTUNO una VALORACIÓN por parte de los asistentes, del contenido y profesorado de cada taller y en este mismo sentido se pronuncian en la necesidad de obtener un feedback de su labor realizada (elemento 30).

Si bien aparece una clara tendencia general favorable a la concesión de un CERTIFICADO DE ASISENCIA (64,2%) (elemento 37), las opiniones presentan una clara división general en lo que respecta a la entrega de un Diploma, avalado por la firma del responsable del Colegio de Psicólogos (Si: 52,1%; Nº: 47,9%).

La conveniencia de una evaluación por parte del profesor de lo asimilado por los participantes (elemento 26), divide las opiniones casi al 50%, salvo en el caso de los profesionales del área de Servicios Sociales, que en un 88,9% se pronuncian favorablemente.

La respuesta afirmativa en el 100% de la muestra al elemento 29: "Estaría dispuesto a impartir otro taller en el futuro, dentro del mismo área", corrobora a los resultados recogidos a través de la primera parte de la Escala con respecto, tanto al elemento 11 del primer factor -satisfacción por la realización del taller-, como al factor en cuanto tal. Parece deducirse que dado lo satisfactorio de la experiencia, se estaría dispuesto a repetirla.

El establecer criterios de selección para los participantes (elemento 32) se juzgó oportuno por más de un 40% frente al resto de la muestra que considera que dichos criterios debieran suprimiese o bien ser lo más laxos posibles.

Las opiniones de esta muestra en lo que se refiere a: -fecha óptima, -duración más pertinente por taller, -amplitud del mismo y -número de talleres propuestos, coinciden con los resultados obtenidos en la muestra de participantes: el mes de julio como fecha óptima (80%); las áreas de Salud, Servicios Sociales y Trabajo se inclinan por una semana de duración, mientras que el área de Educación prefiere la opción de dos semanas; aparece una patente preferencia por la media jornada como amplitud conveniente para cada taller y por último, se considera "suficientes" el número de talleres ofertados por la I Escuela de Verano de Madrid.

De la lectura de los datos ofrecidos, podemos concluir que no sólo se han cubierto los objetivos generales que se planteó la Junta Rectora, en lo que se refiere a la actividad programada en su conjunto, sino también confirmar la adecuación del diseño y gestión de los propios talleres y de la selección de profesionales para impartirlos.

Además, parece evidente,, que se ha establecido una base sólida y eficaz para cubrir una necesidad sentida tanto por el colectivo de profesionales de la Psicología como por otros colegas que en distintas situaciones y contextos comparten el quehacer cotidiano.

La metodología de participación activa, con la posibilidad de intercambio de experiencias y conocimientos, así como la voluntad general de colaboración para que llegara a buen fin una empresa emprendido con esfuerzo entusiasta ha posibilitado los resultados obtenidos, que esperamos, suponga un refuerzo positivo y un reafirmar la necesaria continuidad de la Escuela de Verano de Psicología en Madrid.

Material adicional / Suplementary material

Cuadro 1. Análisis Global de todos los talleres por todos los participantes.

Cuadro 2. Factor 1: Relación Académica Profesor/Alumno.

Cuadro 3 y 4. Factor 2: Oferta Académina/ Profesional y Factor 3: Organización.