PRESENTACIÓN José Olivares Rodríguez Julio Sánchez

Psicología Conductual, Vol. 7, Nº 2, 1999, pp. 189-196
189
PRESENTACIÓN
José Olivares Rodríguez
Julio Sánchez Meca
Ana Isabel Rosa Alcázar
El objetivo último del presente trabajo es intentar ofrecer una aproximación al
pasado y al presente de la modificación de conducta en España, con el fin de contribuir a profundizar en nuestras raíces y orientar, en la medida de nuestras posibilidades, nuestro futuro como clínicos e investigadores.
Esta aproximación la hemos realizado tanto desde la perspectiva histórica como
desde la vertiente empírica.
Desde la perspectiva histórica hemos intentado esbozar el desarrollo de nuestra
disciplina pasando revista a los hechos y acontecimientos que, en nuestra opinión,
unas veces de forma aislada e inconexa y otras de forma sistemática, han ejercido
un papel más relevante en la gestación, inicio, desarrollo, consolidación y expansión de la modificación de conducta en nuestro País.
En el estudio de este proceso histórico se ha prestado especial atención al papel
referencial jugado por nuestros antecedentes tanto los más lejanos, nuestros médicos humanistas (v. g., Luis Vives o Gómez Pereira), como los más próximos (por
ejemplo Gonzalo Rodríguez Lafora o Emilio Mira), así como el desempeñado por el
marco institucional universitario, las asociaciones científicas de orientación conductual y otras de carácter profesional como el Colegio Oficial de Psicólogos y las publicaciones en sus distintas modalidades.
Finalmente, en el contexto de la afirmación de Ardila (1991) de que 'la psicología española de la década de los noventa es internacional, científica (...) y está contribuyendo eficazmente al acervo de los conocimientos de la psicología mundial"
(p. XXII), abordamos tanto nuestro presente como la manera en que están influyendo en Iberoamérica los avances de la psicología conductual en España.
Para completar la descripción de nuestro momento actual, realizada desde la
vertiente histórica, hemos procedido también a realizar una aproximación al análisis de nuestro presente desde la perspectiva empírica. La herramienta utilizada para
este fin ha sido el meta-análisis. Ahora bien, dado que el uso de esta modalidad de
revisión cuantitativa no se halla todavía muy extendida entre nosotros, vamos a utilizar esta presentación para llevar a cabo un breve acercamiento a la misma a través de su delimitación conceptual, los prerrequisitos exigidos hoy a los estudios
para ser metaanalizados, su evolución desde los primeros trabajos de Smith y Glass
190
OLIVARES, SÁNCHEZ
Y
ROSA
(1977) hasta el presente, para poner finalmente el acento en los problemas y peligros a los que tiene que seguir haciendo frente en la actualidad.
El meta-análisis, también conocido como revisión cuantitativa, síntesis de investigación, análisis de los análisis, etc., puede definirse como «... el análisis estadístico
de una gran colección de resultados de análisis de trabajos individuales con el propósito de integrar los hallazgos obtenidos» (Glass, 1976, p. 3). Surgió como respuesta a la necesidad de desarrollar procedimientos objetivos y cuantificables para
la revisión evaluativa de un cuerpo de investigación (Glass, 1976; Gómez, 1987;
Sánchez y Ato, 1989) y con este fin trata de aplicar los métodos estadísticos a la
integración cuantitativa de los resultados de los estudios sobre un mismo tema.
Actualmente el meta-análisis es el procedimiento cuantitativo de revisión con
mayor reconocimiento por la comunidad científica (Gómez, 1987; Sánchez y Ato,
1989; Vázquez, 1990). En su aplicación, el meta-análisis exige las mismas normas
de rigor científico que se requieren en las investigaciones primarias, desde la especificación de los criterios de selección de los estudios hasta la definición de los resultados, pasando por la codificación sistemática de las características de los estudios
que pueden moderar y explicar los resultados heterogéneos (cf. Cooper, 1989;
Glass, McGaw y Smith, 1981; Hedges y Olkin, 1985; Sánchez y Ato, 1989).
La aplicación del meta-análisis requiere de la transformación a una métrica
común de los resultados de diversas investigaciones, de modo que sea posible su
comparación y/o combinación, intentando con ello disminuir la subjetividad de las
revisiones cualitativas. Una de las medidas más utilizadas para homogeneizar los
resultados de los diferentes estudios ha sido el tamaño del efecto (effect size o TE)
y dentro de éste la diferencia media tipificada simbolizada como d (Hedges y Olkin,
1985). De acuerdo con Cohen (1988) un valor d = 0,2 indicará una magnitud del
efecto baja; d = 0,5 magnitud media y d = 0,8 magnitud alta. Así mismo, el índice
d puede traducirse a coeficiente de correlación y éste, a su vez, puede utilizarse
para construir la «presentación binomial del tamaño del efecto» (en adelante BESD
—Binomial Effect Size Display—; Rosenthal, 1991), mediante el cual los grupos tratado y de control se presentan en función de sus correspondientes porcentajes de
mejora estimados a través de los resultados de los estudios. El meta-análisis conlleva
habitualmente un segundo análisis referido a la influencia de las variables moderadoras en la magnitud de los efectos. Si la variable moderadora es cualitativa se lleva
a cabo un análisis de varianza (ponderado por la inversa de la varianza de cada
tamaño del efecto); si es cuantitativa se aplica un análisis de regresión simple (también ponderado por la inversa de la varianza de cada tamaño del efecto). Algunos
meta-análisis incluyen como último paso la búsqueda de un modelo explicativo-predictivo que identifique el conjunto de variables moderadoras que mejor dan cuenta
de la variabilidad de los tamaños del efecto. Un ejemplo en este sentido es, en el
presente monográfico, nuestro trabajo sobre la eficacia de la terapia de conducta
en España en el campo clínico y de la salud.
La evolución del perfeccionamiento de la metodología y los logros de los trabajos meta-analíticos puede seguirse, por ejemplo, a través de los estudios en los que
se ha pretendido evaluar y comparar la eficacia de la terapia de conducta frente a
las estrategias generadas por distintos modelos y teorías psicológicas que orientan
Presentación
191
el tratamiento. Pese a ser muy numerosos los estudios meta-analíticos centrados en
esta problemática y que pueden servir para el fin descrito nos vamos a centrar en
aquellos que por distintas razones han resultado más sobresalientes, tal cual es el
caso del trabajo de Smith y Glass (1977), Smith, Glass y Miller (1980), Wittman y
Matt (1986), Hartmann, Herzog y Drinkmann (1992), Scogin y McElreath (1994),
Weiss y Weisz (1995) y entre nosotros de Redondo, Sánchez y Garrido (en prensa)
o Esteban, Garrido y Sánchez (1996).
Smith y Glass (1977), y posteriormente Smith et al. (1980), analizaron los efectos de la psicoterapia en general. En su primer estudio, Smith y Glass (1977) incluyeron 375 estudios controlados, y en el segundo 475. De este primer estudio
derivaron dos conclusiones generales que tuvieron un gran impacto, generando la
segunda de ellas una importante controversia que en no pocas ocasiones ha mantenido alejados a los modificadores de conducta de esta metodología y sus posibilidades. Estas conclusiones fueron que (1) las psicoterapias alternativas tendían a
producir mayores tamaños del efecto que las condiciones controles de no tratamiento y que (2) diferentes tratamientos, basados en modelos o aproximaciones
teóricas distintas (conductual, psicodinámica, etc.) tendían a generar grados similares de cambio. Esta segunda conclusión, ampliamente criticada (cf. Kazdin, 1984),
es el fruto de disparatados errores en la clasificación de las técnicas y los modelos
teóricos, pues dado que los tipos de tratamiento y sus tamaños del efecto fueron:
placebo (d+ = 0,56), consejo indiferenciado (d+ = 0,28), centrado en el cliente (d+ =
0,62), desensibilización sistemática (d+ = 1.05), cognitivo-conductual (d+ = 1,34),
conductual (d+ = 0,91), psicodinámica (d+ = 0,78), relajación/hipnoterapia (d+ =
1.82) y otros tratamientos (d+ = 0,61), no es difícil concluir de su observación la confusión conceptual de los autores, dado que algunas de las categorías no sólo no son
enfoques, variantes teóricas o modelos de tratamiento (así la desensibilización sistemática o la relajación), sino que son técnicas pertenecientes a un modelo, el
modelo conductual o cognitivo-conductual. Si ahora nos fijamos en los tamaños del
efecto de la clasificación establecida por estos autores, también vemos que los
mayores tamaños del efecto fueron los alcanzados por las técnicas pertenecientes
al modelo cognitivo-conductual. Otra conclusión del trabajo de Smith y Glass
(1977), esta vez relevante, fue la de comprobar que existían una serie de variables
influyentes en el cambio que no siempre eran tenidas en cuenta por los investigadores, tales como la reactividad de la medida, la afiliación del investigador, la
ceguera de los terapeutas a los objetivos del estudio o su calidad metodológica.
Por su parte, Wittman y Matt (1986) meta-analizaron un total de 76 estudios
diseñados y aplicados en el ámbito alemán y aunque obtuvieron tamaños del efecto
más pequeños, debido a que la proporción de estudios fue distinta, la tendencia de
los datos fue similar, alcanzando los mayores resultados las técnicas cognitivo-conductuales (d+ = 0,59).
Pero pese a lo pretencioso de sus objetivos, los meta-análisis comentados han
sido muy criticados porque muchas veces comparaban de forma indiscriminada
tipos de problemas, modelos, modalidades de intervención, técnicas de tratamiento, etc., sin realizar tampoco posteriormente en muchos casos un análisis que
explicase el peso de cada variable en los resultados estudiados (cf. Kazdin, 1984 o
192
OLIVARES, SÁNCHEZ
Y
ROSA
Shapiro y Shapiro, 1982). Todo ello condujo no sólo a incrementar aún más la necesidad de perfeccionar la metodología del meta-análisis sino a generar la necesidad
de que los investigadores centrasen su atención en parcelas de estudio más pequeñas, analizando técnicas y/o problemas concretos.
Un intento dentro de esta línea de requeremiento hacia el diseño de investigaciones centradas en problemas y técnicas concretas es el trabajo realizado por
Hartmann et al. (1992), los cuales examinaron la eficacia de las intervenciones derivadas de las distintas corrientes psicológicas (psicodinámica, cognitivo-conductual,
educativa, humanista, orientada a los síntomas, orientada al conflicto y combinada)
en el tratamiento de la bulimia nerviosa, concluyendo que la mayor parte de la
variabilidad de los resultados es explicada por un conjunto de factores de entre los
que destacan las sesiones de tratamiento, la relación terapeuta-paciente y la orientación de la terapia; en cambio no concluyen nada respecto de cuál es el tratamiento más eficaz.
Otro ejemplo en este mismo sentido es el trabajo de Scogin y McElreath (1994).
Estos dos autores estudiaron la eficacia de los tratamientos psicológicos en la depresión geriátrica y la compararon con la obtenida con otros grupos de edad.
Incluyeron en su estudio tratamientos cognitivos, conductuales, humanistas (interpersonales), psicodinámicos, de memoria y eclécticos. En este caso el mayor tamaño
del efecto fue alcanzado por la terapia cognitiva (d+ = 0,85), aunque no queda claro
que existan diferencias significativas entre las distintas intervenciones. También
encontraron que la magnitud del efecto variaba atendiendo al tipo de instrumento
de medida utilizado y a la variable dependiente evaluada.
Finalmente, Weiss y Weisz (1995) en su meta-análisis sobre la eficacia de la psicoterapia infantil, llegaron a la conclusión de que la superioridad de la terapia de conducta no se debía sólo a factores metodológicos, como habían argumentado otros
autores (cf. Shirt y Russell, 1992), sino que existen otros factores todavía por analizar.
Por lo que respecta al contexto español, entre los estudios que han contribuido
al perfeccionamiento y avance de esta metodología y que se ha pretendido evaluar
y comparar la eficacia de la terapia de conducta frente a las estrategias generadas
por distintos modelos de tratamiento hay que señalar los llevados a cabo por
Esteban, Garrido y Sánchez (1996) y Redondo, Garrido y Sánchez (1997).
Esteban et al. (1996) analizaron la eficacia de los tratamientos psicológicos y farmacológicos en sujetos con diagnóstico de psicopatía, concluyendo que no existían
diferencias significativas entre las distintas modalidades, aunque destacaban los tratamientos llevados a cabo en la comunidad terapéutica que incluían elementos conductuales.
Por otro lado, Redondo et al. (1997) meta-analizaron la eficacia del tratamiento
correccional de delincuentes institucionalizados en el ámbito europeo, alcanzado
también los mejores resultados los programas estrictamente conductuales (d+ =
0,81) y los cognitivo-conductuales (d+ = 0,57). En el ámbito metodolólogico, estos
autores consideran que existen numerosas variables que interaccionan y producen
los cambios (así la edad de los delincuentes, el lugar y modalidad de la intervención,
la gravedad del problema, el tipo de medida y de variable dependiente, etc.), por lo
que no se puede hablar de eficacia de un tratamiento sin tener en cuenta el análi-
Presentación
193
sis de todos los factores. Resultados similares han sido obtenidos por Redondo et al.
(en prensa) al meta-analizar la eficacia del tratamiento correccional de delincuentes
sobre las tasas de reincidencia en el delito, también en el ámbito europeo, si bien la
eficacia es menor cuando se mide a través de la reincidencia.
Respecto de los problemas y peligros a los que tiene que seguir enfrentándose
el meta-análisis en la actualidad hay que indicar los relativos tanto a las comparaciones entre distintos estudios meta-analíticos como los derivados de las comparaciones entre distintas técnicas, tratamientos o intervenciones dentro de un mismo
modelo teórico y de un mismo meta-análisis. Así, por ejemplo, en los estudios primarios los autores pueden utilizar técnicas distintas y etiquetarlas con el mismo
nombre o utilizar, por el contrario, el mismo procedimiento y nombrarlo de forma
diferente (cf. Gavino, 1993); incluso utilizando las mismas técnicas las intervenciones pueden variar en el tiempo de aplicación de la intervención, en las características de la muestra de sujetos, los criterios de esta selección de la muestra, etc. Estas
diferencias pueden llevar a los autores a conclusiones dispares que deberían evitarse. Un ejemplo lo podemos encontrar en los estudios de Shapiro y Shapiro (1982)
y Berman et al. (1985). Estos dos meta-análisis, pese a estudiar lo mismo, llegaron
a conclusiones contrapuestas, debido a que utilizaron distintas poblaciones como
objeto de su estudio, criterios de selección distintos y además se centraron en técnicas cognitivas diferentes.
Otra dificultad, ya mencionada líneas atrás, es la que hace referencia a los problemas de definición. En este sentido algunos autores incluyen una sola técnica y la
denominan como si se tratara de todo un enfoque teórico; otros se centran en técnicas muy concretas, pero en cambio pueden llegar a separarlas del marco teórico
del que forman parte. Esto también provoca confusión al intentar comparar los
resultados. Así, si tomamos el meta-análisis de Dush et al. (1983) que se centra en
las autoinstrucciones, una de las técnicas cognitivo-conductuales; el de Olivares,
Sánchez y Rosa (1998, noviembre) que lo hace en tres grandes grupos de técnicas
—habilidades de afrontamiento, técnicas de reestructuración cognitiva y resolución
de problemas— y el de Berman et al. (1985) centrado en la reestructuración cognitiva e intentamos comparar sus resultados llegaremos a conclusiones contradictorias, puesto que se están comparando cosas diferentes.
Otro aspecto importante que dificulta la realización de comparaciones es el
carácter uni o multimodal de las intervenciones. Es posible que procedimientos clasificados como unimodales no lo sean, al incluir componentes variados. Por lo tanto,
para poder comparar meta-análisis distintos es necesario que el investigador tenga
en cuenta todas las variables que pueden estar influyendo en los resultados (criterios de selección, tipo de muestra, tipo de diseño, tipo de grupo de control, tipo y
definición del tratamiento, etc.). Por ello, los investigadores hemos de ser rigurosos
y no reclutar aquellos estudios primarios que no posean una calidad mínima para
ser incluidos en las investigaciones meta-analíticas. Si la calidad metodológica de los
estudios empíricos es deficiente las conclusiones a las que llegaremos no serán consistentes, cosa que desafortudamente ha pasado en demasía con el empleo de esta
metodología.
194
OLIVARES, SÁNCHEZ
Y
ROSA
En cualquier caso, hay que recordar que se hace imprescindible en todo metaanálisis examinar la calidad metodológica de los estudios, pues si esto lo hacemos
así y con rigor entonces podremos afirmar que la tecnología meta-analítica puede
contribuir a dar respuesta a la pregunta formulada en 1967 por Gordon Paul
«¿Qué tratamiento es más eficaz para este individuo con este problema específico y con este conjunto de circunstancias?», dado que la integración cuantitativa
de los resultados de los estudios empíricos debe permitirnos llegar a elaborar
modelos predictivos de la eficacia esperada al aplicar una determinada técnica,
con una determinada duración e intensidad, a sujetos de una determinada edad,
género y nivel socioeconómico, con un problema psicológico concreto y bajo
determinadas condiciones metodológicas (Rubin, 1992).
Finalmente deseamos recordar que la investigación debe constituir la base
sobre la que ha de desarrollarse toda práctica clínica que aspire a ser saludable,
así como que en la forma de comunicar los resultados de nuestras investigaciones
reside la posibilidad de garantizar su réplica, la cual sigue siendo la mejor prueba
de la bondad de una intervención (Olivares y Méndez, 1999). Por ello siempre
debería de ser poco nuestro empeño a la hora de facilitar toda la información
necesaria para posibilitar la réplica de nuestro quehacer terapéutico, pero desafortunadamente tal deseo no es siempre corraborado cuando se estudian pormenorizadamente los trabajos publicados.
El presente monográfico lo integran un artículo sobre la historia y la situación
actual de la modificación de conducta en España y cuatro estudios meta-analíticos.
En el trabajo relativo a la historia y situación actual de la modificación de conducta
se hace un repaso tanto de los precedentes históricos como del proceso seguido por
esta disciplina hasta llegar a la fase actual de consolidación y expansión que es la
que nos permite la confección del presente monográfico, dado el elevado número
de trabajos de investigación publicados que avalan ya nuestra disciplina.
En el primero de los estudios meta-analíticos se analizan tanto en el contexto
español como internacional la eficacia de la terapia de conducta en su aplicación a
problemas clínicos y de la salud, a través del análisis de los resultados generados por
setenta meta-análisis previos. Ello nos ha permitido aproximarnos a la situación
actual y a los factores que intervienen en la aplicación y resultados de la terapia de
conducta hoy con independencia del lugar donde se aplica, además de poder ubicar y contrastar nuestra posición.
En el segundo estudio, siguiendo como estrategia la progresión de lo general a
lo concreto y particular, hemos analizado la eficacia de las intervenciones conductuales en España en el campo clínico y de la salud. El objetivo general de nuestra
investigación ha sido revisar la evidencia empírica disponible sobre la eficacia de la
modificación de conducta en España en los problemas considerados clásicamente
como psicológicos (los estudiados por la psicopatología tradicional), funcionales
(aquellos trastornos producidos por la forma en que el sujeto se enfrenta y maneja
el medio) y no funcionales de salud (los trastornos orgánicos), con el fin de determinar el estado actual de la intervención conductual y poder orientar nuestra acción
futura tanto en el campo propio de la intervención como en el de la investigación
de estos problemas.
Presentación
195
En el tercer y cuarto estudio incluimos, respectivamente, un trabajo sobre la eficacia de las intervenciones conductuales en problemas de ansiedad y otro sobre las
variables que influyen en el tratamiento de la adicción al tabaco. En el primero presentamos los resultados de una revisión de 27 estudios primarios e independientes,
de los cuales tres no habían sido incluidos en ningún trabajo meta-analítico previo.
En el segundo se recogen un total de 13 estudios, que incluyen un total de 613
fumadores, sobre los que se analiza tanto la eficacia de las intervenciones conductuales como las variables moderadoras de estos resultados al tiempo que se discuten sus implicaciones clínicas y teóricas.
Por último hemos de indicar que los trabajos recogidos en el segundo, tercero y
cuarto estudio han sido realizados con población española durante el período comprendido entre 1980 y 1995, 1996 y 1997 respectivamente; han utilizado diseños
de grupo y postest; con pretest presentan datos suficientes para calcular los tamaños del efecto y aplican técnicas conductuales en el tratamiento de los problemas
psicológicos mencionados a sujetos no institucionalizados, excluyéndose los trabajos relativos a la aplicación en grupo de programas preventivos.
Referencias
Ardila, R. (1991). Prólogo, en V.E. Caballo (dir.), Manual de técnicas de terapia y modificación
de conducta (pp. XXI-XXIII). Madrid: Siglo XXI.
Berman, J.S., Miller, C. y Massman, P.J. (1985). Cognitive therapy versus systematic desensitization. Psychologycal Bulletin, 97, 451-461.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2ª ed.). Hillsdale, NJ:
Erlbaum.
Cooper, H.M. (1989). Integrating research: A guide for literature reviews (2ª edic.). Beverly
Hills, CA: Sage.
Dobson, K.S. (1989). A meta-analysis of the efficacy of cognitive therapy for depression.
Journal of Consulting and Clinical Psychology, 57, 414-419.
Esteban, C., Garrido, V. y Sánchez, J. (1996). Cuando la emoción es un problema: Un estudio meta-analítico de la eficacia de los tratamientos con sujetos diagnosticados como psicópatas. Ansiedad y Estrés, 2, 55-68.
Gavino, A. (1993). Las variables del proceso terapeútico. En V. Caballo (dir.), Manual de técnicas de terapia y modificación de conducta (2ª ed.) (pp. 145-158). Madrid: Siglo XXI.
Glass, G.V. (1976). Primary, secondary, and meta-analysis of research Educational Researcher,
5, 3-8.
Glass, G.V., McGaw, B. y Smith, M.L. (1981). Meta-analysis in social research. Berverly Hills,
CA: Sage.
Gómez, J. (1987). Meta-análisis. Barcelona: PPU.
Hartmann, A., Herzog, T. y Drinkmann, A. (1992). Psychotherapy of bulimia nervosa: What is
effective? A meta-analysis. Journal of Psychosomatic Research, 36, 159-167.
Hedges, L.V. y Olkin, I. (1985). Statistical methods for meta-analysis. Orlando, FL: Academic
Press.
Kazdin, A.E. (1984). Therapy analogues and clinical trials in psychotherapy research. En M.
Hersen, L. Michelson y A.S. Bellack (dirs.), Issues in psychotherapy research (pp. 227-250).
Nueva York: Plenum Press.
196
OLIVARES, SÁNCHEZ
Y
ROSA
Olivares, J. y Méndez, F. X. (1999). Prefacio. En J. Olivares y F. X. Méndez (dirs.), Técnicas de
modificación de conducta (2ª edic. revisada). Madrid: Biblioteca Nueva.
Olivares, J., Sánchez, J. y Rosa, A.I. (1998, noviembre). Eficacia de las técnicas cognitivo-conductuales en el tratamiento de problemas clínicos y de salud. Comunicación presentada
en el IV Congreso Internacional sobre Conductismo y Ciencias de la Conducta, Sevilla.
Méndez, F.X.; Olivares, J. y Macià, D. (1993). Modificación de Conducta y programas aplicados a grupos, en D. Macià, F.X. Méndez y J. Olivares (coords.), Intervención psicológica:
Programas aplicados de tratamiento (pp. 27-44). Madrid: Pirámide.
Redondo, S., Sánchez, J. y Garrido, V. (en prensa). The influence of treatment programmes
on the recidivism of juvenile and adult offenders: An European meta-analytic review.
Psychology, Crime, and Law.
Rosenthal, R. (1991). Meta-analytic procedures for social research (Ed. rev.). Newbury Park,
CA: Sage.
Rubin, D.B. (1992). Meta-analysis: Literature synthesis or effect-size surface estimation?
Journal of Educational and Behavioral Statistics, 17, 363-374.
Sánchez, J. y Ato, M. (1989). Meta-análisis: Una alternativa metodológica a las revisones tradicionales de la investigación. En J. Arnau y H. Carpintero (dirs.), Tratado de psicología
general I: Historia, teoría y método (pp. 617-669). Madrid: Alhambra.
Scogin, F. y McElreath, L. (1994). Efficacy of psychosocial treatmens for geriatric depression:
A quantitative review. Journal of Consulting and Clinical Psychology, 62, 69-74.
Shapiro, D.A. y Shapiro, D. (1982). Meta-analysis of comparative therapy outcome research:
A critical appraisal. Behavioural Psychotherapy, 10, 4-25.
Shirt, S.R. y Russell, R.L. (1992). A reevaluation of estimates of child therapy effectiveness.
Journal of American Academy of Child and Adolescent Psychiatry, 31, 703-709.
Smith, M.L. y Glass, G.V. (1977). Meta-analysis of psychotherapy outcome studies. Americam
Psychologist, 32, 752-760.
Smith, M.L., Glass, G.V. y Miller, T.I. (1980). The benefits of psychotherapy. Baltimore, MD:
John Hopkins University.
Vázquez, C. (1990). Revisiones cuantitativas de la literatura: El meta-análisis. Evaluación
Psicológica, 6, 261- 288.
Weiss, B. y Weisz, J.R. (1995). Relative effectiveness of behavioral versus nonbehavioral
child psychotherapy. Journal Consulting and Clinical Psychology, 63, 317-320.
Wittman, W.W. y Matt, G.E. (1986). Meta-analyse als integration von forschumgesengebnissen am beispiel dents diprachiger arbeiten zur effektivitat von psychotherapie.
Psichologische Rundschau, 37, 20-40.