menu2.gif (2732 bytes)

 

Fiabilidad y valores normativos de la versi�n espa�ola del inventario para la depresi�n de Beck de 1978

Reliability and normative data of the Spanish version of 1978 Beck's Depression Inventory   

Carmelo VAZQUEZ (*)

Jes�s SANZ (*)

 


RESUMEN

ABSTRACT

PALABRAS CLAVE

INTRODUCCION

METODO

RESULTADOS Y DISCUSION

CONCLUSIONES


 

Resumen

 

Se presentan por primera vez datos normativos y de fiabilidad de la traducci�n espa�ola de la versi�n de 1978 del Inventario para la Depresi�n de Beck (Beck Depression Inventory, BDI; Beck, Rush, Shaw y Emery, 1979) obtenidos con una muestra de 445 adultos seleccionados de la poblaci�n general. El �ndice de consistencia interna fue alto (coeficiente alfa de Cronbach = 0.83). Respecto a la puntuaci�n total del BDI, se hallaron diferencias significativas entre sexos, grupos de edad y niveles de educaci�n. En primer lugar, las mujeres punt�aban m�s alto que los hombres. En segundo lugar, los mayores de 45 a�os m�s que los menores de dicha edad, los mayores de 65 a�os m�s que las personas entre 45 y 64 a�os. En tercer lugar, las personas con estudios b�sicos m�s que las personas con estudios universitarios o bachillerato. Se ofrecen puntuaciones normativas y centiles para la muestra total y para diferentes subgrupos en funci�n del sexo y la edad. Finalmente, se discute la utilidad de tales puntuaciones para evaluar la significaci�n cl�nica de los resultados de los tratamientos contra la depresi�n y se efect�a un an�lisis de la validez de contenido del BDI respecto a los criterios diagn�sticos de depresi�n del DSM-IV (APA, 1994).

 

 

ABSTRACT

 

This paper provides for the first time normative and reliability data of the Spanish version of Beck's Depression Inventory (BDI). Data were collected from a sample of 445 adults. Reliability estimates were high (Cronbach alpha coefficient = .83). Significant differences were found regarding gender, age and education. First, women scored higher than men. Second, subjects aged over 45 scored higher than younger ones, and people aged over 65 in their turn scored higher than those aged 45 to 64. Third, lowest educated people also scored higher than high school or college education subjects. Norms and centile scores are provided both for the total sample and for gender-defined and age-defined subgroups. Finally, the usefulness of such scores is discussed for the clinical significance of depression therapy results. Also, a BDI content validity is worked out with respect to DSM-IV criteria.

 

 

PALABRAS CLAVE

 

Depresi�n, Validez, Normas, Cuestionarios

 

 

KEY WORDS

 

Depression, Validity, Norms, Questionnaires

 

INTRODUCCION

 

El Inventario para la Depresi�n de Beck (Beck, Ward, Mendelson, Mock y Erbaugh, 1961; Beck, Rush, Shaw y Emery, 1979), al que a partir de ahora denominaremos BDI por su bien conocido acr�nimo (Beck Depression Inventory), es quiz�s el instrumento de autoinforme m�s utilizado internacionalmente para cuantificar los s�ntomas depresivos en poblaciones normales y cl�nicas (Beck, Steer y Garbin, 1988; Piotrowski, 1996; Steer, Beck y Garrison, 1986; V�zquez, 1995). Asimismo, es sin duda uno de los instrumentos m�s utilizados para evaluar la efectividad de las terapias farmacol�gicas o psicol�gicas para la depresi�n (Dobson, 1989; Edwards, Lambert, Moran, McCully, Smith y Ellingson, 1984). El BDI cuenta con unas buenas propiedades psicom�tricas avaladas por una abundante literatura emp�rica (v�ase Beck, Steer y Garbin, 1988).

Se olvida con frecuencia que el BDI, en su formato de 21 �tems, cuenta con dos versiones, la de 1961 (Beck et al., 1961) y la de 1978 (Beck et al., 1979). Conde y su grupo de investigaci�n llevaron a cabo la adaptaci�n y validaci�n en la poblaci�n espa�ola de la versi�n de 1961 (v�ase Conde, Esteban y Useros, 1976; Conde y Franch, 1984). Sin embargo, no conocemos ning�n estudio que haya abordado la adaptaci�n y validaci�n de la versi�n de 1978, a la que en ocasiones se denomina versi�n revisada o BDI revisado. Esta versi�n presenta sustanciales modificaciones respecto a la original de 1961 que aconsejan su empleo frente a esta �ltima. En primer lugar, la versi�n de 1978 es m�s manejable en su autoadministraci�n y correcci�n. En segundo lugar, la versi�n de 1978 elimina algunas afirmaciones alternativas de determinados �tems y reformula otras para una mayor legibilidad. En total, 15 �tems fueron cambiados en relaci�n a la versi�n original de 1961. En tercer lugar, en la versi�n de 1978 se utilizan unas nuevas instrucciones. Mientras en la versi�n de 1961 se preguntaba por la situaci�n del sujeto en el momento de completar el cuestionario, en la versi�n revisada se pregunta por su situaci�n “durante la �ltima semana, incluyendo el d�a de hoy”. Este cambio es muy importante puesto que con las instrucciones de la versi�n de 1961 se evaluaba una sintomatolog�a depresiva m�s moment�nea, mientras que con las instrucciones de la versi�n actual de 1978 se eval�an s�ntomas depresivos m�s estables y duraderos. De hecho, este marco temporal semanal de la versi�n de 1978 se aproxima m�s al contemplado en los criterios diagn�sticos de un episodio depresivo mayor en el DSM-IV, es decir, s�ntomas de una duraci�n m�nima de dos semanas (APA, 1994).

Por otro lado, la propia adaptaci�n de Conde et al. de la versi�n de 1961 presenta algunos inconvenientes adicionales. En primer lugar, las diferentes afirmaciones de cada uno de los �tems no est�n ordenadas por su gravedad, lo que para Beck constitu�a un requisito de cara a la legibilidad y validez aparente del instrumento (Beck y cols., 1961). Adem�s, Conde et al. eliminaron estad�sticamente dos �tems, Sentimiento de castigo y Pobre imagen corporal, lo que reduce a�n m�s la posibilidad de comparar los resultados obtenidos con esta escala con los publicados en la literatura internacional sobre la depresi�n.

El objetivo principal del presente estudio es aportar valores normativos y datos sobre la fiabilidad en la poblaci�n general de la traducci�n espa�ola de la versi�n del BDI de 1978. El estudio forma parte de un proyecto de investigaci�n m�s amplio que trata de adaptar y validar esta versi�n del BDI en la poblaci�n espa�ola (v�ase Sanz y V�zquez, 1997a,b,c; V�zquez y Sanz, 1997). La obtenci�n de valores normativos y de datos sobre la fiabilidad del BDI en poblaci�n general permite fundamentar la principal utilizaci�n que del BDI est�n haciendo los profesionales e investigadores espa�oles interesados en el �rea de la depresi�n: su utilizaci�n como instrumento para medir la efectividad de las terapias contra la depresi�n (L�pez-Ibor y L�pez-Ibor, 1986).

El BDI ha sido usado en multitud de estudios para evaluar la respuesta de grupos de pacientes depresivos a los tratamientos contra la depresi�n o para comprobar qu� tratamiento es el m�s eficaz (v�anse los an�lisis de la literatura de Dobson, 1989; Edwards et al., 1984; Steer, Beck y Garrison, 1986). Habitualmente se administra el BDI antes y despu�s del tratamiento, y una reducci�n estad�sticamente significativa en la puntuaci�n media del BDI se considera, entre otros par�metros, una respuesta positiva al tratamiento. Sin embargo, es obvio que el objetivo de toda intervenci�n terap�utica no es, o no es solamente, alcanzar una mejor�a estad�sticamente significativa de la problem�tica media de un grupo de pacientes, sino fundamentalmente alcanzar una mejora cl�nicamente significativa, es decir, una mejor�a de una magnitud cl�nicamente relevante y con efectos pr�cticos en la vida de dichos pacientes.

Los investigadores dedicados a estudiar la evaluaci�n de tratamientos han desarrollado diversos criterios para evaluar el grado en que un tratamiento produce una mejor�a cl�nicamente significativa en un grupo de pacientes o para evaluar si un paciente en concreto ha mejorado de forma cl�nicamente significativa (v�ase Kazdin, 1992; Sanz, 1997). Un procedimiento muy utilizado es tener en cuenta si la puntuaci�n del paciente al finalizar el tratamiento se aproxima m�s a la puntuaci�n media de un grupo de referencia “normal” que a la de un grupo que padezca el trastorno en cuesti�n (Jacobson y Traux, 1991).

Para evaluar este criterio, un procedimiento muy utilizado es examinar si la puntuaci�n postratamiento del paciente es igual o est� por debajo de la media o la mediana de las normas de una muestra suficientemente grande y representativa de la poblaci�n general (Hollon y Flick, 1988), o si se encuentra alrededor de dicha media o mediana situ�ndose al menos en el intervalo de una desviaci�n t�pica por encima de la media (Kendall y Grove, 1988). A nivel grupal, la eficacia de un tratamiento vendr�a dada por el porcentaje de pacientes que en el postratamiento obtienen una puntuaci�n igual o inferior a la media (o mediana), o una puntuaci�n en el intervalo de una desviaci�n t�pica alrededor de dicha media (o mediana). Por consiguiente, la evaluaci�n de este criterio requiere disponer de informaci�n sobre la distribuci�n de puntuaciones que se obtienen con el instrumento (medidas de tendencia central y de dispersi�n) en una poblaci�n “normal”. Idealmente estos valores normativos se deber�an conseguir a partir de una muestra de la poblaci�n general estratificada, en la medida de lo posible, atendiendo a diversas variables sociodemogr�ficas.

En resumen, con el �nimo de ofrecer a los investigadores y profesionales espa�oles que trabajan en el �rea de la depresi�n una versi�n espa�ola del BDI de 1978 que les sirva para medir la efectividad de los tratamientos contra la depresi�n, en el presente trabajo se presentan valores normativos y datos de fiabilidad del inventario en una muestra representativa y relativamente numerosa de la poblaci�n general.

 

 

M�TODO

Sujetos

 

El BDI se administr� a una muestra de 445 personas procedentes de una poblaci�n heterog�nea en cuanto a edad, estado civil, profesi�n y nivel de estudios. Estas personas fueron reclutadas mediante la t�cnica de la “bola de nieve”, es decir, se pidi� a un grupo de estudiantes de tercer curso de Psicolog�a que invitaran a participar en un estudio sobre personalidad y depresi�n a sus familiares y amigos seg�n unos criterios que aseguraran la estratificaci�n de la muestra en funci�n de la edad y del sexo. A pesar de que una muestra as� obtenida no garantiza su aleatoriedad, la estratificaci�n demogr�fica resultante de los participantes en este estudio se aproxim� bastante al perfil demogr�fico de la Comunidad de Madrid en cuanto a las variables sexo y edad1. Datos m�s concretos de las caracter�sticas sociodemogr�ficas de esta muestra aparecen en la Tabla 1.

Quince sujetos, habiendo indicado en el �tem 19 una p�rdida de peso, olvidaron indicar si estaban o no bajo dieta de adelgazamiento. En esos casos,  al �tem 19 se le asign� un 0 (el valor m�s frecuente o moda de la muestra en dicho �tem). Igual sustituci�n fue realizada para tres sujetos que dejaron el �tem 19 sin contestar.

 

 

Instrumento

 

El BDI es un instrumento de 21 �tems en los que se eval�a la intensidad de la depresi�n. En cada uno de los �tems el sujeto tiene que elegir aquella frase entre un conjunto de cuatro alternativas siempre ordenadas por su gravedad2 que mejor se aproxima a su estado durante la �ltima semana incluyendo el d�a en que completa el inventario. En cuanto a la correcci�n del instrumento, cada �tem se valora de 0 a 3 puntos en funci�n de la alternativa escogida y, tras sumar directamente la puntuaci�n de cada �tem, se puede obtener una puntuaci�n total que var�a de 0 a 63. A veces se da la circunstancia de que el sujeto elige m�s de una alternativa en un �tem dado. En este caso se elige la puntuaci�n de mayor gravedad. Por otro lado, el �tem sobre P�rdida de Peso (�tem 19) s�lo se valora si el sujeto indica no estar bajo dieta para adelgazar. En el caso de que lo est�, se otorga una puntuaci�n de 0 en el �tem.

 

 TB1.jpg (62567 bytes)

Procedimiento

 

El primer autor del presente estudio llev� a cabo una nueva traducci�n de la versi�n del BDI que aparece recogida en el libro de Beck et al. (1979) puesto que la traduccci�n publicada en castellano presentaba algunas insuficiencias3. Una copia de esta traducci�n aparece en el Ap�ndice. El BDI fue administrado individualmente, junto a otros tres cuestionarios que serv�an a los objetivos de otras investigaciones (v�ase Carrillo, Rojo y Staats, 1996), por el alumno que, como parte de sus pr�cticas, le hab�a invitado a participar en este estudio.

 

 TB2.jpg (84975 bytes)

TB3.jpg (33554 bytes)

RESULTADOS Y DISCUSI�N

Distribuci�n de las puntuaciones del BDI

 

El rango de puntuaciones totales en el BDI estuvo comprendido entre 0 y 39, con una media igual a 7,5 y una desviaci�n t�pica igual a 6,7. Como viene siendo habitual en otros estudios (Kendall, Hollon, Beck, Hammen e Ingram, 1987), la curva de distribuci�n de puntuaciones en esta muestra de la poblaci�n general estaba desplazada a la izquierda (�ndice de simetr�a igual a 1,4) y apuntada hacia los valores m�s bajos (curtosis = 2,1), de forma que si bien la mediana no era muy distinta a la media muestral (6 frente a 7,5), el valor m�s frecuente en la muestra (moda = 3) era notablemente m�s bajo que dicha media.

Como muestra la Tabla 2, los siguientes �tems recibieron las mayores puntuaciones en frecuencia e intensidad: Irritabilidad, Insomnio, Autoculpa, Fatiga e Insatisfacci�n. Por el contrario, los s�ntomas que se mostraban de forma m�s ligera y con menor frecuencia fueron los que reflejaban los �tems de Autodecepci�n, Ideas de Suicidio y P�rdida de Peso.

 

 

Consistencia interna

 

La consistencia interna del BDI hallada en nuestra muestra es elevada (coeficiente alfa = 0,83), una cifra comparable a los coeficientes encontrados en estudios con muestras semejantes (entre 0,73 y 0,93; cf. Beck et al., 1988). Las correlaciones entre las puntuaciones en cada uno de los �tems y la puntuaci�n total corregida en el BDI (es decir, la puntuaci�n total sin tener en cuenta el �tem en cuesti�n) se presentan en la Tabla 2. Los coeficientes de correlaci�n hallados fueron todos estad�sticamente significativos, oscilando entre 0,23 (Autodecepci�n) y 0,57 (Tristeza). La media de las correlaciones inter�tems fue 0,20, con un m�nimo de 0,00 y un m�ximo de 0,45.

 

 

Diferenciaci�n de sujetos deprimidos y no deprimidos

 

En la Tabla 3 se presentan los porcentajes de personas que corresponden a las diferentes categor�as de gravedad de depresi�n (M�nima, Leve, Moderada, y Grave) propuestas por Beck en el manual comercializado del inventario  (Beck y Steer, 1993) 4.

Para determinar si un conjunto espec�fico de s�ntomas del BDI podr�a diferenciar los sujetos deprimidos de los no deprimidos, se realiz� un an�lisis discriminante por pasos usando como punto de corte una puntuaci�n de 18 en el BDI. Diversos estudios han mostrado que una puntuaci�n de 18 maximiza la exactitud diagn�stica del BDI en cuanto a su sensibilidad, especificidad, poder de predicci�n y eficiencia diagn�stica (Rudd y Rajab, 1995; Chan, 1991). Por otro lado, es una puntuaci�n altamente consensuada entre los investigadores para diferenciar entre personas con y sin depresi�n (v�ase Kendall et al., 1987).

El an�lisis discriminante identific� los siguientes �tems como aquellos que mejor discriminaban entre los sujetos deprimidos y no deprimidos: Sentimiento de Castigo, Desinter�s por el Sexo, Sentimiento de Fracaso, P�rdida de Apetito, Indecisi�n, Dificultad Laboral, Tristeza, Pesimismo, Insomnio, Lloro e Irritabilidad. La funci�n discriminante obtenida pod�a clasificar correctamente el 98,2 % de los sujetos como no deprimidos o deprimidos, seg�n el citado punto de corte del BDI, con un lambda de Wilks igual a 0,43 (c2(11, N = 445)
= 369,97, p < 0,0001).

 

 

Diferencias entre sexos

 

Un ANOVA sobre la puntuaci�n total en el BDI tomando como variable independiente el sexo de los sujetos, revel� una diferencia estad�sticamente significativa entre la puntuaci�n global de ambos sexos [F(1,443) = 12,2, p < 0,0005]. Como se puede ver en la Tabla 3, la media de la puntuaci�n total del BDI de las mujeres era m�s alta que la de los varones. Es m�s, un MANOVA realizado sobre las respuestas separadas a los 21 �tems del BDI encontr� un efecto significativo de la variable sexo [F(21,423) = 2,66,
p< 0,001]. ANOVAs posteriores se�alaron que exist�an diferencias significativas entre sexos en los siguientes �tems, en los cuales, las mujeres siempre punt�aban m�s alto que los varones: Tristeza (0,39 frente a 0,18), Pesimismo (0,52 frente a 0,34), Insomnio (0,75 frente a 0,44), Fatiga (0,58 frente a 0,43), P�rdida de Apetito (0,29 frente a 0,18), Desinter�s por el Sexo (0,68 frente a 0,26) y Sentimiento de Fracaso (0,24 frente a 0,14).

Diferencias entre grupos de edades

 

Un ANOVA 2 x 4 con las variables Sexo y Grupos de edad (18-24 a�os, 25-44 a�os, 45-64 a�os, y m�s de 65 a�os) ofreci� un efecto significativo tanto para la variable sexo como para la variable edad [F(3, 433) = 18,86,
p < 0,001], pero no para la interacci�n de ambas variables [F(3, 433) = 1,47, n.s.]. Para analizar el efecto significativo del sexo, se realizaron a posteriori pruebas t con niveles de significaci�n corregidos seg�n el procedimiento de Bonferroni (0,05/6). Estas pruebas se llevaron a cabo bien con la f�rmula habitual de varianzas conjuntas o bien con la f�rmula de varianzas separadas, en funci�n de si tales varianzas eran iguales o no seg�n la prueba previa de Levene. Las pruebas t revelaron que el grupo de personas mayores de 65 a�os mostraba niveles de sintomatolog�a depresiva significativamente m�s altos que todos los grupos de personas de menor edad [t(82,72) = 5,51, respecto al primer grupo de edad; t(80,90) = 5,49, respecto al segundo grupo; y t(85,63) = 2,89, respecto al tercero; todas las significaciones tuvieron una p < 0,008]. Por su parte, el grupo de personas entre 45 y 64 a�os tambi�n mostraba niveles de sintomatolog�a depresiva significativamente m�s altos que las personas de menor edad [t(209,41) = 4,22 y t(300) = 4,23, para los grupos de edad respectivos, ambos con p < 0,008]. Sin embargo, no exist�a ninguna diferencia estad�sticamente significativa en cuanto al nivel de sintomatolog�a depresiva entre las personas de 18 a 24 a�os y las personas de 25 a 44 a�os [t(225) = 0,12, n.s.] -v�ase la Tabla 4.

En suma, estos an�lisis revelaron tambi�n la existencia de diferencias significativas entre los grupos de edad y, adem�s, dichas diferencias resultaron ser independientes del sexo de los sujetos.

 

 

Diferencias entre grupos de estado civil

 

Se analiz� la relaci�n entre el estado civil de las personas (soltero; casado o convivencia estable; separado o divorciado, y viudo) con la puntuaci�n total en el BDI (v�ase la Tabla 4). Los an�lisis se�alaron la presencia de diferencias significativas entre los grupos de personas de distinto estado civil en la puntuaci�n total del BDI [F(3, 437) = 15,44, p < 0,0001]. Las pruebas t realizadas a posteriori con niveles de significaci�n corregidos seg�n el procedimiento de Bonferroni revelaron que el grupo de personas viudas mostraba niveles de sintomatolog�a depresiva significativamente m�s altos que los grupos de personas solteras o casadas. Ninguna otra comparaci�n entre grupos de distinto estado civil fue estad�sticamente significativa.

Sin embargo, es probable que las variables sexo y edad pudieran estar modulando la relaci�n entre estado civil y puntuaci�n total en el BDI. Teniendo en cuenta solamente las condiciones de soltero frente a casado para as� conseguir un n�mero suficiente de sujetos, se realizaron dos ANOVAs posteriores. El primero se efectu� con las variables estado civil y sexo. Este ANOVA arroj� un efecto significativo tanto para el sexo como para el estado civil [F(1, 402) = 6,39 y 6,35, respectivamente, ambos con p < 0,01], pero no para la interacci�n de ambas variables [F(1, 402) = 2,88, n.s.]. Es decir, los casados punt�an m�s alto en el BDI que los solteros (7,5 frente a 6,1). El segundo ANOVA se efectu� con las variables Estado civil y Grupo de edad. Este segundo ANOVA revel� un efecto significativo s�lo para el factor grupo de edad [F(3, 394) = 9,79, p < 0,001], pero no para el factor estado civil o para la interacci�n de ambos factores [F(1, 394) = 0,38 y F(3, 394) = 1,12, respectivamente, ambos n.s.]. Estos resultados tan contradictorios podr�an suponer la existencia de relaciones entre las tres variables, sexo, edad y estado civil, que confund�an la posible relaci�n o ausencia de relaci�n entre el estado civil y la puntuaci�n total en el BDI.

Teniendo en cuenta solamente las condiciones de soltero frente a casado y excluyendo las personas de m�s de 65 a�os, se realiz� un ANOVA con las variables estado civil, sexo y grupo de edad. Este an�lisis revel� efectos significativos tanto para el sexo como para la edad, pero no para el estado civil [F(1, 355) = 0,11, n.s.] ni para ninguna de las dobles o triples interacciones entre las anteriores variables (todas las Fs n.s.).

En resumen, los resultados de estos an�lisis parecen se�alar que el sexo y la edad son las variables fundamentales a la hora de determinar el nivel de sintomatolog�a depresiva de las personas de la muestra de la poblaci�n general, y que probablemente la relaci�n del estado civil con dichos niveles de sintomatolog�a depresiva depende de las anteriores variables y no del estado civil per se.

 

 TB4.jpg (96850 bytes)

Diferencias entre grupos de estudios

 

Se analiz� la relaci�n entre el nivel de estudios o educaci�n de las personas (Estudios b�sicos; Formaci�n profesional; Bachillerato, y Universitarios) con la puntuaci�n total en el BDI (v�ase la Tabla 4). Los an�lisis efectuados revelaron la existencia de diferencias significativas entre los grupos de estudios en la puntuaci�n total del BDI [F(3, 426) = 12,05,
p< 0,001]. Las pruebas t realizadas a posteriori con niveles de significaci�n corregidos seg�n el procedimiento de Bonferroni revelaron que el grupo con estudios b�sicos mostraba niveles de sintomatolog�a depresiva significativamente m�s altos que los grupos con estudios de bachillerato o con estudios universitarios. Ninguna otra comparaci�n entre grupos de estudios fue estad�sticamente significativa.

Esta diferencia no estaba modulada ni depend�a del sexo. Efectivamente, un ANOVA con las variables sexo y nivel de estudios como variables independientes confirm� los efectos principales antes se�alados, pero no encontr� un efecto de interacci�n significativo entre dichas variables [F(3, 422) = 1,91, n.s.]. Tampoco dicha diferencia estaba modulada o depend�a de la edad. Un ANOVA con las variables grupos de edad y nivel de estudios como variables independientes confirm� los efectos principales antes se�alados, pero no encontr� una interacci�n significativa entre dichas variables [F(9, 410) = 0,69, n.s.].

 

 

Diferencias entre grupos de profesi�n

 

Se analiz� la relaci�n entre el tipo de profesi�n u ocupaci�n de las personas (Empresarios con asalariados; Empresarios sin asalariados; Directores, gerentes o altos cargos; T�cnicos, profesores o mandos intermedios; Trabajadores independientes; Profesionales liberales; Personal administrativo; Obreros cualificados; Obreros no cualificados; Militares; Amas de casa; Desempleados; Jubilados o pensionistas; Estudiantes, y Otros) con la puntuaci�n total en el BDI (v�ase de nuevo la Tabla 4). Los an�lisis mostraron diferencias significativas entre los grupos de profesi�n en la puntuaci�n total del BDI [F(14, 403) = 4,50,
p< 0,001]. Las pruebas t realizadas a posteriori con niveles de significaci�n corregidos seg�n el procedimiento de Bonferroni revelaron que los grupos de amas de casa y jubilados mostraban niveles de sintomatolog�a depresiva significativamente m�s altos que los profesionales, estudiantes, profesores y obreros cualificados. A su vez, el grupo de jubilados tambi�n mostraba niveles de sintomatolog�a depresiva significativamente m�s altos que los grupos de desempleados, de otras ocupaciones y de personal administrativo. Ninguna otra comparaci�n entre grupos de profesi�n fue estad�sticamente significativa. Debido al escaso n�mero de sujetos que compon�an cada celdilla cuando se cruzaban las variables sexo y/o edad con la variable profesi�n (una reducci�n bastante notoria en muchos casos puesto que no hab�a en esta muestra ningun var�n que fuera ama de casa, ni ninguna mujer que fuera militar o empresaria con asalariados), no fue posible analizar si la relaci�n entre el tipo de profesi�n y la puntuaci�n en el BDI depend�a de terceras variables como el sexo o la edad.

 

 TB5.jpg (41019 bytes)

Normas y puntuaciones centiles

 

En la Tabla 5 se presentan los valores normativos y puntuaciones centiles en el BDI para la muestra total de la poblaci�n general y para los subgrupos de edad y sexo de la muestra de la poblaci�n general. La obtenci�n de valores normativos y puntuaciones centiles distintos para estos subgrupos viene determinada por el hallazago de diferencias estad�sticamente significativas entre los mismos en cuanto a la puntuaci�n total del BDI. Es verdad que tambi�n se han encontrado diferencias en relaci�n al nivel de estudios o la profesi�n, pero tales diferencias no est�n tan bien documentadas en la literatura y deben ponerse en relaci�n con otros indicadores socioeducativos y socioecon�micos. Por el contrario, la relaci�n entre depresi�n y las anteriores variables (edad y sexo) est� mucho mejor documentada (V�zquez y Sanz, 1991, 1995; V�zquez y Lozoya, 1994).

En cualquier caso, los datos presentados en la Tabla 5 deben alertar a los investigadores y profesionales sobre el empleo rutinario de categor�as de gravedad de depresi�n a partir de puntos de cortes en el BDI obtenidos en otras culturas o con grupos de personas de otro sexo o edad. Por ejemplo, si en la literatura emp�rica se ha recomendado una puntuaci�n de corte de 10 para identificar a las personas depresivas y no depresivas (Kendall et al., 1987), una puntuaci�n que coincide m�s o menos con una desviaci�n t�pica por encima de la media de las muestras estadounidenses, parece claro que en muestras espa�olas tales puntos de corte variar�n sustancialmente dependiendo de si los sujetos proceden de la poblaci�n universitaria (en este caso el punto de corte es de 11; v�ase Sanz y V�zquez, 1997a) o de si procede de la poblaci�n general, y en este �ltimo supuesto depender� de su edad o sexo (en el caso de un sujeto entre 45 y 64 a�os el punto de corte estar�a en 14). Reflexiones parecidas se pueden realizar respecto a cuando un paciente depresivo bajo tratamiento psicol�gico o farmacol�gico ha mejorado significativamente. Por ejemplo, bas�ndose en las normas estadounidenses, Kendall y Grove (1988) consideran que un paciente ha mejorado significativamente cuando su puntuaci�n total en el BDI se encuentra en el intervalo de una desviaci�n t�pica alrededor de la media, es decir, cuando su puntuaci�n baja de 10. Sin embargo, este punto de corte parece muy exigente para un paciente espa�ol entre 45 y 64 a�os, ya que en su caso, a tenor de los valores normativos aqu� expuestos, un funcionamiento “normal” para su medio cultural vendr�an indicado por una puntuaci�n en el BDI menor de 14.

 

 TB6.jpg (66968 bytes)

Validez de contenido

 

El BDI se construy� con la intenci�n de reflejar el consenso cl�nico sobre aquellas actitudes y s�ntomas que frecuentemente presentan los pacientes psiqui�tricos con depresi�n y de forma infrecuente se encuentran en pacientes psiqui�tricos sin depresi�n (Beck et al., 1961). A pesar de que han aparecido algunos desarrollos importantes en la forma de entender la depresi�n durante los 30 a�os que han pasado desde su construcci�n, el BDI sigue reflejando de manera adecuada las principales caracter�sticas de la depresi�n tal y como es entendida de forma consensuada hoy en d�a en sistemas como el DSM-IV (APA, 1994). Como puede observarse en la Tabla 6, el BDI cubre seis de los nueve criterios sintomatol�gicos (Criterio A) propuestos por el DSM-IV para el diagn�stico de un episodio depresivo mayor y, aunque parcialmente, tambi�n refleja dos de los tres criterios restantes. Estas �ltimas deficiencias parciales tiene que ver con la ausencia de �tems que describan “s�ntomas por exceso” (esencialmente aumento de peso/apetito e hipersomnia), de forma que el BDI s�lo eval�a s�ntomas depresivos deficitarios (p�rdida de peso/apetito e insomnio). Por otro lado, existe un criterio sintomatol�gico que queda sin cubrir en el BDI: los cambios psicomotores bien por exceso (agitaci�n psicomotora) o por defecto (enlentecimiento psicomotor). Aunque las dificultades para hacer cosas y las interferencias en el trabajo recogidas por el �tem de Dificultad Laboral podr�an indicar la presencia de cambios psicomotores, en concreto, de retardo psicomotor, nos parece que ese �tem parece cubrir m�s bien el criterio de gravedad o deterioro (Criterio C) propuesto por el DSM-IV para el diagn�stico de un episodio depresivo mayor: malestar cl�nicamente significativo o alg�n tipo de deterioro en el �rea social, laboral o en cualquier otra �rea importante de funcionamiento.

El BDI se distingue en cuanto al contenido por evaluar sobre todo caracter�sticas cognitivas: aproximadamente 2/3 de sus �tems tienen un contenido cognitivo, mientras que s�lo el 32% de sus �tems eval�an aspectos som�ticos o conductuales, frente al 50% de la Escala para la Valoraci�n de la Depresi�n de Hamilton (1960) o de la Escala Autoaplicada de la Depresi�n de Zung (1965), por ejemplo (v�ase los an�lisis comparativos efectuados por V�zquez, 1995). Ahora bien, la evaluaci�n cognitiva del BDI es algo parcial. Se dedica una especial atenci�n hacia los s�ntomas de culpa, las atribuciones causales personales, etc., mientras que se echa de menos informaci�n sobre dificultades en el rendimiento intelectual (atenci�n, memoria, concentraci�n, etc.). La informaci�n sobre estas �ltimas se reduce a un �nico �tem: dificultad para tomar decisiones (Indecisi�n) y, de modo algo m�s indirecto, dificultades para hacer las cosas (Dificultad Laboral), el cual hemos incluido en la Tabla 6 m�s como indicativo del grado de deterioro laboral debido al s�ndrome depresivo.

 

 

CONCLUSIONES

 

1. La consistencia interna de la versi�n espa�ola del BDI de 1978 es buena y se asemeja a la hallada en otros �mbitos culturales con muestras tambi�n extra�das de la poblaci�n general.

2. La alta consistencia interna del BDI indica que en muestras de la poblaci�n general el BDI parece medir un s�ndrome de depresi�n general de s�ntomas intercorrelacionados.

3. Las mujeres presentaban puntuaciones m�s altas en el total del BDI y en algunos de sus �tems, unas diferencias que pueden tener que ver con diferencias entre sexos en cuanto al nivel de estudios, roles, actividades, profesiones, etc. De hecho, variables como el nivel de estudios y el tipo de profesi�n afectaban a las puntuaciones halladas en el BDI.

4. El BDI cubre aceptablemente el espectro de s�ntomas incluidos como criterios sintomatol�gicos del “episodio depresivo mayor” en el DSM-IV (en concreto cubre ocho de los nueve s�ntomas propuestos), as� como, parcialmente, el criterio de deterioro en el funcionamiento, lo que hace l�gica la elecci�n de este instrumento para evaluar cuantitativamente a pacientes diagnosticados con tales criterios o para seleccionar sujetos que pudieran servir de an�logos de tales pacientes. Sin embargo, ya que su contenido est� muy centrado en los aspectos cognitivos de la depresi�n, es recomendable emplear otros instrumentos simult�neamente para recabar informaci�n complementaria del sujeto (Vredenburg et al., 1993), especialmente en relaci�n a los s�ntomas som�ticos. As�, por ejemplo, se podr�a emplear la Escala para la Valoraci�n de la Depresi�n de Hamilton o, si se prefiere un instrumento autoaplicado, no heteroaplicado como el anterior, se podr�a emplear la Escala Autoaplicada para la Depresi�n de Zung (ambas adaptadas al espa�ol por el grupo de investigaci�n de Conde; v�ase Conde y Franch, 1984). El lector tambi�n puede consultar otras opciones de medida en V�zquez (1995; en prensa, a) o en Comeche, D�az y Vallejo (1995).

Obviamente, el hecho de que el BDI cubra razonablemente el espectro de s�ntomas que definen un episodio depresivo mayor (DSM-IV, APA 1994) no justifica nunca su uso como instrumento diagn�stico de un �Trastorno depresivo� de acuerdo a los sistemas de clasificaci�n com�nmente utilizados (V�zquez, 1986). El BDI sirve exclusivamente para identificar s�ntomas y cuantificar su intensidad, lo que obviamente es muy importante para evaluar, por ejemplo, la efectividad de un proceso terap�utico y valorar el estado del paciente. Sin embargo, el diagn�stico categorial o formal de un trastorno depresivo se efect�a teniendo en cuenta no s�lo el tipo y n�mero de s�ntomas presentes sino la ausencia de otros cuadros cl�nicos potencialmente presentes (p. ej., esquizofrenia, intoxicaci�n por drogas, etc.), la duraci�n de los s�ntomas, determinadas combinaciones de presencia/ausencia de s�ntomas, etc.

5. En suma, la versi�n espa�ola del BDI de 1978 parece tener propiedades psicom�tricas aceptables que recomiendan incialmente su uso como instrumento de cuantificaci�n de la sintomatolog�a depresiva.

6. Finalmente, las normas aqu� presentadas pueden servir para evaluar la eficacia de los tratamientos psicol�gicos o farmacol�gicos contra la depresi�n. Los profesionales que trabajen con adultos pueden evaluar de forma razonable la significaci�n cl�nica de la mejor�a del paciente en t�rminos, por ejemplo, de si el paciente ha alcanzado al final del tratamiento la media o la mediana de las normas propuestas en este estudio o, si se prefiere un criterio menos exigente, una desviaci�n t�pica por encima de la media. De hecho, este �ltimo criterio es el m�s consensuado internacionalmente (Kendall et al., 1987; Kendall y Grove, 1988; v�ase Sanz, 1997, para una discusi�n m�s detallada de la evaluaci�n de la significaci�n cl�nica). Igualmente, los investigadores que trabajen con muestras de adultos pueden evaluar de manera razonable la significaci�n cl�nica de sus hallazgos en t�rminos, por ejemplo, de la proporci�n de pacientes que han alcanzado al final del tratamiento los criterios anteriormente propuestos.

No obstante, hay que advertir que en este estudio se utiliz� una muestra de conveniencia y que no sabemos si se asemeja a la poblaci�n de la Comunidad de Madrid en otras variables demogr�ficas aparte del sexo y la edad y si, en todo caso, se asemeja a la poblaci�n de otras comunidades de Espa�a.  Es posible que en otros �mbitos como, por ejemplo, comunidades rurales, las tasas de sintomatolog�a depresiva y ansiosa sean desproporcionadamente elevadas (V�zquez Barquero et al., 1987). Una manera de evaluar la representatividad de la muestra es comprobar si se replican los hallazgos encontrados en este estudio con otras muestras procedentes de otras poblaciones espa�olas.

Suponiendo que se quieran utilizar estas normas, una cuesti�n ulterior es qu� normas utilizar: las de la muestra de la poblaci�n general o las de los diferentes subgrupos de dicha muestra. Una recomendaci�n muy habitual es que los individuos se deben comparar con su propio subgrupo demogr�fico cuando las puntuaciones de los subgrupos difieren. Sin embargo, este asunto no est� tan claro. Como se�alan Hayes y Haas (1988), una primera dificultad es decidir qu� subgrupo, o qu� combinaci�n de subgrupos, es relevante para la comparaci�n puesto que cada persona pertenece simult�neamente a m�ltiples subgrupos (sexo, edad, nivel de estudios, profesi�n, status socioecon�mico, etc.). Incluso si uno tiene idea de qu� subgrupo es el m�s relevante, cabe la posibilidad de que los efectos del tratamiento se juzguen mejor en referencia a las normas de otros subgrupos (Gillis, Haaga y Ford, 1995). Por ejemplo, en nuestros datos el grupo de las personas con estudios b�sicos puntu� m�s alto en depresi�n que los dem�s grupos. Sin embargo, teniendo en cuenta la posibilidad de que la depresi�n puede entorpecer el rendimiento acad�mico, pudiera ser preferible utilizar como criterios de mejora las normas de la poblaci�n general en su conjunto en vez de los criterios m�s “indulgentes” de las normas del grupo de personas con estudios b�sicos en el caso de un paciente con estudios b�sicos que se encuentre cursando estudios conducentes a otro nivel acad�mico.

 

 

Notas de los Autores

 

Los autores agradecen a los profesores Jes�s Carrillo Esteban y Nieves Rojo Mora el permiso para utilizar sus datos sobre el BDI.

La correspondencia en relaci�n a este art�culo debe dirigirse a Carmelo V�zquez o a Jes�s Sanz, Departamento de Personalidad, Evaluaci�n y Psicolog�a Cl�nica, Universidad Complutense de Madrid, Campus de Somosaguas, 28223 Madrid, o, mediante correo electr�nico, a cvazquez@PSI.UCM.ES o jsanz@PSI.ucm.es.

         

 

1 As�, en la Comunidad de Madrid los porcentajes para los grupos de edad entre los 20 y 24 a�os, 25 y 44 a�os, 45 y 64 a�os y m�s de 65 a�os, son, respectivamente, para los varones 12,9%, 42,47%, 30,8% y 13,6%, y para las mujeres, 11,1%, 39,7%, 30,2% y 19,0% (Consejer�a de Econom�a, 1994). En la muestra de la poblaci�n general de este estudio los porcentajes correspondientes fueron, para los varones, 15,8%, 37,6%, 36,7% y 10%, y para las mujeres, 15,9%, 35,3%, 33,8% y 15%, porcentajes semejantes a los anteriores.

2 Sin embargo, algunos estudios sugieren que la presentaci�n aleatoria de las distintas afirmaciones de gravedad dentro de cada �tem puede tener la ventaja de romper posibles sesgos de respuestas tendentes a escoger la primera afirmaci�n o la �ltima. De este modo se asegurar�a que los sujetos prestan atenci�n a todas las afirmaciones de cada �tem del BDI y permitir�a obtener un rango mejor de puntuaciones (Dahlstrom, Brooks y Peterson, 1990).

 

 

 

3 En la traducci�n espa�ola de este libro (Terapia cognitiva de la depresi�n, Bilbao: DDB, 1983) se puede encontrar una traducci�n de la versi�n de 1978 del BDI (traducci�n que tambi�n aparece en Bas y Andr�s, 1994). Aunque, obviamente, dicha traducci�n es muy similar a la empleada en este estudio (v�ase el Ap�ndice), sin embargo, presenta algunas diferencias. En este sentido, es de destacar la desafortunada traducci�n del �tem 20 en el cual el t�rmino ingl�s �constipation� fue traducido como �catarro�, cuando en realidad significa �estre�imiento�. Asimismo, la afirmaci�n de la m�xima gravedad del �tem de lloro tiene en esa traducci�n un significado totalmente contrario al sentido que tiene el original en ingl�s.

Se pueden encontrar otras traducciones al espa�ol del BDI de 1978. Por ejemplo, en la traducci�n de libro del Burns (1980) y en el compendio de escalas de Conde y Franch (1984), apare-

 

cen traducciones que tienen el serio inconveniente de no incluir en el �tem 19 la afirmaci�n que pregunta al sujeto si est� o no bajo dieta para adelgazar y, por tanto, no permiten dilucidar el significado cl�nico de la presencia de p�rdida de peso (inconveniente que tambi�n presenta la versi�n original inglesa del libro de Burns, 1980). Recientemente, Comeche, D�az y Vallejo (1995) han recogido en un compendio de cuestionarios y escalas otra traducci�n espa�ola del BDI de 1978. Esta traducci�n tambi�n presenta ligeras variaciones en la traducci�n de las afirmaciones respecto a la traducci�n propuesta por nosotros. La diferencia m�s notable, no obstante, reside en la inclusi�n de una afirmaci�n m�s en el �tem 6, de forma que �ste cuenta con 5 afirmaciones en lugar de 4 como el resto de los �tems del inventario. En concreto, la afirmaci�n adicional del �tem 6 reza “Quiero que me castiguen”, es valorada con un 3 y desgraciadamente los autores del libro no dan explicaci�n alguna de su inclusi�n, aunque cabe la posibilidad de que sea simplemente un error tipogr�fico. En cualquier caso, el  inconveniente m�s grave de todas estas traducciones es que no sabemos cu�les son sus propiedades psicom�tricas en la poblaci�n espa�ola.

 

 

American Psychiatric Association. (1994). Diagnostic and statistical manual of mental disorders (4� ed.). Washington, DC: APA.

Beck, A.T. y Steer, R.A. (1993). Beck Depression Inventory. Manual. San Antonio, TX: The Psychological Corporation.

Beck, A.T., Rush, A.J., Shaw, B.F. y Emery, G. (1979). Cognitive therapy of depression. New York: Guilford Press (Trad. esp. en Bilbao: Descl�e de Brower, 1983).

Beck, A.T., Steer, R.A. y Garbin, M.C. (1988). Psychometric properties of the Beck Depression Inventory: Twenty-five years of evaluation. Clinical Psychology Review, 8, 77-100.

Beck, A.T., Ward, C.H., Mendelson, M., Mock, J. y Erbaugh, J. (1961). An inventory for measuring depression. Archives of General Psychiatry, 4, 561-571.

Burns, D.D. (1990). Sentirse bien. Barcelona: Paidos. (Orig. de 1980).

Carrillo, J.M., Rojo, N. y Staats, A.W. (1996). Vulnerable personality in depression: Investigating commonality in the search for unification. European Journal of Psychological Assessment, 12, 202-211.

Comeche, M.I., D�az, M.I. y Vallejo, M.A. (1995). Cuestionarios, inventarios y escalas. Ansiedad, depresi�n y habilidades sociales. Madrid: Fundaci�n Univesidad-Empresa.

Conde, V. y Franch, J.I. (1984). Escalas de evaluaci�n comportamental para la cuantificaci�n de la sintomatolog�a psicopatol�gica en los trastornos angustiosos y depresivos. Madrid: Upjohn Farmaqu�mica.

Conde, V., Esteban, T. y Useros, E. (1976). Revisi�n cr�tica de la adaptaci�n castellana del Cuestionario de Beck. Revista de Psicolog�a General y Aplicada, 31, 469-497.

Consejer�a de Econom�a (1994). Anuario estad�stico 1993. Vol. 1. Comunidad de Madrid. Madrid: Consejer�a de Econom�a de la Comunidad Aut�noma de Madrid.

Chan, D. W.(1991).  The Beck Depression Inventory: What difference does the Chinese version make? Psychological Assessment, 3, 616-622.

Dahlstrom, W.G., Brooks, J.D. y Peterson, C.D. (1990). The Beck Depression Inventory: Item order and the impact of response set. Journal of Personality Assessment, 55, 224-233.

Edwards, B.C., Lambert, M.J., Moran, P.W., McCully, T., Smith, K.C. y Ellingson, A.G. (1984). A meta-analytic comparison of the Beck Depression Inventory and the Hamilton Rating Scale for Depression as measures of treatment outcome. British Journal of Clinical Psychology, 23, 93-99.

Gillis, M.M., Haaga, D.A. y Ford, G.T. (1995). Normative values for the Beck Anxiety Inventory, Fear Questionnaire, Penn State Worry Questionnaire, and Social Phobia and Anxiety Inventory. Psychological Assessment, 7, 450-455.

Hamilton, M. (1960). A rating scale for depression. Journal of Neurology, Neurosurgery, and Psychiatry, 23, 56-62.

Hayes, S.C. y Haas, J.R. (1988). A reevaluation of the concept of clinical significance: Goals, methods, and methodology. Behavioral Assessment, 10, 189-196.

Hollon, S.D. y Flick, S.N. (1988). On the meaning and methods of clinical significance. Behavioral Assessment, 10, 197-206.

Jacobson, N.S. y Truax, P. (1991). Clinical significance: A statistical approach to defining meaningful change in psychotherapy research. Journal of Consulting and Clinical Psychology, 59, 12-19.

Kendall, P.C, Hollon, S.D., Beck, A.T., Hammen, C.L. e Ingram, R.E. (1987). Issues and recommendations regarding use of the Beck Depression Inventory. Cognitive Therapy and Reseach, 11, 289-299.

Kendall, P.C. y Grove, W.M. (1988). Normative comparisons in therapy outcome. Behavioral Assessment, 10, 147-158.

L�pez-Ibor, J.J. y L�pez-Ibor, J.M. (1986). Standardized instruments for the evaluation of affective disturbances in Spain and Spanish-speaking countries. En N. Sartorius y T.A. Ban (Eds.), Assessment of depression (pp. 19-22). Berl�n: Springer-Verlag.

Piotrowski, C. (1996). Use of the Beck Depression Inventory in clinical practice. Psychological Reports, 79, 873-874.

Rudd, M.D. y Rajab, M.H. (1995). Specificity of the Beck Depression Inventory and the confounding role of comorbid disorders in a clinical sample. Cognitive Therapy and Research, 19, 51-68.

Sanz, J. (1997). �C�mo medir la efectividad de los tratamientos para la depresi�n? Manuscrito bajo revisi�n editorial.

Sanz, J. y V�zquez, C. (1997a). El Inventario para la Depresi�n de Beck (BDI) como instrumento para identificar sujetos deprimidos y no deprimidos en la investigaci�n psicopatol�gica: Fiabilidad, validez y datos normativos en muestras universitarias. Manuscrito bajo revisi�n editorial.

Sanz, J. y V�zquez, C. (1997b). El Inventario para la Depresi�n de Beck (BDI) como instrumento para identificar sujetos deprimidos y no deprimidos en la investigaci�n psicopatol�gica:. Criterios de selecci�n en muestras universitarias. Manuscrito bajo revisi�n editorial.

Sanz, J. y V�zquez, C. (1997c). Factor structure of the Beck Depression Inventory in clinical and non-clinical samples. Manuscrito en preparaci�n.

Steer, R.A., Beck, A.T. y Garrison, B. (1986). Applications of the Beck Depression Inventory. En N. Sartorius y T.A. Ban (Eds.), Assessment of depression (pp. 121-142). Berl�n: Springer-Verlag.

V�zquez, C. (1986). Escalas evaluadoras de la depresi�n: Limitaciones conceptuales y metodol�gicas. Revista de Psicolog�a General y Aplicada, 41, 101-113.

V�zquez, C. (1995). Evaluaci�n de los trastornos depresivos y bipolares. En A. Roa (Ed.), Evaluaci�n en psicolog�a cl�nica y de la salud (pp. 163-209). Madrid: CEPE.

V�zquez, C. (en prensa, a). Instrumentos diagn�sticos y de valoraci�n de la depresi�n y la man�a. En A. Bulbena, G. Berrios y J. Guim�n (Eds.), Medici�n en Psiquiatr�a. Barcelona: Salvat.

V�zquez, C. y Lozoya, G. (1994). Evaluaci�n y diagn�stico diferencial de los trastornos depresivos en personas de edad. En J. Buend�a (Ed.), Envejecimiento y psicolog�a de la salud (pp. 247-278). Madrid: Siglo XXI.

V�zquez, C. y Sanz, J. (1991). Trastornos depresivos (I): Datos cl�nicos y modelos te�ricos. En A. Belloch y E. Ib��ez (Eds.), Manual de Psicopatolog�a, vol. 2  (pp. 717-784). Valencia: Promolibro.

V�zquez, C. y Sanz, J. (1995). Trastornos del estado de �nimo: Aspectos cl�nicos. En A. Belloch, B. Sand�n y F. Ramos (Eds.), Manual de Psicopatolog�a, vol. 2 (pp. 299-340). Madrid: McGraw-Hill.

V�zquez, C. y Sanz, J. (1997). Fiabilidad y validez de la versi�n espa�ola del Inventario para la Depresi�n de Beck de 1978 en pacientes con trastornos psicol�gicos. Manuscrito bajo revisi�n editorial.

V�zquez-Barquero, J.L., Diez, J.F., Pe�a, C., et al. (1987). A community mental health survey in Cantabria: a general description of morbidity. Psychological Medicine, 17, 227-241.

Vredenburg, K., Flett, G.L. y Krames, L. (1993). Analogue versus clinical depression: A critical reappraisal. Psychological Bulletin, 113, 327-344.

Zung, W.W.K. (1965). A self-rating depression scale. Archives of General Psychiatry, 12, 63-70.