VALIDEZ DESDE EL CAMPO DE LA PSICOMETRIA

MARCO TEÓRICO

I.        DEFINICION.-

-       Desde el punto de vista estadístico, la validez es la proporción de la varianza verdadera que es relevante para los fines de la prueba; es decir, que es atribuible a la variable, características o dimensión que mide la prueba.

-       Desde el punto de vista psicométrico, la validez es el resultado de un proceso de recopilación de evidencias empíricas sustentado en supuestos teóricos que, en suma, permiten emitir un juicio valorativo que afirme la pertinencia y la suficiencia de las interpretaciones basadas en los resultados de una prueba. Este juicio no depende únicamente de los ítemes de la prueba, sino también de la muestra sobre la que se efectúe el test, y del contexto de aplicación^[

-       Para Messick (1984), «la validez unificada integra consideraciones de contenido, criterio y consecuencias en un marco de referencia de constructo para la evaluación empírica de hipótesis racionales acerca del significado de las puntuaciones y de relaciones relevantes desde el punto de vista teórico, incluyendo las de naturaleza científica y aplicada».

II.        CARACTERÍSTICAS.-

v  La validez se refiere a la adecuacidad de la interpretación de los resultados para un grupo determinado de individuos.  La validez no es una propiedad del cuestionario; aunque, por costumbre, se sigue hablando de la validez del cuestionario.

v  La validez es una cuestión de grado. No existe en términos absolutos.  No se puede decir que el cuestionario es válido o inválido. Aumenta o disminuye dependiendo de la calidad de la evidencia que la sustenta.  Nuevas evidencias pueden incrementarla o reducirla.  Hoy día la validación de una inferencia se presenta como el proceso de determinar si la teoría y las evidencias empíricas respaldan esta inferencia.

v  La validez se refiere siempre a un tipo de uso o interpretación específico. No se puede hablar de la validez de un cuestionario sea cual fuere su uso.  A veces los usos son muy próximos, pero aún así hay diferencias.  

v  La validez es un concepto unitario. No se puede hablar de diferentes tipos de validez (contenido, constructo, criterio).  Se habla más bien de un concepto –validez- y de diversos tipos de evidencia.

v  Para hablar de validez se requiere un juicio evaluativo comprensivo que dictamine si las interpretaciones y usos de los resultados se justifican con la evidencia producida.

III.        EL PROBLEMA DEL CRITERIO DE VALIDACIÓN.-

Una forma de demostrar que el instrumento es válido es tener un punto de comparación externa. Para ello necesitamos un criterio, es decir, algo mensurable y no medible porque se miden cosas que no se ven (inteligencia, sociabilidad). Por esto en psicología no se pueden medir criterios verdaderos, pero deben ser lo más verdaderos posible.

Hay que elegir los criterios que sean unánimemente estables y confiables. Debe ser el más adecuado posible e independiente del test y de su autor, por lo que debe ser valorado por personas ajenas al test y su autor: Jueces de validación. El criterio debe estar exento de prejuicios; a priori todas las personas deben de poder estar evaluadas. Debe estar disponible y debe haber demostrado su validez.

A pesar de todo el criterio conlleva un sesgo que hay que controlar. Por eso hay que saber quién evaluó el criterio para poder analizar los coeficientes de validez.

Sobre la base del tipo de criterio elegido hay que evaluar la validez.

IV.        TIPOS DE EVIDENCIA

1.    Validez de contenido

Se dice que una prueba o test cumple con las condiciones de validez de contenido si constituye una muestra adecuada y representativa de los contenidos y alcance del constructo o dimensión a evaluar. En los casos en los que la materia objeto de medición se puede precisar con facilidad, la población de contenidos que se pretende evaluar está bien definida, por lo que la selección de los ítems del test no ofrece mayores dificultades, pudiéndose recurrir a métodos estadísticos de muestreo aleatorio para obtener una muestra representativa de ítems. No obstante, en el campo de la psicología no siempre es posible disponer de poblaciones de contenidos bien definidas (por ejemplo, si se pretenden medir variables psicológicas clásicas, como la extraversión, la inteligencia o el liderazgo). En estos casos suele recurrirse a un análisis racional de ítems, consistente en la evaluación de los contenidos del test por parte de un grupo de expertos en el área a tratar.^[6] La validez de contenido es esencial a la hora de realizar inferencias o generalizaciones a partir de los resultados del test.

Un caso particular de la validez de contenido es la denominada «validez aparente». Una prueba posee una validez aparente adecuada cuando produce en los sujetos a los que se aplica la impresión de que efectivamente es una prueba adecuada. Es un tipo peculiar de validez de contenido, pero que tiene su parte de importancia al poder influir sobre la motivación de los participantes, que pueden mostrar una actitud negativa ante la prueba si no perciben que ésta tenga el sentido que se le supone.

2.    ^[]Validez predictiva

También conocida como «validez criterial», «validez relativa al criterio» o «validez de pronóstico», se refiere al grado de eficacia con que se puede predecir o pronosticar una variable de interés (criterio) a partir de las puntuaciones en un test. Es frecuente que en los procesos de selección de personal se utilicen instrumentos que pretendan determinar o predecir el rendimiento futuro de los candidatos al puesto de trabajo basándose en las respuestas obtenidas. Para ello es necesario que se haya obtenido una evidencia empírica de que los resultados obtenidos en la prueba correlacionen efectivamente con el rendimiento futuro en el puesto de trabajo.

Así pues, la operacionalización del concepto se realiza a partir del denominado coeficiente de validez, que es la correlación entre el test y el criterio. A mayor correlación, mayor capacidad predictiva del test. Existen distintos diseños experimentales que permiten determinar esta correlación. La elección de un diseño u otro dependerá de las necesidades y circunstancias específicas de cada caso:

·         Validez concurrente o simultánea: El test y el criterio se miden al mismo tiempo (concurrentemente). Puede utilizarse para validar un nuevo test por comparación con otro ya validado previamente.

·         Validez de pronóstico: El criterio se mide pasado un periodo de tiempo tras la aplicación del test. Es el tipo más habitual en los procesos de selección de personal, en los que se pretende predecir el rendimiento futuro de los sujetos.

·         Validez retrospectiva: El test se aplica un tiempo después del criterio que se pretende evaluar. Útil cuando se pretende dilucidar mediante una prueba algún aspecto del pasado que actualmente no es accesible.^[

La fórmula general del coeficiente de validez es:

Donde "x" hace referencia a las puntuaciones obtenidas en el test, e "y" hace referencia a las puntuaciones obtenidas en la variable criterio.

3.    Validez de constructo

A diferencia de lo que ocurre en otros campos, muchos de los conceptos manejados en el ámbito de la psicología no son directamente observables, por lo que requieren del apoyo de medidas indirectas. Los conceptos de peso o volumen son suficientemente tangibles como para no resultar susceptibles de interpretaciones subjetivas al respecto de su significado, pero no ocurre lo mismo en el caso de variables psicológicas como el neuroticismo o la introversión. Estos conceptos precisan del acuerdo o consenso sobre sus significados para poder ser catalogados como útiles y válidos desde un punto de vista científico. La validez de constructo, pues, hace referencia a la recogida de evidencias empíricas que garanticen la existencia de un constructo psicológico en las condiciones exigibles a cualquier otro modelo o teoría científica. ^[Por todo ello, la validez de constructo se presenta como una condición indispensable a la hora de valorar la eficacia de un instrumento de evaluación sobre una variable psicológica determinada.

Para Messick (1980; p.1015) «la validez de constructo es el concepto unificador que integra las consideraciones de validez de contenido y de criterio en un marco común para probar hipótesis acerca de relaciones teóricamente relevantes». Asimismo, Cronbach (1984; p.126) refiere que «la meta final de la validación es la explicación y comprensión, y por tanto, esto nos lleva a considerar que toda validación es validación de constructo».

Los procedimientos metodológicos más utilizados para la obtención de datos referentes a la validez de constructos psicológicos han sido el análisis factorial y la matriz multirrasgo-multimétodo. Ambos sistemas son indicadores respectivos de las denominadas "validez factorial" y "validez convergente-discriminante"

4.    Validez factorial

El análisis factorial es una técnica del análisis multivariado que permite realizar una estimación de los factores que dan cuenta de una serie de variables. Se trata de una técnica de reducción de datos que permite encontrar grupos homogéneos de variables a partir de un grupo de variables mucho más numeroso. Los criterios de formación de grupos se basan en la necesidad de que las variables a agrupar correlacionen entre sí, y cumplan el requisito de ser independientes. Es decir, formarán un grupo aquellas variables que, siendo independientes entre sí, muestren un índice de correlación elevado. Así, podremos hablar de validez factorial de un constructo en aquellos casos en los que todas las medidas que se hayan diseñado para evaluarlo arrojen resultados similares al ser sometidas a un análisis factorial. Este análisis puede ser evaluatorio, si se realiza con la intención de descubrir la posible estructura subyacente factorial de un conjunto de datos cualesquiera; o confirmatorio, si se realiza con base en unas expectativas y teorías previas al respecto de esa estructura.

5.    Validez convergente-discriminante

Este tipo de validez se determina a partir de los resultados arrojados por la matriz multirrasgo-multimétodo (diseño MRMM, sistematizado por Campbell y Fiske en 1959). El sistema consiste en realizar mediciones de varios rasgos con distintos métodos de medición. De este modo podemos encontrarnos con varios resultados.

·         Validez convergente: existe validez convergente cuando las mediciones del mismo rasgo realizadas con distintos métodos correlacionan entre sí. El hecho de que un mismo rasgo sea detectado por igual con varias metodologías diferentes, es un indicador fiable de la existencia real de ese rasgo. Se dice que en este caso, las medidas convergen.

·         Validez discriminante: se refiere al grado de diferenciación entre distintos constructos a partir de un único sistema de medición. Es decir, las medidas de distintos rasgos por el mismo método muestran una baja correlación en comparación con la que muestran las medidas del mismo rasgo con diferentes métodos, señal de que los rasgos son independientes entre sí, e independientes al sistema de medición empleado.

V.        INTERPRETACIÓN DEL COEFICIENTE DE VALIDEZ.-

Adquiere valores entre 0 y 1. Es un coeficiente de correlación que nos permite saber la validez estadística del test. Se correlacionan los datos del test con un criterio externo. No se explica solo a partir de los resultados sino que hay mas factores:

·         si está cerca de 1 es muy valido

·         el error típico de medida debe ser bajo para ser mas valido

·         Se interpreta según un criterio externo que debe aparecer claramente definido. Cuanto más estricto sea el criterio mayor será la validez.

Si el criterio es inconfiable disminuye la validez. Depende quien sea el juez el criterio será confiable o no. La confiabilidad bajará ante un juez novato. El criterio no debe tener sesgo, es decir, no debe favorecer a unos sujetos y desfavorecer a otros.

Si la fiabilidad es alta y la validez baja, puede que el modo de hallar la fiabilidad sea erróneo. No hay un único coeficiente de validez, es relativo al contexto en el que se va a aplicar el test.

Si el instrumento no es confiable, la validez disminuye. El juez debe ser objetivo, experto y estar entrenado. Los datos obtenidos tienen que ser significativos y suficientes para que exista validez. Al valorar cosas insignificantes la validez será baja.

Es útil cuando da información significativa y novedosa; cuando permite discriminar; cuando nos permite hacer predicciones serias, con cierta seguridad; cuando permite tomar decisiones correctas.

VI.        FACTORES QUE AFECTAN LA VALIDEZ DE UN TEST

Factores que Afectan la Validez de una Prueba La validez de los resultados de un instrumento de medición puede verse afectada por diferentes factores, los cuales pueden estar asociados tanto al proceso de elaboración de la prueba misma, como a otros factores relacionados con los procedimientos de administración, calificación e interpretación de los resultados. A continuación se presentan algunos de estos factores con la intención deliberada de que, en la medida de lo posible, sean evitados en el proceso de construcción de los instrumentos. Entre estos factores están:

©      Construcción del instrumento. Estos factores pueden influir en que las preguntas del instrumento no funcionen en la forma prevista y, por lo tanto contribuyen a minar la validez de los resultados; algunos de ellos son: (a) instrucciones imprecisas o vagas; (b) estructura sintáctica de la oración demasiado difícil; (c) preguntas con niveles de dificultad inapropiados; (d) preguntas que sugieren la respuesta; (e) ambigüedad en la formulación de los reactivos, lo cual lleva a diferentes interpretaciones de los mismos; (f) pruebas demasiado cortas; (g) ítemes incongruentes con el dominio o universo de contenido; (h) ordenamiento inadecuado de los ítemes; (i) patrón identificable de respuestas, particularmente en las preguntas de selección.

©      Administración y calificación de la prueba. Entre estos factores se encuentran: tiempo insuficiente para responder, ayuda adicional a algunos sujetos, más allá de las instrucciones generales y de los ejercicios de práctica, uso de “chuletas” o ayudas escritas, por parte de los sujetos, uso de la subjetividad de la puntuación de las preguntas.

©      Respuestas de los sujetos. Algunos de estos factores son: bloqueo de los sujetos para responder, debido a situaciones emocionales y las respuestas formuladas al azar.

©      Naturaleza del grupo y del criterio. Como ya se ha mencionado, la validez es siempre específica con respecto a un grupo en particular. Por lo tanto, si una prueba de comprensión de lectura, por ejemplo, que ha sido diseñada y validada para alumnos de sexto grado, pudiera carecer de validez de contenido y predictiva, para medir el nivel de comprensión de lectura en estudiantes de noveno grado.

Por otra parte, es sumamente importante prestar atención al criterio que va a ser seleccionado como validador del instrumento, ya que, como se mencionó anteriormente, el uso de un criterio inapropiado puede disfrazar o distorsionar la validez de la prueba.

VII.        IMPORTANCIA DE LA VALIDEZ

Una de las principales dificultades que se presenta con la validez de los instrumentos en Educación y Psicología, como ya se ha mencionado antes, es que la medición siempre es indirecta; es decir, debemos inferirla a partir del desempeño que los sujetos tienen en las pruebas. Este hecho en sí mismo representa un problema, ya que ¿cómo sabemos que estamos haciendo la inferencia correcta a partir de los resultados? Pero, el problema de fondo sigue siendo el de poder asegurarse de que el instrumento mida lo que pretende medir, es decir, que sea válido a los fines propuestos. Muchos de los cuestionamientos que se hacen, hoy día, en la investigación sociológica y psicoeducativa tiene que ver, primero que todo, con la validez de la medida. Obviamente, un instrumento que no tiene una validez demostrada no vale la pena que sea utilizado.

Si comparamos la confiabilidad con la validez, nos damos cuenta que la obtención de la primera puede ser reducida básicamente a una cuestión técnica. Sin embargo, la validez es mucho más que eso. Tiene que ver con el aspecto sustantivo de la ciencia misma. También se relaciona con la epistemología, en tanto que teoría del conocimiento, y con los paradigmas científicos. Particularmente, en lo que se refiere a la validez de constructo, puesto que tiene que ver con la naturaleza de la “realidad” a las propiedades del objeto que se están midiendo (Kerlinger, 2002).

No obstante, las dificultades prácticas que se presentan para lograr obtener medidas válidas y confiables, dentro del paradigma de la ciencia clásica, en los últimos años se han desarrollado una serie de métodos, técnicas y procedimientos, que facilitan, cada vez más, esta tarea. Pero, más que el manejo de todo este instrumental tecnológico (métodos estadísticos, procedimientos electrónicos, paquetes computarizados, etc), lo más importante es que el investigador se haga consciente de la necesidad de utilizar instrumentos apropiados, técnicamente bien calibrados, a fin de garantizar la utilidad y significado de los resultados obtenidos. 

Queda claro entonces que la construcción de instrumentos de medición no se reduce a la simple presentación de un listado de preguntas en un formato determinado. Construir “buenos” instrumentos de medición es, primero que todo, una tarea técnica, que requiere, por parte del investigador, un entrenamiento específico para acometerla con éxito. Construir un instrumento técnicamente bien hecho implica, en sí mismo, una investigación. De allí que cuando se requiera hacer un estudio (trabajo o tesis de grado, trabajo de ascenso, investigación libre) antes de tomar la seria decisión de construir una instrumento de medición, sin ser un especialista en el área, se debería averiguar previamente acerca de la existencia de la disponibilidad comercial de dicho instrumento en el mercado, o a través de otros investigadores. Si después de esta indagación se llega a determinar que el instrumento no existe y que es indispensable trabajar en el desarrollo del mismo, lo más recomendable sería buscar el asesoramiento técnico especializado correspondiente.