Autor: Dr. José Supo
En primer lugar, vamos a diferenciar el concepto de juez y de experto, porque son dos términos que en muchas ocasiones se consideran como sinónimos y no necesariamente lo son.
En nuestro ejemplo de las costumbres que tienen a la hora del parto las mujeres de una región alto andina en el sur del Perú, un experto es una mujer que atiende el parto de manera empírica y, por lo tanto, conoce la realidad y costumbres de esta región a la hora del parto, pero ellas no son investigadoras, no cuentan con una línea de investigación, y en el caso de ser investigadoras, de seguro que esta sería su línea de investigación porque conocen sobre el tema mejor que ninguno.
Por otro lado, un juez, dentro del tema de la validación de instrumentos, es una persona que nos ayuda a evaluar los ítems que hemos formulado y si bien son investigadores, su línea de investigación no necesariamente es la misma que la nuestra, de manera que no necesariamente son expertos en el tema que estamos investigando.
Si solicitamos a una persona que conoce sobre validación de instrumentos, tanto del punto de vista cuantitativo como cualitativo, que nos ayude a evaluar si los ítems que hemos redactado son correctos, esta persona es un especialista en evaluar cuestionarios, pero no es un experto en el tema de las costumbres que tienen a la hora del parto las mujeres; por lo tanto, este profesional nos podrá servir como juez pero no como experto.
Por otro lado, tenemos a las mujeres que atienden el parto de manera empírica; ellas conocen bastante sobre el tema y pueden ser consideradas expertas, pero en ningún caso nos podrán ayudar en la evaluación de la idoneidad de los ítems que estamos construyendo.
Notemos que el concepto de experto es distinto al concepto de juez, aunque habrá algún caso en el que un juez también pueda ser un experto y viceversa, aclarada de la diferencia entre experto y juez y luego de haber usado la experiencia de los expertos, ahora vamos a hacer uso del juicio de los jueces.
En este punto tenemos ya un listado de aproximadamente 50 preguntas con sus respectivas respuestas, pero esto todavía no puede ser considerado un instrumento, porque lo vamos a someter a la evaluación por jueces, por lo tanto, el primer punto es hacer una selección adecuada de jueces. Para ello recordemos que el investigador es tanto un experto como un juez dentro de su línea de investigación y su experiencia es pertinente al momento de elegir los jueces.
Convencionalmente se eligen jueces en un numero de cinco y estos, en lo posible, deben ser multidisciplinarios, es decir, deben pertenecer a distintos campos del conocimiento a fin de evitar percepciones sesgadas y opiniones subjetivas acerca del tema o concepto que estamos evaluando.
La tarea de los jueces es evaluar los ítems que ya hemos construido, ellos de ninguna manera nos ayudan en la construcción de los ítems, porque no necesariamente son expertos y si lo fueran ya habríamos hecho uso de su experiencia en el paso anterior, que era cuando enlistábamos los temas.
Ahora, su función es únicamente hacerla de juez y ellos van a revisar nuestros ítems en función a la suficiencia, pertinencia y claridad con la que estén redactados.
Veamos el concepto la suficiencia, si hemos desarrollado un cuestionario para evaluar los conocimientos sobre las operaciones aritméticas en un grupo de niños, debemos plantear preguntas sobre suma, resta, multiplicación y división. En el caso de que hayamos revisado preguntas únicamente sobre suma, resta, multiplicación y no división, entonces, no estamos siendo suficientes, porque existe una operación matemática que no estamos incluyendo.
Claro que es fácil darse cuenta en el ejemplo señalado que falta la división, sin embargo, en nuestro ejemplo de la evaluación de la adicción a Internet, es difícil darse cuenta cuál es el ítem que no estamos incluyendo o cuál es el concepto que está faltando en este prototipo de instrumento que hemos construido, la tarea del juez es decirnos si falta cubrir algún concepto, si los ítems que hemos redactado son suficientes con el tema que estamos buscando evaluar.
Veamos ahora la pertinencia, en nuestro ejemplo del examen de matemáticas a un grupo de niños para evaluar sus conocimientos sobre operaciones algebraicas incluimos suma, resta, multiplicación y división, pero le colocamos una pregunta sobre radicación, esta pregunta no es pertinente y en nuestro ejemplo es fácil darse cuenta que la radicación no pertenece a las operaciones algebraicas.
Sin embargo, esto no es tan fácil de lograr en todos los casos, como en el ejemplo de la construcción de un instrumento para evaluar la adicción a Internet, ya es más difícil darse cuenta de que si una pregunta que hemos incluido en nuestro cuestionario realmente corresponde al tema que estamos tratando de evaluar; la tarea del juez es decirnos si es pertinente o no incluir el ítem que le estamos planteando.
Ahora, veamos el concepto de claridad, si queremos evaluar el nivel de conocimientos que tienen un conjunto de estudiantes de medicina sobre los signos de alarma que presentan las gestantes o que podrían presentar las mujeres durante su gestación, podemos utilizar terminología técnica, podemos utilizar términos médicos.
Pero si queremos evaluar el nivel de conocimientos que tienen sobre los signos de alarma en las propias gestantes, es evidente que no podemos utilizar terminología técnica, no podemos hacer uso de los términos médicos como si nos estuviéramos comunicando únicamente entre profesionales médicos.
La terminología debe estar apuntando a la población a la cual quiere evaluar, en ese sentido, los ítems deben estar redactados con la claridad respectiva, relacionada al nivel de conocimientos que tiene la población objetivo.
La finalidad del procedimiento de la evaluación por jueces es que podamos seguir reduciendo el número de ítems. Si hemos partido con un numero de 50, planteamos reducir en un 20% el número de ítems, de manera que nos quedaremos únicamente con 40.
La evaluación que hacemos sobre los ítems apoyado en los jueces es netamente cualitativa, no existen procedimientos matemáticos, no hay fórmulas, ni algoritmos para decidir con que ítems nos quedamos, son los jueces que sugieren la idoneidad de los ítems sin capacidad de decisión.
Es decisión final del investigador cuál de los ítems debe ser eliminado o cuáles deben ser eliminados, recordando que el investigador, el autor del cuestionario que se está construyendo, además de experto es un juez y un especialista dentro de su línea de investigación.
¿Quieres saber más? descarga el ebook "Como validar un instrumento" aquí
José Supo
Médico Bioestadístico
