Validez de contenido de un banco de ítemes en el área de salud del niño

Validez de contenido de un banco de ítemes en el área de salud del niño1

 

Content validity in a bank of items of the area of child health

 

 

Silvia Barrios Araya, Marcela Urrutia Egaña, María Isabel Catoni Salamanca

Pontificia Universidad Católica. Santiago de Chile. Chile.

 

 

RESUMEN

Introducción: las más de mil preguntas que conformaban el banco de ítemes para el examen de titulación de la carrera de enfermería contaban con un análisis psicométrico que permitía asegurar su confiabilidad, sin embargo, no tenían validez de contenido.
Objetivos: evaluar la validez de contenido del banco de ítemes del área de salud del niño y adolescente.
Métodos: la muestra se realizó con los 114 ítemes de respuesta cerrada. Se constituyó un panel de expertos que recibió capacitación para realizar el proceso de validación. Las variables a considerar fueron: a) coherencia de los ítemes con los objetivos de los cursos; b) complejidad de los contenidos; y c) habilidades cognitivas que se evalúan. Lo anterior permitió caracterizar el conjunto de ítemes e identificar las áreas descubiertas en términos de coherencia con los objetivos de los cursos del área, de complejidad de los ítemes y de las habilidades cognitivas que abordan.
Resultados: del total ítemes analizados se aprecia que un 7 % (8) fue clasificado como ítem dudoso, por lo que se realizó entrevista cognitiva para poder clasificarlo; el 56 % fueron de un nivel de complejidad conceptual y el 61 % correspondieron a habilidades básicas (recordar y entender).
Conclusiones: los resultados serán un insumo para intencionar la construcción futura de ítemes en el área de Salud del Niño y Adolescente y permitirán establecer un proceso para continuar sistemáticamente con la validez de contenido del resto de las preguntas de las diferentes áreas del banco de ítemes.

Palabras clave: evaluación educacional; validez de contenidos; educación en enfermería.

ABSTRACT

Introduction: More than one thousand questions that made up the bank of items for the nursing major's qualification exam included a psychometric analysis that allowed to assure its reliability, but they did not have content validity.
Objectives: To assess content validity of the bank of items of health area of the child and the adolescent.
Methods: The sample was made up by 114 closed-response items. A board of experts was formed and trained to carry out the validation process. The variables to be considered were: a) the items' coherence with the courses' objectives; b) complexity of the contents; and c) cognitive skills that are evaluated. This allowed us to characterize the set of items and identify the areas discovered in terms of coherence with the objectives of the courses in the area, the complexity of the items and the cognitive skills they address.
Results: Of the sheer number of items analyzed, 7 % (8) could be shown to classify as questionable item, so a cognitive interview was conducted in order to classify them; 56 % had a level of conceptual complexity, and 61 % corresponded to basic skills (remembering and understanding).
Conclusions: The results will be a contribution to motivate the future construction of items in the area of healthcare of the child and the adolescent and will establish a process to systematically continue with content validity of the content for the rest of the questions from the different areas of the bank of items.

Keywords: educational assessment; content validity; nursing education.

 

 

INTRODUCCIÓN

Una institución de educación superior chilena, desde el año 2007, ha trabajado en forma sistemática para instalar un examen de titulación en modalidad escrita, compuesto por ítemes de respuesta cerrada, conducente a obtener el título profesional de enfermera o enfermera-matrona. Con este fin, se utiliza como estrategia la generación de un banco de ítemes a partir de las preguntas utilizadas en los exámenes finales de los cursos mínimos del plan de estudio. Por esto los exámenes de fin de curso cumplen dos objetivos: examinar los conocimientos y habilidades cognitivas alcanzadas en cada curso y proporcionar preguntas para el examen de titulación.

Esta estrategia ha permitido generar un banco de aproximadamente 1.356 ítemes que abordan los contenidos y habilidades de los distintos cursos de la malla curricular. Estos ítemes se han organizado por áreas curriculares o temáticas: a) salud del adulto y adulto mayor; b) salud del niño y adolescente; c) salud de la mujer y recién nacido; d) salud de la comunidad; e) salud mental y psiquiatría; y f) ejes transversales de currículo (disciplina de enfermería, gestión, investigación, ética y educación).

En el desarrollo de instrumentos de medición de ítemes de respuesta cerrada es importante velar por dos factores: la confiabilidad y la validez. La confiabilidad se logra a través del análisis psicométrico de los ítemes y la validez con el análisis de contenido de los mismos.1,2

Los criterios de confiabilidad para retener los ítemes de los exámenes finales de curso y construir el examen de titulación son: grado de dificultad entre 15 % y 85 %, capacidad discriminativa sobre 0,25, distribución equitativa de respuestas entre distractores y patrón de omisión menor a 4 %.3 Actualmente, todas las preguntas reunidas en el banco de ítemes cumplen con los criterios definidos para asegurar la confiabilidad de las mismas; sin embargo, no cuentan con validez de contenido.

La validez de contenido se define como el juicio lógico sobre la correspondencia que existe entre el rasgo o característica del aprendizaje del evaluado y lo que se incluye en la prueba o examen,2 es decir, indica si "se está midiendo lo que se quiere medir", lo que podría justificar el uso de un instrumento;4 habitualmente se recurre a expertos para valorar la adecuación de cada ítem al rasgo a evaluar.2 La validez de contenido puede considerar criterios internos y externos. Entre los criterios de validez interna están la calidad del contenido, la importancia curricular, cobertura del contenido, complejidad cognitiva, adecuación lingüística, habilidades complementarias, y el valor o ponderación que se dará a cada ítem. Entre los criterios de validez externa están las consecuencias para los estudiantes y profesores, por ejemplo la equidad, la transferencia y generalización, la comparabilidad y la sensibilidad de la instrucción.2,5,6

Para lograr la validez de contenido se recomienda implementar un panel de jueces expertos para cada una de las áreas curriculares a considerar en el instrumento de evaluación, quienes deben analizar como mínimo la coherencia de los ítemes con los objetivos de los cursos, la complejidad de los ítemes y la habilidad cognitiva a evaluar. Estos jueces deben contar con capacitación en las técnicas de clasificación de preguntas para validez de contenido.5,6

Así, el presente proyecto tiene por objeto evaluar la validez de contenido del banco de ítemes del área de salud del niño y adolescente.


MÉTODOS

Diseño cuali-cuantitativo, cuyo universo fue de 1.356 ítemes, la muestra se constituyó con los 114 ítemes de respuesta cerrada del área de salud del niño y adolescente, que corresponden al total de ítemes de esta área del conocimiento retenidos para el examen de titulación de dicha área.

Las variables en estudio fueron: a) complejidad de los contenidos que abordan los ítemes; b) habilidades cognitivas que abordan los ítemes y, c) coherencia de los ítemes con los objetivos de los cursos.

La evaluación de la validez de contenido de este banco de ítemes fue realizada por un panel de jueces expertos, este estudio consideró como experto en el área de la salud del niño y adolescente a aquel académico que cuente con al menos tres años de experiencia en la academia o en la clínica. En el área mencionada, a quienes cumplían con este criterio, se les solicitó su participación en el estudio de forma voluntaria y la firma del consentimiento informado (CI).

El panel de jueces expertos estuvo conformado por 18 profesores que recibieron una capacitación en validez de contenido de ítemes de respuesta cerrada. El objeto fue que los profesores adquieran habilidad en el uso de una matriz de clasificación de ítemes según complejidad (conocimiento básico y avanzado) y habilidad cognitiva que abordan (básicas y superiores) y coherencia (tabla). Además, incluyó la transferencia de habilidades para realizar una entrevista cognitiva que permita clasificar los ítemes dudosos. La capacitación estuvo a cargo del Centro de Medición Educativa de la misma institución de educación superior.


Para esto, cada profesor -de manera individual- analizó y clasificó en promedio 12 ítemes, posteriormente, en duplas, cotejaron sus respuestas y acordaron la clasificación definitiva. Aquellos ítemes en los que no hubo acuerdo fueron denominados "ítemes dudosos" los queueron sometidos a un análisis cognitivo. Para realizar este análisis se realizaron entrevistas cognitivas a cinco exalumnos egresados del certificado académico de salud del niño desde el año 2008 al 2013, con al menos un año de desempeño en el área de salud del niño y adolescente a quienes se les solicito su participación, firma de CI y una cláusula de confidencialidad. La entrevista cognitiva consistió en presentarle al profesional, en forma individual, confidencial y en un tiempo máximo de 45 min, los ítemes dudosos y solicitarle que describa verbalmente los procesos mentales que realiza para responder cada una de las preguntas, para esto se utilizó una pauta diseñada, la entrevista fue grabada en audio con la autorización de los exalumnos. Con esta nueva información el grupo de profesores del panel de expertos procedió a clasificar nuevamente el ítem.

Un vez finalizado este proceso y con la información obtenida, el equipo investigador procedió a caracterizar el banco de ítemes del área de salud del niño y adolescente, en términos de número y porcentaje de preguntas que responden a los objetivos de los cursos, complejidad de los contenidos y habilidades cognitivas que abordan; y a identificar las áreas descubiertas por el banco de ítemes en términos de coherencia con los objetivos de los cursos del área de salud del niño y adolescente, de complejidad de los ítemes y de las habilidades cognitivas que abordan.

Este proyecto fue aprobado por el Comité de Ética de la Escuela de Enfermería de la Pontificia Universidad Católica de Chile.

 

RESULTADOS

De un total de 114 ítemes analizados, se aprecia que un 7 % (8) fue clasificado como ítem dudoso y 106 (83 %) no tuvieron problemas en ser clasificados por la dupla de expertos.

Del total de ítems se destaca que el 56 % fueron de un nivel de complejidad conceptual y un 25 % procedural (Fig. 1); en relación con el nivel cognitivo el 61 % correspondieron a habilidades básicas (recordar y entender) (Fig. 2) y el 80 % de las preguntas fueron consideradas pertinentes de utilizar en un examen de titulación (Fig. 3).

Del análisis realizado se desprende que el 73 % de los ítemes corresponden a preguntas que dan respuesta a los objetivos propuestos en el programa del curso "cuidados de enfermería de la infancia a la adolescencia" (Fig. 4).




 

DISCUSIÓN

El presente estudio permitió evaluar la validez de contenido según los criterios propuestos del banco de ítemes del área de Salud del Niño y Adolescente a través del análisis por jueces expertos y la entrevista cognitiva.

El primero, fue considerado por los profesores "jueces", como un método sencillo que permite certificar que los ítems del instrumento son adecuados en cuanto a complejidad de los contenidos, habilidades cognitivas que abordan los ítemes y coherencia de estos con los objetivos de los cursos, mismo aspecto que destaca Carvajal.7

Por su parte, la entrevista cognitiva, método que permite conocer cómo responden e interpretan los exalumnos las preguntas sobre su proceso de aprendizaje, así como el uso de herramientas y estrategias de lectura, reflexión y relación que utilizan para llevar a cabo este proceso de aprendizaje, fue considerado por los profesionales como un método interesante y ameno para darse cuenta como resuelven una pregunta cerrada. El tipo de entrevista cognitiva fue concurrente, la cual consiste en solicitarle al exalumno que vaya respondiendo en voz alta a las preguntas que les planteemos, lo que le permitió al profesional, manifestar en ese momento sus dudas, problemas o inquietudes, situación consistente con el estudio de Prendes.8

Los resultados constituirán un insumo para intencionar la construcción futura de ítemes en el área de Salud del Niño y Adolescente, estableciendo un proceso sistemático de validez de contenido para el resto de las áreas del banco de ítemes. Además, el resultado del análisis de los jueces expertos permitió realizar las correcciones e incorporar las sugerencias de ellos a los ítemes, situación similar a la reportada por en otras publicaciones.7,9-11

Se destaca que los ítemes analizados forman parte de un instrumento de evaluación, el cual debe ser confiable y valido, previo a este estudio todos los ítemes analizados contaban con análisis psicométrico, es decir, confiablidad.11 Sin embargo, al momento de evaluar apropiadamente la validez de contenido es necesaria la combinación de métodos tanto cualitativos como cuantitativos, ya que ambos se complementan dado que evalúan distintos aspectos del instrumento en pro de una mayor calidad.7,12

Así mismo, es relevante que los docentes reciban capacitan para la elaboración y revisión de los ítemes con el fin de que este proceso de evaluación sea válido, confiable y objetivo.11

Se espera continuar con la validez de contenido de los otros ítemes del banco de preguntas, enriqueciendo el análisis con pruebas estadísticas como el test de kappa, con el propósito de contar con un banco de preguntas válido, tanto en contenido como estadísticamente.


Limitaciones del estudio

No fue posible comparar los resultados de esta investigación en su totalidad con estudios previos en este tema ya que la metodología no es similar a la de este estudio.


CONFLICTOS DE INTERESES

Las autoras declaran no tener conflicto de intereses.


AGRADECIMIENTOS

Agradecimiento a los profesores del Departamento de salud del niño y adolescente y a los profesionales (exalumnos) que participaron de este estudio.

 

REFERENCIAS BIBLIOGRÁFICAS

1. García Garro A, Ramos Ortega G, Díaz de León Ponce M, Olvera Chávez A. Instrumentos de evaluación. Anestesiol. 2007;30(3):158-64. Available from: http://www.medigraphic.com/pdfs/rma/cma-2007/cma073f.pdf

2. García S. La Validez y la Confiabilidad en la Evaluación del Aprendizaje desde la Perspectiva Hermenéutica. Rev Ped. 2002;23(67):297-318. Available from: http://www.scielo.org.ve/scielo.php?script=sci_arttext&pid=S079897922002000200006

3. Catoni Salamanca MI, Fernández Díaz PJ, Ferrer Sorria-Galvarro X, Manzi Astudillo JM, Flotts De los Hoyos MP, Barrios Araya SC. Creación de un examen de titulación para la carrera de Enfermería. Invest Educ Enfer. 2011;29(1):87-96. Available from: http://www.redalyc.org/articulo.oa?id=105222398011

4. Sanz J, Izquierdo A, García Vera MP. Una revisión desde la perspectiva de la validez de contenido de los cuestionarios, escalas e inventarios autoaplicados más utilizados en España para evaluar la depresión clínica en adultos. Psicopatología Clínica, Leg y Forense. 2013;13:139-75. Available from: http://eprints.ucm.es/36446/1/11.%20Una%20revisi%C3%B3n%20desde%20la%20perspectiva%20de%20la%20validez%20de%20contenido%20de%20los%20cuestionarios%20para%20evaluar%20la%20depresi%C3%B3n%20cl%C3%ADnica%20en%20adultos_2.pdf

5. Messick S. Validity. In: In R L Linn (Ed), New York: American Council on Education and Macmillan Educational measurement. 1989:13-10.

6. Urrutia Egaña M, Barrios Araya SC, Gutiérrez Núñez M, Mayorga Camus M. Métodos óptimos para determinar validez de contenido. Educ Med Super. 2014;28(3):547-58. Available from: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412014000300014

7. Carvajal A, Centeno C, Watson R, Martínez M, Sanz Rubiales Á. ¿Cómo validar un instrumento de medida de la salud? An Sis San Navarra. 2011;34(1):63-72. Available from: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1137-66272011000100007

8. Prendes M, Castañeda L, Ovelar R, Carrera X. Componentes básicos para el análisis de los PLE de los futuros profesionales españoles: en los albores del Proyecto CAPPLE. Edutec Rev electrónica Tecnol Educ. 2014;47:1-15. Available from: http://edutec.rediris.es/Revelec2/Revelec47/n47_Prendes-Castaneda-Ovelar-Carrera.html

9. Jaramillo S, Osses S. Validación de un Instrumento sobre Metacognición para Estudiantes de Segundo Ciclo de Educación General Básica. Estud pedagóg. 2012;38(2):117-31. Available from: http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S07180705201200020008

10. Gómez Rada CA. Diseño, construcción y validación de un instrumento que evalúa clima organizacional en empresas colombianas, desde la teoría de respuesta al ITEM. Acta Colomb Psicol. 2004;11:97-113. Available from: http://www.redalyc.org/articulo.oa?id=79801108

11. Rivera Jiméneza J, Flores Hernández F, Alpuche Hernández A, Martínez González A. Evaluación de reactivos de opción múltiple en medicina. Evidencia de validez de un instrumento. Inv Ed Med. 2017;6(21):8-15.

12. Pedrosa I, Suárez-Álvarez J, García-Cueto E. Evidencias sobre la validez de contenido: avances teóricos y métodos para su estimación. Acción psicol. 2013;10(2):3-18. Available from: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1578908X201300020002

 

 

Recibido: 28 de febrero de 2017.
Aprobado: 3 de abril de 2017.

 

 

Marcela Urrutia Egaña. Pontificia Universidad Católica. Santiago de Chile. Chile.
Correo electrónico: marcelaurrutia@uc.cl

 

_________________________

1 Proyecto financiado por la Dirección de Investigación de la Escuela de Enfermería. Pontificia Universidad Católica de Chile.



Bookmark and Share


Licencia de Creative Commons
Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial 4.0 Internacional.