A review on systematic reviews of health information system studies

A review on systematic reviews of health information system studies

Ateneo 234
A review on systematic
reviews of health
information system studies
Francis Lau , Craig Kuziemsky , Morgan Price , Jesse Gardner
1
1 School
2
3
of Health Information Science, University of Victoria, Victoria, British Columbia, Canada
School of Management, University of Ottawa, Ottawa, Ontario, Canada
3 Department of Family Practice, University of British Columbia,
Vancouver, British Columbia, Canada
2 Telfer
1
Sobre los autores
Introducción
1035 Estudios en Terreno publicados (1982 2002)
Ammenwerth E, de Keizer N. An inventory of evaluation studies of information
technology in health care. Methods Inf Med 2005
―Resultados confusos/contradictorios



Han YY, Carcillo JA, Venkataraman ST, et al. Unexpected increased mortality after
implementation of a commercially sold computerized physician order entry system.
Pediatrics 2005
Del Becarro MA, Jeffries HE, Eisenberg MA, et al. Computerized provider order entry
implementation: no association with increased mortality rates in an intensive care unit.
Pediatrics 2006
Nebeker JR, Hoffman JM, Weir CR, et al. High rates of adverse drug events in a highly
computerized hospital. Arch Intern Med 2005
Objetivo: síntesis – reconciliación - sentido
Métodos - Interrogantes
1. ¿Cuál es el efecto acumulativo de las
revisiones sistemáticas existentes?
2. ¿Como se definió la calidad de la revisión?
3. ¿Que métricas usaron?
4. ¿Que recomendaciones se pueden hacer en
función de los resultados para favorecer la
adopción de SIS?
5. ¿Como impacta en futuras investigaciones?
Métodos – Selección
2 investigadores
―revisiones sistemáticas
―Medline y Cochrane
―1966 – 2008
information technology,
computer system
----MeSH: electronic patient
record, decision support,
reminder system
systematic review
literature review
review
Métodos – Selección
Criterios de inclusión: RS publicadas en ingles
relacionadas a la utilización de los SIS por
profesionales de la salud.
SIS: fue definido de forma amplia en base a las
categorías definidas por Ammenwerth y de
Keizer
Ammenwerth E, de Keizer N. An inventory of evaluation studies of information
technology in health care. Methods Inf Med 2005
Métodos – Meta-sintesis
1. Clasificación por áreas temáticas, nivel de
atención, características del SIS, métricas
utilizadas, hallazgos claves
2. Criterios de calidad
3. Categorización las métricas de evaluación
utilizadas en función de un framework
Lau F, Hagens S, Muttitt S. A proposed benefits evaluation framework for health
information systems in Canada. Healthcare Quarterly 2007
4. Reconciliación de duplicados
5. Agrupación por tópicos y tabuladas de acuerdo
a sus características y métricas utilizadas
6. Se identificaron los factores que impactaban en
el éxito del SIS
Métodos – Meta-sintesis
Modelo vote-counting (agregación)
― Método de Dorr (visualización)
Método de Garg (metricas múltiples)
Resultados - Sinopsis
Resultados - Sinopsis
La mayoría de las revisiones era narrativa
Gran variabilidad en la forma de mostrar
outcomes.
―Solo 9 (18%) revisiones realizaban el analisis de
los efectos acumulados.
―En 8 estudios describieron el efecto agregado de
los estudios
―7 evaluaron y ajustaron por la heterogeneidad
―3 incluyeron un grafico de embudo
Resultados – Calidad metodológica
24 instrumentos de medición de la calidad
― score/checklist
―3 enfoques:
1. MBE y el paradigma de las Revisiones de la
Cochrane
2. Evaluacion de los criterios de inclusion/exclusion,
calculo del poder estadístico y variables de efecto
primarias y secundarias
3. Comparacion de las características de los SIS para
evaluar la calidad de la información en función de
los estándares de referencia
Resultados - Métricas
Resultados - Métricas
Resultados - Métricas
Resultados – Reconciliación de
duplicados
4 areas temáticas:
1.
2.
3.
4.
Fármacos
Medidas preventivas
Problemas de salud
Calidad de la información
Resultados – Efecto acumulativo
Resultados – Impacto
Alto impacto
― reminders en medidas
preventivas
― CDSS reminders/alertas en
manejo de farmacos
― indicaciones
automaticas/alertas en
problemas de salud
Impacto parcial
― CPOE para recetas
/prescripción
― reminders en formularios
impresos
― reminders combinados con
otras intervenciones
Resultados – Impacto
Impacto (+) en calidad
del cuidado
―PS
 errores en la medicación
 Inmunizaciones
 CS
Bajo impacto
―IQ
 Correctitud
 completitud
Resultados - Impacto
Resultados - Resumen
Hay cierta evidencia de que los SIS mejoran la
calidad de atención pero esto varia de acuerdo
al area a la que nos refiramos.
―Ej. CPOE y CDSS
Areas donde los SIS no mostraban impacto
significativo y otras mostraron mostraron
efectos negativos (necesitaban mas tiempo y
mas esfuerzo para cumplir sus tareas).
Gran variabilidad del los contextos
organizacionales, como el SIS es diseñado y
desarrollado utilizado y percibido por los
usuarios
Discusión
Valor
1. Analisis critico del conocimiento actual del
impacto de los SIS – Sinopsis
2. Infoway BE framework
3. Consolidación de los resultados
Recomendaciones
― Rediseño en aquellos puntos donde la evidencia es
variable
― Poner el foco de la investigación en áreas con poca
evidencia.
― Prestar atencion a funcionalidades y factores clave –
usabilidad
― Planificacion – Manejo del cambio
― Indicadores para evaluacion formativa y sumativa.
Discusión
Investigación
―No duplicar esfuerzos
―Framework
―Calidad de los instrumentos de medición
Limitaciones
―Idioma
―esquema utilizado + método de vote-counting.
Este meta-analysis abarco un amplio rango de
tópicos complejos y podría ser calificado de
ambiguo e inadecuado
Conclusión
Hay cierta evidencia de mejoras en la calidad de
atención debida a la utilización de SIS.
Sin embargo hay una variación en función del
área temática, funcionalidades, nivel de
atención, indicadores.
En algunos aspectos son efectivos y otros no
muestran mejoras significativas.
Los factores que influyen en el éxito:
―desarrollo de sistemas in-house
―que los usaurios participen del desarrollo
―DS integrado
―indicadores
―manejo del cambio
Muchas gracias por su atención!
Investigación por revisión de publicaciones
1. sistemática
 cuantitativa o meta-análisis
 cualitativa u overview
2. no sistemática o “revisión narrativa”
Un meta-análisis es una revisión sistemática en
el cual se combinan los resultados de varios
estudios que examinan la misma pregunta