Data quality assessment of the Major Trauma Registry of Navarra and comparison of its results with TraumaRegistry DGU® of the German Trauma Society

Abstract

Antecedentes: Los registros de trauma son herramientas útiles para evaluar y mejorar la atención de los pacientes a través de la comparación con otros. En España los datos son limitados a nivel nacional y la mayoría de los registros de traumatismos establecidos son regionales o provinciales, como el Registro de Trauma Grave de Navarra (RTG-N). Es evidente que la efectividad de los registros de trauma para mejorar los resultados depende de la calidad de los datos. Por lo tanto, el objetivo de este estudio fue conocer la fiabilidad de los datos del RTG-N y evaluar el tratamiento y resultado del paciente gravemente herido en Navarra mediante la comparación interna y externa (Alemania). Métodos: Evaluamos la calidad de los datos de RTG-N en términos de integridad de los casos, integridad de datos y concordancia del RTG-N con las historias clínicas de los pacientes. Se comprobó la integridad de los casos, el índice de mortalidad estandarizada (IME) y la relación entre la mortalidad observada y la esperada utilizando el Trauma and Injury Severity Score (TRISS). También evaluamos la influencia de los tiempos de respuesta prehospitalarios con respecto a la supervivencia de dichos pacientes. Para la comparación interna, el modelo de Predicción de Mortalidad de Navarra (MPMN) fue validado y comparado con el Revised Injury Severity Classification Score II (RISC II), un modelo de predicción desarrollado por el registro alemán. El rendimiento de los modelos se evaluó con la característica operativa del receptor (COR) y el área bajo la curva (ABC), la precisión con la mortalidad observada y predicha, y la calibración con la prueba Hosmer-Lemeshow (H-L). Los datos de los pacientes del RTG-N se compararon con los del registro alemán, TraumaRegister DGU® (TR-DGU®) and el IME se calculó utilizando el RISC II. Resultados: Para cumplir los objetivos del estudio se utilizaron diferentes poblaciones. En cuanto a la integridad de los casos, definimos los perfiles característicos de los pacientes desaparecidos y encontramos que el RTS hospitalario y el número de lesiones son predictores independientes de los pacientes que faltan en el RTG-N con un odds-ratio ajustado de 1.844 (IC 95% 1.092- 3.114) y 0.574 (0.428-0.770), respectivamente. Por lo general, son mujeres de edad avanzada con una sola lesión en la cabeza. La diferencia entre la mortalidad observada y la esperada para los pacientes no incluidos fue de -1.5% (IME 0.83) y 0.5% (IME 0.98) para los pacientes incluidos. El promedio general de integridad y la tasa de corrección para todas las variables fue de 92.8% (IC 95%, 92.0- 93.8) y 98.0% (97.5-98.5), respectivamente. No se encontró asociación significativa en el análisis multivariado entre los diferentes tiempos de respuesta y la mortalidad: llegada al lugar (OR 1.0, IC 95%, 0.99-1.01), en el escenario (1.00, 0.98-1.02) y tiempo total (1.00; 0.99-1.01). El ABC de la curva COR para el modelo MPMN fue 0.925 (IC 95% 0.902-0.952) y para el modelo RISC II fue 0.941 (IC 95% = 0.921- 0.962) (p DeLong = 0.269). Ambos modelos mostraron una buena calibración sin diferencia significativa entre la mortalidad observada y la esperada (p = 0.09 para el modelo MPMN y p = 0.35 para el modelo RISC II. Para la comparación epidemiológica entre ambos sistemas, se procesaron estadísticamente 646 pacientes de Navarra y 43.110 de Alemania. El número de accidentes de tráfico fue mayor en el TRDGU ® en comparación con el RTG-N (55,6% frente al 36,3%), mientras que en los hospitales de Navarra se observaron más caídas de baja altura en comparación con los hospitales alemanes (34,5%). vs. 20.0%). Las tasas de intubación prehospitalaria fueron más altas en Alemania que en Navarra (36,6% frente a 11,8%, respectivamente). Los pacientes con Glasgow <9 en escena fueron más intubados por los equipos sanitarios prehospitalarios alemanes que sus homólogos de Navarra. La diferencia entre la mortalidad observada y la esperada fue de -0.4% (IME 0.97, IC 95% 0.93-1.04) en Alemania y 1.6% (1.08; 95%; 1.02-1.14) en Navarra. Conclusiones: La evaluación de la calidad de los datos del RTG-N en términos de integridad de datos y concordancia de los casos demuestra que contiene datos fiables y de alta calidad si bien hay un número no despreciable de pacientes no incluidos con un perfil muy concreto. A menudo se trataba de pacientes de edad avanzada (mujeres) con comorbilidades asociadas y lesión craneal aislada. Los modelos MPMN y RISC II han demostrado una buena discriminación para predicción de la mortalidad a 30 días en pacientes con trauma severo documentados en RTG-N. Mientras que el RISC II es aplicable para la evaluación comparativa externa, en el caso de la evaluación comparativa interna, el MPMN es adecuado para el sistema traumatológico de Navarra, ya que es más fácil de obtener dado el menor número de variables necesarias para su cálculo. El resultado global ajustado de los pacientes con lesiones graves tratados en Navarra es comparable al de Alemania. Sin embargo, se necesitan mejoras a nivel prehospitalario y hospitalario para aumentar la calidad de la atención traumatológica en Navarra. Hubo menos adultos jóvenes con lesiones graves en Navarra que en Alemania. Es necesario revisar continuamente el manejo del paciente traumatizado para detectar puntos de mejora en su asistencia.

Background: Trauma registries are useful tools to assess and improve trauma care through benchmarking. In Spain, data are limited at national level, while most of the well-established trauma registries are at regional or provincial level, such as the Major Trauma Registry of Navarra (MTR-N) in Navarra, a region in northern Spain. The effectiveness of trauma registries in improving patient outcomes depends on data quality. Therefore, the aim of this thesis was to study the data quality of the MTR-N and to evaluate the treatment and outcome of the severely injured patients in Navarra through internal and external comparison (Germany). Methods: We assessed the data quality of MTR-N in terms of completeness of cases, completeness of data and concordance of MTR-N data by evaluating patient’s medical records. Regarding completeness of cases, the Standarized Mortality Ratio (SMR), the ratio between observed and expected mortality, was calculated using Trauma and Injury Severity Score (TRISS). We also evaluated the influence of prehospital response times with regard to survival of trauma patients in Navarra. For internal benchmarking, the mortality prediction model of Navarra (MPMN) was internally validated and compared to the Revised Injury Severity Classification Score II (RISC II), a prediction model developed by the German Trauma Registry (TraumaRegister DGU® (TR-DGU®). The performance of the models was evaluated by assessing model discrimination (Area under the Receiver Operating Characteristic (AUROC) and model calibration (Hosmer-Lemeshow test (H-L). For international benchmarking, we compared data collected in the MTR-N and the TR-DGU® and we calculated the SMR using the RISC II. Thirty-daymortality was used for the trauma scoring system. Results: Different populations were used to meet the objectives of the study. Regarding the completeness of the cases, we defined the characteristic profiles of missing patients and found that the hospital RTS and the number of injuries are independent predictors to be missing in the MTR-N with an adjusted odds ratio of 1.844 (95% CI 1.092-3.114) and 0.574 (0.428-0.770), respectively. They are usually elderly patients with a single head injury. The difference between the observed and expected mortality for missing patients was −1.5% (SMR 0.83) and 0.5% (SMR 0.98) for included patients. The overall average completeness and correctness rate for all variables was 92.8% (95% CI, 92.0–93.8) and 98.0% (97.5–98.5), respectively. No significant association was found in the multivariate analysis between the different response times and mortality: arrival at the scene (OR 1.0; 95% CI, 0.99-1.01), in the scenario (1.00, 0.98-1.02) and total time (1.00; 0.99-1.01). The AUROC for the MPMN model was 0.92 (95% CI 0.90-0.95) and for the RISCII model was 0.94 (0.92-0.96), with no statistical difference between the models (DeLong p = 0.269). Both models displayed good calibration with no statistical difference between observed and predicted mortality (p=0.09 for MPMN and p=0.35 for RISC II). For the epidemiological comparison between both systems, 646 patients from Navarra and 43,110 from Germany were statistically processed. The number of traffic accidents was higher in the TRDGU ® compared to the MTR-N (55.6% vs. 36.3%), while in the hospitals in Navarra, more low-height falls were observed in comparison with German hospitals (34.5% vs. 20.0%). Prehospital intubation rates were higher in Germany than in Navarra (36.6% vs. 11.8%, respectively). Patients with Glasgow <9 on the scene were intubated more frequently by German prehospital teams compared to prehospital emergency teams in Navarra. The difference between observed and expected mortality was −0.4% (SMR 0.97; 95% CI 0.93–1.04) in Germany and 1.6% (1.08; 1.02–1.14) in Navarra. Conclusions: The evaluation of the data quality of the MTR-N in terms of completeness of data and concordance of the cases shows that it contains reliable and high-quality data although there is a nonnegligible number of patients not included. Excluded patients displayed a specific injury profile, despite fulfilling inclusion criteria. These were often elderly patients (often women) with associated comorbidities and isolated head injury. The MPMN and RISC II models have shown good discrimination and calibration for 30-day mortality prediction in severe trauma patients documented in MTRN. While the RISC II is applicable for external benchmarking, in the case of internal benchmarking, the MPMN is suitable for Navarra’s trauma system as it is easier to obtain given the lower number of variables needed for its calculation. The overall adjusted outcome of severely injured patients treated in Navarra is comparable to that of Germany. However, improvements are necessary at prehospital and hospital level to increase trauma quality care in Navarra. There were less young adults with severe injuries in Navarra than in Germany. Regularly reviews of the management of severe trauma patients are necessary to detect areas for improvement.