La mayoría de los sistemas híbridos de bucle cerrado disponibles en el mercado utilizan controladores predictivos integrales derivados (PID) o controladores predictivos de modelos (MPC). Estos algoritmos son robustos y fácilmente interpretables, pero limitan la eficacia ya que son propensos a sobrestimar las dosis de insulina después de las comidas y no pueden incorporar fácilmente factores adicionales que afectan a la glucemia. El aprendizaje por refuerzo (RL) se ha propuesto como un medio para abordar este problema, a través del cual un agente que toma decisiones aprende la secuencia óptima de acciones a realizar para maximizar algún concepto de recompensa. 

Científicos de la Universidad de Bristol (Reino Unido) han demostrado que el aprendizaje por refuerzo, un tipo de aprendizaje automático en el que un programa informático aprende a tomar decisiones probando distintas acciones, supera con creces a los controladores comerciales de glucosa en sangre en términos de seguridad y eficacia. Mediante el aprendizaje por refuerzo offline, en el que el algoritmo aprende de los historiales de los pacientes, los investigadores mejoran trabajos anteriores y demuestran que se puede lograr un buen control de la glucemia aprendiendo de las decisiones del paciente en lugar de por ensayo y error.

La mayor mejora se produjo en los niños, que experimentaron 1,5 horas adicionales al día en el intervalo de glucosa objetivo. Representan un grupo especialmente importante, ya que a menudo son incapaces de controlar su diabetes sin ayuda, y una mejora de esta magnitud redundaría en unos resultados de salud notablemente mejores a largo plazo.

Debido al alto riesgo asociado a la dosificación incorrecta de insulina, los experimentos se realizaron utilizando el simulador UVA/Padova, aprobado por la FDA, que crea un conjunto de pacientes virtuales para probar algoritmos. Se evaluaron los de tipo de aprendizaje por refuerzo offline de última generación frente a uno  de control del páncreas artificial más utilizados. Esta comparación se llevó a cabo en 30 pacientes virtuales (adultos, adolescentes y niños) y tuvo en cuenta 7.000 días de datos, evaluándose el rendimiento de acuerdo con las directrices clínicas actuales. El simulador también se amplió para tener en cuenta problemas de aplicación realistas, como errores de medición, información incorrecta sobre el paciente y cantidades limitadas de datos disponibles.

Este trabajo proporciona una base para continuar la investigación sobre el aprendizaje reforzado en el control de la glucosa, demostrando el potencial del enfoque para mejorar los resultados de salud de las personas con diabetes tipo 1, al tiempo que pone de relieve las deficiencias del método y las áreas de desarrollo futuro necesarias.

El objetivo último de los investigadores es implantar el aprendizaje por refuerzo en sistemas de páncreas artificial del mundo real. Estos dispositivos funcionan con una supervisión limitada de los pacientes y, por consiguiente, necesitarán pruebas significativas de seguridad y eficacia para lograr la aprobación reglamentaria.