Aunque parezca mentira ya han pasado dos años desde que os pedimos ayuda para diseñar nuestro primer gemelo digital ICARUS lo que finalmente conseguimos hacer con ayuda de nuestro amigo Alfonso.
Durante el pasado año utilizamos el modelo que habíamos obtenido a partir de las correspondientes ecuaciones diferenciales y algebraicas que lo definen para realizar experimentos de todo tipo generando con ellos datos para la aplicación de técnicas estadísticas más complejas.
Incluso estuvimos valorando la posibilidad del empleo de técnicas de Aprendizaje Reforzado en las que el algoritmo se entrena a base de repetir cientos de miles veces pequeños cambios osbservando como se comportaba el sistema (simulado en nuestro caso) para obtener la mejor respuesta.
Este acercamiento a la resolución de problemas de Control de Procesos es el mismo que ha seguido la multinacional PepsiCo apoyada en BonsAI de Microsoft para optimizar la producción de sus reconocidos Cheetos.
Cualquiera que haya trabajado alguna vez en una Planta Industrial tiene claro desde el principio que entrenar un algoritmo en vivo es simplemente inviable, ya que no es posible arriesgarse a que una solución de Inteligencia Artificial comprometa la seguridad o el programa de producción. Esa es una de las razones por las que la solución de Bonsai para PepsiCo aprende por primera vez en un entorno cuidadosamente diseñado para simular la línea de extrusoras… o sea lo mismo que nosotros pretendíamos hacer con Icarus pero en una planta termosolar muchísimo más compleja, claro está.
Los desarrolladores trabajaron con los operadores para recrear las condiciones y reacciones que los trabajadores ven en la vida real. Cuanto más cerca esté el simulador de la línea real, menos ajustes deberá realizar el equipo antes de que la solución pueda operar en la planta acortándose la fase final de transferencia de conocimiento desde el modelo a la realidad.
Otro beneficio de comenzar con una simulación es que la solución puede simular la ejecución de un día en 30 segundos. El algoritmo aprende las diferentes combinaciones de ajustes que conducen a los parámetros de calidad definidos en una fracción del tiempo. También se ejecutaron varios modelos simultáneamente en la nube de Azure, lo que aceleró aún más el proceso. Los desarrolladores también programaron las reglas precisas para mantener la seguridad. Por ejemplo, ajustando de forma gradual controles como la velocidad con la que un tornillo empuja la harina de maíz a través del dado.
Aunque tienen previsto llevar su sistema a la operación real tienen un gran problema. Es necesario introducir producto «malo» durante el entrenamiento para que el sistema sea capaz de corregir las condiciones de operación para que nunca vuelva a ocurrir … pero, como dice, PepsiCo «No hay Cheeto malo!»
Eso sí, cuando finalmente integren el sistema en la planta utilizarán también los últimos avances en visión computerizada como sensor para conocer en tiempo real los posibles problemas del producto fabricado consiguiendo con ello disponer del Gemelo Digital perfecto: Modelo del proceso, interrelación entre el modelo y la planta a través de IoT y finalmente aplicaciones de AI cerrando el ciclo de mejora continua!
1228
Si alguien se pregunta la razón para la que no hayamos (todavía) dado el salto a probar el Aprendizaje Reforzado en nuestro ICARUS os lo cuento.
La primera razón haber sido demasiados ambiciosos en escoger una planta tan complicada como una termosolar aunque no nos negaréis que acertamos cuando elegimos una basada en energías renovables cuando (pro experiancia previa) nos habría resultado más sencillo usar una química o petrolera.
En cualquier caso el problema más importante ha sido la decisión del uso de MyOpenLAB para resolver un problema tan complejo y sin apoyo alguno por sus desarroladores iniciales y falta de interés por parte de la Comunidad
En cualquier caso la experiencia ha resultado muy enriquecedora habiendo aprendido mucho durante su desarrollo y abriendo, al mismo tiempo, interesantes campos para nuevos proyectos.
Estaba muy perdido con la relación entre Cheetos e Icarus…
Quizás probar aprendizaje reforzado en una planta CSP al completo es inviable, pero la gracia del almacenamiento térmico es que permite desacoplar el receptor (o receptores) del ciclo de vapor. Por ello yo sigo confiante en que es aplicable a la operación del receptor.
Yo estoy jugando ahora con modelos de orden reducido (que se puedan correr en «tiempo real» basados en resultados de simulaciones. Te informaré si saco algo enseñable. Aunque me temo que MyOpenLAB no está preparado para correr ROMs…
No solo Bonsai/Microsoft o Google están interesados por el aprendizaje reforzado ya que ahora Amazon anuncia que ha integrado un RoboMaker en su AWS.
La falta de datos para nuestros algoritmos de mantenimiento predictivo fue el origen de ICARUS.
Ahora que no es muy probable que vayamos a necesitar dichos datos acabamos de encontrar un interesante artículo con datos de sonidos de máquinas con problemas y que podrían ser interesantes para otros investigadores,