Publicado por primera vez:27 de noviembre de 2023
Abstracto
Estamos viviendo un momento revolucionario en la historia de la IA. Usuarios de diversos ámbitos de la vida están adoptando y utilizando sistemas de inteligencia artificial para sus casos de uso cotidianos a un ritmo nunca antes visto. Sin embargo, con esta proliferación, también hay un reconocimiento creciente de que muchos de los problemas centrales abiertos dentro de la IA están relacionados con la forma en que el usuario interactúa con estos sistemas. Para nombrar dos ejemplos destacados, consideremos los problemas de explicabilidad y alineación de valores. Cada problema ha recibido considerable atención dentro de la comunidad de IA en general, y se han logrado avances muy prometedores al abordar cada uno de estos problemas individuales. Sin embargo, cada uno de estos problemas tiende a estudiarse de forma aislada, utilizando marcos teóricos muy diferentes, mientras que una mirada más cercana a cada uno revela fácilmente sorprendentes similitudes entre los dos problemas. En este artículo, deseo analizar el marco de la IA consciente de los humanos (HAAI, por sus siglas en inglés) que tiene como objetivo proporcionar un marco formal unificado para comprender y evaluar la interacción entre humanos y IA. Veremos cómo se puede utilizar este marco para comprender la explicabilidad y la alineación de valores y cómo el marco también establece posibles vías novedosas para abordar estos problemas.
INTRODUCCIÓN
En los últimos años, hemos visto un enorme avance en lo que pueden hacer los sistemas de IA. Los avances recientes en IA nos han permitido alcanzar hitos que incluso los futuristas más optimistas creían que estaban fuera de nuestro alcance por el momento. Muchos en el campo, incluidas varias luminarias, piensan ahora que una IA con inteligencia similar a la humana está más cerca de lo que se anticipaba. Sin embargo, a medida que las capacidades de estos sistemas han seguido mejorando y cada vez más usuarios los adoptan en su vida cotidiana, nosotros, como investigadores de IA, nos enfrentamos a una serie de nuevos desafíos, muchos de los cuales están relacionados con cómo las personas trabajarían con estos. sistemas. Entre los muchos problemas que han recibido atención en los últimos años, los dos que este artículo está particularmente interesado en explorar son el problema de generar explicaciones (Gunning y Aha 2019 ) y el problema de la alineación de valores (Hadfield-Menell et al. 2016 ). Para la generación de explicaciones, el artículo está particularmente interesado en equipar a un agente de IA con los mecanismos necesarios para explicar por qué una decisión específica que tomó fue la correcta para una tarea determinada (Langley 2019 ). En cuanto a la alineación de valores, seguiremos el esquema general esbozado por Hadfield-Menell et al. ( 2016 ) y analiza el problema de garantizar que los resultados del comportamiento de un agente se alineen con la verdadera intención de sus usuarios. Desarrollar soluciones sólidas a estos problemas es fundamental para desarrollar sistemas de inteligencia artificial en los que los usuarios puedan confiar y emplear en entornos críticos para la seguridad. De hecho, para la alineación de valores, el problema se discute ampliamente en el contexto del riesgo existencial que plantean los sistemas de IA. Sin embargo, la utilidad y la necesidad de abordar estos problemas no se limitan solo a los dispositivos apocalípticos que acaban con la civilización, sino que son fundamentales para toda interacción entre humanos y la IA. Para eludir cualquier discusión sensacionalista y reforzar aún más la naturaleza fundamental de estos problemas, nos centraremos principalmente en cómo se manifiestan en el contexto de un entorno de interacción cotidiana. En particular, tomemos el caso de un usuario que le pide a un robot que le prepare una taza de té. Ahora, el usuario podría pedirle al robot que se explique; si hace algo inesperado, digamos que en lugar de verter agua caliente en la taza, vierte agua fría sobre la bolsita de té. Por otro lado, diríamos que es necesario alinear los valores si el agente utiliza bolsitas de té de baja calidad para preparar té en lugar de utilizar las que le gustan al usuario.
Resolver eficazmente cada problema requiere que el agente modele lo que el usuario espera del agente y en qué se diferencia de lo que el agente cree que es el mejor curso de acción. Volviendo al ejemplo del té, para que el agente explique su elección de agua fría, debe darse cuenta de que el usuario no es consciente de que el robot, de hecho, es incapaz de manipular una tetera con seguridad. Por otro lado, se puede calentar en el microondas una taza de agua con una bolsita de té. Por lo tanto, una explicación eficaz debe informar al usuario de este hecho y de cómo aún puede preparar té a partir de agua fría. Pasando a la alineación de valores, el humano esperaba que el agente escogiera la bolsita de té que le gustaba porque estaba en un estante al lado del agente, mientras que las bolsitas de té de baja calidad estaban en la habitación de al lado. Como tal, el usuario no anticipó la necesidad de ser específico sobre qué bolsitas de té usar. Sin embargo, sin que el usuario lo supiera, el robot no podía llegar directamente a los estantes y habría necesitado ayuda adicional para conseguir las bolsitas de té. En cada uno de los ejemplos anteriores, vemos el papel central que desempeña la creencia del usuario sobre el agente y, por extensión, sus expectativas del agente. Sin embargo, la necesidad de respaldar dicho modelado es importante, no solo para abordar estos dos desafíos específicos, sino para permitir una interacción y colaboración efectiva entre humanos y IA en general.
Con este fin, este artículo expone algunos de los avances recientes que se han realizado con respecto al desarrollo del marco de interacción de IA consciente de los humanos (HAAI) (Sreedharan, Kulkarni y Kambhampati 2022 ). HAAI es un marco de interacción de múltiples agentes psicológicamente viable que se puede utilizar para comprender la interacción entre humanos y IA. HAAI se basa en muchos conceptos psicológicos, como la teoría de la mente (Apperly y Butterfill 2009 ), y hace que el modelado de las creencias y expectativas del usuario sea central para modelar todas las interacciones entre el usuario y la IA.
La modelización de otros agentes, sus estados epistemológicos y sus creencias, no es nueva dentro de la literatura sobre toma de decisiones de múltiples agentes. De hecho, estos forman la base de algunos de los trabajos más fundamentales dentro de esta área. Lo novedoso, sin embargo, es que HAAI utiliza los conocimientos de dicho trabajo normativo para proponer un marco que pueda proporcionar una explicación unificada de problemas como la generación de explicaciones y la alineación de valores. Al hacerlo, revela formas novedosas de generar explicaciones y alinear el objetivo del agente con lo que esperaba el usuario.
En el resto del artículo, comenzaremos la discusión exponiendo la configuración básica de HAAI. A continuación, analizaremos cómo podemos utilizar esta configuración básica para comprender el problema de la generación de explicaciones y la alineación de valores. A través de estas discusiones, veremos el papel central que desempeñan las expectativas humanas en la configuración de la dinámica de interacción entre humanos y IA. En particular, dentro de HAAI , la explicación corresponde a que el agente ayude a los humanos a ajustar sus expectativas de comportamiento sobre el agente para que coincidan con el comportamiento del agente. Una forma de lograr esto podría implicar que el agente actualice las creencias humanas sobre el modelo del agente (cf. Sreedharan, Chakraborti y Kambhampati 2021 ). Por otro lado, en la alineación de valores, el agente intenta reconocer las expectativas originales del ser humano y igualarlas. A diferencia del caso de explicación, esto podría implicar que el agente intente aprender las creencias y preferencias humanas (por ejemplo, a través de modelos o elicitación de preferencias (Goldsmith y Junker 2008 )) o replicar el proceso de inferencia humano. También discutiremos todo el trabajo que ya se ha completado dentro del marco del marco y todos los problemas abiertos y preguntas que surgen del marco.
CONFIGURACIÓN BÁSICA DE IA CONSCIENTE DEL HUMANO
La configuración básica de HAAI es una configuración de interacción con sólo dos agentes (es decir, el humano y el robot). Veremos uno en el que el robot 1 asume el papel de actor, elabora planes y los ejecuta, y el humano asume el papel de supervisor. El humano proporciona instrucciones u objetivos al robot que espera que este lleve a cabo. La Figura 1 proporciona una descripción gráfica de esta configuración.
El primer punto a destacar es que tanto el humano como el robot mantienen modelos de la tarea en cuestión. El modelo de robot aquí corresponde a un modelo de IA tradicional, uno que codifica el estado, los objetivos y la dinámica (que, en este caso, codifica cómo el robot puede influir en el estado de la tarea). El modelo humano, por otra parte, es más interesante porque representa la creencia humana en la tarea. Puede codificar las creencias humanas sobre las capacidades del robot y el estado de la tarea. Ahora, tanto el humano como el robot harían uso de sus capacidades de razonamiento innatas para derivar cuál creen que sería el mejor curso de acción para abordar la tarea.
Una de las principales afirmaciones que hace el marco HAAI es el hecho de que muchos problemas en la interacción entre humanos e IA, incluida la inexplicabilidad y la desalineación de valores, surgen de la falta de coincidencia entre las expectativas humanas sobre el comportamiento del robot y la decisión a la que llega el robot. En particular, el humano exigiría una explicación si el robot muestra un comportamiento bastante diferente al esperado. De manera similar, el humano habría formalizado el objetivo que le presentó al robot en función de lo que pensaba que el robot era capaz de hacer y su creencia sobre cómo llevaría a cabo su objetivo especificado. Si las expectativas humanas son erróneas, podría dar lugar a un comportamiento cuyos resultados pueden no coincidir con la verdadera intención del ser humano, lo que resultaría en una desalineación de valores. En este artículo, intentaremos comprender este desajuste general de expectativas centrándonos en tres dimensiones destacadas de asimetría entre el ser humano y el robot. Específicamente, asimetría en el conocimiento: esta dimensión se relaciona con la diferencia en la creencia del ser humano sobre la tarea y los contenidos del modelo de agente. Las diferencias que podrían manifestarse como parte de esta dimensión podrían variar desde la incomprensión humana de las capacidades del robot hasta el desacuerdo sobre el estado actual del mundo. Asimetría en las capacidades inferenciales: esta dimensión corresponde a las diferencias en la capacidad humana y robótica para tomar decisiones efectivas dados sus modelos de tareas. Hay mucha evidencia que respalda el hecho de que los humanos pueden entenderse mejor como agentes racionales limitados. Por otro lado, dependiendo del caso de uso, el robot podría variar desde ser un tomador de decisiones óptimo hasta uno inadecuado o muy subóptimo. Asimetría en el vocabulario: la dimensión final se relaciona con las diferencias en cómo el humano y el robot pueden representar la tarea. Si bien el ser humano normalmente intenta darle sentido al mundo en términos de conceptos de alto nivel, o en muchas tareas físicas, en términos de objetos y la relación entre objetos, muchos sistemas modernos de IA pueden emplear esquemas de representación aprendidos que son inescrutables para los usuarios. Incluso si tienen acceso al mismo vocabulario, su base podría diferir significativamente. A lo largo de las secciones restantes del artículo, veremos cómo estas dimensiones se relacionan con el problema de la generación de explicaciones y la alineación de valores. Finalmente, veremos cómo el marco de HAAI nos permite ver cómo estas dos piezas se conectan con el problema general de la interacción entre humanos y IA.
GENERACIÓN DE EXPLICACIONES
El primer aspecto que investigaremos en este marco es el de las explicaciones. Como se comentó anteriormente, el problema central que surge dentro de estos entornos es el desajuste entre el comportamiento esperado por el usuario y el que elige el robot. Ahora bien, cuando se le presenta un comportamiento tan inesperado, el usuario puede pedir una explicación y, por lo tanto, el papel de la explicación pasa a ser ayudar al usuario a comprender por qué el curso de acción seleccionado por el agente es el correcto (al menos desde la perspectiva del agente). ). La Figura 2 presenta una visualización de este proceso de actualización de las expectativas de los usuarios.
Este estilo de explicación se alinea con lo que se ha denominado explicación de preferencia dentro de la literatura XAI (Langley 2019 ), en la medida en que el agente intenta establecer por qué la decisión seleccionada por él puede ser preferida sobre otras alternativas (particularmente la que el el usuario tenía en mente). Sin embargo, vale la pena señalar que en este contexto se pueden captar otros tipos de explicaciones, como las explicaciones de procesos. Sin embargo, el artículo se centrará en las primeras, ya que la mayoría de las interacciones explicativas cotidianas se incluyen en la categoría de explicaciones de preferencia.
Ahora, volviendo a nuestras tres dimensiones de asimetría, vemos que las dos primeras (asimetría en el conocimiento y asimetría en las capacidades inferenciales), corresponden en primer lugar a fuentes potenciales de confusión, y la tercera dimensión (asimetría en el vocabulario) podría ser una barrera para proporcionar explicaciones útiles. Como tal, la generación eficaz de explicaciones implica abordar las tres dimensiones.
Algunos de los primeros trabajos que utilizaron el marco HAAI fueron trabajos de generación de explicaciones que se centraron en abordar la asimetría del conocimiento. Estos trabajos introdujeron y se basaron en la técnica de reconciliación de modelos (Sreedharan, Chakraborti y Kambhampati 2021 ), que genera explicaciones para los usuarios cuando su confusión sobre el comportamiento del sistema surgió principalmente de una falta de coincidencia entre la comprensión del usuario sobre el modelo del agente y el modelo verdadero. . Los desafíos para generar tales explicaciones incluyen encontrar explicaciones concisas y enfocadas que cubran solo partes del modelo relevantes para la decisión actual (Chakraborti et al. 2017 ) y desconocidas para el usuario. El sistema también tendría que hacerlo aunque no tuviera un modelo de usuario preciso o completo (Sreedharan, Kambhampati y Chakraborti 2018 ). En nuestro ejemplo en ejecución, la explicación podría implicar que el robot especifique sus limitaciones. Por ejemplo, podría informar al usuario que no puede realizar la acción de inmersión ni utilizar un hervidor. Esto dejaría como única opción calentar una taza de agua con una bolsita de té en el microondas.
También ha habido una serie de trabajos que evocan explícitamente un marco HAAI que se centra en la segunda dimensión, es decir, abordar la asimetría en las capacidades inferenciales. Muchos de estos trabajos (cf. Sreedharan, Srivastava y Kambhampati 2021 , 2018 ) emplean estrategias de minimización de modelos como la abstracción o la descomposición de problemas y brindan al usuario la capacidad de realizar consultas explicativas más dirigidas (Sreedharan et al. 2019 ). En cuanto al ejemplo en ejecución, el agente utiliza una forma de abstracción de modelo al proporcionar explicaciones que se refieren a habilidades temporalmente abstractas como la inmersión. En lugar de proporcionar una explicación que se refiera a los ángulos de las articulaciones o las posiciones del manipulador, aunque el robot haya razonado originalmente sobre sus acciones con ese nivel de detalle.
Finalmente, llegando a la tercera dimensión, las explicaciones deben proporcionarse a los usuarios en términos que les resulten intuitivos. Muchos de los sistemas de toma de decisiones de IA más modernos se basan en esquemas de representación interna que son inherentemente inescrutables y poco intuitivos para los usuarios no especializados. Sin embargo, en muchos casos, puede ser posible proporcionar explicaciones post hoc sobre las decisiones en términos que sean intuitivos para los usuarios finales. En nuestro ejemplo en ejecución, incluso si el sistema generó sus decisiones utilizando una red neuronal, puede optar por proporcionar explicaciones enmarcadas en términos de objetos que el usuario comprende (por ejemplo, una bolsita de té, una tetera, etc.) o el objetivo general de preparar té. . Dichos métodos se han empleado tanto en el contexto de problemas de toma de decisiones secuenciales (cf. Sreedharan et al. 2020 ) como en problemas de toma de decisiones de un solo disparo (Kim et al. 2018 ).
ALINEACIÓN DE VALORES CON CONCIENCIA HUMANA
Ahora pasamos al siguiente problema abordado en este artículo: la alineación de valores. En esta sección, veremos cómo la alineación de valores es efectivamente el inverso del problema presentado en la sección anterior. Como se muestra en la Figura 3 , el proceso comienza con un usuario que desea que el robot realice una determinada tarea. El usuario formula una especificación objetiva, cuya finalización exitosa cree que dará como resultado que el robot complete con éxito la tarea. Ahora bien, considerando las tres dimensiones de la asimetría, podemos ver fácilmente cómo la especificación objetiva puede no ser la verdadera codificación de la intención del usuario. Por un lado, dadas las dos primeras dimensiones, las expectativas del usuario sobre el comportamiento del agente y, por extensión, los resultados finales podrían ser bastante diferentes de las obtenidas por el robot optimizando directamente para el objetivo especificado. Como tal, la motivación del robot debería ser generar comportamientos cuyos resultados se alineen con los que el humano esperaba originalmente cuando se le proporcionó la especificación.
Si bien se han comenzado a investigar más trabajos sobre cómo se podrían generar comportamientos tan alineados, el problema sigue abierto. El principal desafío aquí es utilizar el objetivo especificado y el conocimiento sobre las creencias y las capacidades de razonamiento del usuario para inferir su verdadera intención. Luego, generar el comportamiento que mejor se alinee con la verdadera intención y potencialmente informar al usuario sobre su incapacidad para cumplirla (según corresponda). Trabajos como Mechergui y Sreedharan ( 2023 ) han comenzado a abordar este problema en presencia de asimetría del conocimiento. En particular, el método descrito en este trabajo intenta interrogar al usuario sobre los resultados (es decir, el estado objetivo final) hasta que esté seguro de que puede o no generar un estado que satisfaga las expectativas humanas. En particular, el trabajo intenta revisar y reinterpretar trabajos existentes en alineación de valores utilizando la lente de HAAI. En nuestro ejemplo, esto podría corresponder a que el sistema aproveche su estimación de la creencia del usuario para intentar predecir los resultados que el usuario habría esperado. Por ejemplo, las bolsitas de té de mayor calidad están en el estante justo al lado del robot y, como tal, el usuario, que desconoce la incapacidad del robot para alcanzar esas bolsitas de té, esperaría que se usaran. El sistema podría utilizar su estimación para predecir dicha expectativa potencial y consultar al usuario al respecto.
Dicho esto, aún queda mucho trabajo por hacer para gestionar la alineación de valores. Para empezar, hay una clara falta de métodos diseñados para abordar los problemas que surgen de la asimetría en las dos últimas dimensiones. Al igual que con la asimetría del conocimiento, la asimetría inferencial podría llevar a que el usuario forme expectativas incorrectas sobre el comportamiento que el sistema puede generar en respuesta a un objetivo determinado. La asimetría en el vocabulario entre el usuario y el sistema podría dificultar la comunicación efectiva del objetivo humano de múltiples maneras. Por ejemplo, la falta de vocabulario compartido o la diferencia en la base de los elementos de vocabulario podrían dificultar que el usuario comunique correctamente el objetivo que tenía en mente. Por ejemplo, si el sistema no puede diferenciar entre bolsitas de té de mayor y menor calidad, entonces un usuario no podría especificar su verdadera intención incluso si intentara expresarla explícitamente.
Como coda final de esta sección, vale la pena señalar la similitud y diferencia entre la alineación de valores (como se define en esta sección) y la generación de comportamiento explicable (Kulkarni et al. 2019 ; Chakraborti et al. 2019 ). La generación de comportamiento explicable se centra en generar un comportamiento que se alinee con las expectativas del usuario. Sin embargo, este problema generalmente se estudia en entornos donde se supone que el objetivo humano está especificado correcta y completamente 2 . Como tal, el objetivo es alinear el comportamiento del agente con lo que espera el usuario. Por otro lado, el objetivo principal del trabajo de alineación de valores es alinear los resultados del comportamiento del agente con lo que esperaba el usuario. Esto es particularmente importante porque el problema considerado es aquel en el que el objetivo proporcionado al robot no es necesariamente la especificación completa de la verdadera intención del usuario. Una forma de lograrlo podría ser alinear el comportamiento del sistema con las expectativas del usuario. Sin embargo, en los casos en los que la comprensión del usuario del modelo de tarea/robot es incorrecta, seguir el comportamiento esperado no tiene por qué dar como resultado que los resultados se alineen con las expectativas del usuario.
USO DE EXPECTATIVAS-DESCOINCIDENCIA PARA ENTENDER LA INTERACCIÓN GENERAL HUMANO-IA
En las secciones anteriores, analizamos dos problemas ampliamente reconocidos como importantes para la interacción exitosa entre humanos y la IA y discutimos cómo el marco de HAAI nos permite verlos a través de la lente del desajuste de expectativas. Además de analizar estos problemas de forma aislada, es posible verlos relacionados con pasos individuales en el proceso general de interacción entre humanos y IA. La Figura 4 muestra cómo estos dos problemas se conectan entre sí. En particular, la figura muestra cómo el usuario desarrolla una especificación objetiva específica basada en sus creencias actuales. En respuesta, el robot elige el comportamiento que mejor se alinea con la intención subyacente del usuario y se lo propone junto con explicaciones u otra información relevante (por ejemplo, información sobre el resultado). Esto podría hacer que el usuario actualice sus creencias y expectativas, lo que a su vez podría hacer que revise sus especificaciones objetivas. Este circuito de interacción esboza un paradigma novedoso para comprender la alineación de valores y la interacción entre humanos y la IA en general. Bajo este paradigma, el robot intenta cumplir con las expectativas del usuario. Si el robot identifica oportunidades potenciales que el usuario puede haber pasado por alto (y, por lo tanto, no esperadas), primero intentará hacer que el usuario aproveche dicha oportunidad y solo aprovechará la oportunidad si el usuario actualiza sus expectativas y potencialmente el objetivo especificado. Si bien estos ciclos de interacción integrales se expresan naturalmente dentro de HAAI , el desarrollo de técnicas para respaldar dichas interacciones sigue siendo un desafío abierto. Esperamos que la comunidad lo aborde pronto.
CONCLUSIÓN
En resumen, el artículo proporciona una descripción general del marco de interacción HAAI propuesto para modelar las interacciones entre humanos y IA. El modelo propuesto sitúa las expectativas humanas y la posible asimetría entre las expectativas y la elección del agente en el centro de la interacción entre humanos y IA. En particular, el artículo analiza cómo dos problemas importantes dentro de la interacción entre humanos e IA, a saber, la explicabilidad y la alineación de valores, podrían entenderse en términos de expectativas humanas y desajuste de expectativas. Si bien muchos trabajos existentes dentro de HAAI se han centrado principalmente en capturar y proporcionar herramientas para abordar los problemas discutidos anteriormente, también ha habido interés reciente en capturar otros fenómenos relacionados con la interacción entre humanos y IA. Lo más destacado es que trabajos recientes han intentado mapear la confianza en términos humanos (cf. Zahedi, Sreedharan y Kambhampati 2023 ). Además, si bien la validez psicológica básica del marco se ha establecido a través de múltiples estudios de usuarios que se han realizado a lo largo de los años (Chakraborti et al. 2019 ; Grover et al. 2020 ), siempre hay margen para seguir construyendo y ampliando el marco a medida que se realice. Descubrimos más conocimientos sobre los procesos mentales humanos que impulsan estas interacciones. El autor espera que el marco HAAI no solo proporcione a la comunidad un marco pedagógico formal para comprender la interacción entre humanos y IA, sino que también permita desarrollar soluciones novedosas a los problemas de interacción entre humanos y IA. Específicamente, al proporcionar un modelo de cómo las expectativas humanas forman e influyen en la interacción entre humanos e IA, el marco proporciona nuevos mecanismos y conocimientos sobre cómo podemos influir y mejorar la interacción general entre humanos y IA.
DECLARACION DE CONFLICTO DE INTERES
El autor declara que no hay ningún conflicto.
NOTAS FINALES
- 1Nos referimos vagamente a nuestro agente como un robot. Ningún componente de nuestro marco requiere que nuestro sistema esté físicamente incorporado.
- 2En otras palabras, el objetivo especificado codifica correctamente la verdadera intención del usuario.
Biografía
- Sarath Sreedharan es profesora asistente en la Universidad Estatal de Colorado. Sus principales intereses de investigación incluyen el diseño de sistemas de toma de decisiones conscientes de los seres humanos que puedan generar comportamientos que se alineen con las expectativas humanas. Completó su doctorado. en la Universidad Estatal de Arizona, donde su tesis doctoral recibió el Premio de Disertación del Decano 2022 para las Escuelas de Ingeniería Ira A. Fulton y también recibió la mención de honor ICAPS-2023 a la mejor tesis. Su investigación ha sido publicada en varias conferencias de investigación de primer nivel, incluidas AAAI, ICAPS, IJCAI, AAMAS, IROS, HRI, ICRA, ICML e ICLR, y revistas como AIJ. Ha presentado tutoriales sobre su investigación en varios foros y es el autor principal de una monografía de Morgan Claypool sobre interacciones explicables entre humanos y IA. Fue seleccionado como DARPA Riser Scholar para 2022 y como nuevo profesorado destacado por AAAI. Su investigación ha ganado múltiples premios, incluido el premio al mejor sistema de demostración y exhibición en ICAPS-20 y el premio al mejor artículo en el taller Bridging Planning & RL en ICAPS 2022. También fue reconocido como miembro destacado del comité del programa AAAI-20 y revisor destacado. en ICLR 22, miembro distinguido del Comité de Programa de IJCAI 2022 y 2023 y revisor principal en NeurIPS 22.