Aprendizaje por refuerzo en un simulador de manejo (CARLA)

El rubro del cliente es confidencial, así que lo cuento en términos generales. La tarea era entrenar un agente para cumplir una serie de objetivos dentro de CARLA, un simulador de manejo realista, usando lo que ve su cámara para decidir qué hacer.

Encapsulé el simulador como un entorno de OpenAI Gym, procesé las imágenes de la cámara con OpenCV y entrené al agente con TensorFlow y TF-Agents. La mayor parte del trabajo estuvo en la recompensa: la fui refinando a lo largo de muchas corridas hasta que el agente aprendió el comportamiento que buscábamos y no un atajo, junto con un ajuste sistemático de hiperparámetros y estrategias de exploración como epsilon-greedy y UCB.