Aprendizado por reforço profundo explicável: um estudo com controle semafórico inteligente
| Orientador(a) (dc.contributor.advisor) | Ramos, Gabriel de Oliveira | |
| Lattes Orientador(a) (dc.contributor.advisorLattes) | http://lattes.cnpq.br/9281736089055094 | pt_BR |
| Autor(a) (dc.contributor.author) | Schreiber, Lincoln Vinicius | |
| Autor(a) Lattes (dc.contributor.authorLattes) | http://lattes.cnpq.br/2067394701405776 | pt_BR |
| Data de Disponibilização (dc.date.accessioned) | 2022-04-13T21:14:14Z | |
| dc.date.available (dc.date.available) | 2022-04-13T21:14:14Z | |
| Data da defesa / Data do evento (dc.date.issued) | 2022-02-18 | |
| Abstract (dc.description.abstract) | With the fast increase in urbanization levels, the problem of congestion has become even more evident for society, the environment, and the economy. One practical approach to alleviating this problem is adaptive traffic signal control (ATSC). Deep reinforcement learning algorithms have shown great potential for such control. However, these methods can be viewed as black boxes since their learned policies are not easily understood or explainable. The lack of explainability of these algorithms may be limiting their use in real-world conditions. One framework that can provide explanations for any deep learning model is SHAP. It considers models as black boxes and explains them using post-hot techniques, providing explanations based on the response of that model with different inputs, without analyzing or going into internal points (such as parameters and architecture). The state of the art for using SHAP with a deep reinforcement learning algorithm to control traffic lights can demonstrate consistency in the logic of the agent’s decision making, also presenting the reaction according to the traffic in each lane. However, it could not demonstrate the relation of some sensors with the chosen action intuitively and needed to present several figures to understand the impact of the state on the action. This paper presents two approaches based on the Deep Q-Network algorithm to explain the policy learned through the SHAP framework. The first uses the XGBoost algorithm as a function approximation, and the second uses a neural network. Each approach went through a process of studying and optimizing its hyperparameters. The environment was characterized as an MDP, and we modeled it in two different ways, namely Cyclic MDP and Selector MDP. These models allowed us to choose different actions and have different representations of the environment. Both approaches presented the impact of features on each action through the SHAP framework, which promotes understanding of how the agent behaves under different traffic conditions. This work also describes the application of Explainable AI in intelligent traffic signal control, demonstrating how to interpret the model and the limitations of the approach. Furthermore, as a final result, our methods improved travel time, speed, and throughput in two different scenarios, outperforming the FixedTime, SOTL, and MaxPressure baselines. | en |
| Resumo (dc.description.resumo) | Com o rápido aumento dos níveis de urbanização, tornou-se ainda mais evidente o problema do congestionamento para a sociedade, o meio ambiente e a economia. Uma abordagem prática para aliviar este problema é o controle semafórico adaptativo, do inglês Adaptive Traffic Signal Control (ATSC). A utilização de algoritmos de aprendizado por reforço profundo mostrou grande potencial para esse controle. Entretanto, tais métodos podem ser vistos como caixas pretas, visto que suas políticas aprendidas não são facilmente compreensíveis ou explicáveis. Essa falta de explicabilidade dos algoritmos pode estar limitando seu uso em condições reais. Um framework que pode fornecer explicações para qualquer modelo de aprendizado profundo é o SHAP. Ele considera os modelos como caixas pretas e utiliza técnicas post-hoc para explicálos, fornecendo explicações baseadas na resposta desse modelo com diferentes entradas, sem analisar ou entrar em pontos internos (tais como parâmetros e arquitetura). O então estado da arte, para uso do SHAP com um algoritmo de aprendizado por reforço profundo para controlar semáforos, consegue demonstrar consistência na lógica da tomada de decisão do agente, apresenta também que o agente reage diferentemente conforme o tráfego de cada pista. Todavia, apresenta algumas limitações na explicabilidade encontrada e não consegue demonstrar de forma intuitiva a relação de alguns sensores com as ações escolhidas pelo agente. Além disso, precisa apresentar diversas figuras para entender o impacto dos estados nas possíveis ações. Este trabalho apresenta duas abordagens baseadas no algoritmo Deep Q-Network capaz de explicar a política aprendida através do framework SHAP. Nossa abordagem considera duas técnicas distintas para aproximação de função: XGBoost e Multi-Layer Perceptron. Cada abordagem passou por um processo de estudo e otimização de seus hiperparâmetros. O ambiente foi caracterizado como um MDP e modelado de duas formas diferentes, chamadas MDP Cíclico e MDP Seletor. Cada uma dessas modelagens permitiu escolher diferentes ações e ter representações diferentes do ambiente. Por meio do framework SHAP, ambas abordagens puderam apresentar o impacto das features em cada ação, o que promove a compreensão de como o agente se comporta diante das diferentes condições de tráfego. Este trabalho também apresenta uma descrição sobre a aplicação de IA Explicável no controle semafórico inteligente, demonstrando como interpretar o modelo e as limitações da abordagem. Além disso, como resultado final, as abordagens melhoraram o tempo de viagem, a velocidade e o throughput em dois cenários distintos, superando os baselines FixedTime, SOTL e MaxPressure. | pt_BR |
| Agência de fomento (dc.description.sponsorship) | CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior | pt_BR |
| URI (dc.identifier.uri) | http://www.repositorio.jesuita.org.br/handle/UNISINOS/11078 | |
| Idioma (dc.language) | pt_BR | pt_BR |
| Nome da instituição (dc.publisher) | Universidade do Vale do Rio dos Sinos | pt_BR |
| País da Instituição (dc.publisher.country) | Brasil | pt_BR |
| Departamento (dc.publisher.department) | Escola Politécnica | pt_BR |
| Sigla da Instituição (dc.publisher.initials) | Unisinos | pt_BR |
| Programa (dc.publisher.program) | Programa de Pós-Graduação em Computação Aplicada | pt_BR |
| Direitos de acesso ao documento (dc.rights) | openAccess | pt_BR |
| Assunto (dc.subject) | Aprendizado por reforço profundo | pt_BR |
| Assunto (dc.subject) | IA explicável | pt_BR |
| Assunto (dc.subject) | Controle semafórico adaptativo | pt_BR |
| Assunto (dc.subject) | Sistema multiagente | pt_BR |
| Assunto (dc.subject) | Deep reinforcement learning | en |
| Assunto (dc.subject) | Explainable AI | en |
| Assunto (dc.subject) | Adaptive traffic signal control | en |
| Assunto (dc.subject) | Multi-agent system | en |
| Tema (CNPq) (dc.subject.cnpq) | ACCNPQ::Ciências Exatas e da Terra::Ciência da Computação | pt_BR |
| Título (dc.title) | Aprendizado por reforço profundo explicável: um estudo com controle semafórico inteligente | pt_BR |
| Tipo de arquivo (dc.type) | Dissertação | pt_BR |
Arquivos
Pacote original
1 - 1 de 1
Carregando...
- Nome:
- Lincoln Vinicius Schreiber_.pdf
- Tamanho:
- 26.58 MB
- Formato:
- Adobe Portable Document Format
- Descrição:
- aprendizado_reforco
Licença do pacote
1 - 1 de 1
Carregando...
- Nome:
- license.txt
- Tamanho:
- 2.12 KB
- Formato:
- Item-specific license agreed upon to submission
- Descrição: