logo-ri

Repositório Institucional da Produção Científica da Marinha do Brasil (RI-MB)

Please use this identifier to cite or link to this item: https://www.repositorio.mar.mil.br/handle/ripcmb/846419
Title: Explicabilidade do modelo de aprendizado de máquina apoiada pela explicabilidade de dados: uma abordagem baseada em proveniência
Authors: Oliveira, Rosana Leandro de
metadata.dc.contributor.advisor: Cordeiro, Kelli de Faria
Duarte, Julio Cesar
Keywords: IA Explicável
Proveniência
Pré-Processamento
PROV-DM
DGPM knowledge areas: Banco de dados
Issue Date: 2023
Publisher: Instituto Militar de Engenharia (IME)
Description: As soluções de Inteligência Artificial, especialmente aquelas relacionadas ao Aprendizado de Máquina (AM), têm alcançado níveis notáveis de desempenho devido ao contínuo avanço da capacidade computacional, à disponibilidade abundante de dados e à evolução dos métodos de aprendizado. Em consequência, os modelos de AM se tornaram cada cada vez mais complexos e sofisticados, comprometendo a compreensão humana sobre os resultados alcançados. A fim de aumentar a interpretabilidade dos modelos de AM surgiu a IA Explicável, do inglês Explainable AI (XAI). A XAI é de fundamental importância para aumentar a confiança nas predições de AM, e tornou-se de uso crucial para interpretação, principalmente nos modelos preditivos em áreas críticas. Para proporcionar um melhor entendimento sobre os dados, a proveniência dos dados oferece uma explicação sobre sua origem e sua derivação. Algumas pesquisas já exploram a utilização de informações sobre a proveniência dos dados em diversas fases do ciclo de AM para contribuir com a explicabilidade, no entanto, existe ainda uma lacuna na relação entre os dados de proveniência e a explicabilidade do modelo fornecida pelas técnicas de Inteligência Artificial Explicável (XAI). Com o intuito de solucionar essa questão, este estudo propõe a Explainable Machine Learning Model supported by Pre-processing Provenance (xMML-PPP), uma abordagem para capturar os dados de proveniência, especialmente durante a fase de pré-processamento, e relacioná-los com os resultados das técnicas de explicabilidade. Para isso, também foi proposto um modelo de dados relacional que serve como base para o nosso conceito de explicabilidade de dados. O principal objetivo é aumentar a explicabilidade dessas técnicas, complementando-as com informações provenientes da fase de pré-processamento. Para aplicação da abordagem, foi desenvolvida uma ferramenta xMML-PPP Tool, onde diversas informações do ciclo são capturadas, inclusive da fase de pré-processamento, e armazenadas no xMML-PPP Prov, repositório utilizado pela ferramenta para armazenamento dos dados capturados, onde, por meio de consultas aos dados armazenados no xMML-PPP Prov, as informações são recuperadas. A abordagem foi avaliada por meio de dois estudos de caso, nos quais foram realizados dois experimentos com configurações distintas para cada um dos estudos de caso. Isso viabilizou a análise do comportamento da explicabilidade em diferentes cenários. Os modelos foram treinados utilizando a xMML-PPP Tool com o algoritmo Random Forest, e o método de explicabilidade SHAP foi aplicado. Os resultados dos experimentos apresentaram que a melhoria na explicabilidade dos modelos de AM foi alcançada principalmente por meio da compreensão da derivação dos atributos que constituíram o modelo, enriquecida pela explicabilidade de dados.
Abstract: Artificial Intelligence solutions, especially those related to Machine Learning (ML), have achieved remarkable levels of performance due to the continuous advancement in computational capacity, the abundant availability of data, and the evolution of learning methods, which have become increasingly complex and sophisticated. To enhance the interpretability of ML models, Explainable AI (XAI) has emerged. XAI is of fundamental importance in increasing confidence in ML predictions and has become crucial for interpretation, especially in predictive models in critical domains. To provide a better understanding of the data, data provenance offers an explanation of its origin and derivation. Some studies have already explored the use of data provenance information in various stages of the ML lifecycle to contribute to explainability. However, there is a gap in the relationship between data provenance and the model’s explainability provided by Explainable Artificial Intelligence (XAI) techniques. In order to address this issue, this study proposes Explain- able Machine Learning Model supported by Pre-processing Provenance (xMML-PPP), an approach to capture provenance data, especially during the pre-processing phase, and relate it to the results of explainability techniques. To achieve this, a relational data model has also been proposed, which serves as the foundation for our data explainability concept. The main objective is to enhance the explainability of these techniques by complementing them with information derived from the pre-processing phase. For the application of this approach, a tool called xMML-PPP Tool has been developed, where various cycle information, including that from the pre-processing phase, is captured and stored in xMML-PPP Prov, the repository used by the tool to store the captured data, where, through queries to the data stored in xMML-PPP Prov, the information is retrieved. The approach was evaluated through two case studies, in which two experiments with different configurations were conducted for each of the case studies. This enabled the analysis of the interpretability behavior in different scenarios. The models were trained using the xMML-PPP Tool with the Random Forest algorithm, and the SHAP interpretability method was applied. The results of the experiments presented that the improvement in the explainability of ML models was mainly achieved through understanding the derivation of the attributes that constituted the model, enriched by data explainability.
Access: Open access
URI: https://www.repositorio.mar.mil.br/handle/ripcmb/846419
Type: Master thesis
Appears in Collections:Tecnologia da Informação: Coleção de Dissertações

Files in This Item:
File Description SizeFormat 
ROSANA_OLIVEIRA.pdf3,25 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.