Exploring linguistic information and semantic contextual models for a relation extraction task using deep learning

Abstract

Métodos de Aprendizado Profundo (AP) tem sido usados em muitas tarefas de Processamento de Linguagem Natural (PLN), inclusive em tarefas de extração de relações semânticas. Entretanto, a performance dos métodos é dependente do tipo e qualidade da informação dada ao algoritmo como características. Em PLN, informações linguísticas tem sido cada vez mais usadas para melhorar a performance de algoritmos de AP, como por exemplo, vetores de palavras pré-treinados, marcadores sintáticos, sinônimos, etc, e atualmente o uso de informações linguísticas está presente nos algoritmos de extração de relações do estado da arte. Porém, não tem sido o foco dessas pesquisas entender exatamente o impacto que o uso de informações linguísticas advindas de níveis distintos de abstração (morfológico, sintático, semântico) tem nos algoritmos aplicados a extração de relações, o que em nossa opinião pode trazer um maior conhecimento da forma que algoritmos de aprendizado profundo generalizam construtos da linguagem quando comparados com a forma que humanos processam a linguagem. Para atingir esse objetivo, realizamos vários experimentos usando uma rede neural recorrente e analizamos qual o impacto que informações linguísticas (categorias gramaticais, categorias sintáticas, hiperônimos, frames e classes verbais) e word embeddings (tokenizer, word2vec, Glove e BERT) tem na performance do modelo. A partir dos nossos resultados, vimos que os diferentes tipos de word embeddings não apresentaram uma diferença significativa na performance. Considerando a informação linguística, o uso de hiperônimos demonstrou uma melhora de performance do modelo, porém considerando que a melhora foi pequena, entendemos que pode não haver um melhor custo-benefício em usar esse recurso semântico para atingir uma melhora pequena de performance. De forma geral, nosso modelo atingiu uma performance boa comparada aos modelos da literatura, especialmente dada a simplicidade da arquitetura de aprendizado profundo usada nos experimentos. E ainda para alguns experimentos, nosso modelo teve a performance melhor que modelos apresentados na literatura. Em conclusão, consideramos que com essa análise obtivemos um melhor entendimento no quesito se os modelos de aprendizado profundo se beneficiam de informação linguística oriunda de distintos níveis de abstração linguística para atingir uma performance próxima à humana em uma tarefa semântica.