An analysis of hierarchical text classification using word embeddings

Orientador(a) (dc.contributor.advisor)Maillard, Patrícia Augustin Jaques
Coorientador(a) (dc.contributor.advisor-co1)Valiati, João Francisco
Lattes Coorientador(a) (dc.contributor.advisor-co1Lattes)http://lattes.cnpq.br/4658545839496086pt_BR
Lattes Orientador(a) (dc.contributor.advisorLattes)http://lattes.cnpq.br/5723385125570881pt_BR
Autor(a) (dc.contributor.author)Stein, Roger Alan
Autor(a) Lattes (dc.contributor.authorLattes)http://lattes.cnpq.br/6303163503199490pt_BR
Data de Disponibilização (dc.date.accessioned)2019-03-07T14:41:05Z
dc.date.available (dc.date.available)2019-03-07T14:41:05Z
Data da defesa / Data do evento (dc.date.issued)2018-03-28
Abstract (dc.description.abstract)Modelos eficientes de representação numérica textual (word embeddings) combinados com algoritmos modernos de aprendizado de máquina têm recentemente produzido uma melhoria considerável em tarefas de classificação automática de documentos. Contudo, a efetividade de tais técnicas ainda não foi avaliada com relação à classificação hierárquica de texto. Este estudo investiga a aplicação daqueles modelos e algoritmos neste problema em específico através de experimentação e análise. Modelos de classificação foram treinados usando implementações proeminentes de algoritmos de aprendizado de máquina—fastText, XGBoost e CNN (Keras)— e notórios métodos de geração de word embeddings—GloVe, word2vec e fastText—com dados disponíveis publicamente e avaliados usando métricas especificamente adequadas ao contexto hierárquico. Nesses experimentos, fastText alcançou um LCAF1 de 0,871 usando uma versão da base de dados RCV1 com apenas uma categoria por tupla. A análise dos resultados indica que a utilização de word embeddings é uma abordagem muito promissora para classificação hierárquica de texto.pt_BR
Resumo (dc.description.resumo)Efficient distributed numerical word representation models (word embeddings) combined with modern machine learning algorithms have recently yielded considerable improvement on automatic document classification tasks. However, the effectiveness of such techniques has not been assessed for the hierarchical text classification (HTC) yet. This study investigates application of those models and algorithms on this specific problem by means of experimentation and analysis. Classification models were trained with prominent machine learning algorithm implementations—fastText, XGBoost, and Keras’ CNN—and noticeable word embeddings generation methods—GloVe, word2vec, and fastText—with publicly available data and evaluated them with measures specifically appropriate for the hierarchical context. FastText achieved an LCAF1 of 0.871 on a single-labeled version of the RCV1 dataset. The results analysis indicates that using word embeddings is a very promising approach for HTC.en
Agência de fomento (dc.description.sponsorship)CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superiorpt_BR
URI (dc.identifier.uri)http://www.repositorio.jesuita.org.br/handle/UNISINOS/7624
Idioma (dc.language)pt_BRpt_BR
Nome da instituição (dc.publisher)Universidade do Vale do Rio dos Sinospt_BR
País da Instituição (dc.publisher.country)Brasilpt_BR
Departamento (dc.publisher.department)Escola Politécnicapt_BR
Sigla da Instituição (dc.publisher.initials)Unisinospt_BR
Programa (dc.publisher.program)Programa de Pós-Graduação em Computação Aplicadapt_BR
Direitos de acesso ao documento (dc.rights)openAccesspt_BR
Assunto (dc.subject)Hierarchical classificationen
Assunto (dc.subject)Text classificationen
Assunto (dc.subject)Word embeddingsen
Assunto (dc.subject)Convolutional neural networksen
Assunto (dc.subject)FastTexten
Assunto (dc.subject)Classificação hierárquicapt_BR
Assunto (dc.subject)Classificação textualpt_BR
Assunto (dc.subject)Redes neurais (computação)pt_BR
Assunto (dc.subject)FastTextpt_BR
Tema (CNPq) (dc.subject.cnpq)ACCNPQ::Ciências Exatas e da Terra::Ciência da Computaçãopt_BR
Título (dc.title)An analysis of hierarchical text classification using word embeddingspt_BR
Tipo de arquivo (dc.type)Dissertaçãopt_BR

Arquivos

Pacote original

Agora exibindo 1 - 1 de 1
Carregando...
Imagem de Miniatura
Nome:
Roger Alan Stein_.pdf
Tamanho:
465.08 KB
Formato:
Adobe Portable Document Format
Descrição:
analysis_hierarchical

Licença do pacote

Agora exibindo 1 - 1 de 1
Carregando...
Imagem de Miniatura
Nome:
license.txt
Tamanho:
2.12 KB
Formato:
Item-specific license agreed upon to submission
Descrição: