Reconhecimento de emoções acadêmicas por face através de aprendizagem profunda: considerando a sequência de emoções e a personalidade do estudante
| Orientador(a) (dc.contributor.advisor) | Maillard, Patrícia Augustin Jaques | |
| Lattes Orientador(a) (dc.contributor.advisorLattes) | http://lattes.cnpq.br/5723385125570881 | pt_BR |
| Autor(a) (dc.contributor.author) | Werlang, Pablo Santos | |
| Autor(a) Lattes (dc.contributor.authorLattes) | http://lattes.cnpq.br/6490709711099792 | pt_BR |
| Data de Disponibilização (dc.date.accessioned) | 2023-06-01T14:47:46Z | |
| dc.date.available (dc.date.available) | 2023-06-01T14:47:46Z | |
| Data da defesa / Data do evento (dc.date.issued) | 2022-10-31 | |
| Abstract (dc.description.abstract) | Affective computing aims to improve human-machine interaction by developing tools and techniques to enable the system’s decision-making processes to adjust to human affective states. Automatic face recognition of emotions is a relatively recent area that has the potential of turning human-computer interaction into an increasingly natural experience. Especially in intelligent learning environments, emotion detection benefits the students by directly using their affective information to perceive their difficulties, adapt the pedagogic intervention and engage them. The present work created a model capable of recognizing by face the emotions commonly experienced by students in interaction sections with learning environments: engagement, confusion, frustration, and boredom. The proposed model used deep neural networks to classify one of these emotions, extracting statistical, temporal, and spatial features from the videos provided for training, including eye movement and Action Units. Considering the psychological model of affect dynamics proposed by D’Mello, which states that in learning situations, each emotion’s experience is tied to each other, and their presence is determined by the order in which they are shown, this work’s main contribution is to take into account the flow of emotions as well as the learner’s personality traits as a mean for increasing emotion detection accuracy. We tested several model configurations and their efficiency compared to recently developed models. Results show that considering the learning emotions sequence and the personality as models’ input improves those algorithms’ effectiveness. Training the model on the DAiSEE dataset, we achieved 26.27% F1 improvement (from 0.5122 to 0.6468) when including the emotions’ history in the model, while we achieved 1.48% F1 improvement on the model trained using the PAT2Math dataset (from 0.8741 to 0.8871) when including subject’s personality traits. Compared to the state-of-the-art, the model achieved a superior 5.6% using the F1 metric. However, its accuracy was 4.7% lower. | en |
| Resumo (dc.description.resumo) | A computação afetiva busca melhorar a interação homem-máquina, desenvolvendo ferramentas e técnicas para tornar os processos de decisão dos sistemas mais adaptados aos estados afetivos humanos. O reconhecimento automático de emoções através da face é uma área relativamente recente e que possui o potencial de tornar a interação com um sistema de computador uma experiência cada vez mais natural. Em especial nos ambientes inteligentes de aprendizagem, a detecção das emoções beneficia diretamente os estudantes ao usar as suas informações afetivas para perceber suas dificuldades, adaptar a intervenção pedagógica e engajá-lo. As emoções engajamento, confusão, frustração e tédio, comumente presentes em contexto de aprendizagem, são a chave para manutenção do engajamento do aluno e, por consequência, o sucesso de seu aprendizado. O presente trabalho desenvolveu um modelo capaz de reconhecer através de vídeos da face as emoções engajamento, confusão, frustração e tédio experimentadas pelos estudantes em seções de interação com ambientes de aprendizagem. O modelo proposto se utiliza de redes neurais profundas para realizar a classificação em uma destas emoções, extraindo características estatísticas, temporais e espaciais dos vídeos fornecidos para treinamento, incluindo movimento dos olhos e Action Units. Considerando o modelo psicológico proposto por D’Mello de interação entre as emoções de aprendizagem, que considera que existe um fluxo de interação entre as emoções que determina a ordem em que essas se manifestam, o trabalho possui como principal contribuição a consideração do fluxo das emoções, bem como características de personalidade para detecção mais precisa das emoções. Diversas configurações de modelos de aprendizado profundo de máquina foram testadas, e suas eficiências comparadas aos modelos mais recentemente desenvolvidos. Os resultados trazem evidências que considerar a sequência de emoções de aprendizagem e a personalidade dos estudantes como entrada nos modelos melhora a efetividade desses algoritmos. Utilizando o treinamento na base de dados DAiSEE o ganho de desempenho na métrica F1 foi de 26, 27% (de 0, 5122 para 0, 6468) quando incluído o histórico de emoções no modelo, e na rede treinada na base PAT2Math o ganho de desempenho foi de 1, 48% na métrica F1 (de 0, 8741 para 0, 8871) quando também incluído os traços de personalidade do indivíduo. Quando comparado ao estado-da-arte, o modelo obteve um desempenho 5, 6% superior utilizando a métrica F1, porém a acurácia teve uma perda de 4, 7%. | pt_BR |
| Agência de fomento (dc.description.sponsorship) | Nenhuma | pt_BR |
| URI (dc.identifier.uri) | http://www.repositorio.jesuita.org.br/handle/UNISINOS/12444 | |
| Idioma (dc.language) | pt_BR | pt_BR |
| Nome da instituição (dc.publisher) | Universidade do Vale do Rio dos Sinos | pt_BR |
| País da Instituição (dc.publisher.country) | Brasil | pt_BR |
| Departamento (dc.publisher.department) | Escola Politécnica | pt_BR |
| Sigla da Instituição (dc.publisher.initials) | Unisinos | pt_BR |
| Programa (dc.publisher.program) | Programa de Pós-Graduação em Computação Aplicada | pt_BR |
| Direitos de acesso ao documento (dc.rights) | openAccess | pt_BR |
| Assunto (dc.subject) | Reconhecimento de emoções | pt_BR |
| Assunto (dc.subject) | Redes neurais profundas | pt_BR |
| Assunto (dc.subject) | Emoções no aprendizado | pt_BR |
| Assunto (dc.subject) | Reconhecimento multimodal | pt_BR |
| Assunto (dc.subject) | Computação afetiva | pt_BR |
| Assunto (dc.subject) | Emotion recognition | en |
| Assunto (dc.subject) | Deep learning | en |
| Assunto (dc.subject) | Neural networks | en |
| Assunto (dc.subject) | Learning emotions | en |
| Assunto (dc.subject) | Multimodal recognition | en |
| Assunto (dc.subject) | Affective computing | en |
| Tema (CNPq) (dc.subject.cnpq) | ACCNPQ::Ciências Exatas e da Terra::Ciência da Computação | pt_BR |
| Título (dc.title) | Reconhecimento de emoções acadêmicas por face através de aprendizagem profunda: considerando a sequência de emoções e a personalidade do estudante | pt_BR |
| Tipo de arquivo (dc.type) | Tese | pt_BR |
Arquivos
Pacote original
1 - 1 de 1
Carregando...
- Nome:
- Pablo Santos Werlang_.pdf
- Tamanho:
- 2.98 MB
- Formato:
- Adobe Portable Document Format
- Descrição:
- reconhecimento_emocoes
Licença do pacote
1 - 1 de 1
Carregando...
- Nome:
- license.txt
- Tamanho:
- 2.12 KB
- Formato:
- Item-specific license agreed upon to submission
- Descrição: