Humans express their emotions through multiple modalities, including facial
expressions, speech prosody and body gestures and various biological signals.
Therefore, multi modal emotion recognition has been a major interest in applications
requiring natural man-machine interaction and ambient intelligence scenarios, such as
security, driver safety, health-care, behavioral science, education, marketing and
advertising, where the response of the system to the user depends on the estimated
emotional and/or mental state of the user. In the literature, various state-of-the-art
techniques have been employed for emotion recognition from single modality (mainly
facial expressions and speech); but there are relatively few works that combine different
modalities in a single system for the analysis of human emotional state. Recent research
has started focusing on extraction of emotional features from each modality and then
combining the outputs of each modality for improved recognition of the user’s
emotional state.
In this thesis, we present an effective framework for multimodal emotion recognition
based on a novel approach for automatic peak frame selection from audio-visual video
sequences. Given a video with an emotional expression, peak frames are the ones at
which the emotion is at its apex, and hence are expected give higher emotion
recognition results. The objective of peak frame selection is to summarize the
expressed emotion over a video sequence. The main steps of the proposed framework
consists of extraction of video and audio features based on peak frame selection,
unimodal classification and decision level fusion of audio and visual results. We
evaluated the performance of our approach on eNTERFACE’05 containing six basic
emotional classes recorded in English and BAUM-1 audio-visual database containing
eight emotional and mental state classes recorded in Turkish. Experimental results
demonstrate the effectiveness and superiority of the proposed system over other
methods in the literature.
İnsanlar arası iletişimde yüz ifadeleri, ses tonundaki değişiklikler, vücut duruşu ve
hareketleri ve diğer biyolojik sinyaller gibi kipler duygularımız hakkında ipuçları
taşırlar. Günümüzde gittikçe önem kazanmakta olan insan-bilgisayar etkileşimi ve
yapay zeka uygulamalarının daha doğal ve etkin hale gelebilmesi için çok kipli duygu
tanıma problemi ilgi odağı haline gelmiştir. Duygu tanımanın güvenlik, sürücü
güvenliği, sağlık, davranış bilimleri, eğitim, reklam ve pazarlama gibi sistemin
tepkisinin kullanıcının duygusal ve zihinsel durumuna göre değişebileceği alanlarda
uygulamaları vardır. Literatürde, tek-kipli duygu tanıma yöntemleri mevcuttur (örn. yüz
ifadeleri ve ses kullanarak). Fakat, birden fazla kipi birleştirerek duygu ya da zihinsel
durum tanımaya çalışan yöntemler daha azdır. Yakın zamanda çok-kipli duygu tanıma
çalışmaları daha yüksek tanıma başarımı elde etmek amacıyla önem kazanmıştır.
Bu tezde, yüz ifadelerinden ve sesten çok kipli duygu tanıma amacıyla tepe çerçeve
seçimine dayalı bir sistem öneriyoruz. Duygusal ifade içeren bir yüz videosu
verildiğinde, tepe çerçeveler, duygusal ifadenin maximum olduğu yerlerdir ve duygu
tanıma için kullanıldığında daha yüksek tanıma oranları vermeleri beklenir. Bu nedenle
tepe çerçeve seçiminin amacı, video parçasındaki duyguyu en iyi şekilde özetlemektir.
Önerilen çok kipli duygu sisteminin ana basamakları, tepe çerçeve seçimine dayalı yüz
ifadelerinden ve sesten öznitelik çıkarma, tek kipli sınıflandırma ve karar aşamasında
birleştirme adımlarından oluşmaktadır. Sistemin performansını altı temel duyguyu
içeren İngilizce eNTERFACE ve sekiz duygu ve zihinsel durum içeren Türkçe BAUM-
1 veritabanları üzerinde test ettik. Deney sonuçları önerilen sistemin literatürdeki diğer
yöntemlere göre etkinliğini göstermektedir.
