Automatic extraction of affective multimodal face videos

dc.contributor.advisorEroğlu Erdem, Çiğdem
dc.contributor.authorKansın, Can
dc.date.accessioned2024-09-26T08:06:24Z
dc.date.available2024-09-26T08:06:24Z
dc.date.issued2012-09
dc.description.abstractResim ve videolarda yer alan insan yüzlerini bulunması, takip edilmesi ve duygusal/zihinsel durum bilgisinin kestirilmesi uzun süredir araştırma yapılan bir alandır. Duygusal ve zihinsel durum kestirimi amacıyla bir yöntem geliştirmek için duygu içeriği olan resim ve video veri tabanlarına ihtiyaç duyulmaktadır. Hâlihazırda araştırmacıların erişimine açılmış olan veri tabanları, genellikle yapay yüz ifadeleri içerirler ve kontrollü koşullar altında laboratuvar ortamında kaydedilmişlerdir. Doğal duygusal ifadeler ve farklı aydınlatma koşulları içeren, farklı yaş ve etnik gruplardan insanlardan oluşan veri tabanlarına ihtiyaç vardır. Böyle veri tabanlarının derlenmesi ise oldukça zaman alan ve zahmetli bir süreçtir. Bu tezde, doğala daha yakın duygu ifadeleri içeren ses ve yüz veri tabanı elde edebilmek için otomatik bir yöntem geliştirilmiştir. Hâlihazırda var olan sinema filmleri ve televizyon dizileri çokça duygu içerikli yüz videoları içermektedir. Bu filmlerde yer alan insan yüzleri otomatik olarak tespit edilip, sahne değişimi ya da örtüşme nedeniyle takip edilmez oluncaya kadar kısıtlı yerel modeller kullanılarak otomatik olarak izlenmektedir. Yüzün başarıyla takip edildiği video klibi, ona ait ses ve varsa altyazı bilgileri ile beraber bir dosyaya kaydedilmektedir. Önerilen otomatik yöntem ile Türkçe ve İngilizce duygusal klipler içeren bir ses ve görüntü içeren veritabanı oluşturulmuştur. Bu veri tabanı araştırmacıların erişimine açık olup, diğer diller için de önerilen yöntem kullanılarak kolayca genişletilebilir.tr_TR
dc.description.abstractDetection of human faces and estimation of affective information from facial images and videos is a research field, which has been very active in the last decade. Designing a system for estimation of the emotional (affective) and mental state of a person requires large annotated databases for the training and test phases. The available affective databases today are mostly recorded in controlled laboratory environments and contain acted expressions. Therefore, large databases that contain close to spontaneous expressions, with varying illumination conditions, subject ethnicities and subject ages are needed. However, such databases are very difficult and laborious to collect. In order to fulfill this need, we present an automatic system that can extract audio-visual facial clips from readily available movies and TV series, which are shot under close to real life conditions. The proposed system first automatically detects, and tracks all faces in a given video. The landmarks on the face are tracked using a Constrained Local Model based method. When the face tracking is no longer possible due to occlusions or a scene cut, the facial audio-visual video clip is extracted and written to a file, together with subtitles if available. The extracted video clips are manually evaluated in terms of their affective content and they are added to the database after quality check and annotation stages. The system has been successfully used to create an affective audio-visual database containing video clips in English and Turkish. The database (BAUM-2: BAhçeşehir University Multimodal affective database) is open to researchers and can easily be extended to include audio-visual clips in other languages.
dc.identifier.urihttps://hdl.handle.net/20.500.14719/1671
dc.language.isoentr_TR
dc.publisherBahçeşehir Üniversitesi Fen Bilimleri Enstitüsütr_TR
dc.subjectFacial expression recognitiontr_TR
dc.subjectEmotion recognitiontr_TR
dc.subjectAffect recognitiontr_TR
dc.subjectSpontaneous expressionstr_TR
dc.subjectConstrained local modeltr_TR
dc.subjectAudio-visual databasetr_TR
dc.subjectYüz ifadesi tanımatr_TR
dc.subjectDuygu tanımatr_TR
dc.subjectKısıtlı yerel modellertr_TR
dc.subjectSes ve görüntü içeren yüz veritabanıtr_TR
dc.titleAutomatic extraction of affective multimodal face videostr_TR
dc.typeThesistr_TR

Files

Original bundle

Now showing 1 - 1 of 1
No Thumbnail Available
Name:
134254.pdf
Size:
4.03 MB
Format:
Adobe Portable Document Format
Description:

License bundle

Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
1.71 KB
Format:
Item-specific license agreed upon to submission
Description:

Collections