Automatic extraction of affective multimodal face videos

Abstract

Resim ve videolarda yer alan insan yüzlerini bulunması, takip edilmesi ve duygusal/zihinsel durum bilgisinin kestirilmesi uzun süredir araştırma yapılan bir alandır. Duygusal ve zihinsel durum kestirimi amacıyla bir yöntem geliştirmek için duygu içeriği olan resim ve video veri tabanlarına ihtiyaç duyulmaktadır. Hâlihazırda araştırmacıların erişimine açılmış olan veri tabanları, genellikle yapay yüz ifadeleri içerirler ve kontrollü koşullar altında laboratuvar ortamında kaydedilmişlerdir. Doğal duygusal ifadeler ve farklı aydınlatma koşulları içeren, farklı yaş ve etnik gruplardan insanlardan oluşan veri tabanlarına ihtiyaç vardır. Böyle veri tabanlarının derlenmesi ise oldukça zaman alan ve zahmetli bir süreçtir. Bu tezde, doğala daha yakın duygu ifadeleri içeren ses ve yüz veri tabanı elde edebilmek için otomatik bir yöntem geliştirilmiştir. Hâlihazırda var olan sinema filmleri ve televizyon dizileri çokça duygu içerikli yüz videoları içermektedir. Bu filmlerde yer alan insan yüzleri otomatik olarak tespit edilip, sahne değişimi ya da örtüşme nedeniyle takip edilmez oluncaya kadar kısıtlı yerel modeller kullanılarak otomatik olarak izlenmektedir. Yüzün başarıyla takip edildiği video klibi, ona ait ses ve varsa altyazı bilgileri ile beraber bir dosyaya kaydedilmektedir. Önerilen otomatik yöntem ile Türkçe ve İngilizce duygusal klipler içeren bir ses ve görüntü içeren veritabanı oluşturulmuştur. Bu veri tabanı araştırmacıların erişimine açık olup, diğer diller için de önerilen yöntem kullanılarak kolayca genişletilebilir.

Detection of human faces and estimation of affective information from facial images and videos is a research field, which has been very active in the last decade. Designing a system for estimation of the emotional (affective) and mental state of a person requires large annotated databases for the training and test phases. The available affective databases today are mostly recorded in controlled laboratory environments and contain acted expressions. Therefore, large databases that contain close to spontaneous expressions, with varying illumination conditions, subject ethnicities and subject ages are needed. However, such databases are very difficult and laborious to collect. In order to fulfill this need, we present an automatic system that can extract audio-visual facial clips from readily available movies and TV series, which are shot under close to real life conditions. The proposed system first automatically detects, and tracks all faces in a given video. The landmarks on the face are tracked using a Constrained Local Model based method. When the face tracking is no longer possible due to occlusions or a scene cut, the facial audio-visual video clip is extracted and written to a file, together with subtitles if available. The extracted video clips are manually evaluated in terms of their affective content and they are added to the database after quality check and annotation stages. The system has been successfully used to create an affective audio-visual database containing video clips in English and Turkish. The database (BAUM-2: BAhçeşehir University Multimodal affective database) is open to researchers and can easily be extended to include audio-visual clips in other languages.