Inertial sensor fusion for 3D camera tracking

Abstract

3D motion tracking becomes more important in computer vision with increase of robotics and augmented reality's (AR) applicable areas such as medical education, remote robot control, entertainment and cultural heritage. In order to achieve a realistic feeling of immersion, the rendering of the virtual content has to be in alignment with real objects in the video and this requires a high-accuracy 3D tracking. The methods using only camera measurements generally perform well at slow camera motion; however they become less accurate at high velocities and accelerations due to motion blur. Inertial sensors on the other hand measure the derivatives of the camera pose and hence can be employed to improve the tracking performance at high velocities and accelerations, but cannot perform well at slow motion because of the error drift. Therefore, we present a high-accuracy 3D camera tracking method using inertial sensors but not require placing any devices or points on the scene. 3D information of scene where 3D motion tracking is done is previously known. The method consists of an Extended Kalman filter (EKF) that fuses the information from visual and inertial sensors. A hybrid filter combining the Bayesian filter and the direct linear transformation (DLT) is also used instead of EKF. The biases of the inertial sensors are also considered during the motion. In addition to performance comparison of these two filter, the performance of using both or one of accelerometer and gyroscope measurements as control input is compared to using both or one of accelerometer and gyroscope measurements as measurement. It is concluded via simulations that using inertial sensors in 3D camera tracking gives more accurate results and using inertial sensors as measurement or control input does not affect the performance of 3D camera tracking, while providing a lower complexity tracker. Also, EKF always performs better than the hybrid filter in simulations.

Robotların ve eklenmiş gerçeklik uygulamalarının tıp eğitimi, robotların uzaktan kullanımı, eğlence ve kültürel miras gibi kullanım alanlarının artması ile birlikte, 3B (3 boyutlu) takip sistemlerinin Bilgisayarlı Görü alanında önemi biraz daha artmaktadır. Eklenmiş gerçeklik uygulamalarında gerçeklik hissinin yüksek olması için canlandırma sırasında kullanılan sanal karakterlerin mekan içerisinde doğru bir şekilde hizalanması çok önemlidir. Bunun için 3B takip sisteminin doğruluğu artırılmalıdır. Sadece video verisi kullanan 3B takip sistemleri hızlı hareketin olduğu durumlarda görüntü çok değişken olacağından, yeterince iyi izleme sonuçları vermeyebilirler. Eylemsizlik algılayıcıları ise hızlı hareket olan durumlarda iyi izleme yapabilirler, ancak az hareketin olduğu durumlarda ise ölçüm hatalarının birikmesi nedeniyle iyi çalışmayabilirler. Bu sebeple, hareket takibinin doğruluğunu artırmak için bu tezde eylemsizlik algılayıcılarının verilerinden de yararlanılacaktır. Aynı zamanda bu takip sistemi için mekana herhangi bir cihaz veya işaret yerleştirmeye gerek duyulmamaktadır. 3B hareket takibi video kameralar ve eylemsizlik algılayıcıları kullanılarak yapılmıştır. Hareket takibinin yapılacağı mekanın 3B bilgisi önceden çıkarılmıştır. Kamera verilen gelen verilerle eylemsizlik algılayıcılarından gelen veriler bir döngüsel Bayes kestirimi çerçevesinde birleştirilmiştir. Ayrıca, bu tezde 3B hareket takibi için hareketten yapı çıkarma yöntemi ile döngüsel Bayes süzgeçleme yöntemini birleştiren karma bir süzgeçte geliştirilmiştir. Eylemsizlik algılayıcılarıın sapma modelleri de hareket takibi sırasında göz önüne alınmıştır. Döngüsel Bayes süzgeç ile karma süzgeçin performanslarının karşılaştırılmasının yanında eylemsizlik algılayıcılarından gelen verilerin Bayes veya karma süzgeçte ölçüm yerine kontrol girdisi olarak kullanılmasının takip performansını nasıl etkilediği gözlenmiştir. Simülasyonlar sonuçlarına bakarak eylemsizlik algılayıcılarının 3B hareket takibinde kullanılması daha doğru sonuçlar bulmasını sağlamış, eylemsizlik algıyacılarından gelen verilerin ölçüm veya kontrol girdisi olarak kullanılması performansı neredeyse hiç etkilememesine rağmen süzgeç kullanımdaki karmaşıklığı azaltarak maliyeti düşürdüğü gözlemlenmiştir. Bununla birlikte döngüsel Bayes süzgeç kullanmak karma süzgeç kullanmaya göre her zaman daha iyi sonuçlar verdiği gözlemlenmiştir.