Sains & Teknologi

Algoritma ini Mampu Mengidentifikasi Emosi Seseorang dari Cara Berjalan

Durasi Baca: 3 menit

Sebuah tim peneliti di University of North Carolina di Chapel Hill dan University of Maryland di College Park baru-baru ini mengembangkan model Pembelajaran Dalam (Deep Learning) yang dapat mengidentifikasi emosi orang berdasarkan gaya berjalan mereka.  Pendekatan mereka, seperti yang diuraikan dalam makalah arXiv, yaitu dengan mengekstraksi gaya berjalan seseorang dari video RGB tentang dia berjalan, kemudian menganalisis dan mengklasifikasikannya sebagai salah satu dari empat emosi: bahagia, sedih, marah atau netral.

Deep Learning (Pembelajaran Dalam) atau sering dikenal dengan istilah Pembelajaran Struktural Mendalam (Deep Structured Learning) atau Pembelajaran Hierarki (Hierarchical learningadalah salah satu cabang dari ilmu pembelajaran mesin (Machine Learning) yang terdiri algoritma pemodelan abstraksi tingkat tinggi pada data menggunakan sekumpulan fungsi transformasi non-linear yang ditata berlapis-lapis dan mendalam.

“Emosi memainkan peran penting dalam kehidupan kita, mendefinisikan pengalaman kita, dan membentuk bagaimana kita memandang dunia dan berinteraksi dengan manusia lain,” Tanmay Randhavane, salah satu peneliti utama dan mahasiswa pascasarjana di UNC, mengatakan kepada TechXplore. “Memahami emosi orang lain membantu kita memahami perilaku mereka dan memutuskan tindakan kita terhadap mereka. Misalnya, orang berkomunikasi dengan sangat berbeda dengan seseorang yang mereka anggap marah dan bermusuhan, dibandingkan dengan orang yang mereka anggap tenang dan puas.”

Baca juga:  Terungkap, Karakter Kepribadian yang Lebih Mungkin Melakukan Kecurangan

Kebanyakan alat pengenalan dan identifikasi emosi yang ada bekerja dengan menganalisis ekspresi wajah atau rekaman suara. Namun, penelitian sebelumnya menunjukkan bahwa bahasa tubuh (misalnya, postur, gerakan, dll.) juga bisa mengatakan banyak tentang bagaimana perasaan seseorang. Terinspirasi oleh pengamatan ini, para peneliti mulai mengembangkan alat yang dapat secara otomatis mengidentifikasi emosi yang dirasakan individu berdasarkan gaya berjalan mereka.

“Keuntungan utama dari pendekatan pengenalan emosi yang dirasakan kami adalah bahwa ia menggabungkan dua teknik yang berbeda,” kata Randhavane. “Selain menggunakan pembelajaran yang mendalam (deep learning) , pendekatan kami juga memanfaatkan temuan studi psikologis. Kombinasi kedua teknik ini memberi kami keunggulan dibandingkan metode lainnya.”

Pendekatan pertama mengekstrak gaya berjalan seseorang dari video RGB dari mereka yang berjalan, merepresentasikannya sebagai serangkaian pose 3-D. Selanjutnya, para peneliti menggunakan metode long short-term memory (LSTM) recurrent neural network dan random forest (RF) classifier untuk menganalisis pose ini dan mengidentifikasi emosi yang paling menonjol dirasakan oleh orang dalam video, memilih antara kebahagiaan, kesedihan, kemarahan atau netral.

Menggunakan video RGB dari individu yang berjalan, teknik estimasi pose manusia 3D mutakhir digunakan untuk mengekstraksi satu set pose 3D. Pose 3D ini diteruskan ke jaringan LSTM untuk dianalisa. Jaringan LSTM ini dilatih menggunakan beberapa data gaya berjalan. Fitur afektif juga diperhitungkan, yang terdiri dari fitur postur dan gerakan menggunakan karakterisasi psikologis. Kami menggabungkan ini fitur afektif dengan fitur deep learning dan mengklasifikasikan fitur gabungan menjadi 4 emosi dasar menggunakan pengelompokan Random Forest (FR).

LSTM awalnya dilatih pada serangkaian fitur mendalam, tetapi ini kemudian dikombinasikan dengan fitur afektif menggunakan postur dan isyarat gerakan. Semua fitur ini pada akhirnya diklasifikasikan menggunakan RF classifier.

Randhavane dan rekan-rekannya melakukan serangkaian tes pendahuluan pada set data yang berisi video orang berjalan dan menemukan bahwa model mereka dapat mengidentifikasi emosi yang dirasakan individu dengan akurasi 80 persen. Selain itu, pendekatan mereka menyebabkan peningkatan sekitar 14 persen dibandingkan metode pengenalan emosi lain yang dirasakan yang berfokus pada gaya berjalan orang.

Baca juga:  Penelitian Ini Mengungkapkan Cara Melangkah Yang Efektif Membakar Kalori Ketika Berjalan

Bersama Tanmay Randhavane dan Aniket Bera, tim peneliti di balik penelitian ini termasuk Dinesh Manocha dan Uttaran Bhattacharya di University of Maryland di College Park, serta Kurt Gray dan Kyra Kapsaskis dari departemen psikologi University of North Carolina di Chapel Hill .

Untuk melatih model deep learning mereka, para peneliti juga telah menyusun dataset baru yang disebut Emotion Walk (EWalk), yang berisi video individu yang berjalan di dalam dan luar ruangan yang diberi label dengan perasaan yang dirasakan. Di masa depan, dataset ini dapat digunakan oleh tim lain untuk mengembangkan dan melatih alat pengenalan emosi baru yang dirancang untuk menganalisis gerakan, postur, dan / atau gaya berjalan.

Baca juga:  Yuk Kenali Bedanya Perasaan Sedih Dengan Depresi

Menurut Bera, alat pengenal emosi yang dirasakan dapat segera membantu mengembangkan robot dengan keterampilan navigasi, perencanaan, dan interaksi yang lebih maju. Selain itu, model seperti milik mereka dapat digunakan untuk mendeteksi perilaku tidak normal atau pola berjalan dari video atau rekaman CCTV, misalnya mengidentifikasi individu yang berisiko bunuh diri dan memperingatkan otoritas atau penyedia layanan kesehatan. Model mereka juga dapat diterapkan di industri VFX dan animasi, di mana ia dapat membantu desainer dan animator dalam menciptakan karakter virtual yang secara efektif mengekspresikan emosi tertentu.

    Leave a Reply