Emotion Recognition은 음악, 표정, 스피치, 텍스트, 영상 등 여러 도메인에서 연구가 진행되고 있음. Music Emotion Recognition(MER)은 청취자가 음악을 들으며 느끼는 감정을 분류하는 연구로, Valence-Arousal(VA-SPACE) 좌표 에서 연속적인 감정 값을 표현하는 Dimensional approach, 특정 Emotion 카테고리로 분류하는 Categorical approach가 있음. 현재 MER 분야에서는 Audio data에 Lyrics, Symbolic(MIDI data), Image, Biological data 등을 추가적으로 사용, Multi-modal 방법으로 문제 해결을 시도하고 있음. MER 연구는 추천시스템, 작곡 자동화, 심리 치료, 음악 시각화 등으로 학계 및 산업계에 응용되어 적용될 수 있지만 한계점이 존재함. 1) Emotion의 주관성 및 음악에서 Emotion feature 나타내는 지표 부재 2) 양질의 대량 데이터 확보 어려움. 3) 낮은 Emotion 분류 정확도 (Music Information Retrieval Evaluation Exchange(MIREX), audio mood classification task, 69.8%)

Fig 1. (Left) A Circumplex Model of Affect, The V-A Model (Russell, 1980)

Fig 2. (Right) Geneva Emotion Wheel Model (Scherer, 2005)

 음악에서 감정 분류 정확도를 높이는 것이 본 연구의 목표임. 스마트미디어 서비스 창의자율과제에 참여함. XGBoost 모델 기반 Music Emotion Classification을 진행. 음악 Beat detection하여 해당 감정 색상 시각화 모델 구현함. 선행 연구를 기반으로 감정 분류 정확도를 개선할 것임.

Fig 3. Music emotion classifcation & visualization model process

 Spotify open api 통해 데이터 수집 진행. 머신 러닝 모델을 이용하여 음악에서 감정 분류 진행함. 음악이 진행되며 나타나는 감정의 심화 정도를 표현하기 위해 Lyrics, Danceability 지표로 각각 Valence, Arousal 값에 가중치 부여. 시각화 모델에서 감정 및 색상을 표현하였음. MER 정확도 개선을 위해 여러 도메인에서 Emotion Recognition 리서치 진행할 예정임. 딥러닝 모델 이용하여 MER 연구 진행.

[1] Posner, Jonathan, James A. Russell, and Bradley S. Peterson. “The circumplex model of affect: An integrative approach to affective neuroscience, cognitive development, and psychopathology.” Development and psychopathology 17.3 (2005): 715-734.

[2] Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems 30 (2017).

[3] Chen, Changfeng, and Qiang Li. “A multimodal music emotion classification method based on multifeature combined network classifier.” Mathematical Problems in Engineering 2020 (2020): 1-11.