최근 이미지 분류 알고리즘은 많은 발전을 보이며 21,841개의 범주를 포함하고 있는 ImageNet 데이터셋에서도 90% 이상의 성능을 보이고 있다. 하지만 실제 공정에서 발생한 Image data에 대한 classification은 학습 데이터의 부족으로 적은 범주에서도 사용 가능한 인공지능을 개발하는데 한계가 있다. 또한 실제 제조 현장의 공정 데이터에서는 같은 Object가 다른 위치에 존재할 때 다른 범주로 정의 되는 경우(후속 조치가 달라져 다르게 분류)가 있어 인공지능 개발에 어려움이 있다.

 본 연구는 이미지 데이터에서 같은 Object가 다른 위치에 존재할 때 다른 범주로 분류하는 인공지능 모델에 대해 연구한다. 제안한 모델을 목표 데이터세트에서 최신 이미지 분류 모델과 비교 하고 95%이상의 성능을 목표로 한다.

1.Data preprocessing

 배경 정보를 보여주는 데이터 생성. 즉, 이미지 데이터에서 객체를 제거하여 배경만 남김.

2.Multi network model

 원본 이미지에서 feature를 추출하는 신경망과 배경만 남은 이미지에서 feature를 추출하는 신경망, 두 신경망으로 classifcation 모델 구성. 두 신경망에서 추출된 feature를 weighted combine하여 feature를 생성하고 image classification task 수행하도록 학습.

Fig 1. Classifcation task process

[1] YANG, Yuting; MEI, Gang; PICCIALLI, Francesco. “A Deep Learning Approach Considering Image Background for Pneumonia Identification Using Explainable AI (XAI)” IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2022