늦깎이 공대생의 인공지능 연구실
비전 기반 장애물 감지를 위한 이상 감지(Anomaly Detection for Vision-Based Railway Inspection) 본문
비전 기반 장애물 감지를 위한 이상 감지(Anomaly Detection for Vision-Based Railway Inspection)
Justin T. 2023. 3. 1. 22:51 딥러닝 기반 인공지능 기술이 비약적으로 발전하면서 이제는 사람보다 더 빠르게 특정 물체를 감지해 낼 수 있는 물체 감지 기술들이 등장하고 있습니다. 비록 2023년 현재 챗GPT의 등장을 계기로 인공지능과 직접 대화를 할 수 있는 기술이 등장하면서 다른 인공지능 기술들이 관심에서 멀어진 감이 있지만 Vision 분야에서도 ViT(Vision-Transform)이 등장하는 등 많은 발전된 모습들을 확인할 수 있습니다.
이전의 포스팅에서 언급 드린바와 같이, 딥러닝 기반 인공지능의 성능을 끌어올리기 위해서는 양질의 데이터가 필요로 하며, 학습하고자 하는 물체의 종류(Class) 및 각 종류별 갯수의 균형을 맞춤으로서 우리가 원하는 최고 성능의 모델을 얻을 수 있습니다.
그러나, 우리가 찾아내고자 하는 물체가 간헐적으로 발생하는 경우, 특정한 Class를 도출하기 곤란한 경우가 있습니다. 자율주행의 관점에서, 자동차가 도로를 주행할 때 사람 혹은 자동차와 같이 기존에 정의된 물체가 주행 경로를 가로막고 있을 경우 이를 사전에 학습한 모델이 학습된 물체들을 빠르게 감지하여 대응할 수 있으나, 인공지능이 미처 학습하지 못한 정체불명의 물체가 경로에 나타나게 될 경우 이를 장애물로 인지하지 못해 충돌하는 사고가 발생할 가능성이 있습니다. 이는 Vision 기반 카메라 만으로 자율주행 기술을 개발한 Tesla의 오토파일럿에서 이와 관련된 사고가 발생하였는데, 주행 도중 길을 막고 있던 하얀색 트랙터를 하늘의 구름으로 인식하는 바람에 이를 장애물로 보지 못해 사고를 낸 사례가 있었습니다.
이러한 사례들을 보았을 때, 인공지능이 학습하지 않은 미지의 물체를 감지하는 기술 또한 중요함을 알 수 있습니다. 이는 이상 감지(Anomaly Detection) 기술로 인공지능이 학습하였던 패턴과는 다른 경우가 발생하였을 때 이를 감지해내는 기술로서 학습 데이터가 부족할 때 정상적인 데이터를 기반으로 이상 상태의 데이터가 들어왔을 때 이를 감지해내는 기술이라고 할 수 있겠습니다.
이번 포스팅에서는 Anomaly Detection을 사용하여 철길 위에 떨어진 미상의 장애물을 감지해내는 기술에 대해 설명하는 논문을 소개드리면서 Vision 기반 Anomaly Detection 기술을 소개드리도록 하겠습니다.
요약
철송의 안전을 보장하기 위해 철길 위의 장애물 감지는 중요합니다. 이 논문에서, 저자들은 RGB 혹은 열화상 이미지를 통해 철길 위의 장애물을 찾아내고자 합니다.
소개
철길 위에 떨어진 장애물로 인해 기차가 운행하던 도중 충돌하여 탈선하게 될 경우 심각한 재산 손실 및 인명피해가 발생합니다. 이러한 사고를 막기 위해 저자들은 열차가 운행하지 않는 밤 시간에 RGB카메라와 열화상 카메라가 설치된 드론을 사용해 철길 위를 비행하여 얻어낸 영상에서 장애물을 감지하고자 합니다. 저자들은 이상감지 모델로서 Autoencoder와 Binary Classifier 2개의 인공신경망 모델을 사용하였습니다. 이는 아래와 같은 구조로 설계되었습니다.
Autoencoder로 Anomaly Detection 역할을 수행하고 그 결과물로 CNN 기반의 Binary Classifier로 해당 영상에서 이상 감지 여부를 True와 False로 분별할 수 있도록 하였습니다.
컴퓨터비전에서의 Anomaly Detection
일반적인 관점에서, 이상감지는 재구성 기반 모델(Reconstruction-based Model) 방식과 확률론적(Probabilistic) 방식이 있습니다.
재구성 기반 모델(Reconstruction-based Model) 방식
이 방식은 다른 Sparse-coding 알고리즘, Deep Encoder-Decoder, 혹은 GAN과 같은 구조와 같은 다른 방법들을 통해 일반적인 데이터의 매개변수를 재구성하여 학습하는 방법입니다. 유사한 접근방식으로, 미래의 프레임을 예측하는 방법으로서, 현재의 프레임과 비교하여 이상을 감지하는 방법입니다.
확률론적(Probabilistic) 방식
이 방식은 움직임의 특성과 정상적인 겉모습의 밀도함수에 가깝습니다. 이 경우 비매개변수 및 매개변수 추정기를 활용한 광학적 흐름(Opticl Flow) 및 궤적 분석(Trajectory analysis)이 자주 사용됩니다.
데이터 수집
저자들은 데이터 수집을 위해 RGB카메라와 열화상카메라가 탑재된 드론을 사용하였고, LPG가스통과 전기선 절연기 등 철도와 관련된 장애물들을 철길 위에 떨어트려놓은 상황들을 수집하여 이를 감지해야 할 이상 상황으로 가정하였습니다.
모델 구조
저자들은 2개의 딥러닝 기반 프레임워크로 구성된 모델을 제안하였으며, Anomaly Detection에 사용하는 오토인코더와 장애물 유무를 판단하는 분류기로 구성되어 있습니다.
오토인코더(Autoencoder)
모델의 입력값은 단일 프레임이고 출력값은 재구성된 프레임입니다. 모델이 학습되는 동안, 신경망은 이상 상황이 없는 프레임 입력만 받습니다. 이러한 방법으로, 신경망은 정상 프레임만 학습되었기 때문에 입력 프레임에 이상이 있더라도 출력은 항상 이상이 없는 이미지만 출력해야 합니다.
학습된 모델은 원본 입력 프레임과 비교하여 절대차(Absolute Difference)와 기울기차(Gradient Difference) 두 종류의 이미지를 분류기에 전달하여 이상 여부를 판단합니다.
분류기(Classifier)
심층 이진 분류기로서, 오토인코더의 2개의 출력값을 통해 프레임에 이상이 있는지 예측합니다. 출력값은 정상인지 이상이 있는지 둘 중 하나의 값을 출력하게 됩니다.
실험결과
수집된 데이터로 학습된 모델에 이상 상황의 이미지를 입력하였을 때 결과를 확인해보겠습니다. 먼저, 입력 프레임을 살펴보도록 하겠습니다. 여기서 맨 오른쪽의 이미지는 철도 상에 장애물이 없는 경우를 나타냅니다.
주어진 입력을 Autoencoder에 삽입하면 아래와 같은 이미지가 출력됩니다. Autoencoder에서 학습한 장애물이 없는 이미지가 출력되는 것을 보실 수 있습니다.
다음으로 이진분류기에 들어가기 전 입력 프레임과 오토인코더의 출력 프레임으로부터 2종류의 Difference를 구한 값을 살펴보도록 합시다.
위의 Difference값을 보았을 때 맨 오른쪽의 결과값으로부터 선로상에 어떤 장애물도 없는 경우 Classifier에서 이를 정상으로 분류될 수 있음을 확인할 수 있습니다.
결론
Vision 기반 Anomaly Detection이 실제 환경에서 적용된 사례를 다룬 논문에 대해 소개해드렸습니다. 사실 인공지능을 실제 환경에 적용하는 것이 결코 쉽지만은 않지만, 오늘날 챗GPT가 온세상을 놀라게 했던 것과 같이 산업 분야에서 인공지능이 뛰어난 능력을 발휘하는 모습을 머지않은 미래에 볼 수 있으리라 조심스레 예상해봅니다!
참고자료: https://doi.org/10.1007/978-3-030-58462-7_5
Gasparini, R. et al. (2020). Anomaly Detection for Vision-Based Railway Inspection. In: , et al. Dependable Computing - EDCC 2020 Workshops. EDCC 2020. Communications in Computer and Information Science, vol 1279. Springer, Cham.
