투기행위 인식률 향상(3)

모델 Fine tuning

지금까지 했던 방법들로 어느정도 인식률을 향상시킬 수 있었으나, 근본적으로 모델 자체의 정확도가 떨어지는 상황이었다. 따라서 현장에서 수집된 사람들의 이미지를 바탕으로 기존 모델을 파인튜닝하였다. 파인튜닝 결과 모델 성능이 눈에 띄게 향상되는 것을 볼 수 있었으며, 성능이 좋지 않게 나왔던건 결국 모델의 언더피팅 문제였던 것으로 밝혀졌다. 다음 사진에서 볼 수 있듯이, 투기 행위뿐만 아니라 Normal 포즈에 대해서도 confidence가 높게 잘 나오고 있다. 따라서 해당 모델을 최종 모델로 사용하기로 하였다.

TensorRT vs CUDA

기존 투기 행위 감지 모델은 TensorRT Engine 파일로, CUDA Stream을 통해 GPU에서 연산이 이루어졌으나, 새로운 모델은 pth 모델이었다. 따라서 CUDA에서 연산이 이루어졌으며, TensorRT에 비해 10배 이상 느린 속도 차이를 체감할 수 있었다. 지금은 차장님이 휴가중이셔서 따로 engine파일은 받지 못하고 있다. 차장님이 오시면 Pytorch를 TensorRT Engine 파일로 변환하는 방법에 대해 배운 뒤, 직접 torch2trt를 사용해봐야겠다. 앞으로 비전 관련한 프로젝트를 할 일이 있으면 TensorRT를 애용하야겠다는 것을 몸소 느낀 날이었다.

테스트셋 구축

이제 모델은 정해졌고, 테스트셋만 구축하면 된다. 따라서 오후에는 회사 밖에 나가서 테스트셋을 만들었다. 최대한 현장 cctv의 화각과 비슷하게 높은 곳에 올라가서 동영상을 찍었다. 이번주는 해당 동영상을 프레임으로 변환하고 정제작업을 마친 뒤, 모델에 다 넣어볼 예정이다.