온정완

3D Reconstruction을 공부하는 대학원생입니다.

1. AI 최신 트랜드

  1. 초거대 AI를 만드는 회사의 등장
  2. 요즘 AI 분야의 메이저 흐름은 메타버스, 멀티모달, 고수준 End-to-End TASK이다.



2. 문제해결 노하우

2-1) 보행자 이상검출 문제

기존 방식은, 사람의 keypoint를 일일이 따서 이상 징후에 대한 keypoint를 학습시키고 분류한다. 이 방식의 문제점은 사람이 많아지면 keypoint가 너무 많아져서 실제 서비스가 불가하다는 것이다. 이를 해결하기 위한 해결책으로 다음을 제시한다.

  1. 1차적으로 이상행동을 opticalflow를 사용하여 푼다
  2. 에스컬레이터를 찍는 어항 카메라는 위치에 따라 보이는 화각이 3가지이다. 이 3가지 화각별로 넘어진 상황을 분류하여 성능을 향상시킨다.


2-2) Object Detection

장애물에 객체가 가려지거나, 객체끼리 가려지는 경우가 발생하여 정확도가 떨어지는 경우가 발생함. 따라서 화각을 여러개 사용하여 Detection하면 정확도를 올릴 수 있다고 한다.


2-3) 단계적 task

한번에 다 풀기보다는 단계적으로 접근하여 푸는 것을 추천한다. 만약, 손금 인식하는 모델을 개발한다면, 손 인식(1차) -> 손바닥 인식(2차) -> 손금 인식(3차)처럼 task를 차근차근 밟아나간다. 이러한 방식으로 해당 데이터가 없으면 문제에 존재하는 도메인을 찾아서 풀면 된다.



3. 딥러닝 모델 서비스

3-1) 서비스 관점

서비스 관점에서 필요한 것이 무엇인가를 항상 생각한다.

ex) 에스컬레이터 예제

사람의 keypoint를 활용하면 해당 문제를 쉽게 풀수는 있지만, 추론 속도가 너무 느려서 서비스는 불가능

또한, 초기 모델이 개발되면 일단 출시한다. 대기업의 경우에는 네임 벨류가 있어서 특정 기대치가 있지만, 그렇지 않은 경우는 일단 출시하는 것이 유리하다. 성능이 별로 안나오더라도 있는 것과, 아예 없는 것은 하늘과 땅 차이이다. 서비스 운영의 핵심은 로그와 모니터링이라는 것을 잊지 말자


3-2) 비용 관점

프로젝트 비용을 절감하기 위한 솔루션이다.

1) 실시간으로 응답을 주는 서비스 지양

사용자에게 실시간으로 바로 응답을 주면 좋겠지만, GPU 서버는 비싸다. 따라서, CPU 서버를 사용하여 비용을 절감하고, 앱 푸시등을 활용. 이를 통해 사용자의 앱 접속 시간을 늘린다.

ex) 강아지의 질병 진단 

GPU서버(실시간 응답) -> CPU 서버(느리지만 싸다.)

2) fp16 사용

fp32와 fp16의 추론 성능차이는 엄청나다. 하지만 적은 비용으로 초기 서비스를 만들어보기에는 충분하다.

3) Lambda를 활용한 AI 서빙

실시간 응답은 절대 불가하지만 서버리스로 서빙할 수 있다. 단, cold start문제가 있으므로 해당 문제는 해결하여 사용한다.



4. 딥러닝 모델 서빙

4-1) 서빙 방식

  • Tensorflow serving, Torch serving

    해당 서빙은 매우 무거우므로 비추천한다.

  • bentoml

    무난하게 사용하기 괜찮다.

  • NVIDIA trition Inference server

    극한으로 최적화 하고 싶을 때 사용하면 좋다고 하였다.
    단, 내 경험상 NVIDIA 제품은 NVIDIA GPU가 필수로 있어야 할 것이다.


4-2) 기본 흐름

nginx로 tomcat 분배. 프로메테우스 통해서 하드웨어 램 사용률등 모니터링하고 grafana로 실시간 확인한다. nginx부터 grafana까지가 운영의 최소 단위 이게 없으면 무조건 에러가 난다. 서비스 시에 꼭 유의하도록 하자.



5. 질의응답

AI, 대학원이 필수인가?

리서처를 너무 하고싶다면 대학원을 추천. 왜냐하면 수학적인 확률 분포를 깊이 이해해서 모델 설계를 하는 것과 그렇지 않는 것의 차이는 매우 크다. 위에서 소개한 운영/서비스쪽은 학사가 많지만, 전체적으로 AI의 감을 키우기 위해서는 대학원을 추천한다.

많은 클라우드 서버 중, AWS를 선택해야하는 이유? & AWS의 비용문제

AWS가 실제 서비스 시에 관리하기 가장 편하다. 또한, 사용자가 많지 않은 소규모 서비스에서는 비용이 많이 청구되지 않는다. 연구원님도 30만원선에서 해결하고 있다고 하심.

비전분야 이미지 전처리?

extrinsic calibration을 찾아보기

댓글남기기

참고