1. 개요

💡 '컴퓨터비전'이란?

컴퓨터를 이용해 이미지 or 비디오로부터 의미있는 정보를 추출하는 방법을 연구하는 학문

✔ image(or video) ➡ sensing device ➡ interpreting device ➡ interpretations

- image(or video) : 입력 데이터 (사진 한 장 or 비디오(프레임들의 연속))

- sensing device : 세상의 영상을 디지털 신호로 변환해주는 장치 (픽셀 정보로 바꿔 컴퓨터가 읽을 수 있도록 해줌)

- interpreting device : 이미지 데이터를 이해 가능한 정보로 바꾸기 위해 수학적 알고리즘과 모델을 적용하는 장치/SW (CV 알고리즘들이 작동함 - 전처리, 특징 추출, 딥러닝 기반 인식, 기하학적 계산)

- interpretations : 모든 분석 결과를 바탕으로 사람처럼 이해하려고 시도하는 단계 (object detection, semantic segmentation, pose estimation, scene understanding, action recognition)

 

💡 목적

pixel과 의미 사이의 격차를 해소하기 위함. (pixel에 적힌 숫자와 의미 사이의 gap을 연결)

우리는 사진의 의미를 잘 알지만, 컴퓨터는 의미를 아는 단계까지 가는 것이 어려움.

 

💡 필요한 이유

- 픽셀이라는 숫자 값을 입력 받기에 어려운 것

- 시점이 다를 때 각도가 달라도 똑같은 물체임을 사람은 잘 알지만, 컴퓨터는 알기 어려움

ex) 조명이 바뀔 때

ex) 같은 물체인데 크기(scale)가 다른 경우

ex) 움직임이 있는 관절을 가진 생명체가 움직임이 있어 변형이 일어나는 경우

ex) 일부러 가려졌을 때

ex) 배경이 복잡한 경우 or 배경이나 전경이 물체랑 비슷한 경우

ex) 움직임으로 인한 블러

ex) 같은 종류의 물체인데 다르게 생긴 경우

 

💡 절차 비교

traditional ML flow : 사람이 손수 고안한 알고리즘을 사용함(handcrafted feature) ex) 픽셀의 컬러 분포를 계산하는 알고리즘

- feature : 선, 점, block, edge

deep learning flow : 데이터 기반 학습된 알고리즘을 이용해 특징을 추출함(learned feature)

 

💡 CV tasks

- beyond recognition : segmentation, 2d/3d generation

- scene graphs

- spatio-temporal scene graphs

- 3d vision&robotic vision

- slam