오늘 세미나는 Mask R-CNN이다! 내가 연구하는 주제는 아니지만 집중해서 세미나를 들었다. 그러나 자기가 연구하는 주제가 아니면 정말 어렵다ㅠㅠ오늘도 새벽세미나는 피곤하다. 지금하는 연구가 좀 여유로워지면 깊게 살펴보도록 할 것이다!
"Splash of Color: Instance Segmentation with Mask R-CNN and TensorFlow," matterport, 2019년 5월 21일 수정, 2019년 5월 21일 접속, https://engineering.matterport.com/splash-of-color-instance-segmentation-with-mask-r-cnn-and-tensorflow-7c761e238b46.
해당 블로그를 분석하여 Mask R-CNN 공부를 하였습니다.
Instance Segmentation
-classification
풍선이 있음
-Semantic Segmentaion
풍선은 다 같은 무리로 구분
-Object Detetion
객체를 검출할 때 바운딩 박스를 기준으로 검출
-Instance Segmentation
풍선마다 번호를 매겨 다 다른 풍선임을 알 수 있고 바운딩 박스를 기준으로 검출
Mask R-CNN
1.Backbone
(Backbone의 의미는 등뼈로 보통 채널수가 가장 큰 네트워크를 칭함)
여기서의 Backbone은 ResNet50,101을 사용(주 네트워크)
특징추출해서 전달
얕은 층에서는 low level features을 추출->엣지나 코너
깊은 층(뒤쪽 층)에서는 high level features을 추출->차나 하늘,사람 같은 객체
Backbone 네트워크를 거치면
2.Feature Pyramid Network(FPN)
conv해서 들어갈 때 정보를 상호적으로 가져다 쓰는 방식
low level,high level features 두가지를 한번에 가져와서 쓴다.
(Feature Pyramid Network 설명_꾸준희 블로그.)
1.각 레이어마다 (conv->predict 레벨마다 반복)
2.스케일(시그마 값을 크게 한 것이라고 생각-블러링이 심하면 표준편차가 심하니까 스케일을 업_다운샘플,업샘플)
--스케일에 강인하다(스케일에 로버스트하다):특징이 잘 살아남는다
3.
4.Top-Down 방식
상위레벨(꼭대기 층_해상도가 올라감_작은 영상) –
Q 해상도를 올린다. 업샘플링이다 헷갈림(정리하고 넘어가기)
Mask R-CNN
Faster R-CNN에 mask가 추가된 것—Mask R-CNN
Branch-마스크를 딸 때 Branch한다고 함
ROI(박스단위 구분)으로 해서 positive regions을 선별해 내는 것과 더불어 그 것에 맞는 mask까지 만들어 내는 것
코드도 확인해보기!