제로베이스 오프라인 수강생들의 머신러닝 딥러닝 작품 활동

최근 저는 제로베이스의 데이터사이언스 오프라인 스쿨반에서 머신러닝/딥러닝 부분을 수업을 진행했었는데요. 이 수업이 마지막에 몇 주간 프로젝트를 진행하는데요. 저는 이 수강생들의 프로젝트에도 깊숙히 관여를 보통 합니다. 이번 글에는 이 프로젝트를 소개하는 글을 적으려고 합니다.

딥러닝을 활용한 네트워크 이상 탐지

먼저 소개해 드릴 팀은 네트워크 이상 탐지를 딥러닝을 이용해서 수행하려는 팀입니다.

이 친구들이 목표로 삼은 것은 단순히 분류(classification)하는 것이 아니라 새로운 유형의 이상 데이터도 감지할 수 있도록 하는 것을 목표로 했습니다. 그러니 자연스럽게 조금 더 어렵게 주제를 끌고 갈 수 밖에 없는 거죠.^^

그래서 이 팀은 Semi supervised Learning에 많은 관심을 가지게 된 모양입니다.

이번에 이 팀이 발표를 할 때는 오토엔코더에 대한 설명을 많이 녹여넣었는데요. 많이 공부한 것 같았습니다.

이 팀이 사용한 데이터는 케이블 테이터로 용량이 만만하지 않았던 것 같습니다.

해당 데이터는 시간 순서의 데이터가 아니고 단위별 정리가 된 데이터입니다.

특히 EDA과정을 꽤 열심히 수행했습니다. 아마도 본인들이 잘 모르는 도메인의 데이터이니 공부할 필요도 있었을 겁니다.

TCP 분야에서 이상 데이터의 감지 성과입니다.

Denoising Auto Encoder를 이용해서 학습을 하고 다시 성과를 확인했을때만 다시 상세히 보면

이렇게 성과가 나타났네요. 이 팀은 데이터를 깊숙히 고민하고 아주 많은 방법과 고민을 시도한 팀이었습니다.

Now U See Me? 시각장애인을 위한 보행 안내 시스템 개발 

이 팀은 시각장애인들을 위한 보행 안내 시스템을 딥러닝으로 개발하려 노력했습니다. 점자 보도블럭 근처에 어떤 장애물이 있는지 차나 오토바이가 위협이 되지는 않는지 등을 감지해서 알려 주려 한것이죠. 

객체 인식에는 YOLO를 사용하고 인식된 객체에서 문장을 만드는 것은 GRU를 이용했습니다. 그리고 만들어진 문장을 TTS를 이용해서 읽는 거죠.

많은 노력이 옆보이는~ 발표 자료 입니다 ㅋ

위 그림은 라벨링 지옥에 빠져있는 장면입니다.

원하는 여러 물체를 잘 인식하게 되었구요.

문장을 만들려는 노력을 또 많이 기울였습니다.

3주의 시간동안 라벨링 부터 학습과 디버그까지 쉽지 않은 분량이지만 그 결과가 정말 잘 나왔다 아니다는 놓고 과정은 아주 잘 수행한 팀이라고 생각합니다. 

이미지 영상 한글 캡션 생성

이번 팀은 영상을 보면서 한글로 된 설명 - 캡션을 생성하는 작업을 수행한 팀입니다.

데이터는 AI Hub에 있는 데이터를 사용했구요.

MS COCO 데이터 셋으로 학습이 된 인셉션넷을 이용해서 이미지의 특징을 추출하고 그 특징과 문장을 학습했습니다.

모델의 평가지표를 번역기에서 사용하는 BLEU를 사용했구요.

다양한 시도를 하면서 학습 결과를 도출하려 노력했습니다.

결과가 사람이 하는것과는 다르지만, 또 뭐 맞다고 보기 어려울 수도 있지만, 그래도 유의미한 결과가 잘 도출되었다고 저는 생각합니다. 어려운 과정을 진행하려 노력한 팀원들이 대견하기도 합니다. 위 영성은 여러 테스트 영상중에 그냥 재미있어 보이는 영상을 공개합니다. 프레임별로 자막을 마구마구 뿌리는. ㅋㅋㅋ 영상입니다.