LSTM 모델을 활용하여 사람에게 블록 조립을 가이드하는 딥러닝 모델을 개발한 저희 수강생의 프로젝트를 소개합니다.

저는 핑크랩이라는 이름과 저 개인의 이름을 약간 혼용해서 활동하는데요. "제가" 혹은 "저희가"라고 지칭하면서 이야기하는 수업관련 내용은 대부분 저와 저희 핑크랩의 활동을 구분없이 이야기하는 거라고 생각해주세요.

잠시 핑크랩과 PinkWink가 진행하는 수업의 종류 소개

https://www.pinklab.art/01315226-c5c4-4527-91e4-b227e387fc45

딥러닝 AI 로봇 관련 특강

저는 몇일간, 주로 3일에서 5일 정도의 기간을 수업하는 특강형태의 위 링크 방식의 수업과 

https://www.pinklab.art/0c6eec4d-75d7-42d7-8ff3-c87e069a1dd5

단기 집중형 교육

몇 주 정도 진행하는 위 링크 단기 집중형 수업을 진행합니다. 그러나 24년 1월 현 시점 제가 가장 많은 에너지를 쏟는 수업은 두 개인데요.

https://www.pinklab.art/2679fca4-139e-4821-838b-55755f1d8e6a

부트캠프 대면 교육

위 링크의 AI 로봇 개발자 과정이 하나입니다. 주로 ROS2와 자율 주행 부분을 수업을 하고 있고, 6개월이라는 긴 호흡의 수업입니다. 저 혼자 진행하는 수업은 아니고, 각각의 파트를 담당해주시는 강사님들이 계십니다.

https://www.pinklab.art/038cb29c-1724-4ba6-8cbe-45b9e3fdb22f

부트캠프 비대면 교육

그리고 오늘 소개할 수강생들의 수업은 위 링크의 부트캠프로 딥러닝에 대한 이야기를 제가 주로 많이 합니다.

LSTM을 이용한 블록 조립을 가이드하는 딥러닝 모델을 개발한 수강생 소개

방금 위의 마지막에 언급한 교육은 제로베이스의 교육입니다. 저는 거기서 프로젝트 위주의 가이드를 많이 하는데요. 오늘 소개할 수강생은 LSTM 모델을 활용해서 사람에게 블록 조립을 가이드하는 프로젝트를 수행한 팀입니다. 프로젝트 소개를 하기 전에 먼저 이 팀의 프로젝트 결과 영상부터 바로 보시죠.

아주 훌륭한 성과를 가져온 팀입니다. 이 팀이 가지는 성과를 이렇게 소개할 수 있어서 또 저도 기쁘기도 합니다.

이 팀은 제조 공정에서 작업자의 작업을 가이드하는 컨셉을 구현하려는 노력에서 시작되었습니다. YOLO 모델과 LSTM을 사용했는데, YOLO는 작업자가 작업하는 대상 블록을 인식하는 것이고, LSTM은 행동을 인식하는 것에 촛점이 맞춰져 있습니다. 

LSTM은 지금 프로젝트 처럼 몇 초 정도의 시간 전체에서 사용자의 행동을 인식하려 할 때 유용합니다. 시간의 흐름? 순서가 있는 데이터를 학습할 때 사용하는 모델입니다.

이 팀은 블록을 잡고 있다. 잡고 움직이고 있다 등을 인식하고 싶었기 때문에 LSTM을 사용하게 되었습니다.

일단 작업 대상인 블록들을 조립 가이드를 하기 위해 블록들을 YOLO로 학습을 시키면서, 또 블록의 중간 과정들도 학습을 시키게 되었습니다.

이제 "손"이라는 사진에 바로 접근하기에는 난이도가 조금 있어서 media pipe를 이용해서 손의 landmark를 얻어서 그 데이터를 가지고 LSTM을 가동하게 됩니다.

생각보다 LSTM의 학습 성과가 좋네요.

이제 위 그림처럼 블록을 쌓는 과정을 저렇게 인식해서 가이드하게 됩니다. 마지막으로 이 수강생 팀의 전체 발표영상을 한 번 감상해보세요. 이 프로젝트를 수행한 팀원들이 좋은 회사에서 좋은 일들을 시작하게 되기를 기원합니다. 제가 능력이 부족해서 그들에게 좋은 일자리를 소개해 주지 못하는 것이 너무나 안타까워 이렇게 글을 작성합니다. 그리고 마지막으로 이런 딥러닝 모델 개발과 적용에 관심있는 기관이나, 이런 내용을 교육 받기를 원하는 기관의 연락을 기다립니다.