[수강생 프로젝트 소개] 딥러닝을 활용한 홈트앱~

이번에 소개해 드릴 저희 수업 수강생 프로젝트는 홈트앱입니다. 이제 딥러닝 등 기초를 배운지 겨~우 4개월인데 이정도 성장을 보여서 너~무 좋네요. 일단 이번 팀은 영상으로 운동중이 사람의 자세를 보고 운동을 인지해서 올바른 자세로 운동하는 경우를 확인하는 기능을 가지고 있습니다.

유저가 운동을 진행하는 동안 영상에서 관절값등을 인지해서 올바르게 운동을 하는지 확인하고, 이를 DB에 저장해서 운동 상황을 확인한 후 오늘의 목표등도 함께 제시하는 기능을 가지고 있습니다.

관절의 좌표를 인식하는 부분을 MediaPipe에게 맡기고 있고, 거기서 나온 관절 포인트 land mark를 이용해서 사람의 자세를 추정해서 올바른 자세인지 아닌지를 확인합니다.

비록 관절 포인트는 media pipe를 통해 얻고 있지만, 이 포인트를 이용해서 자세를 인식하는 것은 또 학습이 필요한 부분입니다. 이걸 해낸것도 저는 좋다고 생각합니다. 원하는 것을 얻기 위한 과정이 깨끗합니다.

landmark를 얻고 간단한 모델인 decision tree를 이용해서 자세를 인식하려 하고 있습니다.

그리고 틀린데이터도 라벨을 해서 넣어야 인식이 잘되더라는 경험도 공유하고 있구요.

이 팀은 또 음성 인식도 시도했습니다. 저도 소개한 적이 있는 librosa를 이용해서 음성을 주파수로 바꾸고, 그 결과를 가지고 인식하는 것이죠.

음성 인식은 간단한 단답들이지만, 뭐 나쁘지 않게 잘 하고 있습니다.^^

DB로 데이터를 관리하는 컨셉도 좋구요~

코드 흐름도 고민을 많이 한것 같습니다.

ㅎㅎ 잘 인식이 되고 있네요.

강의실 한 켠에서 팀원들이 모두 운동을 하면서 데이터를 수집하던 것이 떠오르는군요. 그래서 팀 이름이 알배긴사람들인가 봅니다.

밑에 영상에서도 나타나겠지만, plank 동작도 잘 인식하고 있습니다.

DB에 등록도 잘 되었음을 알 수 있구요. 이제 겨우 시작하는 친구들의 작품입니다만, 이렇게 좋은 성장을 보이는 친구들이 그저 대단하다고 박수쳐 주고 싶네요.