실시간 수어 통역 화상 통신 시스템 개발

제가 참여하거나 수행하는 여러 수업중에 AI 자율주행 과정이라는 국비과정이 있습니다. [저희 수업에 대한 소개는 글 하단에~] 그 과정은 총 4번의 팀프로젝트를 수행하도록 되어 있는데. 그 중 3번째 프로젝트인 딥러닝 프로젝트에 대한 발표 영상 하나를 소개해 드릴려고 합니다. 저는 이렇게 우리 수강생들의 결과를 하나씩 소개하는 일이 너무나 즐겁습니다.^^.

배경

대한민국을 위키백과에서 검색해서 보면 특이한 사항이 하나 보입니다.

일단 면적, 10만 제곱킬로미터로 다른나라랑 면적 비교할때 편합니다. 응? 100만 제곱이 있으면 우리나라의 10배입니다하면 되니까요. 그건 중요한게 아니고, 바로 공용어 입니다. 우리나라의 공용어는 한국어라고 당연히 생각하시겠지만, 한국어와 함께 수어가 공용어로 되어 있습니다. 우리나라는 한국어와 수어를 공용어로 채택한 나라입니다. 저는 수강생들이 이런 취지에서 장애인의 편의를 위해 자신들이 공부한 것을 응용하는 프로젝트는 참 좋다고 생각을 합니다.

실시간 수어 통역 화상 회의 시스템 프로젝트

이번 팀은 실시간 수어 통역 화상 통신 시스템을 개발하려고 노력한 팀입니다.

영상 회의에서 수어를 인식하고 바로 텍스트로 변환해주는 기능이 주 기능입니다.

역시 시스템 구성을 잘 묘사했네요. 카메라 영상 관리하는 관리자와, 또 STT나 TTS API를 이용하는 것이지만, 음성과 텍스트를 관리하는 관리자를 두고 있습니다.

시퀀스 다이어그램을 묘사하고 있습니다. 이렇게 그림을 그리고 거기서 기능을 요약 정리하는 것이 얼마나 중요한지.. 물론 지금은 아직은 본인들의 생각이 바로 코드로 상상가지 않기 때문에 코드를 만들다가, 또 그림을 수정하거나, 혹은 코드를 마~~~~악 만들고, 그림을 그리다가 코드를 수정하는 과정이지만, 그 과정을 거쳐야 잘 개발할 수 있게 되겠죠.

수어 중에서 지문자를 인식하는 과정을 위해 딥러닝 모델을 만들었습니다. 바로 손을 인식하지 않고, 그 사이에 미디어파이프를 이용해서 관절값을 잡고 그 결과를 학습하고 있습니다.

꽤 단순한 모델인데 성능이 괜찮았나봐요~

ㅎㅎ 그러네요~ [얼굴을 모자이크할걸 그랬나요? ㅠㅠ]

TTS와 STT를 이용하기 위해 음성을 어떻게 처리하는지를 보여주고 있습니다.

여러 상황에서 다이어그램이 다수 존재합니다.

특히 수어 지문자가 아무래도 처리속도가 더딜테니 빈도수가 높은 단어를 추천하는 기능을 넣을려고 노력했네요.

원래 딥러닝으로 뭘 해볼려고 하면, 인식해야할 대상이 바뀌는 구간에서 뭔가 잘 안됩니다. 그것을 어떻게 처리할지를 고민한 내용입니다.

GUI도 소개를 하고 있구요.

사용자 등록 로그인 등 많은 고민을 한 팀입니다.

역시 DB 구성은 당연하죠~~

수어 대화도 잘되고, 추천 단어 빨리 선택하기도 잘되고, 수고했다고 말해주고 싶네요^^. 아래에 영상을 공유하는데, 영상이 중간쯤에 하울링이 심하게 들어갔습니다. 그러나 내용 전달에는 문제가 없는것 같습니다.

관련 링크

AI 자율주행 로봇 과정

https://addinedu-rosanddl.oopy.io/

ROS2와 인공지능을 활용한 자율주행 로봇 개발자 양성과정_6기

핑크랩이 진행하고 있는 다양한 교육

https://www.pinklab.art/edu_contents

교육 컨텐츠

핑크랩의 수업을 들은 학생들의 수업 프로젝트 수준~

https://www.pinklab.art/edu_project

수업내에서 진행된 프로젝트

당부의 말씀

AI 로봇, 딥러닝 관련 몇 주 정도의 단기 교육이나 교육형 경진대회에 대해 고민하시는 기관에서는 저희에게 문의주세요~

https://www.pinklab.art/hack

핑크랩이 진행한 교육형 행사들