[iOS] 제스쳐로 드론 조종하는 AI앱 만들기 (1) - 프로젝트 구조와 MediaPipe와의 고난

미국 퍼듀대학교 인턴십 프로그램에 참여하게 되면서 4개월동안 팀프로젝트를 진행하게 되었습니다.

인공지능 개발자와 함께 협업하여 프로젝트를 진행하게 되었는데 주제는

Vision AI를 이용하여 손의 제스처를 인식 한 뒤 드론을 조종하는 iOS 앱 입니다.

하단의 구조도에서 알 수 있듯이, 인공지능 개발자가 MediaPipe를 활용하여 개발한 모델을 iOS앱에 넣어 실시간 손 영상의 제스처를 인식하고 소켓 통신을 통해 드론에게 조종신호를 보내는 것이 전체 구조입니다.

iOS 앱 구조도

AVFoundation을 통해 손 영상의 프레임들을 AI 모델에 넣고 인식 된 제스처의 신호를 소켓 통신을 통해 드론에 보냅니다. 또한 드론에서 촬영 되고 있는 영상들은 소켓 통신을 통해 iOS앱에서 실시간으로 확인 가능합니다.

인공지능 모델 구조도

그럼 지금부터 전체 개발 과정을 살펴 보도록 하겠습니다.

1. 인공지능 모델 개발하기

먼저, 인공지능 개발자가 iOS앱에 들어가게 될 모델을 개발합니다.

Google의 MediaPipe 프레임워크를 활용하여 카메라 영상 속 손의 특징점 랜드마크 좌표값을 얻어낸 뒤 이 좌표값들의 상대좌표값을 입력값으로 넣으면 손의 제스쳐를 분류하는 모델을 개발합니다.

XGBoost,LightGBM 등을 이용하여 개발하였습니다. 인공지능 개발자의 개발 부분이므로 간략히 넘어가겠습니다. 추후에 가능하면 상세 설명 포스팅을 추가하도록 하겠습니다.

2. 개발 된 AI 모델을 .coreml 형식으로 변환하기

위에서 개발한 모델을 iOS앱에 넣어야 합니다. 손의 제스처를 실시간으로 AI를 통해 분류 한 뒤 소켓 통신을 통해 실시간으로 드론을 조종하기 위해서는 서버를 거치지 않고 앱 자체 내에 모델을 직접 넣는 것이 불가피합니다.

TensorFlow를 기반으로 개발 된 모델을 iOS 앱에 넣기 위해서는 iOS AI 프레임워크인 CoreML에 사용되는 모델 형식인 .coreml로 변환해줘야합니다.

이를 변환하기 위해서는 coremltools 문서를 참고하여야 합니다.

구글링을 통해서 해결이 안되는 부분이 많았는데 해당 문서를 통해 모델의 종류에 따라 속성값들을 설정해줘야하는 경우가 있어서 문서를 잘 읽으면 도움이 될 것 같습니다. 또한 coreml로의 변환은 맥북에서만 가능합니다.

Core ML - 머신 러닝 - Apple Developer

Core ML - 머신 러닝 - Apple Developer

Core ML Tools Overview

Core ML Tools Overview

3. iOS 앱에 Google MediaPipe Framework 넣기

이 프로젝트를 위해 개발 된 모델은 MediaPipe를 통해 얻어진 좌표값을 입력값으로 필요로 하기 때문에 iOS 앱에서도 이 좌표값을 얻기 위해서는 MediaPipe프레임워크를 가지고 있어야 합니다.

먼저 MediaPipe가 무엇인지 알아보겠습니다.

MediaPipe 란?

MediaPipe는 Google이 제공하는 머신러닝 프레임워크입니다.

온디바이스에 초점을 맞추어 MediaPipe에는 모바일(Android, iOS), 웹, 데스크톱, 및 IoT 등에서 사용하기 쉽게 해줍니다.

오디오형식 데이터를 이용한 다양한 비전 AI 기능을 파이프라인 형태로 손쉽게 사용할 수 있도록 제공됩니다.

인체를 대상으로 하는 detect(인식)에 대해서 얼굴인식, 포즈, 객체감지, 모션트레킹 등 다양한 형태의 기능과 모델을 제공하는 프레임워크로, python 이외에도 여러 프로그램언어와 환경에서 사용하기 편리한 라이브러리 형태로 제공됩니다.

Home

Hands

 

 

위에서 말한 것 처럼 구글은 온디바이스를 위한 편리한 ML Solution을 제공하고 있다고 합니다.

하지만, 생각과 달리 iOS에서는 쉽지 않았습니다.

iOS에서의 구글 프레임워크 MediaPipe.. = 고군분투

일단 MediaPipe는 사용자가 쉽게 사용할 수 있는 Solution 형태와 사용자가 별도의 설정을 해주어 필요한 부분을 가져다 빌드해야하는 Framework 형태로 제공하고 있는데 iOS는 Solution 형태를 제공해주지 않고 있습니다.

나중에 추가되면 좋겠지만 구글이 iOS까지 크게 신경쓰기에는 어려울 수 밖에 없을 것 같습니다.

물론 다행히 프레임워크의 형태로 미디어파이프를 iOS에서 쓸 수 있습니다.

하지만 iOS의 legacy언어인 objective-c 형태로 제공하고 있고 빌드 파일을 사용자의 용도에 맞게 튜토리얼에 따라 바꾼 뒤 google build tool 인 bazel을 이용하여 빌드 해줘야 하는데

대부분의 iOS 개발자에게 objective-c는 낯선데다가 구글 미디어파이프의 개념이나 용어들 또한 아주 잘 이해하고 있어야 적절하게 빌드관련 파일을 작성하여 원활한 빌드가 가능합니다.

(참고로 bazel은 google에서 만든 빌드 툴로 gradle이나 maven 같은 역할을 하여 멀티 플랫폼에서 빌드가 가능하도록 합니다.)

 

MediaPipe on iOS

Hello World! on iOS

 

저 역시 MediaPipe의 위의 튜토리얼을 따라 bazel을 통한 build를 정말 많이 시도하고 처음으로 objective-c 관련 공부도 하였지만 bazel과 미디어파이프 간의 버전 문제 혹은 이를 해결하지 못하는 MediaPipe가 제공하는 iOS docs의 legacy 문제들로 인해 굉장히 어려움을 겪었습니다.

MediaPipe 공식 레포지터리 이슈에서도 해결방법을 찾아보았으나 저와 비슷한 오류를 겪고 있는 개발자들이 많았고 구글 내부적으로도 iOS 관련 문제들을 인식하고 내부에서도 해결 중이었습니다.

그렇게 포기하지않고 해결해보려 공식 레포지터리의 많은 이슈들을 뒤지던 중

bazel build와 MediaPipe에 능하신 훌륭한 개발자 분이 미리 컴파일 시켜 Swift 프로젝트에 미디어파이프를 넣어놓은 예제 파일을 올려 놓으신 것을 발견하였습니다😭

이 버전이 3년전버전이어서 또다른 개발자분이 코드를 수정하여 좀 더 최신의 미디어파이프를 사용하여 업데이트를 해놓았고 오픈 소스를 사용하게 되었습니다.

(정말 발견했을 때 계신 방향으로 절하고 싶었습니다..)

 

프로젝트에 사용하게 된 오픈소스

https://github.com/szotp-lc/HandTracker

GitHub - szotp-lc/HandTracker: Detect 3d hand landmark from video stream.

이렇게 우여곡절 끝에 MediaPipe Framework를 사용할 수 있게 되었고 프로젝트를 제대로 진행 할 수 있게 되었습니다.

이 부분에 대한 자세한 포스팅은 2편으로 이어서 작성하도록 하겠습니다.