AI 기반 포트홀 감지를 통한 도로 안전 개선: AI 비전 개발자 및 엔지니어를 위한 성능 최적화
YoonJae Yang
AI Application Developer, Nota AI
Hyungjun Lee
Research Engineer, Nota AI
포트홀을 지나칠 때마다 차량 손상이 걱정되시나요? 저희는 운전자를 보호하기 위해, 첨단 AI 기술을 활용해 도로 위험을 실시간으로 감지하는 포트홀 감지 애플리케이션을 개발했습니다. 이번 포스팅에서는 애플리케이션의 주요 기능과 사용된 AI 기술, 그리고 다양한 하드웨어 플랫폼에서 성능을 최적화하기 위해 넷츠프레소(NetsPresso®)를 어떻게 활용했는지 소개해 드리겠습니다.
애플리케이션 개요
저희 포트홀 감지 애플리케이션은 안드로이드 플랫폼에서 작동하며, 특히 인기 모델인 갤럭시 A30 스마트폰을 대상으로 개발되었습니다. 이 애플리케이션은 고급 객체 감지 AI 기술을 활용하여 도로의 포트홀을 실시간으로 감지하고, 즉각적인 경고를 통해 운전자가 필요한 조치를 취할 수 있도록 돕습니다. 주요 목표는 도로 안전을 강화하고 포트홀로 인한 사고를 최소화하는 것입니다.
이를 실현하기 위해, 안드로이드에서 실행 가능하고 모바일 장치의 ARM CPU에서 구동되는 TFLite 형식의 딥러닝 모델을 활용했습니다. 깃허브에서 안드로이드 앱과 해당 AI 모델을 함께 확인할 수 있습니다. 앱의 개발 및 배포는 양윤재 연구원이 주도했으며, AI 모델 개발 및 경량화 작업은 이형준 연구 엔지니어가 담당했습니다.
주요 기능: 도로 포트홀 실시간 모니터링과 즉각 경고로 안전 운전 지원
사용된 AI 작업: 객체 감지
애플리케이션 플랫폼 (지원 버전): OS: 안드로이드(Lollipop~)
AI 모델: TFLite
대상 하드웨어: 갤럭시 A30 (SM-A305)
깃허브 : https://github.com/nota-github/np_app_model_zoo/tree/main/1.pothole_detection
연구 참여자
안드로이드 앱 및 모델 배포: 양윤재 연구원
AI모델 개발 및 경량화: 이형준 연구 엔지니어
넷츠프레소를 통한 성능 향상
저희는 높은 감지 정확도를 확보하면서 지연 시간을 최소화해야 하는 문제에 직면했습니다. 운전자에게 적시에 경고하기 위해 포트홀을 최대한 신속하게 감지하는 것이 중요했습니다. 이 문제를 해결하기 위해 노타의 하드웨어 인식 AI 모델 최적화 플랫폼인 넷츠프레소를 사용했습니다. 넷츠프레소는 AI 모델 최적화를 위한 강력한 프레임워크입니다.
시나리오 1: 성능을 유지하며 지연 시간 개선
넷츠프레소를 사용하여 앱의 속도를 크게 향상시키면서 성능을 그대로 유지했습니다. 그 결과는 다음과 같습니다:
처음에는 지연 시간이 542.2ms인 YOLOv5-nano 모델로 시작했습니다. 하지만 넷츠프레소의 경량화 기술을 적용한 결과, 지연 시간을 144.6ms로 줄이면서 유사한 mAP 점수를 유지할 수 있었습니. 이를 통 운전자에게 더욱 신속한 경고를 제공하여 안전성을 높일 수 있습니다.
시나리오 2: 저가형 안드로이드 기기를 위한 경량 모델
저렴한 안드로이드 기기 사용자들도 포트홀 감지 애플리케이션을 사용할 수 있도록 넷츠프레소를 활용했습니다. 그 결과, 저성능 하드웨어에서도 모델을 효율적으로 실행할 수 있었습니다. 다음은 그 성과를 보여줍니다:
이 경우 저희는 YOLOv5-M 모델로 시작했으나, 저가형 기기에서는 과도한 자원 소모로 인해 성능 저하와 앱이 불안정해지는 문제가 발생했습니다. 하지만 넷츠프레소의 경량화 기술을 적용하여, GFLOPs 수를 2.7로 줄이면서도 적정한 mAP 점수를 유지할 수 있었습니다. 이 최적화를 통해 저가형 안드로이드 기기에서 앱의 성능을 크게 향상시켜 원활하고 안정적인 사용자 경험을 제공할 수 있게 되었습니다.
결과 시연
고급 AI 기술과 넷츠프레소로 최적화된 포트홀 감지 애플리케이션으로 도로 안전을 크게 개선할 수 있었습니다. 저희 애플리케이션은 도로에서 포트홀을 모니터링하고 운전자에게 신속하게 경고하여, 이러한 도로 위험으로 인한 사고와 차량 손상을 줄이는 것을 목표로 합니다. 고급 스마트폰이든 저가형 안드로이드 기기든 관계없이, 우리의 애플리케이션은 감지 정확도를 잃지 않으면서도 신뢰할 수 있는 성능을 제공합니다.
넷츠프레소의 최적화 기능을 이해하기 위해 원본 모델과 경량 모델의 성능을 보여주는 비디오를 제작했습니다. 이 비디오는 애플리케이션의 실시간 감지 기능을 보여주며, 넷츠프레소를 통해 성능이 어떻게 개선되었는지를 보여줍니다.
원본 모델 비디오
경량 모델 비디오
원본 모델 비디오에서는 실시간 감지 성능이 떨어져 경계 상자가 지연되는 것을 확인할 수 있습니다. 하지만 경량 모델 비디오에서는 실시간 감지 성능이 크게 개선되어 운전자에게 정확하고 신속한 경고를 제공합니다.
결론
고급 AI 기술과 넷츠프레소로 최적화된 포트홀 감지 애플리케이션으로 도로 안전을 크게 개선할 수 있었습니다. 저희 애플리케이션은 도로에서 포트홀을 모니터링하고 운전자에게 신속하게 경고하여, 이러한 도로 위험으로 인한 사고와 차량 손상을 줄이는 것을 목표로 합니다. 고급 스마트폰이든 저가형 안드로이드 기기든 관계없이, 우리의 애플리케이션은 감지 정확도를 잃지 않으면서도 신뢰할 수 있는 성능을 제공합니다.
노타의 포트홀 감지 애플리케이션에 대해 더 알아보고 코드베이스를 탐색하려면 깃허브 저장소를 방문해 보세요. 지속적인 개선 작업과 커뮤니티 참여를 통해 모든 사람이 더 안전한 도로 환경을 만들 수 있도록 노력하고 있습니다.
AI 기반의 포트홀 감지를 통해 도로 안전을 혁신하는 노타의 미션에 주목해 주세요!
