디지털 트윈 기반의 3차원 항적 및 비행 안전성 모니터링 시스템 개발을 통한 적용방안 연구
; 신용태††
; Yongtae Shin††
초록
본 연구는 비행체의 비행 안전성 강화와 자율비행 고도화를 위해 디지털 트윈 기반의 3차원 항적 및 비행안전성 모니터링 시스템을 개발하는 것을 목적으로 한다. 비행체의 실시간 기상 정보와 주변의 비행 교통 상황 정보 등 다양한 데이터를 통합하여 2D/3D 맵 상에 시각화하여 표출함으로써 비행체의 안전한 비행을 지원하는 실시간 통합 모니터링 시스템을 개발하였다. 제안한 시스템을 개발 및 적용하였으며, 시스템의 성능 분석을 위해 항적 정보 데이터 업데이트 주기 및 데이터 렌더링 속도를 측정하였다. 이를 통해 시스템 실시간성 및 성능을 확인할 수 있었다.
Abstract
This study aims to develop a Digital Twin-based 3D Trajectory and Flight Safety Monitoring System to enhance the Flight Safety of Aircraft and advance Autonomous Flight capabilities. We developed a Real-time Integrated Monitoring System that supports the safe Flight of Aircraft by integrating various data such as Real-time Weather Information and Surrounding Flight Traffic Situation Information, and Visualizing and Displaying them on a 2D/3D Map. The proposed System was developed and applied, and its performance was analyzed by measuring the Trajectory Information Data Update Cycle and Data Rendering Speed.
Keywords:
Digital Twin, Integrated Monitoring System, Urban Air Mobility, Flight Trajectory, Flight Safety키워드:
디지털 트윈, 통합 모니터링 시스템, 도심 항공 모빌리티, 항적, 비행 안전성1. 서론
최근 도심 항공 모빌리티(Unmanned Aerial Vehicle, UAV)와 무인비행체 운용이 급속히 확대됨에 따라 비행안전성 확보와 실시간 관제의 중요성이 크게 부각되고 있다[1-6]. 기존의 2D 기반 경로계획 및 모니터링 시스템은 공간적 한계와 실시간 위험 대응에 한계가 있어 3차원 데이터와 다양한 환경 정보를 통합적으로 활용하는 기술이 요구되고 있다[7]. 이에 따라 가상현실(Virtual Reality, VR), 혼합현실 (Mixed Reality, MR), 빅데이터 기반의 3D 경로계획 및 모니터링 기술이 연구되고 있으나, 실시간 안전성 평가, 다양한 위험요소 통합, 운용자와 관제자의 효율적 협업을 모두 만족할 수 있는 통합 시스템은 아직 미흡한 실정이다[8-12].
본 논문에서는 디지털 트윈 기술을 바탕으로 실시간 기상 및 교통 정보, 항적, 지오펜스 등 다양한 데이터를 2D/3D 맵에 통합하여 시각화하고, 항적 이탈 및 충돌 위험에 신속히 대응할 수 있는 3차원 비행안전성 모니터링 시스템(Trajectory and Flight Safety Monitoring System, 이하 TFSMS 시스템)을 제안한다[13].
제안한 시스템의 검증을 위해 시뮬레이션을 통한 항적 정보 데이터 업데이트 주기 및 데이터 렌더링 속도를 측정하였다.
본 논문의 구성은 다음과 같다. 2장에서는 제안된 기술과 관련된 사전 연구를 소개하고, 3장에서는 제안하는 시스템에 대해 설명한다. 4장에서는 제안하는 시스템의 성능 분석 결과를 제공하고, 이를 분석한다. 마지막으로 5장에서는 결론을 맺는다.
2. 관련 연구
2.1 무인비행체 모니터링 시스템
[1]은 도심 항공 모빌리티와 연계된 3D 가상현실 기반의 경로 및 모니터링 시스템을 설계하고 구현하였다. 기존의 2D 지도 기반 경로계획의 한계를 극복하기 위해 3D 가상현실 데이터를 구축하고, 격자 기반 장애물 데이터(Grid-based Obstacle Data)를 활용하여 3차원 경로계획과 실시간 UAV 상태 모니터링을 통합한 시스템을 제안하였다. 또한, 안양대학교 캠퍼스 주변 지역의 3D 가상현실 데이터를 구축하여 실시간 비행 데이터 연동 및 가상현실 내 경로 계획·모니터링 기능을 검증하였다[14].
[2]는 혼합현실 기술을 활용하여 도심 항공 모빌리티 환경에서 3D 도시 환경 내 장애물 및 비행 금지 구역을 회피하는 최적의 비행경로를 제공하고, 계획 경로, 실제 경로, 최적 경로를 동적으로 모니터링하는 시스템을 제안하였다. 해당 시스템은 HoloLens 등의 MR 디바이스를 활용하여 3인칭 시점에서 360도 모니터링이 가능하다.
3.3m x 3.8m x 2m 크기의 실내 환경에서 장애물 및 GPS 시스템을 설치하여 드론의 모의비행 데이터를 수집 및 활용하였다. 3차원 A-Star 알고리즘을 적용한 UAM의 최적 경로 제공, 3인칭 시점에서 UAM의 움직임을 다양한 각도에서 모니터링, 비행 금지 구역에 대한 실시간 경로 변화 및 대응을 통해 검증하였다.
[3]은 무인비행체 운항 로그 데이터와 A-Star 알고리즘을 결합하여, 실시간 장애물 및 기상 변화에 적응하는 맞춤형 3D 비행경로 추천 시스템을 제안하였다. 본 시스템은 계획 경로, 추천 경로, 현재 경로를 색상으로 구분하여 시각적으로 제공하며, 사용자별 특성과 환경 변화에 따라 적응적으로 대응한다. 미국 켄트대학교 실내 환경에서 Indoor GPS Beacon을 활용하여 비행체의 로그 데이터를 수집하였다. 다양한 장애물, 비행금지구역, 악천후 등 환경 변수에 따른 경로 추천 및 경고 기능 시뮬레이션, 사용자별 특성 반영 여부 검증, 경로 추천 결과 비교 실험 등을 통해 검증하였다[15].
3. 디지털 트윈 기반의 3차원 비행안전성 모니터링 시스템 설계 및 구현
3.1 시스템 구성 및 기능
항적 및 비행안전성 모니터링 시스템은 UAM(Urban Air Mobility) 비행체의 비행안전성(Flight Safety) 강화와 자율비행 고도화를 목표로 개발된 통합 모니터링 시스템이다. 본 시스템은 3차원 정밀 감시 기반의 비행안전성 평가 정보 및 레이더를 활용한 충돌회피 처리 정보를 통합하여 실시간 관제 서비스를 제공한다. TFSMS 시스템은 비행체가 비행하는 당시의 기상정보, 주변의 비행 교통 상황 정보 등을 통합적으로 2D/3D 맵 상에 시각화하여 표출함으로써 비행체의 안전한 비행을 지원하는 시스템으로 비행체 간 충돌을 예방하고, 항적과 다른 경우 즉시 경고/알람을 표출하여 운용자에게 알려주는 기능을 제공하는 등 안전한 운용을 하기 위한 시스템이다.
TFSMS 시스템은 2D Vehicle Operator Client(2D 운용자 클라이언트, 이하 2D VOC) 및 3D Visualization Monitoring(3D 시각화 모니터링, 이하 3D VM) 시스템으로 구성된다.
2D VOC는 웹 기반 운용자 클라이언트로 비행체 관리, 비행계획 관리, 비행 관리, 관제영역 관리, 승인 관리, 지오펜스 관리, 풍환경 시뮬레이션, 사용자 관리, 내 정보 등 다양한 기능을 제공한다.
비행체 관리 기능은 운용자의 비행체를 등록하여 관리하는 기능으로 비행체 등록, 조회, 편집, 삭제 기능으로 구성되어 있다.
비행계획 관리 기능은 운용자가 비행계획을 등록하는 기능으로 비행계획 등록, 조회, 편집, 삭제 기능으로 구성되어 있다.
비행관리 기능은 운용자가 등록한 비행계획을 승인요청하는 기능으로 관리자는 운용자가 등록한 비행계획 판단 후 승인 또는 거절할 수 있다.
관제영역 관리 기능은 관제영역을 설정할 수 있는 관리자 전용 기능으로 관제영역 등록, 조회, 편집, 삭제 기능으로 구성되어 있다.
지오펜스 관리 기능은 지오펜스를 설정할 수 있는 관리자 전용 기능으로 지오펜스 등록, 지오펜스 조회, 지오펜스 편집, 지오펜스 삭제 기능으로 구성되어 있다.
풍환경 시뮬레이션 기능은 비행체의 특성상 바람의 영향을 많이 받기 때문에 비행체의 크기, 무게, 바람의 영향 등을 적용한 알고리즘의 결과를 가시화한 기능으로 운용자는 비행체의 비행경로 주변의 실시간 풍환경의 영향 정도를 볼 수 있는 기능이다.
사용자 관리 기능은 사용자 정보를 확인할 수 있는 기능으로 사용자 정보 확인, 사용자 정보 편집, 사용자 정보 삭제 기능으로 구성된다.
내 정보 기능은 시스템에 로그인한 계정(관리자 또는 운용자)의 정보를 확인할 수 있는 기능으로 계정 정보 확인, 계정 편집 기능으로 구성된다.
3D VM은 2D VOC와 연동된 시스템으로써 2D VOC에 등록된 정보를 실시간 연계 및 관리하는 시스템이다. 본 시스템은 언리얼 엔진 기반의 3D 시각화 플랫폼으로 구현되어 있으며 비행체 관리, 비행 관리, 관제영역 관리, 지오펜스 관리, 모니터링, 1인칭/3인칭 모드, 풍환경 시뮬레이션, NOTAM 정보, 내 정보 등 다양한 기능을 제공한다.
비행체 관리는 등록된 비행체를 조회할 수 있는 기능으로 비행체 조회(비행체 ID, 운용자 ID, 콜사인, 모델명, 타입, 제조사, 중량, 최대 비행시간, 등록일시) 기능으로 구성된다.
비행 관리 기능은 비행계획의 승인 여부를 조회할 수 있는 기능으로 비행관리 조회 기능으로 구성된다. 비행관리 조회 기능은 모든 비행계획을 볼 수 있는 전체 보기, 운용자가 설정한 비행경로에 대해 관리자 승인 후 이착륙에 대한 승인대기 상태인 승인대기, 운용자가 설정한 비행경로에 대해 관리자가 해당 비행계획에 대해 거절한 상태인 승인거절, 운용자가 설정한 비행경로에 대해 관리자 승인 후 사용자가 이착륙에 대한 비행시작 보고를 하지 않은 상태인 비행대기, 관리자의 이륙 승인 후 비행중 또는 비행완료 후 비행완료를 보고하지 않은 상태인 비행중, 사용자가 착륙 후 비행완료 보고까지 완료한 상태인 비행완료로 구성된다.
관제영역 기능은 관리자가 설정할 수 있는 기능으로 관리자가 설정한 구역에 진입하거나 벗어나는 비행체를 관제하는 기능으로 관리자는 1개의 관제영역을 지정할 수 있으며, 해당 구역에 진입 또는 벗어나는 경우 알람 발생을 통해 실시간 정보를 알 수 있다.
지오펜스 기능은 2D VOC에서 설정한 지오펜스를 조회할 수 있는 기능으로 지오펜스 조회(지오펜스 ID, 이름, 유형, 시작시간, 종료시간, 중심좌표, 반경, 고도, 등록일시, 지오펜스 상태)로 구성되어 있다.
모니터링 기능은 비행 중인 비행체를 실시간 모니터링할 수 있는 기능으로 실시간 비행체 목록창을 통해 실시간 비행 중인 비행체를 대상으로 비행체 정보(콜사인, 유형, 이륙시간, 착륙시간, 이륙지점, 착륙지점, 안전지점)를 조회할 수 있다.
1인칭/3인칭 모드 기능은 비행 중인 비행체를 선택하여 실시간으로 1인칭, 3인칭 시점에서 모니터링할 수 있는 기능으로 실시간 비행체 목록창에서 해당 비행체 더블 클릭 시 1인칭/3인칭 모드로 해당 비행체를 모니터링할 수 있다.
풍환경 시뮬레이션 기능은 2D VOC와 연동되어 실시간 비행체 목록창에서 해당 비행체 비행경로의 풍환경 정보를 모니터링할 수 있다.
풍향과 풍속은 비행체의 실시간 위치에 따라 기상청 데이터의 근삿값을 활용해 가시화된다. 풍속은 비행체의 크기, 무게, 바람의 영향등을 적용한 알고리즘으로 미리 계산되어 DB에 저장되며, 해당 위치의 기상청 데이터 근삿값을 불러와 계산된 풍속값에 따라 Hue 값으로 시각화된다. 이를 통해 바람의 영향 정도와 위험 수준을 직관적으로 확인할 수 있다.
NOTAM 정보 기능은 실시간 항공고시보 정보를 조회 및 확인할 수 있는 기능으로 NOTAM 조회 기능으로 구성된다.
내 정보 기능은 로그인한 사용자의 계정 정보를 확인할 수 있는 기능으로 사용자 ID, 이름, 연락처, 이메일, 권한 정보를 조회할 수 있다.
3.2 시스템 설계
TFSMS 시스템의 전체 아키텍처는 그림 1과 같고, TFSMS 시스템 구성 목록은 표 1과 같다.
System Architecture(Definition of Overall System Components of TFSMS System)
System Configuration List
TFSMS 시스템의 인터페이스는 MQTT를 중심으로 내부 시스템과 외부 시스템으로 구분된다. 외부 시스템에서 MQTT Broker로 데이터를 주고 받는 인터페이스(ICD-143-TNE-MQTT, ICD-141-RDR-MQTT, ICD-142-ADB-MQTT, ICD-144-WMS-MQTT)와 MQTT Broker에서 Trajectory Evaluation Server로 데이터를 출력해주는 인터페이스(ICD-150-TES-MQTT), Simulation Server에서 MQTT Broker로 데이터를 출력해주는 인터페이스(ICD-151-SIM-MQTT), Map Server에서 3D VM으로 데이터를 출력해주는 인터페이스(ICD-152-MAP-HTTP), Web API Service와 3D VM 간 인터페이스(ICD-153-WAS-HTTP), Web API Service와 MQTT Broker 간 인터페이스(ICD-153-WAS-HTTP), Web API Service에서 Trajectory Evaluation Server로 데이터를 출력해주는 인터페이스(ICD-153-WAS-HTTP), Web API Service에서 Simulation Server로 데이터를 출력해주는 인터페이스(ICD-153-WAS-HTTP)로 구성된다. TFSMS 시스템의 통합 인터페이스 구성은 그림 2와 같다.
System Interface(Definition of Overall Internal and External Interfaces of TFSMS System)
TFSMS 시스템 요구사항을 바탕으로 기능 정의를 완료하였고, 2D VOC 및 3D VM의 주요 기능 구성 설계 완료하였다. 2D VOC의 경우 로그인/로그아웃, 비행관리, 관제영역, 승인요청(운용자), 승인관리(관리자), 지오펜스, 풍환경 시뮬레이션 등의 정의된 기능을 바탕으로 설계하였고, 3D VM의 경우 로그인/로그아웃, 비행관리, 관제영역, 모니터링, 1인칭/3인칭 모드, 풍환경 시뮬레이션, 알람 표출 등의 정의된 기능을 바탕으로 설계하였다.
2D VOC UI/UX 설계 화면은 그림 3과 같고, 3D VM UI/UX 설계 화면은 그림 4와 같다.
Design Screen(2D VOC)(UI/UX Design Screen of 2D VOC)
Design Screen(3D VM)(UI/UX Design Screen of 3D VM)
3.3 시스템 개발
UI/UX 설계에 따라 TFSMS 시스템의 개발을 완료하였다. 2D VOC 개발 화면은 UI/UX 설계에 맞춰 로그인/로그아웃, 비행관리, 관제영역, 승인요청, 승인관리, 지오펜스, 풍환경 시뮬레이션 등을 개발하였고, 3D VM은 로그인/로그아웃, 비행관리, 관제영역, 모니터링, 1인칭/3인칭 모드, 풍환경 시뮬레이션, 알람 등의 기능 개발을 완료하였다. 2D VOC 개발 화면은 그림 5와 같고, 3D VM 개발 화면은 그림 6과 같다.
Development Screen(2D VOC)(Development Screen based on UI/UX Design of 2D VOC)
Development Screen(3D VM)(Development Screen based on UI/UX Design of 3D VM)
4. 디지털 트윈 기반의 3차원 비행안전성 모니터링 시스템 성능 분석
성능 분석은 시스템 기능 측면에서 진행하였으며, TFSMS 시스템의 구성요소인 2D VOC와 3D VM을 각각 나눠 진행하였다. 2D VOC의 경우 실시간 항적 정보 데이터가 들어오기 때문에 데이터의 실시간성 측정을 위해 항공 관제에서 일반적으로 요구되는 1초 이하의 데이터 갱신 주기를 기준으로 업데이트 주기 속도를 측정하였다[16, 17]. 3D VM의 경우 엔리얼 엔진 기반으로 개발된 3D 플랫폼이기 때문에 시스템의 성능 기준이 되는 FPS(Frames Per Second)를 측정하였고, 실시간 통합 관제 시스템에서 일반적으로 요구되는 30 FPS를 기준으로 FPS를 측정하였다[18].
5. 결론
본 연구는 비행체의 비행안전성 강화와 자율비행 고도화를 목표로 하였으며, 이를 위해 디지털 트윈 기반의 3차원 항적 및 비행안전성 모니터링 시스템을 개발하였다. 시스템은 3차원 정밀 감시 기반의 비행안전성 평가 정보, 레이더 기반 충돌회피 처리 정보, 실시간 기상 정보, 2D/3D 맵 구축 기술 등을 통합하여 구현하였다.
3차원 항적 및 비행안전성 모니터링 시스템을 구성하는 2D VOC와 3D VM의 시스템 분석 결과, 2D VOC의 항적 정보 데이터 업데이트 주기는 평균 0.039s로 항공 관제 및 UAV 운용 분야에서 일반적으로 요구되는 1초 이하의 실시간 데이터 갱신 기준을 충족하였으며, 3D VM의 데이터 렌더링 속도는 평균 99.46 FPS로 실시간 3D 시각화 기준을 초과함을 확인하였다.
이러한 결과는 3차원 항적 및 비행안전성 모니터링 시스템이 비행체의 비행안전성 모니터링에 효과적으로 활용될 수 있음을 시사하며, 향후 다양한 비행안전성 모니터링 시스템 개발의 기초자료로 활용될 수 있을 것으로 기대된다. 또한, 향후 연구에는 AI 기반 예측 모델과 결합하여 항적 데이터에 대한 AI 기반 이상 징후 탐지 및 충돌 위험 조기 알림 기능 등을 적용하여 실시간 안전성 예측 및 사전 대응 체계를 강화할 계획이다.
References
- Shim, H. (2021). Urban Air Mobility(UAM) : Global Industry Trends and Future Challenges(Trade Focus 2021). Korea International Trade Association, vol.22, https://www.kita.net/researchTrade/report/tradeFocus/tradeFocusDetail.do?no=2221
- Baek, J., & Kim, S. (2024). The Future of Goyang Special City, Urban Air Mobility(Issue Report 2024). Goyang City Research Institute, vol.07, https://www.goyang.re.kr/research/06_view.php?num=388
-
Kim, D., & Lee, G. (2022). Surveillance-based Risk Assessment Model between Urban Air Mobility and Obstacles. Journal of the Korean Society for Aviation and Aeronautics, 30(3), 19-27.
[https://doi.org/10.12985/ksaa.2022.30.3.019]
-
Kim, D., & Chang, H. (2024). UAM Traffic Flow Management Based on Milestone in Collaborative Decision-Making. Journal of Advanced Navigation Technology, 28(4), 436-441.
[https://doi.org/10.12673/jant.2024.28.4.436]
-
Heo, C., Kang, K., & Yoon, H. (2024). UAM Airspace Surveillance Environment Analysis and Surveillance System Implementation. Journal of Korea Multimedia Society, 28(6), 872-878.
[https://doi.org/10.12673/jant.2024.28.6.872]
-
Yun, T., & Oh, S. (2024). Strategic Conflict Management for Safe Urban Air Mobility. Journal of Advanced Navigation Technology, 28(4), 450-458.
[https://doi.org/10.12673/jant.2024.28.4.450]
-
Kim, D., Lee, S., & Chang, H. (2025). Establishing Flight Safety Information Criteria for Traffic Management in Urban Air Mobility( UAM). Journal of Advanced Navigation Technology , 29(4), 442-448.
[https://doi.org/10.12673/jant.2025.29.4.442]
- Kim, H. ( 2022). A Monitoring Platform that Recommends Customized Flight Paths for UAVs in a Mixed Reality[ Master of Science in Software, Department of Computer Science]. Dangguk University Graduate School
- Oh, C., & Kim, H. (2022). Implementation of Basic MR - Based DT to Demonstrate Safe UAM Flight Paths in Urban Area. The 40 th Anniversary International Conference of the Korean Society of Transportation ( KST) & 10 th International Public Transportation Forum (IPTF), 237-238. https://kst.or.kr/bbs/board.php?bo_table=tugo_programbook87&wr_id=88
-
Lee, J. ( 2022). Sports Virtual Reality Technology Monitoring through Patent Big Data Analysis : LDA algorithm-based Topic Modeling. Korea Journal of Convergence Science, 11(11), 185-202.
[https://doi.org/10.24826/KSCS.11.11.11]
-
Wang, W., Lee, S., Park, S., & Yoon, S. (2024). Building Fire Monitoring and Escape Navigation System Based on AR and IoT Technologies. Journal of Korea Computer Graphics Society, 30(3), 159-169.
[https://doi.org/10.15701/kcgs.2024.30.3.159]
-
Lim, J., You, S., & Kim, Y. (2020). Monitoring System based on Bigdata Platform for Safety Management of Road Facilities. Journal of KIIT, 18(11), 139-151.
[https://doi.org/10.14801/jkiit.2020.18.11.139]
-
Kim, Y. (2020). Ground Risk Model Development for Low Altitude UAV Traffic Management. Journal of Advanced Navigation Technology, 24(6), 471-478.
[https://doi.org/10.12673/jant.2020.24.6.471]
-
Yoon, J. (2021). Design and Implementation of Virtual Reality Based UAV Path Planning and Monitoring System. Journal of the Korea Academia-Industrial cooperation Society, 22(12), 144-151.
[https://doi.org/10.5762/KAIS.2021.22.12.144]
-
Kim, H., Lee, W., & Lee, J. ( 2021). Design and Implementation of an Optimal 3D Flight Path Recommendation System for Unmanned Aerial Vehicles. Journal of Korea Multimedia Society, 24(10), 1346-1357.
[https://doi.org/10.9717/kmms.2021.24.10.1346]
-
Oh, E., Kim, H., Eun, Y., & Jeon, D. (2015). Study on Trajectory Prediction Accuracy Analysis Method for Performance Improvement of a Trajectory Prediction Module of Arrival Manager. Journal of the Korean Society for Aviation and Aeronautics, 23(3), 28-34.
[https://doi.org/10.12985/ksaa.2015.23.3.028]
-
Moon, W., Jang, H., & Kim, B. (2015). A Study on Resolving the Radar Blind Sector in Jeju region. Journal of the Korean Society for Aviation and Aeronautics, 23(4), 12-21.
[https://doi.org/10.12985/ksaa.2015.23.4.012]
-
Jang, S., Kim, W., & Yoo, J. (2013). An Efficient Application Virtualization Method for a Real Time Broadcasting System of Virtual 3D Contents. International Journal of Contents, 13(9), 1-9.
[https://doi.org/10.5392/JKCA.2013.13.09.001]
· 2014년 숭실대학교 정보통신학과(공학사)
· 2016년 숭실대학교 컴퓨터학과(공학석사)
· 2018년 숭실대학교 융합소프트웨어학과(박사수료)
· 2016년~현재 숭실대학교 융합소프트웨어학과 박사과정
관심분야 : 컴퓨터 네트워크, 공간정보, 디지털 트윈
znlsfks@naver.com
· 1985년 한양대학교 산업공학학과(공학사)
· 1990년 University of Iowa Computer Science (공학석사)
· 1994년 University of Iowa Computer Science (공학박사)
· 1995년 ~ 현재 숭실대학교 컴퓨터학과 교수
관심분야 : 컴퓨터 네트워크, 그룹통신, 분산 컴퓨팅, 인터넷 프로토콜, 초고속 통신망, 전자상거래 기술
shin@ssu.ac.kr