인공신경망과 언리얼 엔진의 실시간 결합: 초고속 공유 메모리(IPC) 기반 AI 로봇 제어
📌 하드코딩을 대체하는 82개 가중치의 초경량 지도학습: 복잡한 수학 공식과 조건문(if-else)을 일일이 손으로 코딩하는 대신, 2,000개의 상대 위치 예시 데이터를 지도학습으로 훈련한 82개 가중치의 초경량 인공신경망이 0.001초 만에 360도 최적 이동 방향을 실시간 추론합니다.
📌 16바이트 공유 메모리(IPC)를 통한 제로 레이턴시 달성: 네트워크 소켓 통신의 고질적인 지연(렉)을 제거하기 위해 시스템 RAM 내부에 단 16바이트 크기의 초소형 공유 메모리와 이벤트 시그널 방식을 구축하여, 언리얼 엔진 5(C++)와 파이썬(PyTorch) 간 무지연 양방향 통신을 구현했습니다.
📌 FRunnable 멀티스레드 기반 60FPS 무중단 제어 검증: 언리얼 엔진의 메인 렌더링 프레임을 전혀 방해하지 않는 비동기 워커 스레드 설계를 통해, 마우스로 이동하는 플레이어 캐릭터를 유연하게 추적하는 실시간 구동 시연을 성공적으로 마쳤으며 향후 자율주행 시뮬레이터 및 지능형 인터랙티브 NPC로의 확장 발판을 마련했습니다.
1장. 하드코딩의 한계를 넘는 초경량 인공신경망: 82개 가중치의 기적
게임 엔진 속 캐릭터나 로봇의 움직임을 제어할 때 전통적인 방식은 개발자가 직접 수학적 계산식과 분기 조건문(if-else)을 작성하는 하드코딩이었습니다. 그러나 상황이 조금만 복잡해져도 수천 개의 예외 조건이 엉키는 '스파게티 코드'가 발생하며, 사전에 정의되지 않은 돌발 상황과 마주치면 시스템이 멈추거나 오작동하는 치명적인 취약점을 드러냅니다.
이번 실시간 AI 제어 개념 증명(PoC)에서는 이러한 한계를 극복하기 위해 머신러닝의 3대 축 중 가장 확실하고 안정적인 지도학습(Supervised Learning) 방식을 채택했습니다. 비지도학습처럼 군집화에 머물거나 강화학습처럼 무수한 시행착오를 거치지 않고, 명확한 정답 예시 데이터를 기반으로 신경망이 스스로 최적의 유연한 판단 규칙을 학습하도록 설계했습니다.
2,000개 문제집과 전방위 균등 학습: 목표물이 사방 어디로 회피하더라도 사각지대 없이 추적할 수 있도록, 중심점 반경 20m 공간을 4개 사분면(1사분면 504개, 2사분면 522개, 3사분면 464개, 4사분면 510개)으로 각각 25%씩 균등하게 배치한 2,000개의 데이터셋을 구축했습니다.
단위 벡터(나침반 바늘) 정규화: AI에게 목표물의 상대 좌표(X, Y) 두 개의 숫자만 입력값으로 전달하고, 출력값은 길이가 1.0으로 정규화된 2차원 단위 방향 벡터(MoveVectorX, MoveVectorY)를 도출하도록 제한했습니다. 이동 속도와 가속도는 게임 엔진 물리 시스템이 전담하고, AI는 오직 순수한 이동 방향 계산에만 집중하여 연산 효율을 극대화했습니다.
82개 파라미터의 초경량 두뇌: 2,000개의 데이터셋을 100회(Epoch) 반복 복습하여 완성된 신경망(
model.pt)은 단 82개의 가중치 숫자로만 구성되어 시스템 메모리를 거의 소모하지 않으며, 단 0.0001초 만에 최적의 방향을 연산해 냅니다.
2장. 빛의 고속도로: 16바이트 공유 메모리(IPC)와 제로 레이턴시 아키텍처
실시간 인터랙티브 환경에서 딥러닝 두뇌를 구동할 때 직면하는 가장 큰 기술적 병목은 '언리얼 엔진(C++)'과 '파이썬(PyTorch)' 간의 통신 지연(Latency)입니다.
통상적으로 두 이종 플랫폼을 결합할 때는 로컬 TCP/IP 소켓 통신을 활용하지만, 패킷 직렬화와 네트워크 스택을 거치는 과정에서 밀리초 단위의 지연이 누적되어 3D 게임 화면이 뚝뚝 끊기는 프레임 드롭(렉)이 발생합니다. 이번 PoC에서는 컴퓨터 메인 RAM 내부에 두 프로세스가 동시에 접근할 수 있는 초고속 공유 메모리(IPC: Inter-Process Communication) 파이프라인을 구축하여 이 문제를 원천 해결했습니다.
16바이트 초소형 공유 메모장: 상대 위치 좌표 8바이트(Double 2개)와 AI가 계산한 방향 벡터 8바이트(Double 2개)를 기록할 수 있는 단 16바이트 크기의 최소화된 메모리 영역을 운영체제 레벨에서 할당했습니다.
이벤트 기반 시그널링: 폴링(Polling) 방식으로 CPU 자원을 낭비하지 않고, 언리얼 엔진이 좌표를 기록한 즉시 윈도우 OS 커널 이벤트를 발생시켜 파이썬 프로세스를 깨우고, AI가 추론을 마치면 즉시 신호를 반환하는 '벨(Ding-Dong)' 구조를 구현했습니다.
제로 레이턴시(Zero Latency) 통신: 소켓 오버헤드를 완전히 걷어내고 메모리 버스를 직접 공유함으로써, 초당 60회 이상의 고속 데이터 교환 환경에서도 지연 시간이 사실상 0초에 수렴하는 극저지연 연동을 달성했습니다.
3장. 1초에 60번의 실시간 의사결정: FRunnable 멀티스레드와 4단계 순환 제어
아무리 AI 연산과 IPC 통신이 빠르더라도, 화면을 직접 그리는 게임 엔진의 메인 게임 스레드(Game Thread)에서 데이터 교환을 동기 처리하면 미세한 버벅임이 발생할 수 있습니다. 이를 방지하기 위해 언리얼 엔진의 C++ 멀티스레딩 인터페이스인 FRunnable 기반의 독립 워커 스레드(Chaser.cpp)를 분리했습니다.
메인 렌더링 스레드가 60FPS 이상의 부드러운 화면 출력을 유지하는 동안, 백그라운드 워커 스레드는 1초에 60번(60Hz) 끊임없이 회전하는 4단계 실시간 제어 루프를 완벽하게 수행합니다.
1단계 거리 측정 (Unreal Engine): 언리얼 게임 엔진이 목표물(플레이어 마네킹)과 로봇 간의 3차원 위치 차이를 실시간으로 계산합니다.
2단계 메모장 기록 및 신호 송신 (공유 메모리 IPC): 백그라운드 스레드가 16바이트 공유 메모리에 상대 좌표를 기록하고 이벤트 핸들을 트리거하여 파이썬 프로세스에 추론을 요청합니다.
3단계 AI 방향 추론 (PyTorch): 파이썬 상주 프로세스(
EvalMode.py)의 신경망이 0.001초 만에 최적의 이동 나침반 바늘(단위 벡터)을 계산해 메모장에 기록합니다.4단계 로봇 3D 이동 및 시선 정렬 (Unreal Engine): 언리얼 엔진이 산출된 벡터를 읽어 로봇을 해당 방향으로 즉각 이동시키며, 로봇의 회전값(Yaw)을 이동 벡터에 일치시켜 진행 방향을 정확히 응시하도록 회전시킵니다.
실제 구동 영상(video_1.mp4)을 살펴보면, 좌측의 VS Code 터미널에서 초당 수십 회씩 상대 좌표 수집과 방향 벡터 추론 로그가 실시간 출력되는 동안, 우측 언리얼 엔진 5 뷰포트에서는 마우스 클릭으로 이리저리 급선회하는 플레이어 캐릭터를 동그란 외형의 로봇(Chaser)이 렉 없이 즉각 고개를 돌리며 오차 없이 추적하는 완벽한 60FPS 동기화를 확인할 수 있습니다.
4장. 시연 검증과 미래 확장: 자율주행 및 지능형 인터랙티브 NPC의 청사진
이번 PoC는 단순한 추적 데모를 넘어, 최신 딥러닝 인공지능 프레임워크와 하이엔드 3D 게임 엔진을 무손실·무지연으로 결합하는 범용 표준 아키텍처를 완성했다는 점에서 깊은 기술적 의의를 지닙니다.
입증된 핵심 성능 지표는 명확합니다.
즉각적인 방향 전환 반응: 플레이어가 경로를 급격히 꺾더라도 지체 없이 새로운 방향을 도출해 몸체를 회전합니다.
시선 정렬(Gaze Alignment): 단순히 좌표상으로 미끄러져 이동하는 것이 아니라, AI가 지시한 목표 지점을 정면으로 똑바로 응시하며 기동합니다.
프레임 드롭 제로(0%): 복잡한 프로세스 간 통신과 신경망 추론이 쉼 없이 돌아가는 상황에서도 뷰포트 렌더링 프레임이 60FPS로 안정적으로 고정됩니다.
이 초고속 통신 파이프라인은 향후 차세대 비주얼 테크놀로지로 확장될 수 있는 강력한 토대가 됩니다.
라이다(LiDAR) 센서 융합 자율주행 시뮬레이터: 현재의 2차원 상대 좌표 입력을 3D 라이다 포인트 클라우드 센서 데이터로 교체하면, 복잡한 도심 가상공간에서 주변 장애물과 보행자를 스스로 회피하는 고도화된 자율주행 알고리즘 검증 환경으로 직결됩니다.
전술적 사고가 가능한 스마트 NPC: 정해진 경로만 순찰하는 낡은 스크립트 기반 NPC를 탈피하여, 지형지물을 활용해 엄폐하고 아군과 유기적으로 협동하는 고지능 가상 에이전트를 메타버스와 실감형 가상공간에 구현할 수 있습니다.
언리얼 엔진 기반의 초정밀 디지털 트윈과 최첨단 딥러닝 신경망을 실시간으로 결합하는 공간 인텔리전스 기술을 선도하고 있습니다. 단순한 그래픽 시각화를 넘어 현실의 센서 데이터와 가상 환경이 유기적으로 호흡하는 차세대 실시간 시뮬레이션 및 피지컬 AI 인터랙션 솔루션을 지속적으로 개발해 나가겠습니다.
대표 전화 문의: 1577-7638
공식 이메일: withu@2tv.co.kr
공식 웹사이트: https://visual.center/