요약: 최근의 다중모달 대규모 언어 모델(MLLM)은 단일 모델 내에서 교통 환경을 인지하고 이를 바탕으로 추론하며 주행 행동을 제안할 수 있습니다. 그러나 기존의 MLLM 기반 주행 시스템은 매 프레임마다 처음부터 다시 추론을 수행하고, 한 가지 해석에만 고정된 채 이전의 여러 가설을 버립니다. 환경이 모호한 경우, 에이전트는 잘못된 해석에 고착되어 증거가 축적되기 전에 그에 따라 행동하게 됩니다. 본 논문에서는 이러한 문제를 해결하기 위해, 여러 개의 가설을 동시에 유지하면서 새로운 프레임이 도착할 때마다 각 가설의 가중치를 업데이트하는 MLLM 기반 주행 프레임워크인 DriveMind를 제안합니다. 파티클 필터링에서 영감을 받은 DriveMind는 각 가설을 VLM을 통해 전파하고, 현재 관찰과 비교하여 점수를 매긴 뒤, 다양성을 유지하기 위해 재표본화를 수행합니다. Bench2Drive 실험에서 동일한 주행 파이프라인에 신념 추적 기능을 추가함으로써, Driving Score(DS)는 68.50에서 81.37로, Success Rate(SR)는 41.36%에서 54.09%로 향상되었습니다. 특히 신호등이 없는 교차로(+20.0 DS)나 맞은편 차량과의 상호작용(+20.5 DS)과 같은 모호한 시나리오에서 가장 큰 성과가 나타났습니다. 전체 지표 외에도, DriveMind는 합류, 긴급 제동, 양보와 같은 세부적인 상호작용 주행 능력까지 개선합니다.
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.