전통적인 자율 주행 의사 결정 시스템은 종종 모듈 식 설계에 의존합니다. 환경 인식, 의사 결정 계획에서 차량 제어에 이르기까지 각 하위 시스템은 차량 운영을 독립적으로 공동으로 제어합니다. 복잡한 트래픽 시나리오 에서이 계층 구조는 누적 오류, 정보 손실 및 실시간 성능이 부족한 문제가 발생하기 쉽습니다. 대규모 모델은 대규모 매개 변수, 교차 모달 데이터 처리 기능 및 엔드 투 엔드 학습 패러다임 으로이 상황을 점차 변화하고 있습니다. 그것은 인식 수준에서 다중 센서 데이터의 효율적인 융합을 달성 할 수있을뿐만 아니라 의사 결정 수준에서 깊은 의미 론적 이해와 논리적 추론을 통해 차량에 대한보다 합리적인 운전 전략을 계획하여 전반적인 안전과 견고성을 향상시킵니다.
자율 주행에서 큰 모델의 장점
자율 주행 기술 자체의 개발 과정은 초기 지원 운전에서 점진적인 전환, 완전히 자율 주행에 이르기까지 여러 단계를 거쳤습니다. 초기 시스템은 주로 간단한 객체 감지 및 규칙 제어에 의존했습니다. 딥 러닝의 발전으로 CNN, RNN 및 GAN과 같은 방법의 채택은 환경 인식과 의사 결정 능력을 지속적으로 개선했습니다. 또한 BEV (Bird 's Eye View) 표현과 변압기를 결합한 기술은 시공간 모델링에서 전통적인 방법의 결함을 위해 어느 정도 보완되었습니다. 대형 모델의 도입은 기본적으로 자율 주행 시스템의 전반적인 아키텍처를 재구성하여 향후 L3, L4 및 L5 레벨의 상용화를위한 견고한 기초를 마련하고 있다고 말할 수 있습니다.
변압기를 기반으로 한 모델 아키텍처는 일반적으로 장거리 종속성을 포착 할 수있는 자체 변환 메커니즘을 채택하여 정보 처리의 전역 성과 정확성을 크게 향상시킵니다. 사전 훈련-결합 접근법을 통해이 모델은 대규모 표지되지 않은 데이터에서 미리 훈련 된 다음 특정 자율 주행 작업을 위해 미세 조정됩니다. 이를 통해 많은 양의 라벨이 붙은 데이터에 대한 의존도를 줄일뿐만 아니라 모델이 우수한 크로스 도메인 마이그레이션 기능을 가질 수 있습니다. 멀티 모달 대형 모델은 이미지, 포인트 클라우드 및 레이더 데이터와 같은 다양한 데이터 형태를 동시에 처리하여 "보는"에서 "이해"에서 "이해"로의 도약을 달성하고 인간과 유사한인지 능력을 갖춘 자율 주행 시스템을 달성 할 수 있습니다.
자율 주행에서 대형 모델의 구체적인 적용
자율 주행 시스템에서 대형 모델의 적용은 주로 환경 인식, 의사 결정 및 계획 및 차량 제어와 같은 여러 측면에 반영됩니다. 환경 인식 측면에서, 기존 시스템은 주로 대상 감지 및 의미 론적 세분화를위한 단일 센서의 데이터에 의존합니다. 그러나 조명, 날씨 및 센서 자체의 한계로 인해 복잡한 시나리오를 다루는 데 어려움이 있습니다. 멀티 모달 데이터 퓨전 기술을 통해 대형 모델은 카메라, 리더, 밀리미터 파 레이더 및 고정밀 맵과 같은 다양한 데이터를 통합하여보다 풍부하고 정확한 환경을 나타낼 수 있습니다. 예를 들어, VLA (Visual-Language-Action Model)는 이미지에서 시각적 정보와 의미 정보를 동시에 추출 할 수 있으며 장애물을 감지하고 보행자 행동을 예측하고 도로 조건을 판단하는 데있어 매우 높은 정확도를 보여줍니다. 다중 센서의 정보가 대규모 모델에 의해 깊이 융합 된 후에, 대상 감지의 견고성은 향상 될뿐만 아니라 시계열 분석을 통해 동적 장면의 예측을 달성 할 수있어 차량 의사 결정에보다 신뢰할 수있는 입력을 제공합니다.
의사 결정 및 계획 수준에서 전통적인 자율 주행 시스템은 일반적으로 사전 설정된 규칙 또는 모델 기반 계획 알고리즘에 의존하여 인식 결과를 경로 계획 및 행동 결정으로 전환합니다. 그러나이 방법은 이전에 본 적이없는 복잡한 교통 조건에 직면 할 때 고장이 발생하기 쉬우 며, 각 모듈 사이의 인터페이스 설계는 다소 견고하여 엔드 투 엔드 최적화를 달성하기가 어렵습니다. 엔드 투 엔드 학습 프레임 워크를 통해 대형 모델은 원시 센서 데이터에서 주요 정보를 직접 추출하고 고유 한 논리적 추론을 통해 차량 제어 명령을 생성 할 수 있습니다. DriveGPT -4 및 LanguagemPC는 멀티 태스킹 의사 결정에 큰 모델을 사용할 수있는 잠재력을 보여주었습니다. 그들의 모델은 복잡한 시나리오에서 합리적인 주행 전략을 생성 할뿐만 아니라 자세한 설명을 제공하여 시스템의 해석 가능성을 향상시킬 수 있습니다. 이 엔드 투 엔드 의사 결정의 장점은 정보 전송 프로세스의 중간 오류를 줄이고 전체 시스템이 새로운 시나리오에 적응할 수있는 능력을 갖도록하는 데 있습니다.
자율 주행의 최종 단계 인 차량 제어는 의사 결정의 정확성뿐만 아니라 시스템의 실시간 응답을 보장해야합니다. 대형 모델에는 일반적으로 수많은 매개 변수와 엄청난 계산 비용이 있으므로 차량 장착 시스템에 대한 직접 배치에는 특정 문제가 있습니다. 업계는 모델 압축 및 경량을 광범위하게 탐색했습니다. 모델 증류 기술을 통해 대형 모델의 필수 지식을 추출한 다음 작고 효율적인 모델로 전송하여 차량 내 하드웨어 (예 : NVIDIA Drive AGX 시리즈)와 완벽하게 일치합니다. 이 기술은 대형 모델의 고성능을 유지할뿐만 아니라 응답 시간이 실시간 제어 요구 사항을 충족시켜 L3\/L4 자율 주행의 상용화 프로세스에서 중요한 역할을합니다.
자율 주행의 시뮬레이션 및 폐 루프 검증에서 대형 모델도 상당한 이점을 보여주었습니다. 대규모 데이터 및 합성 장면으로 교육하면 현실적인 세계 모델을 구성 할 수 있으며 디지털 트윈 기술을 통해 가상 환경에서 폐 루프 테스트를 달성 할 수 있습니다. 이 방법은 실제 도로에서 많은 수의 테스트를 수행하는 위험과 비용을 크게 줄일뿐만 아니라 다양한 극단 및 장거리 시나리오를 신속하게 시뮬레이션하여 모델의 반복 최적화를위한 충분한 데이터 지원을 제공 할 수 있습니다. Waymo의 Emma 모델은 시뮬레이션 플랫폼과 대규모 모델 기술을 활용하여 고정밀 궤적 예측 및 충돌 회피 의사 결정을 달성했습니다. 그 성능은 기존 계층 시스템의 성능을 훨씬 능가하여 미래의 완전 자율 주행 시스템의 폐쇄 루프 검증을위한 새로운 접근 방식을 제공합니다.
또한 대형 모델은 시스템 보안 및 사용자 경험을 향상시키는 데 중요한 역할을했습니다. 자율 주행은 단순히 기술적 인 문제가 아닙니다. 또한 인간 컴퓨터 상호 작용과 사회적 신뢰 문제도 포함됩니다. 자연 언어 처리 기술을 통해 대형 모델은 운전자와 실시간 대화를 달성하고 운전 제안 및 비상 경보를 제공하며 운전자의 감정에 따라 개인화 된 지원을 제공 할 수 있습니다. 이러한 상호 작용 설계는 승객의 신뢰를 크게 향상시켜 자율 주행 시스템이 기술에서 더욱 발전 할뿐만 아니라 실제 애플리케이션의 사용자 요구에 더 부합 할 수 있습니다.
대형 모델은 자율 주행에서 어떤 과제를 제기합니까?
대형 모델은 자율 주행 분야에서 큰 잠재력을 보여 주었지만 여전히 실험실 성취에서 상업용 응용 프로그램으로 전환하는 데 여전히 많은 문제가 있습니다. 실시간 성능 및 컴퓨팅 리소스는 현재 주요 병목 현상 중 하나입니다. 대형 모델은 일반적으로 대규모 매개 변수와 높은 계산 복잡성을 가지고 있습니다. 밀리 초 수준 내에서 결정을 생성하려면 차량 내 컴퓨팅 플랫폼의 컴퓨팅 전력에 대한 요구 사항이 매우 높습니다. 전용 AI 칩을 사용할 수 있으며, 모델 증류 및 양자화와 같은 기술을 통해 대형 모델을 압축 할 수 있으며, 실시간 응답 요구 사항을 충족하면서 성능을 보장합니다.
보안 및 견고성 문제는 대규모 모델 적용에서 핵심 과제입니다. 자율 주행 차가 의사 결정 실수를 저지르면 그 결과는 매우 심각 할 수 있습니다. 따라서, 대규모 모델은 다양한 복잡하고 극단적 인 시나리오에서 올바르게 응답 할 수 있도록 실질적으로 사용하기 전에 엄격한 테스트 및 검증을 받아야합니다. 대형 모델의 "블랙 박스"특성으로 인해 내부 의사 결정 프로세스는 종종 설명하기 어렵습니다. 고성능을 보장하면서 모델의 해석 가능성을 향상시키는 방법은 규제 당국과 자동차 제조업체가 해결하는 데 시급한 문제가되었습니다. 앞으로 강화 학습, 인간의 피드백을 기반으로 한 미세 조정 및 규칙 제약과 같은 방법을 결합함으로써 효율적이고 투명한 의사 결정 시스템을 설계 할 것으로 예상됩니다.
대규모 모델의 적용에서 데이터 개인 정보 및 윤리적 문제는 무시할 수 없습니다. 자율 주행 시스템은 대량의 차량, 환경 및 사용자 데이터를 수집해야하며 이러한 데이터의 보안 저장 및 사용은 사용자 개인 정보 보호와 직접 관련이 있습니다. 데이터 전송 및 처리의 보안을 보장하면서 빅 데이터의 장점을 완전히 활용하는 방법은 규제 당국이 해결해야 할 첫 번째 문제입니다. 자율 주행에서 대형 모델을 안전하게 적용하기위한 제도적 보장을 제공하기 위해 엄격한 데이터 보호 표준 및 개인 정보 보호 메커니즘을 공식화해야합니다.
소프트웨어와 하드웨어 간의 협업은 또한 대형 모델 구현의 핵심입니다. 대형 모델의 성공적인 적용은 알고리즘 혁신에 따라 다를뿐만 아니라 고성능 하드웨어 지원이 필요합니다. 현재 주요 제조업체는 Nvidia Drive AGX Pegasus, Atlan 등과 같은 차세대 차량 컴퓨팅 플랫폼을 연속적으로 시작했습니다.이 플랫폼은 실시간 추론 및 대규모 모델 배치에 대한 하드웨어 보장을 제공합니다. 센서 기술의 지속적인 발전은 또한 멀티 모달 데이터 융합에 대한보다 풍부하고 고품질 데이터 소스를 제공했습니다. 자율 주행의 전체 생태계를 지속적으로 개선함에 따라 소프트웨어와 하드웨어의 깊은 통합은 전체 산업을 새로운 지능형 여행 시대로 이끌어 낼 수밖에 없습니다.
자율 주행 기술에 대한 대규모 모델의 심오한 영향은 기술적 인 세부 사항에 반영 될뿐만 아니라 기존 모듈 식 시스템에서 엔드 투 엔드, 지각 지능에서인지 지능으로의 패러다임 전환을 유발했습니다. 대규모 모델로 이끄는 미래의 자율 주행 시스템은 더 높은 환경 인식,보다 유연한 의사 결정 및 계획,보다 안전하고 효율적인 차량 제어를 달성 할 것입니다. 동시에, 그것은 인간-기계 상호 작용, 개인화 된 지원 및 데이터 보안의 새로운 차원에 도달 할 것입니다.