센서 퓨전, 업체별 최신 전략과 기술 동향

[테크월드=양대규 기자] 센서 퓨전(Sensor Fusion)은 여러 개의 센서를 하나로 결합하는 방식을 말한다. 이는 센서와 센서를 하나로 합치는 물리적인 결합과 각각의 센서에서 얻어지는 데이터를 종합하는 두 가지 방법으로 나뉜다. 자율주행의 개발과 함께 오토모티브(Automotive) 분야에서는 센서 퓨전을 적극적으로 도입하고 있다. 자동차 사고는 생명과 직결되는 문제기 때문에 관련 업체들은 센서들을 중복 적용해서라도 오탐 확률을 0%까지 줄이기 위해 노력하고 있다.

오토모티브 업계 전문가들은 안전한 자율주행 자동차 개발을 위해 센서 퓨전 기술은 필수적으로 수반돼야 한다며, 다만 이를 위해서는 센서 퓨전 기술이 지니는 비용과 기술적인 한계성을 극복해야 한다고 강조한다.

◇ ADAS 센서 시장, 2030년 34조 원 규모로 성장할 것

야노리서치에 따르면, 2030년 레이더, 카메라, 라이다, 초음파 등을 포함한 ADAS 센서 시장이 약 34조 원 규모로 성장할 전망이다. 2017년 레이더 시장은 4조 원, 카메라 시장은 4조 5000억 원, 그 밖에 라이다와 레이더 시장은 5000억 원으로, ADAS 시장 전체는 약 9조 원의 규모로 집계됐다. 현재 9조 원의 ADAS 센서 시장은 2020년 17조, 2025년 31조, 2030년 34조 원까지 성장할 것으로 예측된다.

또한, 인피니언의 조사에 따르면 현재 ADAS 보급률은 전체 신차의 약 19%이지만 ▲2020년 35%까지 성장하며 ▲2025년에는 절반을 넘은 59%까지 ▲2030년에는 71%를 차지할 것으로 전망된다.

야노리서치와, 인피니언, IITP의 자료를 바탕으로 EPNC에서 분석한 ‘글로벌 자율주행용 센서 시장 규모’를 살펴보면, ADAS 기술이 발전하면서 초음파나 라이다와 같은 새로운 센서도 성장하지만, 절대적인 규모로는 레이더와 카메라 등의 전통적인 센서가 여전히 우위를 차지할 것으로 나타났다.

▲ 카메라는 색상을 인지하며, 고해상도의 이미지를 인식할 수 있다는 장점이 있다. 단점은 객체와의 거리나 속도를 직접적으로 측정할 수는 없다. 또한, 비가 오거나 안개가 끼는 등의 악천후에서 인지능력이 상당히 떨어진다.

▲ 레이더는 거리와 속도를 직접 감지하며 카메라가 가지는 단점을 보완해 줄 수 있다. 또한 열악한 환경에서 라이다와 카메라 등이 인지 못 하는 원거리 인식이 가능하다. 단적으로 비가 올 때나 야간에도 인식이 용이하다. 단점은 형태인식이 불가능하며, 측정 거리와 각도를 동시에 늘리는 게 어렵다.

▲ 라이다는 직진성이 강한 고출력 펄스 레이저를 이용해 정보를 획득한다. 그렇기 때문에 레이더보다 정밀한 위치 정보를 획득할 수 있다. 정확한 정보를 통해 객체와 거리 이미지를 분리해서 인식할 수 있다는 장점이 있다. 단점은 속도를 직접 측정할 수 없으며, 강한 햇빛이나 악천후 시 원거리 인식능력이 대폭 감소한다. 또한, 다른 센서들보다 개발과 생산에 비용 소모가 크다는 단점이 있다.

▲ 초음파는 가장 저렴하고 개발이 쉬운 센서다. 높은 주파수의 음파를 이용해 반사돼 돌아오는 시간을 측정해 거리를 계산한다. 측정 거리가 3~4m로 짧으며, 빛보다 느린 속도로 고속 운전 시에 상대 속도 측정에는 무리가 있다. 그렇기 때문에 주로 후방감지시스템 등에 사용된다.

ADAS에서의 센서 퓨전은 위의 카메라, 레이더, 라이다, 초음파 등의 센서끼리 결합, 또는 다른 기타 센서들과의 결합을 말한다. 앞에서 설명한 것처럼 센서별로 역할과 장단점이 있기 때문에 각 센서의 장점을 합칠 필요가 있다. 특히 자율주행은 안전이 제일 중요한 가치로 야간이나 눈비, 강한 역광 등의 인식이 어려운 조건에서도 확실한 인식이 필요하기 때문이다. 예를 들어 안개가 심하면 카메라에서 얻는 정보가 부정확하기 때문에 라이더와 레이더 등의 정보를 통해 안전한 판단을 할 수 있도록 한다는 것이다.

텍사스인스트루먼트(Texas Instruments, TI)의 ADAS 월드와이드 시스템 마케팅 담당 한스 에스틀(Hannse Estl)은 “많은 경우 특정 조건 하에 ADAS 기능을 수행할 수 있다는 것은 단일 센서나, 개별 시스템으로 달성할 수 있다. 그러나 이는 도로에서 예측할 수 없는 상황에서 안정적으로 작동하기에는 불충분할 수 있다”며, “센서 퓨전은 복잡하고 자율적인 기능을 가능하게 하는 것 외에도 기존 센서의 오탐을 줄일 수 있다”고 센서 퓨전의 중요성을 강조했다.

정보통신기술진흥센터(IITP) 최신 ICT 동향 칼럼리스트 박종훈 집필위원은 “2020년 전후에 본격 상용화가 시작될 1세대 자율운전차의 대부분은 센서 퓨전을 기반으로 할 것”이라며, “센서 퓨전의 개념은 제조업체(OEM)는 물론 전장 시스템 제조업체인 티어(Tier) 1과 전자부품 제조업체인 티어 2에도 깊숙이 스며들어 있다. 자동차 업계에 업력이 오래된 관계자들일수록 중복하더라도 높은 신뢰성을 확보할 수 있는 센서 퓨전 방식의 개발이 앞으로 필요하다고 입을 모으고 있다”고 설명했다.

박 집필위원은 “센서 퓨전으로 모든 문제가 해결되는 것은 아니다. 차량의 비용, 외형의 크기, 중량, 소비전력이 모두 증대하는 등 최근 자동차 개발 흐름과 배치되는 문제가 발생한다”며, “다수의 센서를 탑재함으로써 비용이 많이 들어 차량 가격이 100만 달러(약 11억 원)를 넘어서는 문제가 가장 이슈가 되는데, 이로 인해 초기 자율주행차는 고급차와 공유 서비스용 차량이 중심이 될 것”이라고 분석했다.

◇ 센서 퓨전, 업체별 전략은?

ADAS 시스템은 크게 인식(Sense)과 판단(Think), 제어(Act)의 세 가지 영역으로 세분화된다. ▲’인식’은 앞에서 언급한 카메라, 레이더, 초음파, 라이다 등의 센서를 ▲’판단’은 센서에서 받아들이는 정보를 처리하는 프로세서와 이를 통합하는 알고리즘을 ▲’제어’는 앞에서 얻어지고 처리된 정보를 바탕으로 차량을 통제하거나 시각적으로 전달하는 것을 뜻한다.

이 세 가지 영역에서 업체들이 어디에 중점을 두며 센서 퓨전을 개발하는지에 따라 크게 4가지 전략 유형으로 나눌 수 있다.

첫 번째는 센서 단위의 통합이다. 이는 각 센서의 형태나 기능을 직접 합치는 가장 직관적인 방식의 센서 퓨전이다. 이를 위해서는 통합된 센서의 기능과 센서 통합의 기술 등에 대한 연구가 필요하기 때문에 연구소나 기관, 기업에서는 센서 통합의 아이디어를 가진 벤처 기업 등이 주로 이에 도전한다.

최근에는 스타트업 에이아이(AEye)가 고정형 라이다와 저조도 카메라를 결합시킴으로써 새로운 방식으로 라이더를 활용할 수 있는 방법을 제시해 주목받고 있다. 이는 두 가지 센서를 하나로 통합하고, 온보드 프로세서를 통해 중요한 특정 부분에 라이더 스캐닝을 집중함으로써, 세부적인 부분까지 확인하는 방식이다. 사람의 눈이 중요하지 않은 부분을 무시하고 중요한 부분에 초점을 맞춰 세부적인 부분까지 확인하는 것과 비슷한 원리다.

두번째는 프로세서 중심의 통합이다. 이는 대다수의 반도체 업체들이 취하는 전략이다. NXP반도체, 인피니언 테크놀로지, 텍사스인스트루먼트, ST마이크로일렉트로닉스 등의 많은 반도체 업체들이 이를 준비하고 있다.

NXP는 자신들이 가진 MCU 역량에 V2X와 레이더, 가속, 각도 센서 등의 솔루션을 활용해 차량용 통합 센서 퓨전 플랫폼인 ‘NXP BlueBox’를 발표했다. NXP BlueBox는 모든 ADAS 노드에 NXP의 칩과 소프트웨어 솔루션을 설치한 플랫폼이다. NXP는 지난 ‘NXP TFT 2016’에서 BlueBox 기반의 완전 자율주행차 플랫폼을 시연한 바 있다. 시연에는 당시 양산에 돌입했거나 고객 대상 샘플링 단계에 있는 NXP 칩을 탑재한 레이더, 라이다(LiDAR), 비전 센싱(Vision Sensing)과 온보드 보안 V2X 시스템을 중앙 ECU와 통합한 센서 퓨전 기술을 선보였다.

세 번째는 인공지능(AI)과 소프트웨어 고도화 전략이다. 여기에는 다양한 AI와 이를 개발하는 소프트웨어 업체들이 속해있다. 빅데이터와 머신러닝 등이 적용된 AI 기술은 자율주행을 위한 센서 퓨전에는 필수적인 솔루션이다.

독일의 자율주행차 센서 퓨전 소프트웨어기업인 BaseLabs가 대표적인 업체 중 하나다. 이들은 수학적으로 ADAS와 자율주행용 알고리즘을 개발하는 데이터 융합 전문가로 구성됐다. BaseLabs는 자동차 관련 데이터 융합, 통계적 신호처리 알고리즘, 소프트웨어 개발 경험 등의 장점으로 모듈, 커넥트, 코드 등의 다양한 센서 퓨전 소프트웨어를 개발했다. 대표 솔루션인 바젤랩스 모듈은 프로토 타입 단계에서 실제 환경 인식 구현 등에 대해 빠른 해결책을 제시한다. 이를 통해 센서 데이터 융합, 정확한 위치 파악, 차선 인식, 여유 공간 추정 등의 강점을 보이고 있다.

마지막으로는 전방위통합강화 전략이다. 이는 주로 OEM들을 중심으로 티어1과의 결합, 또는 OEM과 티어2의 결합 등의 형태를 보인다. OEM이 가지는 자동차에 대한 높은 이해도가 강점을 보인다. 세계적인 완성차 업체인 다임러와 티어1 시장의 압도적인 1위 기업인 보쉬가 자율주행 개발을 위해 2017년 합작해 만든 ‘다임러-보쉬’가 대표적인 예다.

다임러-보쉬는 자율주행 실현을 위해 센서 퓨전을 포함한 오토모티브의 전 영역을 개발 중이다. AI 기능을 이용한 센서 퓨전 소프트웨어 기술, 보쉬가 강점을 가지는 라이다, 레이더, 이미지, GPS 등의 다양한 센서 기술, 다임러가 보유한 오토모티브 기술을 융합 중이다. 이를 통해 다임러-보쉬는 2019년부터 샌프란시스코에 레벨4 수준의 자율주행 셔틀과 택시를 제공할 계획이다.

◇ 센서 퓨전, 방법도 ‘퓨전’이 정답일까?

TI의 한스 에스틀은 ‘Sensor fusion – more than just the sum of its parts!’에서 “(기존의) 자동차에서 각 시스템이 경고나 제어 기능을 독립적으로 수행한다며, 센서 퓨전 시스템에서는 수행할 조치에 대한 최종 결정은 하나의 주체에 의해 중앙에서 이뤄진다”며, “이제는 데이터 처리가 수행되는 곳과 센서에서 중앙 ECU로 데이터를 가져오는 방법이 중요한 문제로 제기된다. 센서들은 한군데 같이 있지 않고 여러 곳으로 분산돼 있어, 센서와 중앙 집중식 퓨전 ECU 간의 연결에 대한 많은 고민이 필요하다. 전체 시스템의 구현에도 영향을 미치는 데이터 처리 위치도 마찬가지”라고 센서 퓨전 운영 방식의 중요성을 설명했다.

그는 센서에서 얻어지는 로우(Raw) 데이터를 ▲중앙 ECU에 데이터를 모은 후에 처리하는 ‘중앙 집중’▲센서에서 직접 처리하는 ‘완전 분산’ ▲일부 센서는 직접 처리하고, 일부 센서는 중앙으로 데이터를 모으는 ‘하이브리드’ 등 극단적인 세 가지 방법을 예로 들었다.

▲중앙 집중 방식

중앙 집중 방식은 모든 데이터 처리와 의사 결정이 단일 위치에서 이뤄진다. 데이터는 다양한 센서에서 ‘로우 데이터’로 제공된다.

중앙 집중 방식의 센서 모듈은 감지와 데이터 전송만 필요하기 때문에 크기를 줄일 수 있고, 비용과 전력 소모도 적다. 또한, 센서의 장착 위치를 유연하게 선택할 수 있으며, 차내에 차지하는 공간도 매우 줄어든다. 센서 모듈이 특별히 데이터를 처리하거나 의사 결정을 하지 않기 때문에 기능 안전의 요구 사양도 적다.

하지만, 센서 데이터의 양을 실시간으로 처리할 수 있어야 하고, 전자기 간섭(EMI)이 높아질 수 있기 때문에 광대역 폭의 통신이 필요하다는 단점이 있다.

ECU의 경우에는 센서 모듈에서 가공이나 압축으로 인한 손실되지 않은 모든 데이터를 사용할 수 있다. 또한, 센서의 크기가 작고 비용이 저렴해 더 많은 수를 배치할 수 있다.

단점은 수많은 양의 로우 데이터 처리를 위해 ECU에 높은 처리능력과 속도를 요구한다. 이는 수많은 고대역폭 I/O와 하이엔드 애플리케이션 프로세서가 포함되며, 이에 따른 높은 전력 요구와 발열이 발생한다. 센서를 추가할 때마다 중앙 ECU의 성능 요구가 많이 증가한다.

▲완전 분산 방식

완전 분산 방식은 중앙 집중 방식과 반대되는 개념으로 높은 수준의 데이터 처리와 특정 범위에서 센서 모듈에서 직접 의사 결정을 수행한다. 완전 분산 시스템은 객체에서 분석하고 처리한 데이터를 중앙의 퓨전 ECU로 다시 보낸다. 여기서 데이터가 결합되며 행동과 대응 방법에 대한 최종 결정이 내려진다.

센서 모듈은 더 낮은 대역폭으로 중앙 ECU와 소통이 가능하며, 간단하고 저렴한 인터페이스를 사용할 수 있다. 대부분 1Mbps 속도의 CAN이면 충분하다. 하지만, 센서 모듈에서 애플리케이션을 위한 프로세서가 더 필요해지며, 크기는 커지고 값이 비싸지고, 더 많은 전력을 필요로 한다. 의사처리를 직접 해야 되기 때문에 기능 안전 요구 사양도 더욱 커질 수밖에 없다. 센서 추가에 따른 비용 증가 폭도 커진다.

중앙 ECU는 이미 처리된 오브젝트 데이터만 융합하기 때문에 처리 능력의 요구가 줄어든다. 일부 시스템에서는 고사양의 안전한 MCU로 충분할 수 있다. 모듈이 작기 때문에 전력 요구는 줄어든다. 센서를 추가해도 중앙 ECU의 성능 요구는 크게 증가하지 않는다. 하지만 중앙 의사 결정 ECU는 실제 센서 데이터에 접속하지 못하며 처리된 데이터만 가지고 있어, 데이터를 활용한 새로운 센싱이나 활용이 어렵다.

▲하이브리드 방식

앞의 극단적인 두 가지 방식보다 차량이 요구하는 바에 따라 둘을 적절히 혼합하면 최적화된 방식을 찾을 수도 있다. 최근 대부분의 많은 센서 퓨전 시스템은 레이더, 라이다와 머신 비전 등을 위한 전면 카메라에는 개별 처리 기능이 있는 센서를 사용한다. 여기에 서라운드(Surround) 뷰, 리어(Rear) 뷰 카메라 같은 시스템을 위한 센서 모듈은 비디오를 중앙 ECU에서 사용할 수 있게 해 준다. 다양한 ADAS 기능이 퓨전 시스템에 통합되지만 원리는 앞에서 설명한 두 가지 중 하나를 선택할 수밖에 없다.

ADAS는 정보(Information)와 기능(Functional) 두 가지가 있다. 정보는 서라운드 뷰와 야간 시력 처럼 운전자의 감각을 연장해 운전자가 차를 완전히 제어할 수 있도록 하는 것이다. 기능은 머신 비전으로 자동차가 환경을 인지하고 자체적으로 결정이나 조치하는 것이다. AEB(자동긴급제어)나 LKA(차선이탈방지보조) 등이 이에 속한다. 센서 퓨전은 이 두 센서를 자연스럽게 포함한다.

서라운드 뷰를 예로 들면, 이는 원래는 중앙 디스플레이에 대한 비디오 피드를 통해 운전자에게 360° FOV (Field of View)를 제공하기 위해 설계됐다. 하지만 서라운드 뷰용 카메라는 머신 비전으로 사용되기도 한다. 후방 카메라의 경우, 자동 주차와 사각 탐지, 측면 카메라는 경고와 자동 주차를 위해 사용된다.

단독으로 사용되는 머신 비전은 센서 모듈에서 로컬 처리를 진행한 다음 CAN과 같은 저대역폭 연결로 객체 데이터나 명령을 전송한다. 하지만 이는 전체 비디오 전송에는 충분하지 않다. 고해상도와 프레임 속도, 노출 수 등이 증가하면 압축 작업은 더욱 어려워진다. 고대역폭 연결과 카메라 모듈에서 데이터 처리를 하지 않을 때는 비디오 문제는 해결되지만, 머신 비전을 처리하기 위해 중앙 ECU에 처리 기능을 추가해야 한다. 중앙 ECU의 처리능력이 부족하거나 발열 제한 등으로 솔루션의 병목이 생길 수도 있다.

하이브리드 방식으로 두 극단적인 영역의 장점을 취하는 것이 기술적으로 불가능하지는 않지만, 센서 모듈에서의 처리와 고대역폭의 통신을 동시에 사용하면, 전체 시스템의 비용 상승과 전력량 증가, 공간 부족 등 다양한 단점들이 나타날 수밖에 없다.

한스 에스틀은 “(자율주행이 아닌 차량의) 순수한 운전자 정보 시스템은 기능이 손상돼 운전자에게 알리는 경우 바로 종료할 수 있지만, 고도의 자율주행에서는 시스템 종료가 불가능하다”며, “운전자가 ‘완전한 자율주행차’에서 자고 있을 때 고속도로에서 자율주행 시스템이 갑자기 종료되는 상황을 생각해보자. 운전자가 (자동차에 대한) 안전한 제어권을 회복할 수 있을 때까지 시스템은 계속 작동해야한다. 이는 몇 초에서 최대 30분까지 지속될 수 있다”고 경고했다.

이런 상황에서 현재 자동차 업계에서는 어느 정도까지 시스템을 운영해야 하고 결함 상태에서 작동을 보장해야 하는 지에 대한 분명한 합의가 없다. 자동 조종 장치 기능이 있는 항공기는 일반적으로 하이브리드 방식의 중복 시스템을 사용한다. 항공기의 이런 시스템은 안전을 충분히 보장하지만, 비용이 많이 들고 많은 공간을 차지하는 솔루션으로 대중 교통수단인 자동차에는 적합하지 않다.

IITP 박종훈 집필위원은 센서 퓨전의 개발에 대해 “비효율성을 감수하고서라도 안전성을 확보하기 위한 자동차 업계의 전략적 판단에 따른 것”이라며, “그러나 자동차 업계에서는 안전성만큼 비용 절감이 중요한 목표”라고 지적했다.

업계 전문가들은 비용과 크기, 전력 소모, 소프트웨어 알고리즘 등 전반적인 부분의 개선을 위해서는 OEM과 티어1, 티어2 업체를 비롯해 AI 소프트웨어 업체 등 각 영역에서의 도전이 필요하다며, 선행 개발되는 영역에 따라 상황에 맞게 중앙 집중과 분산 방식을 적절히 혼합하며 센서 퓨전이 발전할 것으로 전망하고 있다.