엔비디아, 텐서 RT로 비디오 생성형 AI 가속화

[테크월드뉴스=박규찬 기자] 생성형 AI가 발전하고 산업 전반에 걸쳐 널리 보급되면서 로컬 PC와 워크스테이션에서 생성형 AI 애플리케이션을 실행하는 것이 점점 더 중요해지고 있다. 로컬 추론은 지연 시간을 줄이고 네트워크에 대한 의존성을 없애며 데이터를 더욱 잘 제어할 수 있도록 지원한다.

엔비디아가 엔비디아 텐서RT 소프트웨어 개발 키트에 비디오 생성형 AI 모델인 스테이블 비디오 디퓨전이 최적화됐다고 28일 밝혔다.

엔비디아 지포스와 엔비디아 RTX GPU에는 로컬에서 생성형 AI를 실행하도록 강력한 성능을 제공하는 AI 전용 하드웨어 가속기인 텐서 코어가 탑재된다.

스테이블 비디오 디퓨전은 이제 엔비디아 텐서RT 소프트웨어 개발 키트에 최적화됐다. 엔비디아 텐서RT 소프트웨어 개발 키트는 1억 대 이상의 윈도우 PC와 RTX 기반 워크스테이션에서 최고 성능의 생성형 AI를 구현한다.

또한 오토매틱1111의 인기 있는 스테이블 디퓨전 웹UI용 텐서RT 확장 기능에 컨트롤넷에 대한 지원이 추가된다. 컨트롤넷은 사용자가 다른 이미지를 참고 자료로 추가해 생성 결과물을 더 세밀하게 제어할 수 있는 도구다.

텐서RT 가속은 내부 테스트 결과 실제 성능을 정확하게 재현하는 것으로 알려진 UL의 새로운 프로시온 AI 이미지 생성 벤치마크에서 확인해 볼 수 있다. 가장 빠른 비 텐서RT 실행과 비교했을 때 지포스 RTX 4080 슈퍼 GPU에서 50%의 속도 향상을 보였다.

개발자는 텐서RT를 통해 완전히 최적화된 AI 경험을 제공하는 하드웨어에 액세스할 수 있다. AI 성능은 일반적으로 다른 프레임워크에서 애플리케이션을 실행할 때보다 두 배 향상된다.

또 스테이블 디퓨전과 SDXL 등 가장 인기있는 생성형 AI 모델을 가속화한다. 스태빌리티 AI의 이미지 기반 비디오 생성 AI 모델인 스테이블 비디오 디퓨전은 텐서RT를 통해 40%의 속도 향상을 실현한다.

최적화된 스테이블 비디오 디퓨전 1.1 이미지 투 비디오 모델은 허깅 페이스에서 다운로드할 수 있다.

아울러 스테이블 디퓨전 웹UI용 텐서RT 확장 프로그램은 성능을 최대 2배까지 향상시켜 스테이블 디퓨전 워크플로우를 크게 간소화한다.

텐서RT 최적화는 확장 기능의 최신 업데이트를 통해 조건을 추가했다. 이를 통해 텐서RT는 확산 모델의 출력을 안내하는 AI 모델 세트인 컨트롤넷으로 확장된다. 따라서 텐서RT를 사용하면 컨트롤넷의 속도가 40% 빨라진다.

사용자는 입력 이미지와 일치하도록 출력의 일부분을 조정할 수 있으므로 최종 이미지를 더 세밀하게 제어할 수 있다. 또 여러 개의 컨트롤넷을 함께 사용해 더욱 강력한 제어가 가능하다. 컨트롤넷은 뎁스 맵, 엣지 맵, 노멀 맵 또는 키포인트 감지 모델 등으로 사용할 수 있다.