커뮤니티
 
뉴스 > 하드웨어 +크게 | -작게 | 메일| 프린트
엔비디아, 실시간 대화형 AI 지원하는 추론 소프트웨어 ‘텐서RT’ 최신 버전 공개
2019년 12월 19일 09시 40분 IT매일
AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 실시간 대화형 AI를 지원하는 추론 소프트웨어의 최신 버전인 엔비디아 텐서RT 7(NVIDIA TensorRT™ 7)을 발표했다. 이는 전세계 개발자들이 대화형 AI 애플리케이션을 제공하는데 사용되어, 그간 인간과 AI간 상호작용에 걸림돌이 됐던 추론 레이턴시(지연시간)를 크게 개선할 것으로 기대된다.

엔비디아 텐서RT 7은 엔비디아의 7세대 추론 소프트웨어 개발 키트로, 보다 스마트한 인간과 AI간 상호작용을 가능케 해, 음성 에이전트(voice agent), 챗봇, 추천 엔진 등의 애플리케이션을 실시간으로 구현할 수 있게 됐다.

미국 시장조사기관 주니퍼 리서치(Juniper Research)에 따르면, 전세계 디바이스에서 약 32억5천만 개의 디지털 음성 비서가 사용되고 있는 것으로 추정된다. 2023년까지 그 숫자가 세계 총 인구 수를 뛰어 넘는 80억 개까지 증가할 것으로 예상된다.

텐서RT 7은 AI 음성 애플리케이션을 구현하는데 필요한 트랜스포머(transformer) 기반 RNN(Recurrent Neural Network, 순환신경망)을 자동으로 최적화하고 가속화하도록 설계된 최신 딥 러닝 컴파일러를 제공한다. 이를 통해, 대화형 AI의 구성요소가 CPU에서 실행될 때 보다 10배 이상 빨라진다. 동시에, 지연시간은 실시간 상호작용에 필요한 수준인 300 밀리 초 임계값 미만으로 단축된다.

엔비디아 창립자 겸 CEO 젠슨 황(Jensen Huang)은 GTC 차이나 기조연설에서 “우리는 기계가 인간의 언어를 실시간으로 이해할 수 있게 된 새로운 AI 시대에 들어섰다. 텐서RT 7은 전 세계 개발자들에 인간과 AI간의 보다 자연스러운 상호작용을 가능케하는 빠르고 스마트한 대화형 AI 서비스를 구축 및 배포할 수 있는 툴을 제공한다”고 말했다.

세계 유수의 혁신적인 기업들은 이미 엔비디아의 AI 가속화 기술을 활용하고 있다. 세계에서 가장 많이 쓰이는 모바일 애플리케이션인 위챗(WeChat)에 서치 서비스를 제공하는 소구(Sogou)도 그 중 하나다.

소구의 CTO 양 홍타오(Yang Hongtao)는 “소구는 음성, 이미지, 번역, 대화, Q&A등의 고품질 AI 서비스를 날마다 수억 명의 사용자들에게 제공하고 있다. 엔비디아 텐서RT 추론 플랫폼을 활용해 온라인 서비스에 실시간으로 대응할 수 있게 됐다. 이와 같은 선도적인 AI 성능들을 통해 소구의 사용자 경험을 크게 향상시킬 수 있었다”고 말했다.

순환신경망의 중요성 증대
텐서RT 7은 RNN이라는 순환 루프 구조(recurrent loop structures)를 사용하는 시계열(time-series) 시퀀스 데이터 시나리오(sequence-data scenarios)를 예측하는 용도로 활용되는 AI 모델 세계가 더 빠르게 확장될 수 있도록 지원한다. RNN은 대화형 AI 음성 네트워크 외에도 차량이나 위성의 도착 시간 계획, 전자 의료 기록에 기입될 상황 예측, 금융자산 예측, 사기행위 감지 등의 목적에도 사용될 수 있다.

RNN 구성과 기능이 결합되는 상황이 폭발적으로 증가하면서, 실시간 성능 기준을 충족하는 생산 코드(production code)를 빠르게 배포해야 하는 상황이 발생하게 됐다. 이로 인해 업무를 진행하는데 수개월이 지연되고 개발자들은 코드 최적화 작업을 수동으로 해야 했다. 그 결과, 대화형 AI 실행능력을 갖춘 소수 업체들만 대화형 AI를 구현할 수 있었다.

텐서RT의 최신 딥 러닝 컴파일러를 통해, 전세계 개발자들은 맞춤형 자동 음성인식 네트워크와 텍스트-투-스피치(text-to-speech)용 웨이브RNN(WaveRNN)과 타코트론 2(Tacotron 2) 등의 네트워크를 자동 최적화할 수 있는 능력을 갖추게 됐고, 이를 통해 최고 수준의 성능을 최저 지연시간에 제공할 수 있게 됐다.

이 최신 컴파일러는 BERT와 같은 자연어 처리용 트랜스포머를 최적화하는 기능도 제공한다.

엣지에서 클라우드로 추론 기능 가속화
텐서RT 7은 하이퍼스케일 데이터 센터, 내장형 또는 자동차용 GPU 플랫폼을 통해 훈련된 추론 신경망을 빠르게 최적화, 검증, 배포할 수 있다.

텐서RT를 비롯한 여러 엔비디아 쿠다-X AI 라이브러리(NVIDIA CUDA-X AI™ libraries), 엔비디아 GPU 등이 포함된 엔비디아 추론 플랫폼은 이미지 분류, 사기 탐지, 분할, 오브젝트 탐지, 추천 엔진 등 저지연, 고처리량 추론 기능을 대화형 AI 이외의 애플리케이션에서도 구현한다. 엔비디아 추론 플랫폼은 알리바바(Alibaba), 아메리칸 익스프레스(American Express), 바이두(Baidu), 페이팔(PayPal), 핀터레스트(Pinterest), 스냅(Snap), 텐센트(Tencent), 트위터(Twitter) 등 세계적인 선도 엔터프라이즈 및 소비자 기술 기업들 사이에서 널리 사용되고 있다.

IT매일 서정덕 다른기사보기 jdseo@itmaeil.com
- Copyrights ⓒ IT매일 무단 전재 및 재배포 금지 - 

 

 
기획
프로게이머가 감독, 유저는 선수! 넥슨, ..
CFS 이집트 대표팀 ‘아누비스 게이밍’, ..
국민 게임에서 역주행의 아이콘까지! 카트..
넥슨, 2019년 2분기 장기 흥행작 호조로 ..
라이젠 5 3600, ‘이제 게임은 AMD’
이용자 목소리 귀 기울인 ‘트라하’ 서비..
대전 기록부터 인기 카트까지 한 눈에! 카..
라이젠 3세대로 PC방 성능 UP
라이젠 3세대, 인텔과 시장 양분
2018년은 잊어라, 대한민국 대표팀 ‘EACC..
‘노룰 모드’에 최적, 진짜 ‘공격’수 ..
가성비 라이젠 온라인 판매사이트 최상위..
행사/취재
“새로운 게임 세상속으로 시작”,’지..
넥슨, 게임 음악회 ‘국악외전<바람의..
리그 오브 레전드, 자체 PC방 일간 최..
V4, 11월 7일 출시 대작들과 승부 자신
AMD 7나노로 경쟁사보다 확실한 우위
엔씨(NC), 모바일 게임의 혁신 '리니지..
넥슨, ‘엘소드’ 엘스타 프로젝트 세 ..
WCG 2019 Xi’an, 나흘간의 대장정 성..
넥슨, ‘2019 넥슨 스페셜 데이 Vol.2..
제임스 황 타이트라 회장 “컴퓨텍스,..
월터 예 타이트라 회장 겸 CEO, “컴..
컴퓨텍스(COMPUTEX) 2019, 제임스 황 ..
가장 많이 본 뉴스
틱톡, ‘MBC 연기대상’ 투표 진행
방탄소년단 팬 커뮤니티, 해외 팬들을..
트위터코리아, 15개 브랜드 선정 ‘트..
인텔, IoT 기술 활용해 식품 운송 진..
엔비디아, 실시간 대화형 AI 지원하는..
엔비디아, 중국의 디디추싱과 자율주..
왓챠플레이, ‘뽀로로’, ‘꼬마버스 ..
DMC미디어, 2020년 디지털 마케팅 관..
인텔, 2019년 결산 연감 발표
카카오, 스타 소식 전문 챗봇 ‘스타..
 
· 발행일 :2020-01-17 오후 02:18:06
· 등록일 : 2009년 12월 9일 (재등록일 : 2016년 10월 18일)
· 편집인 : 김태일
· 발행인 : (주)아이티매일 김태일
CONTACT US
· 전화 : 02-501-2766
· 정기간행물 등록번호 : 서울 아01053
· 청소년보호책임자 : 서정덕
· 이메일 : jdseo@itmaeil.com
· 주소 : 서울시 구로구 구로동 603-9번지 스타팰리스 623호
· 팩스번호 : 02-501-2754
INFORMATION