📦제품엔비디아, LLM 배포 가속 '모델익스프레스' 발표...엔비디아가 테라바이트(TB) 규모 LLM의 배포 병목 현상을 해결하기 위해 GPU 간 직접 전송 기술을 활용한 '모델익스프레스'를 발표했다.엔비디아LLM모델익스프레스AI타임스1분 · 약 2개월 전
📦제품엔비디아, '반복 퍼즐' 기술로 추론 효율 극대화…운영 비용 절반으로엔비디아가 LLM 배포 및 추론 비용 절감을 위한 최적화 모델 '네모트론-랩스-3-퍼즐-75B-A9B'를 선보였다.엔비디아LLM추론 효율AI타임스1분 · 2개월 전