산타클라라, 캘리포니아주 2024년 8월 28일 /PRNewswire=연합뉴스/ -- AI 반도체 대표주자 퓨리오사AI가 미국 현지시간 8월 26일, Hot Chips 2024 컨퍼런스에서 2세대 AI 반도체 RNGD("레니게이드")를 처음으로 공개했다. 퓨리오사의 2세대 AI 반도체 RNGD는 거대언어모델(LLM) 및 멀티모달모델의 효율적인 추론을 위해 설계된 데이터센터용 가속기로, 국내 팹리스가 Hot Chips 행사에서 신제품 발표자로 선정된 것은 최초이며, HBM3가 탑재된 혁신적 추론용 AI 반도체에 대한 행사 현장의 관심과 반응도 높아, 시장에 새로운 바람을 일으킬 것으로 기대된다.

 

퓨리오사AI는 2017년 삼성전자, AMD, Qualcomm 출신의 세 명의 공동 창업자에 의해 설립된 이후, 지속적인 기술 혁신과 제품 양산에 집중해 왔다. 그 결과 TSMC로부터 첫 RNGD 샘플을 올 5월에 받은 후 빠른 속도로 브링업을 완료함으로써, 동사의 1세대 제품 개발부터 양산까지 과정에서 입증하였던 퓨리오사의 역량이 더욱 강화되었음을 보여주었다. 또한 동사의 SW 역량도, 2021년 당시 출시된 1세대 칩 첫 샘플을 받은 지 3주 만에 브링업을 완료하고 MLPerf 벤치마크 결과를 제출한 바 있으며, 이후 컴파일러 개선만을 통해 성능을 113% 향상시킨 사례가 있다.

 

초기 테스트 결과, RNGD는 GPT-J 및 Llama 3.1과 같은 주요 벤치마크 및 LLM에서 경쟁력 있는 성능을 보였으며, 단일 PCIe 카드 기준으로 약 100억 개의 파라미터를 가진 모델에서 초당 2,000~3,000개의 토큰을 처리할 수 있는 성능을 보여 주고 있다.

 

퓨리오사AI 백준호 대표는 "이번 Hot Chips에서 RNGD를 글로벌 시장에 공개하고 빠른 초기 브링업 결과를 발표할 수 있었던 것은 회사의 기술 개발이 하나의 결실을 맺은 것"이라며, "RNGD는 업계의 실질적인 추론 니즈를 충족시킬 수 있는 지속 가능하고 현실적인 AI 컴퓨팅 솔루션"이라고 강조했다. 그는 이어 "우리 제품이 LLM을 효율적으로 연산할 수 있다는 것을 증명하였다는 것은, 회사가 다음 성장 단계에 접어들었다는 것을 의미하며, 팀의 헌신과 지속적인 노력에 대해 매우 자랑스럽고 감사하다"고 전했다.

 

백준호 대표는 Hot Chips에서 "퓨리오사 RNGD: 지속 가능한 AI 컴퓨팅을 위한 텐서 축약 프로세서(Tensor Contraction Processor)"라는 주제로 제품 소개 및 초기 벤치마크를 공개하며, Llama 3.1 70B의 라이브 데모를 선보였다.

 

RNGD 주요 특징

 

- 범용성과 전력 효율의 균형을 이룬 텐서 축약 프로세서(TCP: Tensor Contraction Processor) 기반 아키텍처

- TCP 아키텍처와 함께 설계, 최적화된 컴파일러를 통한 프로그래밍 유연성

- 주요 GPU의 TDP가 1000W 이상인 것과 대비, 150W TDP의 높은 효율성

- 48GB HBM3 메모리를 탑재, Llama 3.1 8B와 같은 모델을 단일 카드에서 효율적으로 실행 가능

 

Supermicro의 기술 및 AI 담당 수석 부사장이자 EMEA 지역 사장 겸 매니징 디렉터인 Vik Malyala는 "퓨리오사 RNGD AI 추론 솔루션은 Supermicro와 함께 친환경 컴퓨팅의 도입을 촉진할 것이며, 퓨리오사의 기술과 제품을 통해 Supermicro 시스템은 전력 소비를 줄이면서도 뛰어난 추론 성능을 제공할 것으로 본다"고 평가했다.

 

GUC의 CMO인 Aditya Raina는 "퓨리오사AI와의 협력으로 성능과 전력 효율성 모두 뛰어난 RNGD를 시장에 선보이게 되었다. AI 반도체 개발에는 알고리즘, 소프트웨어, 하드웨어에 대한 깊은 이해가 필수적인데, 퓨리오사AI는 설계에서부터 양산 샘플 출시까지 탁월한 역량을 보여주며, 업계에서 가장 효율적인 AI 추론 칩을 출시하게 되었다"고 전했다.

 

사진 - https://mma.prnewswire.com/media/2489185/FuriosaAI_june_ceo.jpg

June Paik, Co-Founder and CEO of FuriosaAI.

 

사진 - https://mma.prnewswire.com/media/2489187/FuriosaAI_board.jpg

Furiosa RNGD - Gen 2 data center accelerator

 

로고 - https://mma.prnewswire.com/media/2489188/Furiosa_AI_h_rgb_Logo.jpg

FuriosaAI Logo.

 

출처: FuriosaAI

 

FuriosaAI Unveils RNGD, A Leading AI Inference Chip

 

SANTA CLARA, Calif. Aug. 28, 2024 /PRNewswire/ -- FuriosaAI [https://furiosa.ai/ ], an emerging leader in the AI semiconductor space, today announced the unveiling of RNGD (pronounced "Renegade"), a leading AI accelerator, at Hot Chips 2024. RNGD is positioned to be the most efficient data center accelerator for high-performance large language model (LLM) and multimodal model inference, disrupting an AI hardware landscape long defined by legacy chipmakers and high-profile startups. Founded in 2017 by three engineers with backgrounds at AMD, Qualcomm, and Samsung, the company has pursued a strategy focused on rapid innovation and product delivery which has resulted in the unveiling and fast development of RNGD.

 

Furiosa successfully completed the full bring-up of RNGD after receiving the first silicon samples from their partner, TSMC. This achievement reinforces the company's track record of fast and seamless technology development. With their first-generation chip, introduced in 2021, Furiosa submitted their first MLPerf benchmark results within 3 weeks of receiving silicon and achieved a 113% performance increase in the next submission through compiler enhancements.

 

Early testing of RNGD has revealed promising results with large language models such as GPT-J and Llama 3.1. A single RNGD PCIe card delivers 2,000 to 3,000 tokens per second throughput performance (depending on context length) for models with around 10 billion parameters.

 

"The launch of RNGD is the result of years of innovation, leading to a one-shot silicon success and exceptionally rapid bring-up process. RNGD is a sustainable and accessible AI computing solution that meets the industry's real-world needs for inference," said June Paik, Co-Founder and CEO of FuriosaAI. "With our hardware now starting to run LLMs at high performance, we're entering an exciting phase of continuous advancement. I am incredibly proud and grateful to the team for their hard work and continuous dedication."

 

June will present performance benchmarks at Hot Chips [https://hotchips.org/ ] today in a presentation titled, "Furiosa RNGD: A Tensor Contraction Processor for Sustainable AI Computing" which further underscores RNGD's exceptional capabilities, leaving industry experts eagerly anticipating what comes next. He will offer a first hands-on look at the fully functioning RNGD card along with a live demo at the Furiosa booth.

 

RNGD's key innovations include:

 

- A non-matmul, Tensor Contraction Processor (TCP) based architecture that enables a perfect balance of efficiency, programmability and performance.

- Programmability through a robust compiler co-designed to be optimized for TCP that treats entire models as single-fused operations.

- Efficiency, with a TDP of 150W compared to 1000W+ for leading GPUs

- High-performance, with 48GB of HBM3 memory delivering the ability to run models like Llama 3.1 8B efficiently on a single card.

 

What our industry partners have to say:

 

"The Furiosa RNGD AI Inference solution drives the adoption of green computing with Supermicro. By integrating Furiosa's technology, Supermicro systems can reduce power consumption per card while still delivering exceptional inference performance," said Vik Malyala, SVP, Technology and AI; President and Managing Director, EMEA of Supermicro.

 

"The collaboration between GUC and FuriosaAI to deliver RNGD with exceptional performance and power efficiency hinges on meticulous planning and execution. Achieving this requires a deep understanding of modern AI software and hardware. FuriosaAI has consistently demonstrated excellence from design to delivery, creating the most efficient AI inference chips in the industry," said Aditya Raina, CMO of GUC.

 

The chip is currently sampling to early access customers, with broader availability expected in early 2025.

 

For more details on RNGD's architecture and capabilities, please visit FuriosaAI's blog [https://furiosa.ai/blog/furiosaai-rngd-hot-chips-2024 ].

 

About FuriosaAI

 

FuriosaAI is a semiconductor company dedicated to creating sustainable AI computing solutions that make powerful AI accessible to all. With its innovative Tensor Contraction Processor architecture, FuriosaAI is revolutionizing the AI hardware landscape, offering unparalleled efficiency and programmability for the most demanding AI workloads. For more information, please visit https://furiosa.ai/.

 

Photo - https://mma.prnewswire.com/media/2489185/FuriosaAI_june_ceo.jpg

June Paik, Co-Founder and CEO of FuriosaAI.

 

Photo - https://mma.prnewswire.com/media/2489187/FuriosaAI_board.jpg

Furiosa RNGD - Gen 2 data center accelerator

 

Logo - https://mma.prnewswire.com/media/2489188/Furiosa_AI_h_rgb_Logo.jpg

FuriosaAI Logo.

 

Source: FuriosaAI

 

[편집자 주] 이 보도자료는 자료 제공사에서 제공한 것으로, 연합뉴스는 내용에 대해 어떠한 편집도 하지 않았으며, 연합뉴스의 편집방향과는 무관함을 밝혀 드립니다.

(끝)

 

출처 : PRNewswire 보도자료