블로그

Aug 29, 2023

Nvidia H100 칩은 세계에서 가장 많이 찾는 칩입니다.

요즘에는 모두가 Nvidia의 H100 칩을 손에 넣고 싶어하는 것 같습니다. 생성적 AI 기반 검색 엔진을 구축하고 있는 Microsoft와 Google이 가장 큰 고객입니다.

요즘에는 모두가 Nvidia의 H100 칩을 손에 넣고 싶어하는 것 같습니다.

생성적 AI 기반 검색 엔진을 구축하고 있는 Microsoft와 Google은 Nvidia H100 칩의 가장 큰 고객 중 일부입니다. 서버 제조업체 최근 주문을 받기까지 6개월 이상 기다렸다고 주장합니다. 벤처 캐피탈 투자자들은 자신이 투자하는 스타트업을 위해 H100 칩을 구매하고 있습니다.

그러나 익명의 소식통을 인용한 파이낸셜 타임스(Financial Times)에 따르면, H100을 확보하려는 것은 기술 회사들만이 아닙니다. 사우디아라비아와 UAE는 자체 AI 애플리케이션을 구축하기 위해 이 40,000달러짜리 칩 수천 개를 사들인 것으로 알려졌습니다.

한 회사의 칩 하나에 대한 이러한 급격한 수요는 구매 열풍으로 이어졌습니다. OpenAI의 Andrej Karpathy가 트위터 게시물에 올린 것처럼 "누가 H100을 몇 개나 받는지, 언제 받는지가 계곡의 최고 가십입니다."라고 했습니다.

Mark Zuckerberg와의 싸움에 집착하는 Elon Musk조차도 Nvidia의 칩이 부족하다는 점에 대해 논평할 시간을 찾았습니다. (Musk는 작년에 출시된 H100 칩을 언급하는지 아니면 일반적인 Nvidia의 칩을 언급하는지 식별하지 않습니다. 그러나 AI용 칩은 확실히 현재 대세입니다.) Musk의 Tesla는 Dojo라는 이름의 새로운 슈퍼컴퓨터를 구축하는 데 10억 달러를 지출하고 있습니다. , 자율주행 차량을 훈련하고 해당 차량의 데이터를 처리합니다. 머스크는 Dojo 계획이 시작되었다고 말했습니다. 단지 Tesla가 충분한 여유가 없었기 때문입니다. Nvidia GPU—이러한 칩을 그래픽 처리 장치라고 합니다. 머스크는 지난 7월 전화 회의에서 투자자와 분석가들에게 "솔직히... 그들이 우리에게 충분한 GPU를 제공할 수 있다면 Dojo가 필요하지 않을 것"이라고 말했습니다. “그들은 고객이 너무 많습니다. 그럼에도 불구하고 그들은 우리의 GPU 주문 중 일부를 우선순위로 둘 만큼 친절했습니다.”

Tesla가 Nvidia로부터 필요한 수의 칩을 받을 수 있었다면 해당 칩은 방대한 양의 비디오 데이터를 훈련하는 특수 컴퓨터에 들어갔을 것입니다. Musk는 이것이 "자율성을 위한 일반화된 솔루션"을 달성하는 데 필요하다고 말했습니다. ”

데이터는 어떻게든 처리되어야 합니다. 그래서 Dojo는 자율주행차에 필요한 데이터 양을 처리하기 위해 생성적 AI 시스템이 아닌 비디오 교육에 최적화되도록 설계되었으며, 이는 인간 운전보다 안전한 자율주행을 달성하는 데 중요하다고 머스크는 말했습니다.

LLM(대형 언어 모델)은 질문에 대한 복잡한 응답을 생성하기 위해 방대한 양의 데이터를 학습합니다. 그러나 LLM을 검색 엔진과 같은 실제 응용 프로그램에 통합하려면 많은 컴퓨팅 성능이 필요합니다.

한 연구에서 워싱턴 대학교와 시드니 대학교의 연구원들은 LLM 운영에 드는 높은 비용을 분석했습니다. Google은 초당 99,000개 이상의 검색어를 처리합니다. GPT-3가 모든 쿼리에 포함되고 각 쿼리가 일부 작업을 수행할 권리를 나타내는 객체인 500개의 토큰을 생성한다고 가정하면 Google은 이를 유지하기 위해 약 27억 개의 A100 GPU(구형 Nvidia AI 칩)가 필요할 것입니다. 위로. 연구원들은 이러한 GPU의 비용이 자본 지출로만 400억 달러를 초과할 것이라고 추정했습니다.

이전에 IBM과 Silicon Valley Graphics에서 근무했으며 Harvard Business School의 경영 실무 교수인 Willy Shih는 Google과 다른 회사에 필요한 것은 동일하거나 더 낮은 가격으로 더 나은 성능을 발휘하는 더 강력한 칩이라고 말했습니다. 컴퓨터 과학자 Grace Hopper의 이름을 딴 Nvidia H100을 입력하세요. H100은 생성 AI에 맞춰져 있으며 이전 모델보다 빠르게 실행됩니다. 칩이 강력할수록 쿼리를 더 빠르게 처리할 수 있다고 Shih는 말했습니다.

고성능 AI 칩에 대한 수요는 경쟁자들이 따라잡기 위해 안간힘을 쓰는 가운데 시장을 장악하고 있는 Nvidia에게 큰 도움이 되었습니다. 부분적으로는 운이 좋았기 때문입니다.

생성적 AI 스타트업이 확장을 위해 노력하고 H100이 부족하다는 사실을 알게 되면서, 이는 자체 Nvidia와 유사한 칩을 구축하기 위해 노력하고 있는 Amazon 및 Google과 같은 경쟁업체가 상황에 부응할 수 있는 기회를 제공합니다. Amazon의 칩은 Inferentia와 Tranium이라고 불립니다. Google은 Tensor 처리 장치입니다.