[반도체 이야기] Nvidia GTC 젠슨황 발표 톺아보기 2편 (B200 으로 보는 패키징시장)

"2024 모래에서 나온 최고의 혁신작품 B200 "

엔비디아의 B200 발표 이후로 가파른 주가 성장을 이끌어 냈습니다.그렇다면 반도체 설계자 입장에서 B200은 뭐가 그렇게 대단 할까 생각해 보신적 있으신가요? 이에 대한 현업자의 대답을 적어보았습니다.

 

B200은 연산의 hierarchy적으로 매우 성공한 칩으로 평가 했습니다. 한마디로 연산 단계의 GPU 2개와 weight기억을 위한 HBM의 연결을 Die to Die로 package로 엮어 거대 AI model에 대한 연산을 극복했습니다.

 

더 자세하게 설명 해 보겠습니다, B200은 단순하게 하나의 칩이 아니라 2개의 logic Die가 연결된 MCM (chiplet)구조입니다. 또한 메모리 HBM(Highband width memory)가 3D 이종접합 모듈로서 logic die에 옆에 존재하는 구조입니다. 

 

그럼 왜 엔비디아, 인텔과 같은 거대 칩 벤더들이 칩렛 양산에 목숨걸고 있는 것일까요

 

1. 칩렛의 장점: 양산에 대한 부담을 줄이겠다.

큰 반도체 die는 수많은  문제에 접합니다.

   1) 칩의 큰 사이즈는 파워에 대한 배선 문제(IR drop)을 겪습니다. 큰 사이즈와 큰 연산 과정의 구동 전류는 power 노드의 동일 potential을 여럽게 만들고 power Integrity를 지키기 어려운 문제가 생깁니다.

   2) 작은 particle로 죽는 칩이 생기는 등 공정상 문제가 존재합니다. 특히 208B개의 어마무시한 Transistor의 집적은 power에 대한 제약이 생기기 마련입니다.

하지만 시장은 대규모 AI연산을 진행할 연산속도와 부가가치를 지닌 슈퍼 컴퓨터를 원하는 상황에서 칩 벤더는 양산에 대한 부담을 줄이기 위해 작은 칩을 여러가지 모듈로 이을수 있는 package 라는 해답을 찾았습니다.

 

2. 칩렛의 장점: 다양한 Application을 Package 안에 담을수 있다.

SOC(system on chip)과 SIP(system In package)를 비교 하며 어떤 부분에서 장점이 있는지 설명해보겠습니다.

 

SOC (system on chip)	SIP (system In package)
다양한 기능 (power- 아날로그, 신호 - 디지털 RF - 신호 전달)이 하나의 칩에서 이루어 진다.	다양한 기능 (power- 아날로그, 신호 - 디지털 RF - 신호 전달)이 하나의 패키지에서 이루어 진다.

 

출처 - https://www.researchgate.net/figure/Comparison-among-SOC-System-On-Chip-MCM-Multi-Chip-Module-SIP-System-In-Package_fig1_228870734

 

파운드리(Foundry)에서 나온 칩은 실제적으로 사후대책이 불가합니다. 이렇기에 위와 같이 Mixed type에 다양한 어플리케이션을 담고 있는 칩은 다시 설계를 해야 하는 Respin율이 꽤나 높다고 하죠 또한 성능을 맞추기 위해 사후적으로 할수 있는 일들이 아주 적습니다. 이렇기에 칩 벤더 입장에서는 높은 위험비율을 가지고 설계하죠. 또한 이러한 작은 반도체 칩에서 Signal Integrity를 겪습니다. 작은 칩안의 블록들이 Ground bounce및 Via to via Cross talk등 많은 간섭문제가 생깁니다. 

이러한 점에서 많은 칩 벤더 들이 물리적으로 커플링을 줄이는 방법과 Respin에 대응해 단일 칩만 바꿀 수있는 package에서 해답을 찾고 있는 것이죠