1. AI 기반 하드웨어 설계
반도체 설계 과정에서 인공지능(AI)의 활용이 급격히 증가하고 있습니다. 예를 들어, 반도체의 설계도 Layout을 진행하는 PnR (placement & routing)과 같은 복잡한 작업을 EDA Tool 에서 제공해 AI가 자동화 인간의 실수를 줄이고 설계를 정밀하게 수행할 수 있게 되었습니다. 또한, AI를 활용하면 기존 설계에서 발견하지 못했던 효율성 문제를 해결할 수 있어 복잡한 시스템의 설계를 도와주고 있습니다.
2. AI 하드웨어에서의 열 관리 (TDP, Thermal Design Power )
AI 하드웨어들이 점점 더 복잡해지고 있어 열 문제는 도전 과제가 되었습니다. AI 칩은 막대한 연산을 처리하면서 많은 열을 발생시키는데 쿨링 팬을 통한 열관리는 이를 해결하기 위해 연구자들은 새로운 냉각 기술과 열 관리 솔루션을 개발하고 있습니다. TIM Thermal Interface Material으로 140도 이상의 AP, CPU 등의 쿨링, 열관리의 편향성 있게 만드는 Processer 보다 3배 이상 큰 Heat Sink등 많은 AI 하드웨어 열관리의 중요성이 더 커지고 있음을 시사하고 있습니다.
3. 다각화된 AI 하드웨어의 아키텍쳐
텐스 토렌트와 셀레브라스와 같이 메모리 Bandwidth의 한계를 넘기 위해 SOC(system on Chip) 아키텍쳐적으로 AI 추론기능을 개선하고자 하는 움직임들이 커지고 있습니다. 이러한 전략은 Off Chip의 메모리 병목점을 넘기 위해서 Sram을 활용해 주메모리 접근에 대한 빈도수를 줄이고자 하는데 있습니다. 특히 주목을 받은 셀레브라스 같은 경우 TSMC 5nm 공정을 사용해 칩의Die 크기가 웨이퍼 만큼의 슈퍼칩을 만들었습니다. 연산 추론의 Laytency를 현저히 줄여 Chat GPT 같은 언어 추론 성능에 탁월한 결과를 보였습니다. 하지만 이러한 SRAM의 사용은 칩다이의 수율에 직접적으로 개입하여 칩 가격의 원가에 큰 영향을 주어 '일장 일단'이 있는 아키텍쳐라고 평가 받고 있습니다.