ChatBOT等生成式AI應用帶動AI伺服器需求熱潮，大型雲端業者投入最積極，包含Microsoft、Google、AWS或其他中系業者如Baidu、ByteDance等陸續採購高階AI伺服器，以持續訓練、優化AI分析模型。根據TrendForce研究，高階AI伺服器需採用的高階AI晶片，將推升今、明年高頻寬記憶體（HBM）需求，並驅動明年先進封裝產能將成長3到4成。
集邦科技指出，AI及HPC等晶片對先進封裝技術需求日益提升，其中，以台積電CoWoS為目前AI 伺服器晶片主力採用者。CoWoS封裝技術主要分為CoW和oS兩段，其中，CoW主要整合各種Logic IC（如CPU、GPU、AISC等）及HBM記憶體等。
另外，oS部分則將各種CoW以凸塊（Solder Bump）等接合，封裝在基板上，最後再整合到PCBA，成為伺服器主機板主要運算單元，與其他零組件如網路、儲存、電源供應單元(PSU)及其他I/O等組成完整的AI 伺服器系統。
TrendForce觀察，高階AI晶片及HBM強烈需求下，台積電2023年底CoWoS月產能有望達12K，其中，NVIDIA在A100及H100等相關AI伺服器需求帶動下，對CoWoS產能較年初需求量，估提升近5成，加上AMD、Google等高階AI晶片需求成長下，下半年CoWoS產能較為緊迫，預期強勁需求將延續至2024年，若在相關設備齊備下，先進封裝產能將再成長3-4成。
TrendForce認為，在AI較急促需求下，無論是HBM或CoWoS生產過程中，得後續觀察周邊配套措施，如直通矽晶穿孔封裝技術（TSV）、中介層電路板（Interposer）以及如濕製程設備等相關設備是否到位，如前置時間（Lead Time）等考量。而在AI強勁需求持續下，估NVIDIA針對CoWoS相關製程，亦不排除將評估其他類似先進封裝外援，例如Amkor或Samsung等，以因應可能供不應求情形。
根據集邦調查，為提升AI伺服器系統運算效能及記憶體傳輸頻寬等，NVIDIA、AMD、Intel等高階AI晶片中大多選擇搭載HBM。目前NVIDIA的A100及H100，各搭載達80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper晶片中，單顆晶片HBM搭載容量再提升20%，達96GB。
AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高階MI300X則達192GB，提升了50%。預期Google也將在下半年擴大與博通（Broadcom）合作開發AISC AI加速晶片TPU亦採搭載HBM記憶體，以擴建AI基礎設施。
TrendForce估計，2023年市場上主要搭載HBM的AI加速晶片(如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等），搭載HBM總容量將達2.9億GB，成長率近6成，2024年將持續成長3成以上。（審核：葉憶如）
延伸閱讀
台積電先進封測六廠正式啟用 年超過上百萬片12吋晶圓3DFabric產能
【台積電股東會】海外建廠、先進封裝、國際管理、股利……一文看股東會重點
【台積電股東會】劉德音：台積電仍在穩定道路上快速發展「前景十分光明」
Yahoo財經特派記者 呂俊儀：資深財經媒體工作者，曾任採訪團隊主管，專訪過長榮集團創辦人張榮發、鴻海創辦人郭台銘，也歷經台積電創辦人張忠謀退休記者會等大事件，堅持產出最專業、富有洞見的新聞。
留言列表
