AI應(yīng)用百花齊放,兩大AI巨頭英偉達(dá)、超微全力沖刺高效能運(yùn)算(HPC)市場(chǎng),傳出包下臺(tái)積電今、明年CoWoS與SoIC先進(jìn)封裝產(chǎn)能,助攻臺(tái)積電AI相關(guān)業(yè)務(wù)訂單熱轉(zhuǎn)。
臺(tái)積電高度看好AI相關(guān)應(yīng)用帶來(lái)的動(dòng)能,總裁魏哲家于4月法說(shuō)會(huì)上修AI訂單能見(jiàn)度與營(yíng)收占比,其中,訂單能見(jiàn)度從原預(yù)期2027年拉長(zhǎng)到2028年。
臺(tái)積電認(rèn)為,伺服器AI處理器今年貢獻(xiàn)營(yíng)收將成長(zhǎng)超過(guò)一倍,占公司2024年總營(yíng)收十位數(shù)低段(low-teens)百分比,預(yù)期未來(lái)五年伺服器AI處理器年復(fù)合成長(zhǎng)率達(dá)50%,2028年將占臺(tái)積電營(yíng)收超過(guò)20%。
業(yè)界指出,AI需求強(qiáng)勁,亞馬遜AWS、微軟、Google、Meta等全球云端服務(wù)(CSP)四巨頭積極投入AI伺服器軍備競(jìng)賽,使英偉達(dá)、超微等AI芯片大廠產(chǎn)品出現(xiàn)供不應(yīng)求盛況,并對(duì)臺(tái)積電先進(jìn)制程、先進(jìn)封裝全力下單,以因應(yīng)云端服務(wù)大廠龐大訂單需求,臺(tái)積電2024年與2025年CoWoS或SoIC等先進(jìn)封裝產(chǎn)能都已全數(shù)被包下。
因應(yīng)客戶龐大需求,臺(tái)積電正積極擴(kuò)充先進(jìn)封裝產(chǎn)能。業(yè)界推估,今年底臺(tái)積電CoWoS月產(chǎn)能上看4.5萬(wàn)至5萬(wàn)片,較2023年的1.5萬(wàn)片呈現(xiàn)倍數(shù)成長(zhǎng),2025年底CoWoS月產(chǎn)能更將攀上5萬(wàn)片新高峰。
SoIC方面,預(yù)期今年底月產(chǎn)能可達(dá)五、六千片,同樣較2023年底的2,000片倍數(shù)成長(zhǎng),并于2025年底沖上單月1萬(wàn)片規(guī)模。由于大廠全數(shù)包下產(chǎn)能,臺(tái)積電相關(guān)產(chǎn)能利用率將維持高檔水準(zhǔn)。
據(jù)了解,英偉達(dá)目前量產(chǎn)出貨主力H100芯片主要采用臺(tái)積電4納米制程,并采用CoWoS先進(jìn)封裝,與SK海力士的高頻寬記憶體(HBM)以2.5D封裝形式供貨客戶。
至于英偉達(dá)新一代的Blackwell架構(gòu)AI芯片雖然同樣采用臺(tái)積電4納米制程,惟是以加強(qiáng)版N4P生產(chǎn),同時(shí)搭載更高容量及更新規(guī)格的HBM3e高頻寬記憶體,因此運(yùn)算能力將比H100系列倍數(shù)成長(zhǎng)。
另外,超微的MI300系列AI加速器則采用臺(tái)積電5納米與6納米制程生產(chǎn),與英偉達(dá)不同之處在于,超微在先進(jìn)封裝上,先行采用臺(tái)積電SoIC將CPU、GPU晶粒做垂直堆疊整合,再與HBM做CoWoS先進(jìn)封裝,因此制程良率多了一道先進(jìn)封裝難度較高的SoIC制程。
先進(jìn)封裝,成未來(lái)決勝點(diǎn)
日前臺(tái)積電舉辦2024年科技研討會(huì)北美高峰會(huì),會(huì)中亮相許多前沿技術(shù),摩根大通在最新報(bào)告中強(qiáng)調(diào),臺(tái)積電在技術(shù)創(chuàng)新和先進(jìn)封裝領(lǐng)域的地位,未來(lái)在AI時(shí)代將起到關(guān)鍵作用,透過(guò)一系列技術(shù)突破,臺(tái)積電有望在未來(lái)幾年繼續(xù)保持在半導(dǎo)體產(chǎn)業(yè)的領(lǐng)先地位。
盡管如此,知識(shí)力專家社群創(chuàng)辦人曲博指出,晶體管越小,理論上芯片就越小,一片晶圓能做出來(lái)的芯片就會(huì)變多, 所以理論上單位成本會(huì)隨晶體管的縮小而降低。然而先進(jìn)制程發(fā)展到一個(gè)程度之后,技術(shù)復(fù)雜度大幅增加,特別是極紫外光(EUV)一旦用下去,成本立刻暴增,導(dǎo)致進(jìn)入3納米,成本不但下不來(lái),反而是增加,更遑論未來(lái)進(jìn)入2納米甚至1納米。
無(wú)論是晶體管縮小來(lái)到極限,抑或是成本因素的考量,未來(lái)半導(dǎo)體產(chǎn)業(yè)的重要發(fā)展,就是采用先進(jìn)封裝技術(shù)把不同的芯片堆起來(lái),讓晶體管的密度再增加。臺(tái)積電日前已推出其晶圓級(jí)系統(tǒng)(SoW)產(chǎn)品,該產(chǎn)品允許封裝大量芯片(邏輯芯片、復(fù)合SoIC封裝、HBM和其他芯片),以及在完整12英寸硅晶圓尺度上的電源和熱模組。與CoWoS和3DSoIC相比,先進(jìn)封裝復(fù)雜性和能力的顯著提升,因?yàn)檎麄(gè)運(yùn)算系統(tǒng)可能會(huì)被封裝在單一晶圓中。
但曲博也提醒,臺(tái)積電投入這一塊雖然花了很多功夫,但是先進(jìn)封裝這個(gè)領(lǐng)域英特爾(Intel)其實(shí)技術(shù)也是很強(qiáng)的,大家一定要分清楚一件事, 在「先進(jìn)封裝」上,臺(tái)積電并沒(méi)有絕對(duì)領(lǐng)先英特爾,臺(tái)積電是在「先進(jìn)制程」上領(lǐng)先Intel。所以隨著先進(jìn)封裝這個(gè)領(lǐng)域的重要性慢慢提高,臺(tái)積電并沒(méi)有大意的本錢。也可預(yù)見(jiàn),臺(tái)灣相關(guān)先進(jìn)封裝設(shè)備與技術(shù)的供應(yīng)鏈廠商,未來(lái)應(yīng)該會(huì)有不錯(cuò)的成長(zhǎng)空間。
生成式人工智能仰賴大型語(yǔ)言模型的訓(xùn)練,現(xiàn)在的做法是分三階段,第一個(gè)階段是「預(yù)訓(xùn)練」、第二個(gè)階段是「微調(diào)」(Find Tune)、最后一個(gè)階段是「推理」。預(yù)訓(xùn)練需要大量的圖形處理器運(yùn)算,,訓(xùn)練一個(gè)月的成本就要1,000萬(wàn)美金。但是微調(diào)就不一樣,微調(diào)是用大量的數(shù)據(jù)進(jìn)行標(biāo)注、微調(diào)參數(shù)而已,所以并不需要大量的算力, 而是需要大量的高頻寬記憶體(HBM)。
頂級(jí)GPU太貴、中小企業(yè)想用卻用不起,群聯(lián)電子本身也遇到相同痛點(diǎn),遂開(kāi)始投入研發(fā),以自身于記憶體領(lǐng)域優(yōu)勢(shì),在近期推出平價(jià)版生成式AI解決方案。GPU決定算力、HBM則決定模型大小,群聯(lián)董事長(zhǎng)潘健成就曾指出,群聯(lián)以SSD取代造價(jià)高昂的HBM系統(tǒng),加上輝達(dá)消費(fèi)級(jí)GPU打造,將傳統(tǒng)工作站升級(jí)為小規(guī)模AI伺服器,硬體成本大幅降低;盡管運(yùn)算速度仍不如大型CSP運(yùn)端運(yùn)算,不過(guò)相當(dāng)具備成本優(yōu)勢(shì);他打比方說(shuō)道,例如臺(tái)北到高雄坐飛機(jī)其實(shí)最快、但是高鐵才是性價(jià)比最高的選擇。









