過去兩年，人工智能的繁榮讓英偉達走向了風口浪尖，但其實藏在英偉達背后，還有一家芯片公司在快速成長，那就是博通。數據顯示，過去一年，博通公司股價已經上漲一倍多，博通也成為了英偉達之后，為數不多能躍進全球前十的半導體公司之一。

上個禮拜，Broadcom 在其位于圣何塞的工廠舉行了有史以來的首次投資者日活動，Broadcom 擁有 26 個部門或損益表，其中 17 個屬于半導體集團。半導體集團的收入約為 300 億美元，并以兩位數的速度增長。該集團每年的研發費用為 30 億美元。

Broadcom 半導體解決方案集團總裁 Charlie Kawwas 參與了此次演講，這次投資者日活動旨在讓投資界了解 Broadcom 的獨特市場策略。在本文中，我們總結了博通對AI市場的看法。

博通所提供的半導體解決方案

Charlie Kawwas首先提到了Broadcom的傳統基因就是技術創新，在過去八年里，Broadcom沒有收購過一家半導體公司，卻實現了有機增長，2019 年的業務規模為 170 億美元，而2023年的業務收入達到 280 億美元，年均復合增長率約為 13%，比半導體行業快得多。其表示，這一切都建立在大規模投資的基礎上，Broadcom在這一業務上的研發投資超過 30 億美元。在過去的五年中，共有 150 億美元的研發投入，這些資金支撐了有機增長。

Kawwas稱，Broadcom實現有機增長，靠的是三大支柱。*大支柱是市場。在實施戰略時，選擇持久的市場，并對這些市場進行長達 10 年的考察。Broadcom問自己的*個問題是，10 年后這個市場還會存在嗎？在人工智能領域，Broadcom已經投資了近十年，只是碰巧遇到了一個正在大幅增長的市場，Broadcom很高興能成為其中的一員。

而第二大支柱，也是最重要的支柱，是技術，這是 Broadcom 的傳統和基因，尤要做到這一點，就必須進行投資和研發投資，必須建立一支工程師圖團隊，正是這些工程師為Broadcom帶來了*地位，帶來了Broadcom今天要與大家分享的技術。

第三大支柱是執行，當Broadcom在市場上打拼了 10 年，并在這段時間內帶來了*的技術，最終在每個類別中都成為*，Kawwas表示，基于以上三點，Broadcom創造了一個術語，叫做 "可持續特許經營"，這也是每個業務單元或部門的核心定義。

Kawwas提到，Broadcom將重點關注網絡中的細分市場，即人工智能以及如何在基礎設施中啟用人工智能。*個支柱市場實際上是由兩個不同的市場組成。一個是消費人工智能領域，該領域的參與者寥寥無幾，但卻擁有數十億用戶，他們賺錢的方式是基于廣告、最終用戶和消費者的參與，參與度與他們在人工智能和機器學習方面的投資額直接相關，他們建立的集群越大，參與度就越高，這意味著更好的經濟回報。

另一個市場則是企業，它可以是云計算或內部部署。在該領域中，很多人都在嘗試投資人工智能，但商業案例還有待驗證，每個人都在建立小型集群來試驗這些技術，甚至云計算公司也在進行一些試驗，但并沒有像消費級人工智能那樣，出現真正切實的商業案例。

在技術這第二個支柱中，從Broadcom的角度來看，會專注于兩種產品。一個是我們所說的人工智能加速器即XPU，開發這部分產品實際上有兩種方式，廠商可以開發一種滿足所有人需求的通用產品，但它們功耗過大，且過于昂貴，無法實際部署到網絡中。其中一部分公司別無選擇，因為他們不具備定制能力，但少數擁有數十億用戶規模、創造數千億甚至超過 5 萬億美元收入的公司具備這種能力，這也是Broadcom將其命名為定制 XPU 或定制 AI 加速器的原因。

Kawwas表示，在這一切的基礎上，還要將這些 XPU 連接起來，廠商需要一種網絡技術或人工智能連接技術，而Broadcom將討論消費級人工智能的大規模建設，從產品和技術的角度來看，Broadcom將重點介紹定制的人工智能加速器，并最終向大家展示Broadcom的整個人工智能連接產品組合。

他提到，Broadcom并不是在最近一兩年才開始關注人工智能的，在 2022 年之前的很長一段時間里，人工智能在半導體領域的收入一直低于 5%，但近兩年它們在半導體領域的收入躍升了 2 倍多，達到了 10%。2023 年Broadcom在該市場拿下了15%的份額，預計2024年能達到25%的份額，總收入超過100億美元。

值得一提的是，Kawwas在本次活動中宣布了Broadcom的第三家定制芯片大客戶。

*位客戶毫無疑問是是谷歌，從*代TPU開始，十年來谷歌一直是 Broadcom 的定制芯片客戶，而Kawwas還提到了新加入的第二家定制客戶，大概率就是 Meta，其在過去四年來一直是Broadcom的客戶，它們合作構建了多代產品，目前以及實現量產。

Kawwas所宣布的第三位客戶眾說紛紜，有國外媒體猜測可能是國內的字節跳動，理由是它擁有大型網絡，并采用了 Broadcom 的片上神經網絡推理引擎，同時也是一個以消費者為導向的大型社交網絡，可以通過使用更多的定制芯片而不是商業芯片來獲得快速的投資回報。

Kawwas回憶到兩年前，當時的集群擁有*進的 4,096 個 XPU，單個XPU功率為幾百瓦，與現在相比，使用戰斧交換機將 4000 個 XPU 互聯是相當簡單的單層網絡。而在2023 年，Broadcom建立了一個使用這種 XPU 的集群并開始出貨，該集群的 XPU 節點超過 10,000 個，需要兩層戰斧或Jericho交換機才能實現這一目標，他表示，這是目前業界功耗*的 XPU，無論是商用還是定制，功耗都低于 600 瓦，并采用了*。

Kawwas表示，隨著 2024 年的到來，Broadcom打算將這一集群擴展到 30,000 個XPU以上，而后，Broadcom的消費級人工智能客戶的計劃和目標是，如何將這一數字提高到幾十萬乃至上百萬，這也是Broadcom正在努力的方向。

隨后Kawwas展示了最新的XPU，可以看到中間的兩個計算單元和左右兩邊的所有 HBM。一個完整的定制 SoC，其擁有強悍的算力、大容量的HBM與高速芯片內連接，以及最高性能的外部網絡，比較有意思的是，這款XPU一共擁有12個HBM堆棧，作為對比，英偉達的Blackwell僅有8個HBM堆棧，Kawwas強調，Broadcom所定制的XPU在HBM上比對手多出了整整50%，Broadcom可以比其他任何人做得更好、更快、更省電。

隨后Kawwas分享了如何構建一個集群，從單個XPU到一臺服務器，再到一整個集群。他表示，目前業界功耗*的 XPU 就是Broadcom的產品，功率為 600 瓦，其他公司即將推出的下一款產品可能在 1,000 瓦左右。如果今年要生產 3 萬個這樣的產品，僅 XPU 就需要 30 兆瓦的功率，這就是大多數數據中心允許的*功率，這還沒算上電源、冷卻系統和網絡，他強調集群就是一個異構系統，需要在生態系統的多個參與者之間找到一種擴展方式，世界上沒有一家公司能在數據中心或集群中構建一切，大家需要相互合作。

為了解決這些問題，Broadcom正在進行三方面的技術投資。其一，Broadcom認為行業的這一重要拐點必須是開放的，必須由以太網、PCIe 等開放標準以及內存層面的其他標準功能來推動。

第二個方面是規模，如何擴展到百萬級集群？這些架構中最重要的并不僅僅是 XPU，Broadcom的愿景和前進的方式都以網絡為中心，當XPU數量超過1萬、2萬和3萬時，這將成為一個分布式計算的挑戰，再好的網絡架構也無法解決分布式計算的難題，Broadcom會在擴大和擴展這些網絡并實現網絡互聯方面做出承諾。

最后一方面就是節能技術，為了做到這一點，Broadcom開始了研發，并以可持續的方式提供這些技術。他表示，核心交換集團總經理Ram Velaga 會介紹人工智能網絡，數據中心解決方案集團總經理Jas Tremblay 會介紹服務器互連，光學系統部門總經理Near Margalit 會介紹光互連，物理層產品部門總經理Vijay Janapaty 會介紹跨 Pamp;L 共享的 SerDes 等基礎技術， ASIC 產品部總經理Frank Ostojic 會介紹定制人工智能加速器。

人工智能網絡

Ram Velaga表示，當需要一百萬個以上的 GPU這種規模時，連接它的*方法就是擁有網絡，也印證了一句老話:網絡就是一臺計算機。

他提到，為了讓交換機獲得 GPU 和交換機之間的流量，用戶需要 NIC。GPU 需要大量帶寬，而 NIC 必須跟上即將出現的 GPU 帶寬量。Broadcom的重點是具有非常高 RDMA 性能的NIC，可以持續從 400 GB 擴展到 800 GB，再到 1.6 太比特。

RDMA 大約出現在 25 年前，當時的想法是兩個 CPU 想要互相通信并共享內存。因此，它是為兩臺機器相互通信而構建的，然后慢慢地從 2 臺擴展到 16 臺、32、64、128、512。但它從來不是為數千或數十萬個 CPU 或 GPU 相互通信而構建的，RDMA 中實際上存在很多問題。Broadcom實際上對 RDMA 進行了重大增強，以便它可以擴展到超過 100 萬個集群。

Ram Velaga講到，在這個世界上，不會有數以百萬計的 GPU，也不會只有一種大型機解決方案在銷售。在歷史上，這種情況的*出路就是擁有多個供應商和多種解決方案。當你擁有多個供應商和多個解決方案時，你需要的是一個能將所有這些解決方案互聯在一起的結構，這是一個分布式計算問題。僅僅說我能制造*的 GPU 并不能解決問題。你需要構建能夠擴展的 GPU，并能在一個非常非常大的結構中聯網，以太網就是這個結構，將來也會是這個結構。

Broadcom不僅相信以太網，還相信以太網實際上是基于一個非常開放的生態系統。Broadcom做的是，自己有芯片和一大堆供應商，他們在世界各地制造硬件，還有一大批合作伙伴，他們在硬件之上構建軟件，并提供所有的管理和其他服務。這就是Broadcom要采取的方法。打造*的網絡設備，將其提供給一個非常非常廣泛的生態系統，并堅信這是一個分布式計算問題，而要大規模解決這個問題的*方法就是不建造大型機。

服務器互連

Jas Tremblay表示，客戶實際上需要在人工智能服務器內構建一個網絡，為此選擇的網絡是 PCIe。它的延遲非常低、無處不在、基于標準，并且允許公司將他們需要的各個部分整合在一起。事實上，人工智能服務器內部擁有開放的內部結構是自由的關鍵，這樣客戶就可以選擇想要的組件。如果客戶作為云提供商在內部構建自己的 NIC，如果您想使用不同類型的加速器，那么擁有開放結構可以讓您挑選所需的組件，并構建更適合的 AI 服務器您的需求。另一個因素是，如果是服務器 OEM 或 ODM，則很難為每種類型的加速器構建完整的系統。因此，客戶希望擁有一個可以在 AI 服務器內支持商業、定制和不同類型 XPU 的架構。因此，使用 PCIe 交換作為這些 AI 服務器內部的內部網絡非常重要。

這個網絡需要超低延遲，需要高帶寬，但最重要的是，它需要被信任。它需要中斷很多很多類型的設備。它需要符合標準。它需要具有先進的遙測和診斷功能。因此，如果要在網絡中部署數以萬計的人工智能服務器，則需要在網絡內部、人工智能服務器內部擁有告訴您正在發生的情況的功能，因此Broadcom投資了性能、*功耗以及先進的遙測和診斷。

其中，交換機是該網絡的核心元件。在過去 20 年里，Broadcom一直是*個推出適用于每一代 PCIe 的 PCIe 交換機的公司。目前Broadcom正在批量發貨 PCIe Gen5 交換機，為整個行業、定制和商業加速器中的絕大多數 AI 服務器提供動力，且Broadcom即將推出第五代 5 納米重定時器，還將在今年年底提供 PCIe Gen 6 交換機樣品。

此外，Broadcom正在與AMD合作構建一個擴展解決方案，博通將構建交換機，AMD 將構建加速器，其將以開放的方式共同努力，將其提交給標準機構，未來會提供一種開放、低功耗、高性能、低延遲的方式來連接 CPU、NIC、NVMe 驅動器和 XPU。

光互連

Near Margalit表示，人工智能系統正在不斷消耗整個系統越來越多的帶寬。因此需要光學技術來支持這一點，包括擴展和成本，以及能夠提供更高級別的帶寬。

他討論了Broadcom擁有的三項核心技術。*個是垂直腔面發射激光器。這是整個行業人工智能技術的主力。它可用于以太網、InfiniBand 和 V-Link 技術。由于多模光纖本身的原因，它在距離上確實有限制，限制在 100 米左右，但它的功耗非常低，成本也很低，并且在當今世界上大多數人工智能系統中得到了廣泛部署。

第二項技術是共同封裝光學器件，它是直接集成在 ASIC 上的高速硅光子學的集成，無論是交換機、整個系統中的 PCI 交換機或加速器都為這些下一代系統提供了功耗和成本*優勢。Broadcom此前發布了有關 VCSEL 和 EML 技術的新聞稿，其已交付了超過 2000 萬個每通道 100 gig 技術的通道，真正展示了我們光學技術的核心領導地位。

Near Margalit解釋了為什么要進行共同封裝，對于這些人工智能系統來說，帶寬、組件數量不斷增加，而光學器件的成本仍然是可擴展性方面的一個問題。那么，如何制定路線圖，繼續降低光學成本，以適應越來越大的集群和 GPU？Broadcom的解決方案是集成，特別是在硅光子學中尋求集成，以便能夠將越來越多的組件直接集成到單個芯片上，其相信在光學領域這也是正確的方式，認為 CPL將繼續提供單位比特成本*的能力。

共同封裝光學器件的第二個好處是，實際的光學器件就在信號所在的位置。因此可以擺脫 ASIC 和光學器件之間復雜的電氣通道，目前市場上典型的 800 gig 可插拔收發器功率為 14 瓦，展示的貝利系統現在的功耗為 5 瓦，與目前的典型部署相比，可以節省 70% 的功耗。

Near Margalit表示，長期以來，Broadcom在光學元件方面展現了行業*地位，特別是現在每通道100 gig 這方面。此外，Broadcom在交付人工智能應用方面做得非常好，已經展示了繼續將 VCSEL 技術和 EML 技術擴展到 200 gig 的能力，還在尋求擴大規模。同時Broadcom還推出了*個帶有可插拔激光器的共同封裝光學器件的商業系統，可同時提供成本和功耗優勢，功耗降低70%，成本節省30%。

跨 Pamp;L 共享的 SerDes

在銅纜鏈路上，Broadcom用來驅動這些銅纜鏈路的技術是 SerDes。這些 SerDes 內核嵌入在戰斧交換機、XPU 或網卡中。而Broadcom的目標是，如何確保盡可能多的鏈路使用銅纜？其次就是如何降低這些鏈路的成本和功耗。

他宣布了Broadcom的下一代 SerDes，內部的代號是 Condor。它基于 3 納米而非 4 納米制造，它具有非常多優勢:超長傳輸距離、45 分貝、兩米多長的 DAC 電纜，因此可以覆蓋機架上的所有設備，無需任何重定時器，機架上也不需要有源設備。同樣，它還具有 CPO、線性光學等相同的優點，Broadcom所有的產品團隊現在都在使用它進行設計。憑借所擁有的這些規格，Broadcom將再次成為 200 gig SerDes 領域的*。

定制人工智能加速器

Frank Ostojic表示，為什么消費級人工智能客戶想要自己的芯片？他們為什么要與我們合作創建這些 XPU？為什么他們不能使用 GPU、第三方芯片？有什么好處？好處可以用一個簡單的等式來解釋。性能除以總擁有成本。什么是總擁有成本？就是芯片的成本、電源的成本以及將其組合在一起的基礎設施的成本。

當用戶使用 XPU 時，如果是這些消費級人工智能公司中的一員，就會擁有一些對你的創收和應用非常重要的內部工作負載，如果你能定制你的架構或加速器、帶寬以及加速帶寬與 IO 的比率，你可能就能比使用普通硬件更高效地完成你非常關心的特定工作負載或非常特定的工作負載。

Broadcom會與客戶合作，定制他們所擁有的架構，以確保他們能夠*限度地提高他們所關心的性能。當考慮效率和優化時，還有另一個非常好的效果，會使它更小，更便宜，使用更少的空間。因此，當這些公司開始使用我們共同開發的設計時，他們就能節省數百萬乃至數十億美元的資本支出，因為這些設計完全符合他們的需求，內存和 AIO 的比例都恰到好處。

Broadcom提供的XPU為優化的工作負載提供*功耗、*性能，使我們能夠以總體擁有成本獲得*性能，這就是Broadcom所專注的，博通能夠提供包括網絡、架構、互聯等一整套方案，滿足不同客戶的需求。

Frank Ostojic表示，Broadcom在定制芯片方面會抓住三個重點，*是專注，Broadcom想做好一件事，而且已經做了 10 年，就像30 年前在惠普公司創業時一樣，做這種消費級 AI 高難度芯片，第二是投資，30 億美元主要集中在人工智能領域，并優先考慮人工智能。第三是經驗，10 年的修補、學習錯誤、改進流程和勤奮的紀律，以使用相同的流程，還有三年或四年的投資，用于我們認為客戶會需要的未來項目。