代理型AI工作負(fù)載正在重塑現(xiàn)代數(shù)據(jù)中心基礎(chǔ)設(shè)施的計算需求，將性能瓶頸從GPU為中心的推理轉(zhuǎn)向CPU密集的編排和工作流管理。傳統(tǒng)的AI推理流程主要依賴GPU執(zhí)行單次前向傳遞，輸入標(biāo)記化、模型執(zhí)行和輸出生成依次完成。然而，新興的智能體人工智能系統(tǒng)將推理轉(zhuǎn)變?yōu)榉植际?、多步流程，包括?guī)劃、工具調(diào)用、驗證和迭代推理。這一架構(gòu)變革帶來了顯著的CPU需求，使CPU容量成為維持系統(tǒng)吞吐量和整體成本效益的關(guān)鍵因素。

在代理工作流中，CPU 執(zhí)行諸如控制流管理、分支邏輯、重試以及多個代理與外部服務(wù)之間的協(xié)調(diào)等編排任務(wù)。每次代理調(diào)用可能需要與數(shù)據(jù)庫、API、搜索引擎或向量存儲交互，這些都會產(chǎn)生額外的 CPU、內(nèi)存和 I/O 開銷。此外，推理密集的工作負(fù)載通常需要沙箱執(zhí)行環(huán)境進(jìn)行驗證和測試。這些迭代循環(huán)創(chuàng)造了多回合的工作流程，CPU決定端到端吞吐量。當(dāng)CPU資源不足時，GPU會處于空閑狀態(tài)，等待預(yù)處理、工具執(zhí)行或驗證步驟完成，導(dǎo)致昂貴的加速器硬件使用效率低下。

實驗基準(zhǔn)測試進(jìn)一步強調(diào)了CPU工作負(fù)載在代理流水線中的重要性。在基于監(jiān)管文件分析的金融異常檢測工作流程中，CPU負(fù)責(zé)數(shù)據(jù)加載、基線計算、異常檢測、文件檢索以及通過網(wǎng)頁搜索豐富等任務(wù)。結(jié)果表明，CPU操作主導(dǎo)了整個運行時間，僅富集操作所耗時間遠(yuǎn)多于基于GPU的模型推斷步驟。這凸顯了僅靠推理加速無法優(yōu)化性能;相反，需要在CPU編排和GPU計算之間實現(xiàn)系統(tǒng)平衡。

第二個基準(zhǔn)測試聚焦于AI輔助代碼生成，進(jìn)一步揭示了CPU瓶頸。在這種工作流程中，GPU生成候選解決方案，而CPU則在沙箱環(huán)境中執(zhí)行和驗證代碼。在兩千多個任務(wù)中，基于CPU的沙箱執(zhí)行耗時略高于GPU代碼生成，盡管采用了高核心數(shù)系統(tǒng)。CPU階段包括子進(jìn)程管理、測試執(zhí)行和結(jié)果分析，證明驗證循環(huán)在智能系統(tǒng)中可以媲美甚至超過推理時間。這些發(fā)現(xiàn)表明，僅靠提升GPU性能并不能提升整體吞吐量，除非CPU按比例擴展。

這些實驗中產(chǎn)生的基礎(chǔ)設(shè)施規(guī)模建議強調(diào)保持CPU與GPU比例的平衡。當(dāng)前指導(dǎo)建議CPU與GPU的比例介于1：1到1.4：1之間，相當(dāng)于每塊GPU約86到120個CPU核心，具體取決于工作負(fù)載特性。較小的模型更快地生成令牌，需要額外的CPU容量以保持GPU飽和，而更強大的CPU則可以降低所需的比例。未來的高性能GPU可能會進(jìn)一步增加CPU需求，隨著編排復(fù)雜度增加，CPU比例可能進(jìn)一步提升。

其影響不僅限于性能優(yōu)化。CPU資源配置不足會帶來編排延遲、延遲工具執(zhí)行和驗證循環(huán)變慢，這些都會降低GPU利用率并增加運營成本。相反，擴展型CPU確保了數(shù)據(jù)的持續(xù)準(zhǔn)備、協(xié)調(diào)和驗證，使GPU能夠以最高效率運行。這種系統(tǒng)層級的平衡類似于微服務(wù)架構(gòu)，后者整體性能依賴于最慢的組件而非最快的組件。

總結(jié)：隨著代理人工智能的不斷發(fā)展，CPU將在推理基礎(chǔ)設(shè)施中扮演越來越核心的角色。從單遍推理向多步工作流程的轉(zhuǎn)變，將價值轉(zhuǎn)向編排、協(xié)調(diào)和運行時管理。因此，部署代理系統(tǒng)的組織必須重新考慮傳統(tǒng)的以GPU為中心的擴展策略，轉(zhuǎn)而設(shè)計平衡的架構(gòu)，以提供足夠的CPU容量。通過協(xié)調(diào)CPU和GPU資源，數(shù)據(jù)中心能夠持續(xù)吞吐量，減少空閑加速器，并優(yōu)化下一代AI部署的總擁有成本。