CentML以軟體優化AI模型　獲科技巨擘投資有意進軍台灣

CentML執行長Gennady Pekhimenko（右二）與其他共同創辦人。CentML

人工智慧（AI）帶動對算力和高效能運算的需求，也創造商機，加拿大新創CentML旨在協助客戶從系統層面優化機器學習（ML）模型，並已獲得Google和NVIDIA等科技巨擘的投資。

CentML成立於2022年，執行長Gennady Pekhimenko以及多數團隊成員都是從加拿大多倫多大學畢業。
Pekhimenko說，多年前，其研究團隊就預測算力會是機器學習發展的瓶頸之一，並致力改善現有硬體。

CentML的目標客戶包含企業和中、大型的雲端服務業者，提供不同硬體的解決方案，以優化模型，同時降低成本。

4項解決方案

CentML已開發4項軟體產品，包含商業方案CServe和CentML Platform。CServe是大型語言模型（LLM）推論（inference）引擎和部署的介面，能讓使用者在不同硬體上執行模型。

這項端到端的方案解決了企業部署LLM時會遇到的問題，像是該用哪種硬體或如何降低部署成本，CServe也能滿足企業和雲端服務業者的特殊需求。

Pekhimenko說，這些企業不像新創業者多半追求最低的延遲（latency）或最佳的吞吐量（throughput），他們的需求可能是維持一定程度的延遲，同時在最低價的硬體上儘可能達到最大流通量。換言之，希望投資的每一分錢都能獲得最大效能。

而CentML Platform又稱為CCluster。Pekhimenko介紹，該方案能優化任何機器學習模型，並和硬體高度結合。CCluster可以部署在雲端業者的產品上，或NVIDIA DGX boxes等原始硬體上。

Pekhimenko表示，一般會用獨立的伺服器分別訓練和部署LLM。透過CCluster，客戶能夠用同一個伺服器完成這兩項工作，不需要額外耗費成本，效能也幾乎不受影響。

CentML還提供兩項開源解決方案：DeepView和Hidet。DeepView是機器學習分析和預測工具，結合機器學習架構PyTorch，可以預測模型在任何硬體上的執行情況。

Hidet是機器學習編譯器（compiler），能以Python程式碼直接生成計算核心（compute kernel），減少工程人力，並為特殊模型和軟體層（layer）生成有效程式碼。

獲科技巨擘投資

2023年9月，CentML完成2,700萬美元的種子基金募資，由Google旗下的AI投資基金Gradient Ventures領投，參與者包括Radical Ventures、 NVIDIA、 Deloitte Ventures和Thomson Reuters Ventures。

當被問到如何獲得科技大廠青睞，Pekhimenko說「既難又容易」，要懂得用聰明的方法做事，比如不能以人工方式編寫核心程式（kernel），因為團隊裡沒有這麼多工程師。

Pekhimenko也表示，有了CentML解決方案，只需要幾位工程師就能改善NVIDIA GPU的效能和利用率，這應是NVIDIA出資的主因。

另外，自從獲得Gradient Ventures投資，CentML便持續和Google建立合作關係，有機會展示其產品的作用。

Pekhimenko說，CentML的DeepView能有效協助Google工程師決定要在NVIDIA GPU或張量處理器（Tensor Processing Unit；TPU）上執行工作，以及什麼情況下對客戶有助益，過去工程師只能實際測試或調校效能才可以知道。

擴張全球版圖

以多倫多為根據地，CentML已準備好擴張至海外，已於2024年3月在美國加州帕羅奧圖（Palo Alto）設立辦公室，希望進軍亞洲市場，而台灣是優先選項。

Pekhimenko表示，台灣有世界先進的半導體供應鏈，在軟體領域也有很多發展機會。而亞洲已明確成為主要的AI科技使用者，潛在的市場成長可能會比北美地區還要高。

 

責任編輯：蔡雨婷