Skymizer正式推出ET2矽智財方案 以軟硬體平台方案為LLM打造更多想像

Skymizer除了提供LLM矽智財方案外，也提供SkyGenie SDK，支援不同類別的LLM，讓AI應用的開發者更容易快速開發應用，讓硬體晶片合作夥伴能達到更高的整合度且更能貼近市場需求。Skymizer

Skymizer自向產業界宣誓進軍LLM（大型語言模型）矽智財市場後，近期宣布一系列以LLM矽智財為核心的軟硬體解決方案，希望能為LLM應用服務市場帶來更多想像空間。Skymizer的矽智財系列方案代號為EdgeThought（邊緣思維），其第一款推向市場的解決方案代號為ET2，它可以有效率地處理目前市面所有邊緣裝置所需要的LLM，也包括了近期所發布的Llama3，其參數規模高達80億。

Skymizer在推出矽智財方案前，主要的解決方案為編譯器業者，扮演晶片與軟體之間的橋樑角色，也因此對於整體系統軟硬體整合優化上擁有相當豐富的經驗，而隨著LLM需求水漲船高，同時也基於Skymizer擁有厚實的市場基礎下，所以也進軍矽智財市場，進一步來因應多元垂直應用的市場需求。

推出軟硬整合平台 ET2具備邊緣運算、LLM與AI推論三大元素

Skymizer執行副總魏國章表示，ET2基本上有三大基本元素：聚焦邊緣運算、LLM與AI推論，除了可以因應目前市場多種的LLM外，因應客戶需求，也能彈性擴充運算資源，若要處理的LLM的參數規模太大，那就藉由擴充方式來達到所需的算力等級，當然，所需要的記憶體容量與電力消耗，自然也會有所提升。

除了既有的矽智財方案外，Skymizer也推出SDK（軟體開發套件）SkyGenie，它能因應通用、領域與私人等不同類別的LLM，藉此可以協助不同的產業應用，讓軟體業者能基於不同的LLM類型開發出相應的應用程式，藉此讓整體系統的使用情境能達到最佳化的表現。

在COMPUTEX 2024展會期間，Skymizer也會在現場攤位進一步展示運用ET2等軟硬體解決方案打造出智慧工廠的AMR（自主移動機器人）、飲料店推薦系統與智慧汽車場景。誠摯邀請產業界先進至Skymizer Computex攤位參觀，攤位號碼：南港一館 AI運算暨系統解決方案區M1433a。

魏國章強調，正因為Skymizer擁有完整的軟硬體系統開發經驗，所以除了矽智財方案外，透過SDK的提供，藉此讓廣大的科技產業生態系統都能享受到Skymizer完整的軟硬體平台方案所帶來的益處。他也透露，目前市場所能看到的Edge AI GPU，其性能約莫在20 tokens /s左右，而Skymizer目前對於ET2的測試數據則在32 tokens /s上下，但導入成本卻只有Edge AI GPU的1/00，這對於成本敏感的終端應用來說，ET2具備極高的性價比，無異是相當理想的選擇。

搭載ET2方案首款晶片 將於CES 2025面市

所以現階段在半導體領域，魏國章也不諱言，Skymizer目前是抱持開放心態與國內外的設計服務、矽智財等業者正展開積極的合作。他更透露，ET2的擴充性非常高，小從IoT MCU，大到高性能Edge Server，尤其如搭配更高頻寬等級的記憶體介面，可以做到多人多批次的伺服器等級的推論引擎。預計第一款採用ET2的晶片，將於CES 2025面市，也因此，Skymizer將ET2形容為邊緣裝置LLM推論的遊戲規則改變者。

結論

Skymizer正式推出第一款矽智財方案ET2，意味著該公司正式進入全新的里程碑，透過豐富的軟硬體系統整合經驗，Skymizer不僅提供了高效能且具成本效益的邊緣運算解決方案，還透過SkyGenie SDK為開發者提供了強大的工具，以對應多樣化的LLM應用需求。這些創新不僅提升了不同垂直市場的應用表現，還為智慧工廠、自主移動機器人、智慧汽車等領域帶來了更多的可能性。Skymizer的全方位軟硬體平台方案，無疑將成為未來LLM應用市場的重要推動力量。想要了解更多Skymizer提供的解決方案，請至Skymizer官網查詢。