Skymizer推出突破性的大型語言模型（LLM）加速器IP

Skymizer於2024 Computex展前宣布推出其革命性的軟硬體協同設計的AI ASIC IP - EdgeThought（邊緣思維），專為在設備上加速大型語言模型（LLM）而設計。圖左至右為：Skymizer技術長兼創辦人唐文力、Skymizer執行長賴俊豪、Skymizer的營銷總監兼執行副總裁魏國章。Skymizer

Skymizer作為編譯技術和優化解決方案的先驅，日前宣布推出其革命性的軟硬體協同設計的AI ASIC IP - EdgeThought（邊緣思維），專為在設備上加速大型語言模型（LLM）而設計。這一尖端創新利用了 Skymizer的先進編譯器技術，在計算、內存利用率、功率效率和成本效益方面樹立了新的產業標杆。

EdgeThought旨在提升各種邊緣設備中LLM應用程序的性能，從物聯網設備到汽車系統和AI個人電腦甚至是強大的Edge Server。通過編譯器為中心的設計優化理念，Skymizer的解決方案確保這些設備可以運行最先進的在設備上的各種LLM模型，包括Meta最新推出的Llama3 8B。

在COMPUTEX 2024展會期間，Skymizer也會在現場攤位進一步展示運用ET2等軟硬體解決方案打造出智慧工廠的AMR（自主移動機器人）、飲料店推薦系統與智慧汽車場景。誠摯邀請產業界先進至Skymizer Computex攤位參觀，攤位號碼：南港一館AI運算暨系統解決方案區M1433a

EdgeThought的主要技術亮點如下：

• 優化的編譯器技術：加速器核心是Skymizer的專有編譯器技術，可最大化硬體利用率和效率，即使在資源受限的邊緣設備上也能實現卓越的性能。

• 增强的計算和內存效率：協同設計方法最小化延遲並最大化吞吐量，同時減少內存佔用，允許在邊緣快速且可靠地進行LLM推理。

• 功率和成本效率：Skymizer的解決方案大大降低了部署高級人工智能模型的功耗和運營成本，使其成為尋求可持續擴展運營的企業理想選擇。

• 可擴展性和靈活性：設計支持多種LLM應用，加速器可根據不同尺寸和性能需求進行擴展，包括多用戶和多批次，以提高高效邊緣伺服器的吞吐量，為設備製造商和應用開發者提供前所未有的靈活性。

Skymizer的CEO Jim Lai表示，今天對於Skymizer和整個AI和邊緣計算行業來說都是一個重要的里程碑，我們的創新LLM加速器重新定義了邊緣AI性能的可能性，使其更加可及且具有成本效益。這次發布反映了Skymizer致力於推動技術邊界，為客戶賦能並豐富用戶體驗。”

憑藉十年的編譯器和虛擬化行業經驗，Skymizer專注於其擅長的領域來設計EdgeThought，使其成為專用於在設備上本地（on-device）推理任務的編譯器優化LLM ASIC IP。 EdgeThought消除了所有用於訓練的軟硬體需求，僅專注於推理，設計出同級最佳的on-device LLM推理引擎。

Symizer的營銷總監兼執行副總裁魏國章（William Wei）表示，如果Groq晶片是雲端LLM 推理之王，那麼EdgeThought將成為在設備上本地LLM推理的遊戲規則改變者。而且，EdgeThought 不需要最新的晶片製造工藝，它可以使用更便宜的成熟晶片類別和專用內存組件，這將在生成式人工智慧時代振興這些更便宜的內存產業。

EdgeThought IP現已開放授權，並且可以無需大規模修改即可集成到現有的硬體設置中。Skymizer已經開始與領先的半導體公司和設備製造商合作，將這一強大的技術推向市場。