AWS上的NVIDIA NIM微服務大幅增強AI推論能力

生成式人工智慧正在快速改變各產業的發展樣貌，帶動對安全且高效能推論解決方案的需求，以有效率又具備成本效益的方式擴充日益複雜的模型。擴大與NVIDIA的合作範圍，Amazon Web Services（AWS）在AWS re:Invent年度大會上宣布已經將NVIDIA NIM微服務擴展至主要的AWS AI服務，以支援更快速的AI推論，以及減少生成式AI應用的延遲時間。

NVIDIA NIM微服務現在可以直接在AWS Marketplace、Amazon Bedrock Marketplace和Amazon SageMaker JumpStart取得，讓開發人員可以更輕鬆為常用模型大規模部署經過NVIDIA最佳化的推論功能。NVIDIA NIM是AWS Marketplace提供的NVIDIA AI Enterprise軟體平台一部分，為開發人員提供一套簡單易用的微服務，專為在跨雲端、資料中心和工作站安全可靠地部署高效能、企業級AI模型推論而設計。

這些預先建置的容器建置在強大的推論引擎上，例如NVIDIA Triton推論伺服器、NVIDIA TensorRT、NVIDIA TensorRT-LLM與PyTorch，並支援廣泛的AI模型，從開源社群模型到NVIDIA AI Foundation模型與客製化模型。NIM微服務可以部署於各種AWS服務，包括Amazon Elastic Compute Cloud（EC2）、Amazon Elastic Kubernetes Service（EKS）、Amazon Machine Image（AMI）及Amazon SageMaker。

開發人員可以在NVIDIA API目錄上預覽超過100個由常用模型與模型系列所建立起的NIM微服務，包括Meta的Llama 3、Mistral AI的Mistral與Mixtral、NVIDIA Nemotron、Stability AI的SDXL等。最常用的模型都可自行託管部署在AWS服務上，並且經過最佳化，能夠在AWS上的NVIDIA加速運算執行個體上運行。

各產業的客戶及合作夥伴都在利用AWS上的NIM來加快上市速度、維持生成式AI應用與資料的安全性及控制力，並降低成本。

IT諮詢與數位服務供應商SoftServe已開發出六個完全部署在AWS上，且由NVIDIA NIM與AWS服務加速的生成式 AI 解決方案。這些解決方案在AWS Marketplace上提供，包括SoftServe Gen AI Drug Discovery、SoftServe Gen AI Industrial Assistant、Digital Concierge、Multimodal RAG System、Content Creator和Speech Recognition Platform。

這些解決方案均以NVIDIA AI Blueprints為基礎，這套全面性的參考工作流程能夠加快開發和部署AI應用，並且具備NVIDIA加速函式庫、軟體開發套件及NIM微服務，適用於AI代理、數位孿生等方面。開發人員可以按照自己的獨特需求與要求，在AWS上部署NVIDIA NIM微服務。如此一來，開發人員和企業就能藉由各種AWS服務，利用經過NVIDIA最佳化的推論容器發展出高效能AI。