Amazon Bedrock發布模型選擇和強大功能 建構安全和規模化生成式AI應用程式

亞馬遜（Amazon）旗下Amazon Web Services（AWS）於AWS re:Invent全球盛會上宣布推出更多Amazon Bedrock模型選擇及全新功能，協助客戶更輕鬆地建構和擴展業務專用的生成式AI應用程式。

Amazon Bedrock是一項全面託管服務，使用者可輕鬆存取來自AI21 Labs、Anthropic、Cohere、Meta、Stability AI和亞馬遜的多種業界領先的大型語言模型和其他基礎模型（FM），以及客戶建構生成式AI應用程式所需的各項功能，確保隱私和安全的同時簡化開發流程。

此次發布進一步降低了生成式AI應用的門檻，為客戶提供了更多產業領先的模型選擇和全新的模型評估功能，以簡化客戶使用相關私有資料以定制所需模型，並為客戶提供自動執行複雜任務的工具，同時保障客戶可以負責任地建構和部署生成式AI應用程式。Amazon Bedrock的新功能為各行各業及不同規模的企業在生成式AI領域帶來改變，助力企業創新並重塑客戶體驗。

AWS資料庫、資料分析和機器學習全球副總裁Swami Sivasubramanian表示：「生成式AI有望成為這個時代最具變革性的技術。客戶積極應用生成式AI創造新機遇和應對業務挑戰，啟發了我們。當客戶將生成式AI融入業務時，Amazon Bedrock全託管方式的領先模型、定制功能、代理功能以及企業級安全和隱私保障將為他們帶來便利。有了更多觸手可及的工具，客戶可以使用Amazon Bedrock充分發揮生成式AI的潛力，帶來創新的用戶體驗、重塑業務並加速生成式AI發展。」

企業希望在各種場景中應用生成式AI，例如提高生產效率、創新用戶體驗和開啟全新工作互動模式。然而，生成式AI技術正急速發展，每天都有新的服務和創新出現。在瞬息萬變的當今，客戶的適應能力至關重要。企業需要能夠使用最新、最好的可用模型進行測試、部署、反覆運算和調整，並時刻準備好迎接變化。

為了應對這些挑戰，AWS開發了Amazon Bedrock，使模型建構和轉移就像API指示一樣簡單，讓所有開發人員都可以獲得模型定制的最新技術，並確保客戶的安全和資料隱私。眾多國際企業包括Alida、Automation Anywhere、Blueshift、BMW集團、Clariant、Coinbase、Cox Automotive、電通（dentsu）、Druva、Genesys、Gilead、GoDaddy、Hellmann Worldwide Logistics、INRIX、KONE、LexisNexis Legal & Professional、Lonely Planet、NatWest、Nexxiot、OfferUp、宏盟集團、The PGA Tour、Proofpoint、Salesforce、西門子、竹中公司和Verint 已率先採用Amazon Bedrock應用生成式AI。此次發布引進了新的模型和功能，使客戶能夠更輕鬆地建構和規模化生成式AI應用。

Anthropic、Cohere、Meta和Stability AI的最新模型以及Amazon Titan的新功能為客戶提供更多模型選擇
沒有一個模型適合用於所有場景，模型的功能、價格和效能均不盡相同，客戶需要可以輕鬆存取及選擇各種模型，透過多次嘗試和切換模型，再選出最符合需求的模型。

借助Amazon Bedrock，客戶可以利用最新版本的模型進行快速創新。現在客戶已可以透過API使用多個模型，包括新推出的Anthropic Claude 2.1和Meta Llama 2 70B以及最近推出的Stability AI Stable Diffusion XL 1.0、Meta Llama 2 Chat 13B、Cohere Command Light、Cohere Embed English和Cohere Embed多語言模型。

除了Amazon Titan Text Embeddings和Amazon Titan Text 模型（現已全面可用）之外，AWS還提供了Amazon Titan Multimodal Embeddings和Amazon Titan Image Generator為客戶建構生成式AI應用程式提供更多選擇和彈性。Amazon Titan模型由Amazon Bedrock獨家提供，該模型由AWS透過大量及多樣的案例和資料庫上所打造，並已進行過預先訓練，並內建了支援負責任地使用AI這項功能。如果正式可用的Amazon Titan模型或其輸出的內容侵犯了第三方的版權，亞馬遜將對使用這些模型的客戶進行賠償。

Amazon Bedrock上的Anthropic Claude 2.1：Anthropic是一家AI安全和研究公司，致力於打造可靠、可判斷和可控的AI系統。Anthropic已將最新版本的語言模型Claude 2.1引進Amazon Bedrock。Claude 2.1提供了長達200,000個token的語境窗口，並且提高了長文檔的準確性。客戶可以處理文本密集型文檔，例如財務報表和內部資料集。Claude 2.1能夠總結和對比文檔、進行問答等。Anthropic報告稱，與以前的模型相比，Claude 2.1在開放式對話中的錯誤陳述減少達50%，錯誤陳述率減少了一半。

Amazon Bedrock上的Meta Llama 2 70B：Llama 2是Meta的新一代語言模型。Llama 2的訓練資料比Llama 1多40%，上下文長度是Llama 1的兩倍。除了最近發布的Llama 2 130億參數模型之外，Llama 2 700億參數模型在Amazon Bedrock上也已可用。Llama 2 Chat建立在預先訓練的Llama模型上，透過指令資料庫和超過100萬條人工注釋進行微調，針對對話場景進行優化。這些模型在多個外部基準測試中的表現卓越，包括推論、編碼、熟練程度和知識測試，並在Amazon Bedrock上提供了極高的性價比。

新的Amazon Titan Image Generator現已推出預覽版

Amazon Titan Image Generator可協助廣告、電子商務、媒體和娛樂等行業的客戶透過使用自然語言提示生成高品質、逼真的圖像或增強現有圖像，以低成本快速構思和大量反覆運算圖像。這一類模型可以理解複雜的提示詞並生成相關圖像，且準確度較高，少有扭曲原意的情況，也不易產生不當內容，繼而避免傳播錯誤資訊。

客戶可以在Amazon Bedrock控制台中使用該模型，在配置維度並指定模型應生成的圖像變數數量之前，輸入自然語言提示，以生成圖像或上傳圖像進行自動編輯。在編輯過程中，客戶可以控制圖像的某些部分以增加或替換細節（例如將滑浪板插入海灘場景或將汽車廣告背景中的高山替換為森林），也可以使用其他與原作風格相同的細節擴展圖像的邊界。

為了兌現AWS2023年在白宮做出的承諾，所有Amazon Titan生成的圖像都包含隱形浮水印，透過建立嚴謹的AI生成圖像識別機制來減少傳播錯誤資訊，促進AI技術安全、可靠和透明地發展。AWS是首批廣泛發布內建隱形浮水印的模型供應商之一，這些浮水印整合到輸出的圖像中，並不允許編輯更改。

全新Amazon Titan Multimodal Embeddings現已正式可用

Amazon Titan Multimodal Embeddings可協助客戶為使用者提高多模態搜尋和推薦體驗，讓輸出結果更準確且與語境相關。模型可以將圖像和短文本轉換為embedding數字表示形式，使模型能夠輕鬆理解語義以及資料之間的關係。最後使用者可以使用圖像和文本提示的任意組合進行搜尋。

該模型將為搜尋生成嵌入，並將它們與已有的嵌入相匹配，以產生更準確的搜尋和推薦結果。例如，擁有數億張圖像的圖庫攝影公司可以使用該模型來增強其搜尋功能，這樣用戶就可以使用短語、圖像或圖像和文本的組合來搜尋圖像（例如我要和這張照片類似的圖像，但天空是晴朗的）。

一般情況下，使用該模型生成向量非常適合於需要高準確度和快速回應的搜尋場景。然而，客戶也可以生成更小的維度來優化速度和效能。Amazon Titan Text Embeddings模型加入了Amazon Titan Text Embeddings，可以將詞語、短句、長文檔等文本輸入轉化為嵌入（embeddings），用於搜尋和客製化推薦等場景。

新功能可幫助客戶更有效率地評估、比較和選擇最適合其應用場景和業務需求的模型

如今，企業擁有多個模型選項來支援生成式AI應用程式。在具體應用場景中，為了在準確性和效能之間取得適當的平衡，企業必須有效地比較模型，並找到首選指標。為了比較模型，企業必須先花幾天時間確定標準、設定評估工具並運行評估，這些程序都需要專業的資料科學知識。此外，這些測試無法用於主觀標準的評估（例如品牌聲量、相關性及風格），因為主觀標準需要透過繁瑣、耗時的人工審核進行判斷。對於每個新場景模型，這些所需要耗費的時間、專業知識和資源使企業望而卻步，從而限制了他們對生成式AI的使用。

Amazon Bedrock中的模型評估功能現已推出預覽版，可幫助客戶使用自動或人工來評估、比較和選擇適合特定應用場景的最佳模型。在Amazon Bedrock控制台中，客戶可以選擇他們想要針對相應任務（例如問答或內容摘要）進行比較的模型。如需自動評估，客戶可以選擇預先定義的評估標準（例如準確性、穩定性和是否含有有害內容）並上傳自己的測試資料庫或從內建的公開資料庫中進行選擇。

對於需要複雜判斷的主觀標準或內容，客戶只需經過簡單設定即可輕鬆設定人工評估工作流程。這些工作流程運用客戶的內部員工團隊或使用AWS提供的員工團隊來評估模型回應。在人工評估的過程中，客戶可以定義特定的指標（例如相關性、風格和品牌聲量）。客戶完成設定後，Amazon Bedrock就會執行評估並生成報告，以便客戶輕鬆了解模型在關鍵標準上的表現，並作出相應協調，從而快速選擇最適合應用場景的模型。

擴展的全新模型定制功能可協助客戶在AWS上確保隱私且安全地釋放資料價值

企業希望最大限度地釋放資料價值，以提供大規模的卓越用戶體驗，這些體驗經過獨特設計，能夠反映公司的風格、意見和服務。Amazon Bedrock中提供新的專門建構功能，可協助客戶確保隱私且安全地使用自己的資料定制模型，以差異化生成式AI驅動的應用程式。

Amazon Bedrock知識庫功能使用與語境和公司相關的資料定制模型回應：企業希望使用專有資料補充現有模型，以獲得更相關和更準確的回應。為了提供模型最新資訊，企業走向retrieval augmented generation （RAG），這種技術透過從多個來源（例如文件儲存庫、資料庫和API）獲取資料，將資料與提示詞結合。

Amazon Bedrock知識庫功能現已全面可用，可將模型安全地連接到公司內部資料來源以用於RAG，為聊天機器人和問答系統等案例提供更準確且針對特定語境的回應。知識庫是完全託管的，因此客戶只需指明資料位置，然後知識庫就會獲取文本文檔，並將資料保存到向量資料庫或代表客戶設定一個向量資料庫。

當用戶進行查詢時，Amazon Bedrock會自動編排RAG，透過模型獲取相關文本來增強提示詞，將提示詞發給模型，最終得到回應。Amazon Bedrock知識庫為資料庫提供向量功能，包括Amazon OpenSearch、Pinecone和Redis Enterprise Cloud的向量引擎，上述功能亦將於Amazon Aurora和MongoDB上推出。

Cohere Command、Meta Llama 2和Amazon Titan模型現在可以在Amazon Bedrock上進行微調，並且即將支援Anthropic Claude 2：除了RAG之外，企業還可以使用微調功能在具體任務（例如文本生成）中進一步訓練模型，使用標記資料庫調整模型參數，使其符合業務需求，將已掌握的知識擴展到組織和終端使用者使用的詞彙庫中。例如，零售客戶可以在產品描述資料庫上微調模型，以協助其了解品牌風格，從而為網站編寫更準確的描述。

Amazon Bedrock現在支持對Cohere Command和Meta Llama 2，以及Amazon Titan Text Express、Amazon Titan Text Lite、Amazon Titan Multimodal Embeddings和Amazon Titan Image Generator（預覽版）的完全託管微調，因此客戶可以透過標籤資料集提高特定任務的模型準確性。

此外，AWS客戶很快就能夠使用自己的資料來源微調Anthropic Claude 2的效能。要微調模型，客戶可以選擇模型，使用Amazon Bedrock製作副本。之後，客戶可以在Amazon Simple Storage Service (Amazon S3)中標記示例，而Amazon Bedrock（利用新資訊增強複製模型）會在保證隱私的情況下對其進行訓練，並得到結果。模型越是經過精準微調，回應會越相關且客製化。客戶資料在傳輸過程中和存放時都經過加密，因此所有寶貴的客戶資料都是始終安全且保密的。AWS和第三方模型提供商均不會使用Amazon Bedrock的任何輸入或輸出內容來訓練模型。

借助Amazon Bedrock代理功能，生成式AI應用程式可以使用公司系統和資料來源執行多步驟任務

現存的模型雖然能夠有效地進行對話和生成新內容，但如果能夠執行更複雜的操作，例如解決問題以及與公司系統互動以完成任務（例如旅行預定或訂購替換零件），將可以為企業提供更多價值。然而，這需要客製化地將模型與公司資料來源、API以及內外部系統整合起來。開發人員必須編寫程式來調整模型、系統和使用者之間的互動，使應用程式可以按邏輯循序執行一系列API指示。

為了將模型與資料來源連接起來，開發人員必須部署RAG，以便讓模型可以根據任務調整回應。最後，開發人員必須配置和管理必要的基礎設施，並制定資料安全和隱私權原則。這些步驟非常耗時且需要專業知識，因此減慢了生成式AI應用程式的開發速度。

現在正式可用、完全託管的Amazon Bedrock代理功能使生成式AI應用程式能夠跨公司系統和資料來源執行多步驟任務。代理可以計畫和執行大多數業務任務，例如回答有關產品可用性的問題或接受訂單。

客戶可以透過簡單的過程設定代理，首先選擇所需的模型，用自然語言編寫一些說明（例如你是一位友善的客戶服務代理，和在庫存系統中檢查產品庫存情況），並開放其對公司企業系統和知識庫的存取權；代理將自動分析請求並將其分解為邏輯序列，再使用模型的推論功能來確定所需的資訊；然後，代理透過識別要調用的API並決定何時調用它們來採取行動、滿足請求。代理還可以從專有資料來源搜尋所需資訊，以提供準確且相關的回應。

代理每次都會在後台安全、隱私地執行此過程，使客戶無需設計提示、管理對話上下文或手動編排系統。借助適用於Amazon Bedrock的代理，客戶可以提升生成式AI應用開發的準確性和速度。

借助Amazon Bedrock的Guardrails功能，客戶可以根據應用程式要求和負責任的AI策略實施跨模型保護措施

企業逐漸了解到生成式AI應用程式中的互動同樣需要管理，以保證所答即所問的用戶體驗和確保安全。雖然許多模型使用內建控制來過濾不良和有害內容，但企業希望進一步限制互動，以確保話題始終與業務相關和符合公司政策，同時遵守「負責任的AI」的原則。例如，銀行可能希望在線上助理的回覆中避免談論競爭對手、避免提供投資建議、以及限制有害內容。此外，應客戶要求，程式可能要修改使用者的個人身份資訊（PII）。

企業可能需要更改模型、使用多個模型或跨應用程式重覆編寫原則，因而需要一種更簡單的方法一次部署要求。這需要豐富的專業知識來建構具有此類保護措施的定制保護系統，並將其整合到應用程式中，而該過程可能需要數個月的時間。企業希望以一種簡化的方式在生成AI應用程式中強化關鍵策略和規則，以提供所答即所問的用戶體驗並讓客戶可以更安全地使用該技術。

Amazon Bedrock的Guardrails功能現已推出預覽版，使客戶能夠為生成式AI應用程式實施保護措施。這些應用程式根據客戶應用場景和「負責任的AI」原則定制，因此可以增強用戶互動的安全性和隱私性。

Guardrails功能可以提高Amazon Bedrock上模型對應用程式中不良和有害內容回應的一致性。客戶可以將Guardrails功能應用於Amazon Bedrock上的所有大型語言模型，以及微調模型並與Amazon Bedrock代理功能結合使用。要在Amazon Bedrock控制台中設定一個Guardrail，客戶首先要使用自然語言描述來定義應用程式中需要被過濾的話題。客戶還可以設定仇恨言論、侮辱、性語言和暴力的門檻值，以將有害內容過濾到他們想要的水準。

於2024年初，客戶更可以編輯模型回應中的PII、設定髒話篩檢程式，並提供自訂單字清單來限制用戶和模型之間的互動。Guardrails可以自動評估用戶查詢和模型回應，以檢測並防止出現屬於受限類別的內容。客戶可以設定多個Guardrails來支援不同的案例，也可以在多個模型中應用相同的Guardrails。Amazon Bedrock的Guardrails功能透過提供一致的用戶體驗，標準化生成式AI應用程式的安全和隱私控制，使客戶能夠安心地進行創新。

電通是全球最大的整合行銷和技術服務提供者之一。電通創新與新興技術執行副總裁Brian Klochkoff表示：「我們致力將行銷、技術和諮詢整合起來，協助那些希望造福社會的品牌實現以人為本的轉型。生成式AI能夠讓我們更大規模、更快速地為客戶提供服務。這項技術不會取代我們的員工，而是為我們全球72,000名員工提供幫助。具體來說，Amazon Bedrock為我們提供了企業級的控制能力和便捷部署第三方模型的能力，以便我們的產品和技術團隊能夠跨團隊分散使用。這讓團隊能夠在一個安全和負責任的環境下，借助最新、最前瞻的生成式AI技術進行革新，為客戶打造創新機遇。」

MongoDB透過釋放軟體和資料的力量，幫助創新者創造、變革和顛覆產業。MongoDB產品長Sahir Azam表示：「愈來愈多來自各行各業的客戶希望使用生成式AI來打造下一代應用程式，但仍然有不少人擔心資料隱私以及AI驅動系統輸出的準確性。為了滿足客戶的需求，我們將MongoDB Atlas用於Amazon Bedrock的知識庫，以便我們的共同客戶可以利用運營資料安全地打造生成式AI應用程式，在達到使用者期望的信任度和準確性下創造客製化體驗。通過這種整合，客戶可以存取業界領先的基礎模型，並使用MongoDB Atlas Vector Search處理過的資料來打造應用程式，在正確的語境下提供更多相關的輸出。利用Amazon Bedrock知識庫中內建的資料隱私最佳實踐，客戶可以節省在生成式AI營運上花費的時間，從而更專注於技術部署，在AWS上開發更有吸引力的用戶體驗。」

Salesforce是全球領先的AI客戶關係管理（CRM）公司，透過AI、CRM和資料的力量實現高效和可信賴的客戶體驗。Salesforce資深產品副總裁Kaushal Kurapati表示：「我們致力協助企業以全新、客製化的方式與客戶建立聯繫，AI對實現這承諾來說不可或缺。Amazon Bedrock是我們開放模型生態策略重要的一部分，能夠將模型與客戶的資料無縫整合，並整合到Salesforce工作流程當中。新增的評估能力可以根據不同標準對比基礎模型，包括從友善度、風格和品牌相關性等方面進行比較，進而讓模型部署變得前所未有的簡單、快速。」