品質與流程 決定資料倉儲功效 智慧應用 影音
台灣玳能
DForum0115

品質與流程 決定資料倉儲功效

  • 蔡宜秀台北

前言:對於需要即時分析繁雜數據資料的企業來說,只部署可產製出華麗圖表資料的商業智慧報告工具是不夠的,如果沒有透過完善的資料超市(Data Mart;DM)或資料倉儲(Data Warehouse;DW)系統,累積所需要的數據資料,那麼,一切都是枉然。然而企業究竟該如何部署適當的資料倉儲系統?若企業是在不同時間部署資料超市或資料倉儲系統,是否可一統資料模型?

從1999年即導入Teradata企業資料倉儲(Enterprise Data Warehouse;EDW)解決方案的中華電信資訊處第四科資料倉儲與經營管理資訊系統科長楊秀一表示,基於成本效益等考量,中華電信除了透過Teradata的EDW儲存行動服務、數據服務與國際服務等數據資料,亦導入微軟(Microsoft)的SQL Server部署資料超市。

然而由於導入的時間點及數據資料的屬性都不同,以致資料模型不盡相同,讓中華電信很難直接從企業資料倉儲系統,彙整、分析所有的元資料,因此,中華電信計畫花2年的時間,導入Teradata針對通訊產業推出的邏輯資料模型(Teradata Logical Data Model;TLDM)方案,藉此統一資料模型;此外,因應網路加值服務日趨普及,也會在為期2年的專案中,將MOD等加值互動服務的數據資料納入EDW中。

資料倉儲與商業智慧應用領域已從後台走向前台

資料倉儲與商業智慧應用領域已從後台走向前台

資料品質與資料累積流程 決定資料倉儲的功效

「透過LDM,我們可以清楚定義元資料,以及元資料的關連性,」楊秀一表示,基於中華電信的業務屬性不同,不可能直接套用LDM,還必須透過援引Teradata專業諮詢顧問的方式,進行些微的客製化作業。不過,只參考TLDM建構專屬的資料模型還不夠,如果不能確認資料的品質,一切都是枉然。

「資料模型決定美國銀行的競爭力高低,」已導入TLDM多年,並成功將DW應用在顧客關係管理(Customer Relationship Management;CRM)範疇的美國銀行(Bank of America;BOA)資深副總裁暨EIA資深架構經理John Vernon表示,建立好資料模型後的下一步,就是確認資料品質,為達此目的,必須清楚瞭解美國銀行的客戶需求與各項業務服務流程,以決定該將哪些類型的資料匯入資料倉儲中,以及該如何匯入等。「儘管我不能再講其他更細節的事情,例如我們是如何設定資料模型,不過,我可以和大家分享的是,資料品質與資料安全其實是一體兩面,因此,必須制定資訊管理規約,而這也是美國銀行會參考資訊基礎架構庫(IT Infrastructure Library;ITIL)調整資訊服務模式的原因」。

楊秀一則指出,為確保數據資料的品質(例如業務單位的員工,有沒有按照規範輸入數據資料),中華電信的作法是,先將數據資料的ETL過程透明化,從中找出縮減數據資料流程的之處;此外,為確保每位員工都有按照規範執行相關作業,我們還有設定關鍵績效指標(Key Performance Indicators;KPI),以稽核員工的作業模式與資料的正確性。

而負責統籌管理彰化銀行數據倉儲資料模型建置工作的彰化銀行資訊處資訊技術科王俊育表示:「彰銀根據每天的業務流程調整資料的萃取、轉換與載入(Extract, transform, load;ETL)過程,」要確保資料品質,最關鍵之處,在於每天都依照真實業務狀況調整資料萃取、轉換與載入等流程,並稽核資料的正確性。

舉例來說,彰銀在資料的ETL過程中,會稽核每1個檔案的筆數與大小,以及每1個欄位的型態與代碼等資料的正確性,此外,在確定每天的實體資料模型(Physical Data Model;PDM)後,還會進一步勾稽模型內的業務帳與會計帳等數據,以確保資料倉儲的正確性。

總結來看,若企業想有效利用各種數據資料,光是定義與架構出專屬的資料模型還不夠,必須進一步設定各種關鍵績效指標(KPI),稽核資料的ETL流程是否符合企業的真實業務情況。

帶動使用者需求 從量變到質變

比較值得注意的是,無論企業建置了多麼完善的資料倉儲與資料超市等系統,最重要的是,這些數據資料能為終端使用者帶來哪些效益。Teradata技術長Stephen Brobst表示,有別於既往,企業不再將存放在資料倉儲的數據資料,單純的視為有助相關人員分析與檢討的歷史資料,而開始將這些日積月累的數據資料,用於前端的營運分析參考。

以汽車保險為例,傳統的作法是,由保險精算師依照每位駕駛員所填寫的資料,例如車輛型號、所在地區、駕駛員的年齡?性別?學歷?吸煙情況,以及過往的駕駛記錄等,評估其風險因素,進而計算出差異化的定價。不過,這樣的數據還不夠,如果可以整合數位監控等感應技術(Sensor Technology),隨時監管駕駛員的駕駛習慣,進而將這些資訊納入資料倉儲中進行即時分析,即可訂定出符合駕駛員實際駕駛狀況的汽車保險金額,例如超速駕駛或頻繁變更保險車道的駕駛員,必須支付較高的保險金。

Stephen Brobst指出,除了汽車保險這個例子外,舉凡透過感應技術蒐集數據資料的應用情境,都可以做到,例如飯店業可以透過各項感應技術,落實酒店客房管理;零售業則可透過感應技術,提升零售商品的銷售率;製造業者亦可透過感應機制,管控生產現場的產能,或是供應商的進料狀況等。

換句話說,部署資料倉儲系統就像是為企業採購優秀的軍備,但是如果沒有任何兵將懂得使用這些性能卓越的軍備,那麼,花再多的錢也是枉然。

有鑑於此,中華電信資訊處目前正積極與行銷團隊合作,透過彙整與分析行動裝置持有人是否會閱讀行銷訊息等資訊,進而瞭解民眾對透過行動裝置發送之行銷廣告的反應,以及民眾會對哪一類型的銷售廣告有興趣,以歸結出該向哪些民眾推銷那一類型的產品組合等行銷策略。

早已實現事件導向(Event Driven)行銷管理的美國銀行是怎麼做到的?John Vernon表示,美國銀行之所以可成功的將EDW運用於主動向貴賓客戶銷售各項金融服務,是因為我們十分明瞭,累積的數據資料再多,也得要有人懂得將這些資料分析再利用,才有意義。我們是透過與各業務部門員工深入互動,以及透明化各業務流程等方式,瞭解其需求,如此才能規劃出有助於業務推動的資料分析模式,當各業務部門員工感受到成效之後,就會再更進一步提出資料分析要求,當然,也會帶動其他業務部門跟進。

總結來看,只要負責佈建資料倉儲系統的資訊人員,願意與各業務單位的同仁互動,向其宣導資料倉儲的應用效益,即可擺脫資料倉儲僅能協助企業進行後端應用分析的刻板印象,轉而開始將已累積的歷史數據資料,運用在前端營運分析上,而且這樣的趨勢,絕不僅止於金融與電信產業而已,事實上,製造業也可以透過這種機制,加速反應能力。

舉例來說,奇美電子即透過導入Teradata的EDW系統,縮短訂單反應時間,當客戶要求改變訂單時,即便該筆訂單牽涉到龐大庫存數量與種類的勾稽查核,奇美只要透過EDW,就能以未導入EDW之前的3分之1時間,迅速回覆客戶出貨狀況。

Teradata大中華區總裁吳輔世表示,奇美電子自2005年起導入Teradata的EDW及其他相關解決方案,已將原先散落在各廠的製造執行系統(MES)資料,與企業資源規劃(ERP)、營運企畫(GPC) 、品質資訊系統(QIS)等系統資料串聯在一起,進行分析以提升資訊品質、縮短收集資料的時間,並提高相關員工的工作效率。

在相關單位感受到資料倉儲與商業智慧(BI)等系統工具的成效後,奇美電子亦計畫將製造廠內(包括TFT、CF、LCD及LCM)所有與分析工程問題相關的數據資料,萃取、轉換與載入EDW中,以節省工程師分析問題的時間,並提升問題分析的品質。

總結來看,如今單純以商業智慧分析數據工具,以及透過資料超市與資料倉儲等系統累積數據資料,顯然並不足夠,為凸顯企業競爭力,還必須進一步將這些數據資料萃取及分析成有助企業營運的參考指標。