智慧應用 影音
英飛凌_電池
20210629_D Webinar 2021 半導體
徐宏民
  • 台大資工系教授
徐宏民(Winston Hsu)現任台大資工系教授及NVIDIA AI Lab計畫主持人。哥倫比亞大學電機博士,專精於機器學習、大規模影像視訊搜尋與辨識。為訊連科技研發團隊創始成員,慧景科技(工業智能新創)共同創辦人;曾任IBM華生研究中心客座研究員、美國微軟研究院客座研究員。習慣從學術及產業界的角度檢驗技術發展的機會;十餘年產學合作及新創經驗,近年致力將深度學習技術落實到產業,並協助成立研究開發團隊。曾獲2018 IBM Research Pat Goldberg Memorial Best Paper Award 、2018偽裝人臉辨識冠軍、傑出資訊人才獎、吳大猷先生紀念獎等國內外研究獎項。
人機互動研究洞察新契機
疫情嚴峻,學生被迫在家上課,大量企業決定分流或是全數在家上班,許多人工作型態轉為接連不斷的線上會議,措手不及。還好疫情遠距工作在歐美已經進行了一年多,有許多經驗值得我們參考。例如,微軟(Microsoft)的研究團隊最近在人機互動頂尖會議CHI 2021發表一篇學術研究,從公司內部715人的行為,建議有效的遠距工作會議應當:避免早上舉行重要會議、減少不必要會議、縮短會議時間、鼓勵與會者參與討論、允許會議中多工處理其他工作等。
疫情觸發新情境、新契機。這份新出爐的人機互動(HCI)研究,成為很多企業參考的依據。遠距會議將成為工作常態,而這項研究中也建議了新的軟硬體設計,例如如何安排適當的會議、如何讓個人專注在權責相關部分等。
2021/6/17
20年相機技術更迭教我們的事
第一次使用數位相機是2001年到尼泊爾爬山時,也一起帶了使用正片與負片的傳統相機。雖然解析度不高(640x480),卻頻於分享數位相片,因為方便在電腦上觀看、聚會時投影出來解說旅程的故事、或是透過電子郵件分享。所以「數位化」、「便於分享」彌補了早期數位相機品質的不足。
2002年到紐約進行博士學業,與台灣家人的分享完全透過數位照片,大量拍照更新,讓家人理解在美國的生活情形,透過E-mail以及後來使用的照片社群服務(如Flickr),讓照片分享、儲存更為容易。之間更換了多台數位相機,較佳的攝影品質、鏡頭焦段等促進換機的理由;數位相機品質提升,傳統底片相機沒落。
2021/4/27
產品化物件偵測技術(二)
前面的文章概略描述物件偵測技術對推動產業智能化至關重要,近年核心技術也由傳統做法提升為深度學習,帶來更多突破。
接下來我們要面對這些技術轉化為產品時會遭遇怎樣的問題?如何克服?特別是過去幾年有幸協助開發各式應用,看到了這當中的一些盲點。
2021/4/13
產品化物件偵測技術(一)
在深度學習影像研究中,最時常被拿來展示的,應是「物件偵測」(object detection)技術,其目的為在給定的影像中標定出有興趣的(目標)物件,提供物件位置邊框以及類別(如人、車、單車、巴士、號誌等)。
物件偵測在各種訊號來源(攝影機、光達、雷達等)提供精準的感測能力,標定物件位置,這樣的核心技術關乎所有的智慧應用,包括ADAS、自動駕駛、安全監控、人機互動、交通控制、運動、醫學影像判斷、瑕疵檢測、AR/VR等。
2021/4/7
跨越深度學習技術產品化的障礙
即使深度學習技術在各個領域帶來突破,甚至逐漸翻轉各種產品服務,可是還能聽到產業界對於這些新穎的研究能否應用到產品上抱持著懷疑的態度。
當然不是所有的學術研究都能帶入產品中,但這個時刻正好是前瞻研究以及產業需求匯流的時候,我們看到非常多的技術突破可以引領全新產品、改進營運效率、或是呈現客戶未來需求等。這也就為什麼這幾年在頂尖學術會議中,產業界投入大量的人員、資金、展示等,希望能事先掌握技術走勢,甚至深化為產品。 
2021/3/24
推進空間感知技術(一)
這陣子關心車輛安全技術以及新能源車產業的朋友,目光焦點都在某輛開啟Autopilot(自動輔助駕駛)在高速公路發生意外的車子。大致狀況是在高速公路光線良好的情形下,前方內車道一輛白色貨櫃車傾覆,其他駕駛人減速繞道而行,而這部在Autopilot模式的車子卻直接駛入貨櫃車廂。大家好奇,這顯而易見的障礙,應該是目前快速發展的深度學習技術或是各種感測元件可以偵測得到,而車子應可以自動繞道或是停止,為什麼失誤?或是從這個意外我們可以學習到什麼?
目前還沒有原廠的說明,許多相關產業的技術人員都在推敲可能的原因。一般「猜測」原因可能出在電腦視覺物件偵測以及感測器融合(sensor fusion)的地方。
2020/6/23
出賣你的文字、照片與設備
目前絕大部分的軟硬體服務都竭盡所能的收集使用者資料,包括網路瀏覽紀錄、對話、參加的群組、喜好文章、照片、購物紀錄、打卡位置、音樂歌單等。透過這些資訊可以推估使用者屬性、喜好、甚至政治傾向,富含商業應用。而快速發展的智慧技術,更推升了使用者資料的價值。
瞭解使用者,甚至可以利用各種技術進而改變其行為,比如購物、粉絲、瀏覽、音樂、電影、娛樂、電子商務、黏滯性、甚至政治喜好、投票行為等。所以背後隱藏了許多商業價值,甚至有人不惜侵犯使用者隱私,非法銷售客戶資料,如病毒軟體公司出售用戶資料,包括使用者屬性以及到訪的網頁。
2020/6/3
晶片速度是唯一競爭優勢?
原本每年3月在矽谷召開的GTC–NVIDIA GPU技術大會,今年因疫情關係,轉為線上會議。最能揭示NVIDIA未來技術走向以及眾人期待的執行長黃仁勳主題演說,也在矽谷居家防疫下,改到5月中以他家的廚房為主舞台展開。從2016年開始參加GTC會議,當大家這幾天討論嶄新的Ampere技術讓A100 GPU速度提升多少時,反而嗅到在這酷炫技術展示之外的商業企圖心。
從幾年前強調深度學習技術的突破,今年展現貼近商業情境的技術手法。全自駕的時程未知,除了持續精進自駕開發平台外,也將晶片拆分為目前市場必備的先進駕駛輔助系統(ADAS),商業應用的無人計程車(Robotaxi),以及自動駕駛。另一有趣的應用是利用深度學習來突破電腦動畫的瓶頸,光線追蹤(Ray Tracing)技術,讓精細的高解析度畫面可以即時運算。原理是讓耗時的Ray Tracing只在較小畫面上計算,接著使用技術成熟的深度畫面超解析技術放大畫面。這樣的混合作法也可以提供急著提升畫面品質的內容以及顯示晶片業者參考。
2020/5/19
翻新ISP設計?
影像訊號處理器(ISP,Image Signal Processor)是每個相機(攝影機)的核心,主要是將影像感測器的訊號輸出接續轉換為標準的全彩(如sRGB或類似色彩表示、或進而壓縮為適當格式)。其主要過程包括去馬賽克、降噪、白平衡、曝光校正、銳化、色彩轉換、編碼等複雜的模組。
ISP為攝影機的關鍵,攝影品質好壞全然取決於在不同的光學條件下的影像輸出品質。所以ISP中各個功能模組參數調教,即成了業界的重要工作甚至是獨門秘方。一般而言,這些功能都是獨立模組,所以每個模組無法操控其他模組的輸出結果,或是彌補其他模組處理所損失的訊號。連續獨立模組計算,不能避免的造成原始感測訊號的損失。
2020/5/5
視訊辨識的技術與機會
急速增加的攝影機使得監看人力逐漸無法負荷,「視訊辨識」一直是長久以來安全監控領域的殺手級應用。但礙於技術發展,過去不曾真正落實,直到近年來深度學習技術中卷積網路(CNN)的高度發展,才激勵產業與學界重新檢視視訊辨識的機會。在應用上,視訊辨識可以滿足諸多需求:例如影片拍攝分類,安全監控中的摔倒偵測、尾隨進入建築、爬牆,購物情境中的產品銷售熱區、結帳安全,自駕車中的事件判斷,或是醫療照護中的老人看護、復健動作偵測等。
與影像辨識不同,許多視訊事件必須透過連續畫面才能判斷:例如單看手部高舉,無法分辨接下來的動作是抓頭髮或是出手打人。所以視訊辨識必有效的參考多個連續畫面來做判斷,可以想像運算量以及模型複雜度會比單畫面的影像辨識來得高。
2020/4/28