Line CLOVA AI產品中文化落地臺灣,今年新推CLOVA Note,CLOVA Chatbot更推出三種部署版本

Line臺灣在開發者大會上,發布Line CLOVA AI產品的更新,包括CLOVA OCR、CLOVA Note、CLOVA Chatbot等。

 

圖/Line臺灣

Line臺灣在開發者大會上發布,三大Line CLOVA AI產品正式中文化落地臺灣。一是CLOVA OCR,將推出完整產品功能,主張無論是特定表格或是證件中的文字內容,都能以OCR快速識別;CLOVA Chatbot則是推出雲端SaaS、地端On-Premise與混合雲部署版本,來滿足企業應用需求;今年更新推CLOVA Note服務,不只要將中文語音轉文字,還要區分出不同的發言者,未來除了可作爲個人助理,也要提供Web service串接到視訊會議來做記錄,這項服務預計在今年稍晚推出。

CLOVA OCR:因應不同辨識情境,提供一般與專用文字辨識模型

Line CLOVA團隊Aaron Wu首先揭露CLOVA OCR完整產品功能。Line的OCR產品可分為一般情境的文字辨識模型(General Model)與專門情境辨識模型(Specialized Model),除了經過一年的中文化調整與優化,Line今年也在一般情境辨識模型中,推出新功能Table Extractor,讓用戶在掃描文件或圖片上的表格時,能夠用Table Extractor來辨識,透過將JSON File的參數,對應到每個字元在表格上的欄位,來快速擷取圖片上的表格與其欄位中的文字。

由於在進行拍攝、截圖或掃描時,圖片的角度或光線都會影響OCR辨識的結果,Line因此新增了以AI自動調整角度的功能,能辨識出直式的表格文字為橫式等。Aaron Wu指出,這項功能在日本推出後大獲好評,比如在疫情期間,用戶需要將疫苗預約單的內容輸入系統來進行疫苗預約,透過訓練出OCR辨識模型,並結合自動調整辨識角度的功能,就能加速資訊擷取的效率,甚至連揉成一團的皺巴巴紙張,都能辨識出紙張上的文字資訊,尤其受到銀髮族的歡迎。

CLOVA OCR能自動調整角度來進行OCR辨識。

經過模型訓練後,連一團皺巴巴的紙張,都可以進行OCR辨識。

另一項專門情境辨識模型,則分為兩種類別,一是證件式的模型辨識,包括身分證、健保卡、護照等,雖然格式較固定,但因背景花紋或表格框線的樣式不同,還是需要透過模型訓練來強化辨識能力。二是非證件式的模型辨識,屬於內容相近但格式呈現不同者,比如名片、收據、信用卡、薪資單等,這類格式位置不固定者,就得透過足量資料來進行模型訓練,才能正確捕捉各種欄位資訊。

針對General Model與Specialized Model兩類模型的訓練,CLOVA OCR更提供了Template Builder工具,提供一個易於操作的介面,讓用戶能透過拖拉的方法,選擇需要辨識的區塊、定位並命名,更提供了足量的標註工具,包括複寫框、多重字元框、Check Box等,以供用戶更精準定義表格並擷取資訊。同時,CLOVA OCR也能串接不同工具或技術,比如自動標註功能(Auto Tagging)、知識圖譜或是RPA流程等,來建立端到端自動化流程。

Template Builder工具提供了許多標註工具,包括複寫框、多重字元框、Check Box等,以供用戶更精準定義表格。

CLOVA Chatbot:Chatbot Bulider讓非開發者快速上手,更提供三種部署方式

落地臺灣的CLOVA Chatbot也同樣提供了Chatbot Bulider工具,降低訓練人機對話系統的繁複流程,讓用戶只須準備好由機器人回答的問題與答案,以及相應的訓練資料,就可藉由圖形化介面訓練出專屬的Chatbot模型,並應用到Line官方帳號上,連不具程式開發技能的用戶都能上手。

為了滿足各種不同用戶的需求,CLOVA Chatbot提供三種部署方式,其一是雲端SaaS解決方案,透過雲端平臺提供所有的Chatbot模型引擎,日本與韓國均有大量應用案例;其二是地端On-Premise版本,主要針對有落地需求、考量資料安全性的企業用戶,可透過SI廠商將服務導入企業本地端來使用;其三則是專為臺灣企業設計的混合雲架構(Hybrid),結合雲端與地端的優勢,讓用戶一方面可維持隱私資料落地的安全性,一方面也可以降低運算資源的硬體成本投入。

Aaron Wu分享,Line客服官方帳號也實際應用了CLOVA Chatbot,2021年正式導入後,已經有8成以上的資料交由CLOVA Chatbot處理,平均每日可以接收超過5,000則以上的詢問訊息,更能維持90%以上的模型精準度。在這項Chatbot服務的設計上,Line引進了情境式對話功能,引導使用者逐步釐清問題,找到需要的答案,來提升滿意度。

而且,透過CLOVA Chatbot的自動回覆與資料搜集,持續分析客服訊息後,Line發現超過兩成以上使用者問題,都跟帳號轉移相關,因此,Line也計畫在今年第一季推出「帳號移動健檢」功能,透過CLOVA Chatbot的進階功能,將Chatbot串接後端帳號系統,在經過用戶同意的情況下,從後臺自動讀取用戶資料,拋轉到Line內部伺服器後,再以Flex Message格式呈現在對話視窗中,來與用戶確認帳戶移轉的相關資訊。

比如透過Chatbot先跟用戶確認電話號碼、Email以及是否已經設定密碼,也會確認帳號轉移的手機號碼是否一致,並提醒用戶在資料轉移之前,是否已經先備份資料,以此來幫助用戶更精準、快速的解決問題。在與用戶確認資訊的過程中,Line也會使用CLOVA Chatbot的隱藏式遮蔽功能,將敏感性的資料遮蓋。

CLOVA Note將於今年上線,可將語音轉為文字、更能區別不同發言者

另一項Line臺灣將在今年稍晚推出的AI新服務,則是CLOVA Note,來轉錄語音進行各式各樣的記錄。CLOVA Note使用了兩項主要的語音技術,一為語音辨識(Speech Recognition),將語音轉換為文字,二是說話者辨別(Speaker Diarization)技術,來分辨不同的發言者。

在語音辨識的技術中,Line採用的並非傳統語音辨識(ASR)模型的訓練方法。Aaron Wu指出,傳統的ASR模型訓練方法,會先透過聲學模型(Acoustic Model),將聲音轉換為最小的聲音單位,再透過Phoneme-to-grapheme模型,將每個聲音的最小單位轉換為字串,最後再透過語言模型(Language Model),將每個字元組合成一個完整的句子。但如此一來,每個模型都得分開訓練,也需要不同的訓練素材與參數調教,「這對ML來說是一個阻礙。」

因此,Line選擇透過自家研發出來的NEST引擎,這是一個以神經網絡架構出的端到端語言辨識模型,不需要訓練三個模型將語音轉為文字,而是能直接將語音輸入神經網絡來進行訓練,不僅能突破對Free Conversation的辨識,也強化了抗噪的功能。

而在說話者辨識的模型中,則是運用每一個文字的字元字段,進行上下文比對,再透過判斷上下文之間的關係,以辨識出不同的說話者。

Aaron Wu表示,CLOVA Note除了可以作為個人助理,也能作為Web service服務串接到視訊會議軟體當中,來進行會議記錄,同時區分發言的對象。韓國在上線後,約有9成用戶以此進行會議記錄,臺灣今年也會上線中文服務。

https://www.ithome.com.tw/news/149091

【AWS 2022新戰略3:以SageMaker為核心,降低ML門檻擴大影響力】完善端到端資料戰略,AI工具鏈變成生態系平臺

AWS的AI戰略就是要涵蓋企業從資料、分析到AI的完整旅程,來提供最完整的服務,還有一套可以涵蓋端到端的安全控管機制。(圖片來源/AWS)

5年前發表的AI工具服務,逐漸成了AWS發展AI生態系的關鍵平臺。

數據市場向來是公雲業者最激烈的戰場,這幾年的戰火更燒到AI市場的競爭。AWS早在2017年搶進了機器學習開發工具的競爭,推出機器訓練環境的全託管服務SageMaker,到了今年,這款工具類服務,不只發展出了一個完整的機器學習工具鏈,甚至向下串聯了AWS的各種基礎架構服務,資料服務,也向上整合了多種AI應用服務,AI垂直產業解決方案,AWS在2021年年度大會上,更完整揭露要邁向一個完整AI生態系平臺的大戰略。

要了解AWS這個AI大戰略的全貌,不能單從AI產品更迭來看,而要從更大領域的資料產品面來觀察。

AWS機器學習副總裁Swami Sivasubramanian在機器學習主題演講中指出,企業需要一套端到端的數據平臺,涵蓋儲存、存取、分析、視覺化到預測,甚至為了確保正確對象在適當時間存取資料,還需要針對每一款數據工具,實施資安和存取控管。

他所提出的這個企業數據戰略,也是AWS在機器學習市場的戰略架構,甚至可以說,這個架構就是AWS規劃產品藍圖的骨架

AWS提出端到端的資料戰略

他就直言:「AWS的AI戰略就是要涵蓋企業從資料、分析到AI的完整旅程,來提供最完整的服務,還有一套涵蓋端到端的安全控管機制。」

從12年前推出Amazon RDS開始,至今都朝這個目標邁進,推出超過上百項機器學習服務,目前已經超過150萬個用戶。

從資料到AI的角度來看,AWS今年看似各自分散,眼花撩亂的新資料服務、資料湖新強化、ML工具翻新,都是為了強化這個端到端的資料戰略,包括兩大特色,一是補齊原有產品缺口,另一類則用來擴大既有產品布局。

強化資料安全性缺口是今年AI產品發表的第一個亮點。AWS新任執行長Adam Selipsky親自發表的資料湖合規工具Lake Formation新功能,可以做到單欄或單筆等級(Row and Cell-level)的權限控管,可針對單一個欄或行,來設定不同角色的存取權限,Lake Formatio會依據這些權限,自動過濾資料湖對外提供的資料,針對獲得授權的使用者,提供他們所能存取的資料。

Lake Formation新功能看似只是資料面新機制,但若回到端到端資料戰略,可以看到與另一個新產品的呼應。

AWS另一款引起眾人注目的新發表是無程式碼ML工具SageMaker Canvas,這是可以用拖拉式操作,不用寫程式就能建立ML模型,從資料準備、模型建置、訓練到推論執行都能包辦。

但將這麼方便的工具提供給更多人,讓他們更容易接觸原始資料,如何進行安全控管會成為企業採用最大考量。Lake Formation更精細的資料存取控管正補齊了SageMaker Canvas的安全性能力。這個從資料源頭進行精細資料權限控管的作法,可以一路套用到整個資料處理流程、機器學習開發流程。AWS就不用急著在各類數據工具上打造安全機制,從源頭端工具下手更有效率。

兩個看似無關的新功能,彼此卻可以相互加乘和互補,這正是AWS背後有這樣一套端到端資料戰略的思考。

圖片來源/AWS
AWS機器學習架構(AWS ML Stack),清楚呈現出AWS不同AI服務和布局的定位,中間ML層的SageMaker工具鏈是今年發表重點。

AWS今年聚焦ML工具層推廣

Swami Sivasubramanian在演講中,揭露了更詳細的AWS機器學習架構(AWS ML Stack),清楚呈現出AWS不同AI服務和布局的定位,可以分為底層的各種ML框架和基礎架構,中間的ML工具層,以及最上層的AI應用層服務。

底層ML框架和基礎架構包括了主流深度學習框架、各種雲端運算服務、GPU、FPGU等,這些是AWS擅長也持續演進的產品線。而ML工具層服務的目標是降低企業建置模型的門檻,以及擴大模型導入規模,核心產品就是2017年推出的SageMaker,逐漸發展成一套涵蓋了建置、訓練到部署的工具鏈服務。

最上層AI應用層服務,則包括了兩大類,一類是通用型核心AI服務,如視覺辨識、語音AI、文字辨識等,另一類則是專門性AI應用服務,這是從商業需求來定義的AI服務,包括了個人化AI、內部搜尋、詐欺偵測,或是產業AI服務。

AWS今年在最底層的基礎架構服務上,透過自行研發的晶片,也有不少的新進展,而上層的AI應用層,則是去年AWS年度大會的重點,垂直產業AI解決方案和特定商業需求的AI解方。

今年AWS發表重點則回到中間的SageMaker工具鏈,過去幾年已經發展出了一整套ML開發工具組服務,後來也推出整合式開發工具SageMaker Studio,還進一步往資料預處理,例如資料標記服務發展。

今年6項SageMaker新功能中,一方面推出了利用GPU來提高訓練速度的訓練編譯器,AWS宣稱可以提高50%訓練速度。而推論推薦引擎則可以自動向企業推薦可用的運算資源,來加快部署,另外還新推出了無伺服器推論服務,也能降低ML落地成推論服務的上線門檻。

另一類SageMaker新功能則是用來降低機器學習使用門檻,除了無程式碼ML工具,原有標記服務Ground Truth推出可以讓企業自訂標記流程的Plus版,不用像過去只能用內建流程,等於只能用來標記AWS提供的資料用途。

另外,SageMaker Studio 也推出了通用型筆記本,可以在單一筆記本中,直接存取使用AWS大數據平臺EMR的上執行的Spark、Hive和Presto,或是使用在Amazon S3上執行的資料湖,將資料工程、資料分析和機器學習的工作流程,整合到單一筆記本中,來進行機器學習模型建置,這是鎖定專業資料科學家和資料工程師的新工具。

而另一項新推出的Canvas無碼ML工具,則瞄準三大類業務AI需求,從行銷類需求,如銷售預測,顧客生命週期價值預測,混合行銷,或是財務類需求,如信用風險評分、貸款遲繳預測、詐欺偵測,以及維運管理類,如庫存計畫和排程、交貨時間預測、預測性維護等,AWS想要將這三類需求的非技術人員,也變成了ML模型開發成員,來擴大自家ML工具鏈的影響範圍。

最後還有一項AWS擴大AI產品影響力的關鍵工具,就是推出了SageMaker的免費精簡版Studio Lab。只要用一個電子郵件帳號就能註冊,15GB容量,也有一定可用的免費CPU或GPU運算資源可用,要來吸引更多人嘗試,甚至作為新手的練習之用。AWS還宣布每年提供1千萬美元的獎學金計畫,訓練2千位高中生和大學生的AI開發能力。

回到AWS機器學習架構來看,中間工具層從商用級付費工具,進一步提供免費版工具,這是一個吸引更多人採用的推廣戰術,再加上無程式碼ML工具來拉攏非技術人員,拉近AWS自己的AI世界,隨著這些新手越來越依賴AI,也就會使用AWS上層AI應用和下層AI基礎架構,這正是AWS今年轉而全力擴大AI工具鏈的關鍵布局。

https://www.ithome.com.tw/news/148436

MLCommons釋出多語言口語大型語音辨識資料集

全球開放非營利組織MLCommons發布第一個版本,這個大規模資料集包含50種不同語言的口語音訊資料,而且資料集容量還持續不斷增加。MSWC的貢獻者包含來自Coqui、Factored、Google、哈佛大學、英特爾、Landing AI、Nvidia和密西根大學的研究人員。

MSWC資料集內容包含的50種語言,涵蓋全球50億人口,對於不少語言來說,MSWC是第一個可用來訓練語音介面的公開免費資料集,官方在MSWC使用CC-BY 4.0授權對外釋出,來促進全球關鍵字探索、口語搜尋和各種學術與商業應用,官方提到,他們的最終目標是要讓基於語音的關鍵字辨識介面,能夠支援更多語言的關鍵字。

目前語音互動技術已經普及,無論是Apple Siri、Amazon Alexa,還是Google的語音助理,都已經搭載至用戶的手機和智慧裝置上,關鍵字辨識系統使用低功耗的硬體來持續監聽關鍵短語,以觸發像是開燈或是喚醒複雜介面的動作,對於視障人士等,更是足以改變其生活方式。

但官方提到,強大的語音互動功能,需要使用大型資料集來訓練機器學習模型,這些關鍵字資料集需要付出大量的資源,從不同的說話者和背景環境中,收集並驗證每個包含關鍵字的語句,而現在多數公共關鍵字資料集,都為單語言並且只包含少數關鍵字,許多常用的語言缺乏可用的公共資料集,使得要為這些語言使用者,提供基本的語音功能更為困難。

MLCommons所開發和維護的MSWC資料集,便是要解決這個問題,MSWC是一個包含50種語言的口語大型語音辨識資料集,該資料集總共包含超過34萬個單詞和2,300萬個一秒音訊樣本,總共有超過6,000小時的語音,官方提到,他們利用開源工具,從Common Voice群眾外包專案收集的句子中,擷取單詞來建構這個資料集,語音助理開發者便可以使用這個資料集,訓練模型聽懂各種語言的關鍵字。

在MSWC資料集中,有12種高資源語言,具有超過100小時的資料,12種中等資源語言,擁有10到100小時不等的音訊資料,而其中26種是低資源語言,只有不到10小時的音訊,而MSWC資料集中,有46種語言的資料,是該語言唯一的開源口語資料集。

https://www.ithome.com.tw/news/148409

OpenAI API服務供用戶自定義GPT-3模型

開發人員現在可以使用自己的資料,來微調語言模型GPT-3,以創建適合其應用程式的自定義版本,OpenAI表示,,讓模型能可靠地用於更多使用案例中,並且執行成本更低,速度更快。

開發人員可以使用任意大小的資料集自定義模型,或是根據用戶的回饋,來逐步添加資料進行調整,官方提到,透過微調,可使模型輸出的正確率,從83%提升到95%。而要自定義模型也非常簡單,用戶只需要提供資料集檔案,並在OpenAI命令列工具執行單個指令,系統便會自動開始自定義版本訓練,並且在OpenAI API中提供服務。

OpenAI從去年開始提供GPT-3的API服務,而只要幾個樣本進行額外的訓練,GPT-3就可以進一步執行各式各樣自然語言任務,這個技術被稱為少樣本學習。用戶只需要提供不到100個樣本,就可以提升GPT-3的效能,隨著用戶提供更多的資料,模型效能就會不斷提高,在去年OpenAI所發表的研究,研究人員使用少於100個樣本,就能有效提高GPT-3在特定任務上的效能,而且研究也發現,樣本數量提高1倍,改進品質會以線性增加。

對GPT-3模型是棘手問題的國小數學,使用資料集自定義後,模型解題精確度就可以提升達2到4倍。OpenAI還提到,自定義GPT-3能提高輸出的可靠性,從他們用戶的案例中發現,使用自定義GPT-3模型,不可靠的輸出結果發生頻率從17%下降到了5%,整體工作流程更加順暢,成本和延遲都獲得降低。

https://www.ithome.com.tw/news/148371

福特於底特律測試自駕車送食物給行動不便長者

 

福特汽車

將測試以自駕車為底特律地區的年長者遞送生鮮食材到府。

這是福特汽車一系列自駕車開發計畫之一。在這項6個月的測試計畫,福特汽車和其公益基金會合作,將在底特律西南部密西根中央車站區,以自駕車遞送1萬磅(約4.5公噸)的新鮮食材,包括蔬果、牛奶、起司送到當地因行動不便無法出門購物的長者住處。

福特基金會之前已經對當地高齡照養中心提供生鮮食物,但這次首先啟用自駕車。自駕車是由福特未來自駕車團隊及全資子公司Quantum Signal AI開發,將以低速循固定路線在底特律研發中心及一棟高齡共同公寓之間行駛,按時將食材發送給居民。自駕車內裝是由福特根據生鮮食品包裝、運送及上、下貨而設計。車上將會全程配置隨車人員,並由遠端營運團隊監控。

福特目前在底特律市密西根中央區開發多項行車技術,該公司表示透過日常用品遞送計畫,將累積未來自駕車遞送商品的經驗,包括如何滿足當地居民生活需求。

福特是最新一家推動自駕車服務的業者。和Jaguar在美國舊金山試推出自駕車載客服務。另外,上個月測試以全無人卡車配送商品到超市。

https://www.ithome.com.tw/news/148370

【展望後疫2022新趨勢3】IT現代化成為主流,SRE成為IT團隊必備新能力

製造業擁抱SRE的需求則更是多樣化,以製造GPS聞名的Garmin,要招募SRE來維運自家部署在K8s上的生產製造系統MES,來提高關鍵產線IT系統的韌性

新興科技人才的搶奪,能反映出企業擁抱新興技術的態勢。像資料科學家、AI人才從幾年前開始火熱,近兩年則是資安人才供不應求,都反映出企業在AI和資安應用需求的爆發。

在2021年,有一類新興人才的需求開始在臺浮現,不只職缺數量開始增加,需求產業也從網路科技公司為主,逐漸蔓延到金融、零售、高科技製造、媒體,甚至是物流業者,就是網站可靠性工程師SRE(Site Reliability Engineering)。

Google在2016年將自家服務維運心法對外公開,打造成了一套確保全球性服務高可靠度的SRE維運方法論,還出書大力推廣,不少大型網路公司或科技公司後來競相仿效,SRE成了網路維運團隊的指標性作法。

隨著數位轉型浪潮崛起,越來越多企業上雲來提供跨國性服務,為了確保自家服務不中斷,其他產業開始有大型企業跟進擁抱SRE。2019年前後,金融業如新加坡星展銀行,或是零售巨頭美國Target,都開始成立自己的SRE團隊,積極導入SRE維運作法或工具。

臺灣擁抱SRE的腳步相對較慢,幾年前,只見極少數的網路公司,例如直播平臺17Live集團,開始嘗試這個國外火紅的維運新方法,直到2020年,開始有大型金控、製造業者接觸SRE維運理念,甚至展開嘗試,也開始有網路公司、科技新創在臺招募SRE。

臺灣越來越多產業要招募SRE

2021年初,明顯出現不少企業要招募SRE職缺,104求職網站在4月時的SRE職缺高達70筆,到了年底,職缺數量翻了一倍,超過150筆。不只更多網路原生公司,年初SRE職缺以銀行業、零售流通、高科技製造業較多,到了下半年,連網路設備商、儲存產品商、房仲、保險、物流、媒體、百貨業者、線上電商都要招募SRE職缺。

SRE不是通用型的維運人力,而是特別適用於雲端原生環境,提供不中斷雲端服務需求的企業。但是臺灣這群需要SRE的企業,可不只有網路公司或科技新創,還有更多種截然不同類型的產業,都想找SRE。

需要借重SRE團隊的公司,勢必是大力擁抱雲端原生技術的企業。對網路公司、科技新創而言,雲端原生技術是本性,隨著服務規模越來越大,也就越有不中斷的需求。如遊戲業者、網路服務公司都因此而越來越需要專業SRE維運人才。

這兩年的後疫零接觸商機,讓數位通路成為接觸消費者最重要的管道,網路商城或線上服務因搶購、塞爆當機事件頻傳,越來越多實體零售業者大力發展數位通路時,開始壓寶雲端原生技術,也更重視服務可靠性,SRE就成了他們的必須人才,諸如誠品、生活市集、蝦皮娛樂電商都是如此。

但對傳統的大型企業來說,擁抱SRE意味著,他們不只展開了IT現代化工程,而且更進一步,雲端原生技術成了他們重要的核心技術,推出越來越多數位化服務或產品,都需要更高可靠性的維護。

這正是像大型金融機構如玉山銀行、國泰世華銀行,在2021年積極招募SRE的緣故,這兩家近幾年都展開了數位轉型的IT大改造,為了發展更多數位金融新服務,銀行核心系統架構,也開始採用雲端原生技術,例如容器、K8s、微服務架構等,而中國信託銀行則正展開新一代核心系統改造,開始提前大舉招募相關人力,其中就包括了SRE。其他金融業者如保誠人壽、新安東京海上、大慶證券等證券、保險業者,同樣都是跟進銀行轉型趨勢,開始擁抱雲端原生技術而開缺。

不只銀行為了發展新型態業務而需要SRE,例如信義房屋同樣是為了發推動數位轉型,要打造新一代Web應用來拓展新業務的轉型專案之用,而積極培養SRE架構師。

製造業擁抱SRE的需求則更是多樣化,以製造GPS聞名的Garmin,要招募SRE來維運自家部署在K8s上的生產製造系統MES,來提高關鍵產線IT系統的韌性,將其視為不可中斷的雲端服務來維護。另有多家製造業者,同樣為了維護內部K8s叢集而需要招募SRE,例如合勤旗下網通產品公司,或像鴻海則是為了開發和建置5G相關平臺和服務,而需要SRE,這是鴻海發展智慧工廠新一代網路基礎設施的關鍵。

甚至,連台積電都要在今年下半年開始在104網站上,開出SRE職缺,雖然台積電沒有說明招募SRE的原因,但從招募資料來看,各項雲端原生技術,如DevOps、K8s、GO語言都是必備能力。

SRE能力將成為企業IT新課題

從臺灣不同產業對SRE的招募需求,更透露出這些企業不只擁抱雲端原生技術,他們以全球性服務或是大規模雲端服務為目標,追求更高可靠性的數位韌性,這是為何需要用到這種高階維運人力的主因。

這些臺灣大型企業,趁著轉型之際,紛紛展開IT現代化工程,來擁抱雲端原生技術,才帶動了這一波SRE人才需求的崛起。

但是,展開轉型的企業不只這一群,更多企業這兩年因為疫情展開轉型,或者老早就開始推動轉型,因疫情而加快腳步,雖然不一定需要或有足夠的資源,可以招募全職的專業SRE人才,但企業主對於服務不中斷的需求,對於雲端原生技術導入後的維護需求,都會陸續出現,這就會成為IT部門的新課題,企業IT團隊也要培養自己的SRE能力。

SRE方法論中的諸多作法,不究責文化、問題根源分析、SLO服務級別目標、SLI服務水準指標、錯誤預算(Error Budget)等作法,也會隨著越來越多企業推動SRE而開始流行,成為企業IT得認真思考採用的新作法。Google每年一度的DevOps調查報告更建議,SRE是DevOps最佳的互補策略,可以讓企業從開發、部署到維運都能更高度的自動化。這些作法都會成為IT人在2022年的技術成長課題。對IT團隊而言,SRE方法論是更貼近業務角度來思考IT系統的維運,能讓IT發揮更大的業務影響力和價值。

2021年臺灣IT圈的關鍵字是「微服務」,許多企業開始擁抱雲端原生技術,嘗試微服務架構,展開IT現代化之路,但SRE正是這段旅程後半段的關鍵,「SRE」將會成為2022年的臺灣IT關鍵字。文⊙王宏仁

 

https://www.ithome.com.tw/news/148648

【展望後疫2022新趨勢4】超低功耗TinyML趨勢崛起,成為企業邊緣AI應用落地關鍵

電腦視覺是目前製造業常見一種邊緣AI應用,在疫情爆發後,這樣的需求更大大增加,為了將這項能力延伸到更多邊緣端,讓更多小型IoT或邊緣裝置,也能支援電腦視覺處理能力,用於各種產品檢測、環境及人員監控等,就需要TinyML的能力。

 

攝影/余至浩

2021年,因疫情帶動非接觸式作業新常態,加速企業AI技術落地,從雲端走向邊緣,但在此同時,越來越多雲端AI或ML應用,開始追求更高準確度、發展更多元更深化應用,不僅處理運算越來越複雜,還占用更多記憶體,也更耗電,也因此更難在資源受限的IoT或嵌入式邊緣裝置上執行,成了企業AI落地的挑戰。所以,一種微型機器學習(Tiny Machine Learning,TinyML)的新趨勢,近來趁勢而起,正是為了解決這個難題。

超低功耗邊緣AI應用需求出現,成了TinyML興起的關鍵驅力

TinyML是一種超低功耗的邊緣ML應用新型態,試圖從優化IoT或邊緣裝置上的硬體設計、ML模型、算法和應用軟體,來實現邊緣端AI或ML應用。

一般而言,TinyML適用的裝置類型,以IoT或邊緣裝置為主,因為這類裝置大多是電池驅動的超低功耗裝置,不僅採用高度省電設計,還支援全時待命(always-on),且硬體配置(包含CPU效能、資料吞吐量、記憶體與資料儲存等)遠低於現今的智慧型手機。

以IoT裝置常用Arm低階處理器為例,一顆MCU通常僅有256 KB記憶體和1MB的儲存空間,跟最新款iPhone 13 Pro手機配有高達6GB記憶體和1TB儲存空間相比,兩者硬體配置資源相差懸殊,這也使得想在這一類裝置上提供ML功能,就很容易遇到效能瓶頸,甚至這種超低功耗ML應用要求每次執行ML模型推論時,其功耗必須小於1毫瓦。這正是TinyML應用興起的關鍵驅力,是未來能否讓企業AI真正落地的重要關鍵。

尤其,在過去一年,企業對邊緣AI需求持續增長,使得TinyML近來發展越來越受矚目。根據iThome 2021 CIO大調查,2021年有多達2成企業因為積極轉型跟進投資布局邊緣AI相關技術,用在設備上的異常檢測、狀態監測和預防性維護等。許多過去採用者也持續加大投資力道,例如面板大廠友達,這些年早就在工廠部署近4千個邊緣AI裝置,來發展各種邊緣AI應用。隨著企業邊緣AI應用越來越火紅,也讓TinyML需求日益增加。

純電池驅動的IoT或邊緣裝置未來也能具有ML能力

從應用角度來看,電腦視覺也是目前製造業常見一種邊緣AI應用,還沒疫情前,許多製造公司早就開始在生產環境中,以電腦視覺結合攝影機,用於AOI瑕疵檢測、流程優化和自動化等,在疫情爆發後,這樣的需求更大大增加,用來打造零接觸作業環境,藉此降低人與人接觸的風險。為了將電腦視覺能力延伸到更多邊緣端,讓更多IoT或邊緣裝置,也有產品檢測、環境及人員監控處理能力,就需要TinyML的能力。

也因為有了TinyML處理能力,企業能在許多純電池供電的IoT或邊緣裝置開始提供ML能力,這也意謂著,未來邊緣AI應用設計和部署上,企業可以考慮採取更多彈性作法,像是使用可移動式的邊緣AI攝影機,來根據製造現場變動機動調整與快速因應,不只提供單點設備異常檢測,也可以支援多點檢測。

不光是製造業,許多產業也能因此而有更多不同邊緣AI應用出現。像是農業使用許多IoT感測器裝置,以後可以結合AI異常偵測,除了能偵測土壤溫濕度變化,也透過AI即時找出生長異常的農作物和檢測有無害蟲。不少醫院也有各種醫療檢測裝置,能監測病人生理狀況,未來同樣能搭配AI影像辨識提高病人醫療照護效率。甚至在零售物流業上常見的AGV搬運機器人,透過加入AI視覺偵測能力,也能因此變得更聰明。這些電池驅動的AIoT或邊緣AI裝置,正因為有TinyML才能夠辦到。

隨著硬體逐步到位,TinyML應用有望在2022年起飛

現階段TinyML發展,主要從ML模型與硬體優化來實現超低功耗裝置的ML應用。Arm也歸納了實現TinyML的5種常見ML模型架構和優化的方法,包括降低精度、資料重覆利用、權重壓縮、轉換、稀疏運算等。

針對這種超低功耗的邊緣AI應用型態,近來有越來越多學術或研究機構投入研究,像是MIT與IBM共同成立的Watson AI Lab實驗室團隊最近開發出新的神經網路架構MCUNetV2,就是為了因應TinyML需求而設計,能將MCU處理器執行CNN算法所使用記憶體,減少到現行ML算法的4到8分之一,透過MCUNetV2神經網路架構來建立CNN模型,在ImageNet圖像分類測試中,僅需使用465KB記憶體,就可達到近72%的辨識準確度。

目前一些主流ML框架也能支援TinyML應用。例如Google原本就有推出輕量版TensorFlow Lite框架,可以將訓練完的ML模型轉換成體積更小的TinyML模型,部署到各種低功耗硬體上,除了能支援Arm Cortex-A、Cortex-R處理器,後來還推出可在更低階Cortex-M處理器執行ML模型的版本,Cortex-M也是目前物聯網和嵌入式應用主要採用處理器,可用於人員偵測、手勢辨識、字詞偵測等。

除了優化ML模型和架構外,在硬體設計過程中,也有一些新作法,來因應TinyML需求。Arm在兩年前發表Arm Cortex-M55處理器IP產品中,首度將機器學習能力帶進IoT硬體中,讓IoT晶片開始支援TinyML應用,如果從產品推出到真正進到市場大約需要2年來估算,預期2022年開始會有相關產品推出。

Arm當時還有發布另一個神經網路處理器IP產品Arm Ethos-U55,不僅省電,在AI效能更獲得百倍提升。除此之外,還有AI晶片業者推出採取記憶體運算的硬體架構平臺,可執行DNN推論所需的運算,最多可處理113M (百萬)權重數量和提供每瓦4 TOPS運算能力。

市調機構ABI Research預估,到2022年時,採用TinyML晶片的邊緣AI裝置出貨量將達12億個。Gartner調查則指出到了2027年,每十臺邊緣裝置,就有6臺具備深度學習執行能力。

隨著TinyML越來越受到重用,對企業來說,更應該思考的是,許多雲端AI或ML應用落地後,未來如何部署和管理這些超低功耗邊緣AI裝置和TinyML模型,將成為企業AI落地的另一項考驗。

https://www.ithome.com.tw/news/148646

Google將開發新的AR作業系統、裝置

 

Google

在臉書改名Meta,掀起虛擬實境(VR)及擴增實境(AR)的產業浪潮後,先一步推出AR產品的Google將以新一代AR作業系統及裝置搶下話語權。

,他將主掌一個AR作業系統的開發團隊。他指出OS只是整個計畫的一部份,最終目標是提供「優異的用戶價值」,而主軸是在OS上開發的使用經驗功能。

這個團隊已開始招募人馬。,這個部門正在尋找開發行動裝置、穿戴裝置、Web、Console及桌機應用的人才。

,工作內容包括開發控制、管理AR裝置的軟體元件以及和AR裝置相關的相機軟體。Google表示OS底層團隊將是第一個和Google未來成立的「創新」AR裝置產品部門合作的單位。

9to5Google報導,這些職缺位於美國及加拿大安大略省滑鐵盧(Waterloo)市,。而AR OS部門將歸屬在Google裝置及服務部門,與Pixel手機、智慧螢幕Nest或智慧型手錶同一事業群。

事實上Google 很早即投入AR領域。,Google開發手機AR平臺ARCore以深度感測配合Pixel 4的毫米波雷達,期能發展AR應用。然而相關應用皆未起飛。,今年更改名Meta宣示轉型AR應用開發,掀起元宇宙(metaverse)的產業浪潮,聲勢上似乎後來居上,顯然也促使Google革新再起的想法。

Google也不是唯一有動作的業者。一直傳聞開發智慧眼鏡的蘋果,,可能在明年推出一款支援Wi-Fi 6E、著重電玩、影音及通訊的高階混合實境智慧型頭戴裝置。

https://www.ithome.com.tw/news/148366

【小國AI大戰略關鍵推手:前科技部長陳良基看冠軍模型】YOLOv4證明臺灣AI有實力成為世界標竿

前科技部長陳良基 (攝影/洪政偉)

「臺灣的AI研究有這個實力,可以成為世界標竿,站上最頂端!」前科技部長陳良基談起YOLOv4,眼睛都亮了起來,他說:「這個AI模型證明了臺灣可以做得到,以前有這實力但不敢嘗試,現在,可以到各領域的國際頂尖領域拼戰。」

YOLOv4模型的誕生,來自科技部在2017年發起的「小國AI大戰略」中,「業界出題、學界解題」政策所補助的計畫之一。由義隆電子提問,中研院團隊解題,為了解決路口車流影像分析的難題,才誕生了YOLOv4物件偵測模型,在微軟COCO即時物件偵測挑戰賽中,一舉奪下全球第一,打敗了Google、臉書、IBM等科技巨頭。

陳良基正是這項小國AI大戰略的主要推手,他也等於是冠軍模型的間接催生者之一。所以,講起這個冠軍模型的源頭,話匣子就停不下來。

「將來誰掌握了數據的科技,在未來的時代就會占優勢。現在是第四次工業革命的進行式,臺灣也要順流而上,搶在浪頭上,發揮原有優勢。」

資料、演算法和算力,這是現在各國大力發展AI戰略的三大關鍵,但在4年前,並不是每一個國家都願意如此樣樣壓寶。以晶片研發享譽國際的陳良基,在學校從事研究時,就相當清楚演算法的威力,AlphaGo打敗南韓棋王的故事,讓他驚覺到,AI技術已經走出實驗室,變成了真實世界的應用。

沒有掌握AI新電力,所有競爭力都會下滑

當時陳良基就意識到AI發展,對臺灣未來競爭力的發展,非常關鍵。「明天AI若變成新電力,我們若沒有掌握這個能力,所有競爭力都會下滑,這也代表AI會滲透到各個領域,需要各方面的領域知識。」所以,當陳良基在2017年入閣擔任科技部部長時,就將那一年定為臺灣AI元年,開始在臺灣大力推動AI。

但是,臺灣不是大國,許多企業的規模也沒那麼大,「如果什麼AI都做,分散資源,最後可能一點機會都沒有。」他回憶當時決定過程。所以,他在行政院院會報告AI政策方向時強調:「AI戰略應該慎重以對,採取小國大戰略,先承認我們的資源不夠,選定對臺灣未來的重要項目,猛力去攻,才可以打敗第四次工業革命中的世界強國。」

大戰略選定了AI,但在戰術執行上,要怎麼聚焦,才能善用有限的資源?當時為了思考臺灣的AI戰略,陳良基和科技部團隊,拜訪了好幾個國家,英國、德國、法國等,來了解他們的AI策略。AI論文數是各國思考AI策略時,經常用來衡量國家AI研發實力的指標。但臺灣人口少,再怎麼比論文數,全世界排名還是處於20名左右,很難名列前茅,「如何能夠拿到非常獨特,甚至是全世界都還沒有人知道的題目。」陳良基換個角度思考:「如果我們可以先解出答案,不論數量多少,每一篇都會受到全世界看重。」

但誰能知道「未來的題目是什麼?」若從臺灣學界實驗室擅長的題目來選,每個實驗室都覺得自己的題目最重要,還是難以抉擇。陳良基的原則是「誰在第一線戰場,敏感度就會最高。」所以,他決定改由業界提需求來找出優先議題,「業界未來產業要AI化、或是需要AI如何加持,最欠缺什麼AI技術,就透過學界研發團隊來補足這個缺口。」

這個戰術角度的轉換,就催生了「業界出題、學界解題」模式。後來,科技部組成了專家小組進行海選,要找出臺灣得優先推動的AI課題。陳良基對海選小組提出一個要求,最後挑選出來的專案,必須將來有機會落地。由產業和學界聯手,有機會能結合臺灣產業優勢,未來發展成產業生態鏈的專案。

最後選出了28個計畫,為了提供行政協助,科技部在大學中,成立四大研究中心,但旗下計畫都採取產學融合的型態來進行。義隆電子和中研院合組團隊的計畫就是其中之一。

業界不只貢獻題目,也提供了自己的「資料」

「業界出題、學界解題」模式,是一種「以終為始」的思考策略,「不是單看一家研究機構實力很強就通過計畫,而是以未來的目標,來決定怎麼組合團隊。」陳良基解釋。

業界不只貢獻了題目,也提供了自己的「資料」,讓學界可以研發「演算法」,但在AI發展三大關鍵中,只剩下最後一個環節「算力」。

「算力是臺灣的優勢」,陳良基解釋,臺灣擁有半導體產業,也是PC王國,大廠的伺服器都是臺灣製造,「如何運用這些技術,對臺灣來說不難。」所以,在科技部AI計畫中,要投資50億元,來發展AI需要的運算環境。後來,後來由國網中心與廣達、台灣大、華碩組成AI 硬體國家隊,用了半年多的時間合力打造出AI超級電腦「台灣杉二號」,在2018年11月拿下世界排名第20名,再次超越了臺灣歷年排名記錄。

「國家幫忙建造運算環境,AI研發團隊專注各種不同的領域知識,用那些領域的資料來建立演算法和平臺。」如此一來,所有需要AI訓練的團隊,就可以有一個能夠快速學習的環境,陳良基強調:「如果沒有好的環境,一個想法要隔兩三個禮拜才能驗證,創新熱度就會消失,若讓想法可以很快證明,就能很快再想另一個點子。」

YOLOv4不只帶給學界信心,也讓業界更信賴學界研發實力

YOLOv4比起其他常見的R-CNN類物件偵測模型更優秀,在年秋季舉辦的微軟COCO即時物件偵測挑戰賽中,一舉奪下全球第一,擊敗了美國AI巨頭Google、臉書、IBM等,甚至這個第一名,YOLOv4穩坐了好幾個月,沒有其他競爭模型可以超越。這在激烈的AI技術競爭上,非常少見。

「當你不是做別人已經解過的題目,而是解別人沒有辦法解的題目,越創新,就越能有這個優勢,」陳良基剖析,不只是YOLOv4,接班的YOLOR架構也是全新的想法,跟前面v1、v2、v3甚至是v4版都完全不同。「修改別人的問題,和嘗試創新突破,思考的時間可能一樣,訓練的時間可能一樣久,但你設定標竿的目標,就會走在頂尖的方向上。」

當年他還不敢大聲喊出,希望臺灣成為AI標準的制訂者。因為大力推動AI時,他也曾遭質疑是講大話,甚至被批評科技部將資源過度集中到單一領域中,但是,「不試試看,怎麼知道呢!」他自己這樣打氣的說。「YOLOv4模型就是證明臺灣可以做得到,可以成為世界標竿,站到最頂端,我們研究人員有這個實力,這對臺灣其他研究者可以帶來信心。」

陳良基觀察,YOLOv4自己也成了一個世界級平臺,國外很多人透過開源方式,運用這個模型來展示的應用,也越來越多,「這對國內企業和學界也是一個非常好的標竿。」

這樣的指標帶來另一個意義,他補充,企業以前考慮頂尖技術時,都覺得國外團隊比較厲害,臺灣企業跟臺灣團隊合作時,都會秤斤秤兩,有一種給你好處的味道,「YOLOv4可以讓企業知道,最厲害的團隊就在你身邊,不用捨近求遠,反而找國際知名研究團隊。」

陳良基對臺灣AI發展還有一個有待實現的大夢。YOLOv4證明了臺灣技術可以比國際大廠厲害,一項又一項創新技術,「若能發展出一家家新創,每一家都有獨門絕活,組成產業聚落,全世界任何品牌要推AI在地服務,臺灣可以成為底層服務的供應者。」他認為,AI代工轉型可以是臺灣的下一個發展方向。

https://www.ithome.com.tw/news/148304

Meta與IBM等業者成立資料聯盟,以避免基於AI的招聘系統產生偏見

情境示意圖,photo by Clem Onojeghuo on unsplash

,將共同打造一致的標準,以減輕人力資源與勞工決策中所存在的資料及演算法偏見,包括招聘、薪資及員工發展等。

Data & Trust Alliance的創始會員包括美國運通(American Express)、CVS Health、Deloitte、Diveplane、General Motors、Humana、IBM、Mastercard、Meta、Nielsen、Nike、Under Armour與Walmart,它們的員工總數超過350萬名。

該聯盟表示,其成員有一個共同的信念,即相信於即將到來的時代中,資料與智慧系統為創造經濟及社會價值的關鍵,但必須負責任的部署。

其實上述成員已經開始利用資料、演算法與人工智慧來尋找人才,包括仰賴那些已採用AI及機器學習的人力銀行、人才網站、顧問公司或招聘公司,然而,它們同時也認為利用相關技術的最大風險為可能隱藏著不公平的偏見。

因此,Data & Trust Alliance建立了演算法偏差保護措施(Algorithmic Bias Safeguards),首個計畫就是「演算法的安全性:減少勞動力決策的偏見」(Algorithmic Safety: Mitigating Bias in Workforce Decisions),以協助企業根據相關標準來評估招聘服務的供應商,之後也會將該保護措施整合到企業的程序中。

目前Algorithmic Bias Safeguards設計了13種類別的55個問題,以作為評估供應商的標準,涵蓋訓練資料、模型設計、偏差測試方法、偏差矯正、透明化與問責、AI倫理與多元性承諾等。

https://www.ithome.com.tw/news/148279