全新Arm ISP技術為智慧裝置打造更銳利的數位之眼

全球IP矽智財授權領導廠商Arm宣布推出全新Arm Mali-C52 與Mali-C32影像訊號處理器(ISP)，藉由完整的解決方案提供最高的影像品質，實現智慧連網裝置即時處理更高畫質影像的需求。

在人類五種感官中，視覺是演化程度最高、感受最豐富的感官，由超過200萬條神經纖維，將視網膜的訊息傳送到大腦。而過去數十年來，數位世界一直致力於超越我們自身的視覺處理能力。創造「數位之眼」處理即時的高畫質影像，讓觀看者真實感受環境的狀況，是Arm的生態系統致力於推向一兆台聯網裝置時所面臨的眾多挑戰之一。

Arm預測，在所有連網裝置中，物聯網裝置對於嵌入式視覺功能需求最為殷切：

    • 安全(監控)與IP攝影機市場預計到2021年的年成長率將達到20%，屆時出貨量可望超過5億台； 

    • 個人機器人年成長率達75%，預計到2021年出貨量將成長到200萬台；

    • 智慧家庭市場預計到2021年之前，年成長率可望達14%，規模將成長到8,800萬台，而其他包括無人機、AR/MR設備、以及運動攝影機等裝置，將從新興裝置演變成大眾化的產品。

將感知轉譯成畫素

上述裝置所採用的影像技術中，其中一個關鍵環結就是嵌入在裝置內的ISP技術。在這些受到諸多限制的裝置中，ISP的關鍵功能是在擷取影像感測器的訊號，然後處理每個畫素時，提供最精準與最高畫質的影像，特別是涉及到機器學習的作業。全新Arm Mali-C52 與Mali-C32對每個畫素進行超過25個處理步驟，其中三項關鍵步驟對影像輸出品質起了決定性的影響，這些步驟包括高動態範圍(HDR)、雜訊抑制、以及色彩管理。藉由結合Arm引領市場的Iridix技術以及其他領先業界的演算法，用來消除雜訊以及管理色彩， Mali-C52 與Mali-C32 ISP能有效率地在高解析度以及即時處理(例如4K解析度與60fps更新率)的條件下，達成上述三項目標。

高動態範圍技術絕不遺漏任何影像細節

最能凸顯HDR功能必要性的情境，就是裝在戶外有明亮照明處的連網保全攝影機，它輸出的畫面通常交雜著極光亮以及陰暗的影像區域。人的雙眼能自動調適高對比的明亮度，而數位感測器通常需要多次曝光以捕捉這樣的場景。欲真實呈現HDR場景，採用的影像技術會要求每個畫素得具備20或24位元的精準度，然而數位系統的顯示通常只支援到8或10位元，以致能處理的資料量也受到侷限。這也意謂著ISP之後銜接的電腦視覺引擎都侷限於8至10位元的精準度。在此情況下，ISP有必要以更高的位元深度處理HDR資料，之後再進行壓縮以利後續使用。倘若動態範圍的問題沒有妥善解決，畫面中陰暗區域影像的細節就會消失殆盡。

全新Mali ISP融入了Arm的動態範圍管理以及色調映射技術，設計目標正是要克服這些元件的侷限性，以及讓觀看者能看到更清楚的暗部影像，完全無須編修或調整影像的明亮度。

完整且富彈性的解決方案加快產品上市時程

Mali-C52可自行設定，進行兩個層面的最佳化：影像品質以及佔用空間。這樣的彈性讓晶片夥伴能在多種產品與使用情境中延用相同的IP與軟體。Mali-C32特別針對低功耗、需考量成本的嵌入式視覺裝置進行最佳化，像入門級門禁系統或是休閒用無人機。

此兩款ISP都是完整的解決方案，Arm提供硬體IP都附有ISP軟體驅動程式，其中包括3A 函式庫 (自動曝光、自動白平衡、自動對焦)以及各種校正和調校工具。其中功能特色與利益包括：

    • 更高的ISP影像品質：Iridix技術設計旨在提供模仿人類視網膜對比調適的精準模型，讓攝影機能像人眼一樣看到高明暗對比的影像

    • 更高的效能，ISP每秒能處理6億畫素，這項關鍵功能能以旗艦款智慧型手機等級的畫面更新率拍出專業級攝影畫質(像是數位單眼)。 

    • 完整的軟體套件用來控制ISP、感測器、自動白平衡、自動對焦、以及自動曝光。另外還提供包括裸機(bare metal)與Linux(Video4Linux 框架v4L2版本)軟體。

    • 彈性調校：運用全套調校與校正工具進行客觀與主觀的調校。專業的調校訓練課程與支援，協助用戶針對特殊使用情境與感測器進行專屬的調校 

一兆台裝置需要銳利的數位之眼 

Arm的願景是打造一兆台具備視覺功能的裝置。要實現一兆台連網裝置世界的願景，這些裝置需要更銳利的數位之眼來看清以及認知周遭環境，以為機器以及人類提供可靠的訊息來源。一切的開頭就是盡可能達到最高的影像品質，Arm全新推出的Mali  ISP正是為這個目標而生。