目前即構科技已可以在1v1視頻通話

2022年1月17日整理發布：近年來，隨著深度學習技術的快速發展和設備運算能力的不斷提升，基于 AI 的超分技術在圖像恢復與增強領域也已經呈現出廣闊的應用前景，并且在實時通信領域也掀起了革新應用之風。

超分辨率(Super Resolution，簡稱 SR)，是計算機視覺的一個經典應用。SR 是指通過軟件或硬件的方法，從觀測到的低分辨率圖像重建出相應的高分辨率圖像，簡單來說就是通過 AI 算法來放大原有圖像的分辨率以達到提升畫質的效果。在監控設備、衛星圖像遙感、數字高清、顯微成像、視頻編碼通信、視頻復原和醫學影像等領域都有重要的應用價值。

超分應用場景條件限制，存在清晰度困擾

然而在現實中，用戶的應用場景還存在許多問題，例如：

場景一：小張用手機看PC端主播的直播，發現畫質不好。因為手機是豎屏分辨率，需要從橫屏分辨率的畫面裁剪下來才能將畫面填滿手機屏幕，但是裁剪導致分辨率下降，畫質降低。

場景二：小學生小張使用智能手表與媽媽手機視頻通話的時候，發現手表容易發熱，流量也用得快。因為受限于芯片性能，發送高分辨率的視頻時比較消耗性能。

尤其對于海外用戶來說，應用場景的問題更為復雜：

場景一：小張在生活，平常看直播只能看標清視頻，因為當地網絡不好，再提高分辨就會容易卡頓，體驗很差，因此只能接受標清的畫質。

場景二：小張在留學，有天和在的朋友視頻通話時發現畫質有點差，因為網絡質量不好，只能推送標清視頻。

由此可以看出，用戶在一些特殊場景下，畫質清晰度十分不理想。那么，以上用戶的問題我們可不可解?

近期，全球領先的云視頻服務商——ZEGO即構科技推出了基于深度學習的自研超分、自研去編碼效應，通過 AI 算法來放大原有圖像的分辨率以達到提升畫質的效果。

通過使用超分，可以在本地將實時視頻的分辨率放大兩倍(x2)，比如將 360P 超分成 720P 畫質更清晰、紋理細節更細膩、文字更清楚，并且在播放端本地超分，不會增量帶寬、流量，解放網絡壓力，同時在播放端本地超分，也不依賴推流端，解放主播/推流用戶性能。使用超分后的優勢總結如下：

1、提升畫質 —— 由于分辨率的提升，像素點更多，畫質整體會比原畫面更加清晰;

2、去編碼臟塊 —— 去除由于碼率不足引起的編碼臟塊，畫面更加平滑整潔;

3、不會增加流量以及帶寬成本 —— 超分功能是端上的能力，只依賴設備性能;

4、不會增加推流端的性能消耗 —— 超分在拉流端(播放端)運行。

我們一起來看一下使用即構超分后帶來的效果變化：

ZEGO即構科技發布移動端實時超分辨率技術，迭代視覺新體驗

上述提到的三個客戶場景在使用 ZEGO SDK 超分后，將產生如下效果變化：

國內用戶場景一：使用即構技術后：畫質達到超清(720P/960P)，無視惡劣的網絡條件;

國內用戶場景二：使用即構技術后：畫質達到超清，不用擔心跨端導致畫質降低的問題了;

海外用戶場景一：使用即構技術后：畫質達到超清，不再受限于網絡條件;

海外用戶場景二：使用即構技術后：畫質達到超清，溝通和以前一樣流暢;

由此可見，當使用超分黑科技加成后，畫質飛躍。

那么何種場景適合使用超分?可以簡單理解為用于想提升畫質，卻又受到某些限制的環境。具體分為以下幾類：

1、網絡環境受到限制。對于網絡環境壓力大的地區，選擇超分提升畫質檔次，避開網絡的限制;

2、硬件條件受到限制。攝像頭無法提供高分辨率、推流端的性能不夠編更高分辨率的視頻;

3、購買成本受到限制。期望提升畫質，但是對應的分辨率/帶寬/流量檔位價格太高。

即構超分優勢

1、在資源受限的移動端，基于深度學習的自研超分、自研去編碼效應，對比業界 SOTA 及友商，模型大小相當時，即構自研 SR 主客觀數據更好，覆蓋機型更廣;

2、在性能不變的情況下可以累加編碼去臟去塊效應和累加智能銳化，也就是說，一個模型，可以完成超分+去編碼效應+智能銳化，性能不變;

3、極小超低輕量級模型，僅0.69G FLOPs，我們在Set5中的PSNR/SSIM可以達到

36.898/0.9554，在此運算量下，幾無對手;

4、機型覆蓋更廣，支持 2500+ 種機型，國內 Android 設備覆蓋率為 50%，iOS 設備覆蓋率為90%;

據悉，目前即構科技已可以在1v1視頻通話，秀場直播、電商直播等單主播場景，低分辨率場景，智能硬件，跨端通信等場景接入超分。

高分辨率的視頻能提供更清晰的畫面和更高階的感官體驗，對于提升視頻質量和用戶視覺感受有很大的幫助。即構此次自研的超分技術，可以幫助客戶獲得暢爽的視頻體驗，打造更高水平的圖像恢復和圖像增強。

據了解，即構超分將繼續進行算法性能優化，在效果不下降的情況下，覆蓋更多機型，包括網絡模型的性能優化、前饋推理庫的性能優化，支持PC端，并且會結合去編碼塊效應(更低性能消耗)，進一步提升視頻效果。