【2023 · CANN訓(xùn)練營(yíng)第一季】數(shù)據(jù)預(yù)處理-JPEG數(shù)據(jù)解碼

文檔參考：CANN文檔社區(qū)版: 6.0.RC1.alpha001

我們的模型輸入是固定的圖片格式、大小，但是實(shí)際上我們的想要進(jìn)行推理的圖片是各種各樣的，在應(yīng)用中，我們常使用NV12的圖片作為模型的輸入。如果輸入是僅有Y分量的灰度圖，我們便可以通過將UV分量的部分補(bǔ)充為灰色而滿足我們的使用，但是如果我們的輸入為JPEG圖片，我們需要使用到ACL提供的媒體數(shù)據(jù)處理了相關(guān)API，對(duì)我們的圖片進(jìn)行預(yù)處理，把jpg圖片進(jìn)行解碼成YUV格式的內(nèi)容，并且獲得其圖片信息。

一、媒體數(shù)據(jù)處理API的V1

note:媒體數(shù)據(jù)處理V1版本與媒體數(shù)據(jù)處理V2版本的接口功能范圍相同，都是描述處理媒體數(shù)據(jù)的接口，用于實(shí)現(xiàn)摳圖、圖片縮放、格式轉(zhuǎn)換等功能，但兩套接口不能混用

(資料圖片)

在Device側(cè)，我們對(duì)要進(jìn)行媒體數(shù)據(jù)處理的相關(guān)數(shù)據(jù)的內(nèi)存的申請(qǐng)和釋放，就不可以簡(jiǎn)單的使用malloc,new或者aclrtmalloc等申請(qǐng)的內(nèi)存了，我們需要使用dvpp接口。并且，從性能角度，為了減少拷貝，媒體數(shù)據(jù)處理的輸出作為模型推理的輸入，實(shí)現(xiàn)內(nèi)存復(fù)用。我們盡量申請(qǐng)足夠大的內(nèi)存進(jìn)行反復(fù)使用，盡可能避免反復(fù)使用dvpp的接口申請(qǐng)內(nèi)存和釋放，造成一定的性能損耗。

1.dvpp內(nèi)存和通道

(1)內(nèi)存申請(qǐng)與釋放

note:調(diào)用該接口申請(qǐng)大頁內(nèi)存失敗，僅表示系統(tǒng)內(nèi)的大頁內(nèi)存不夠

(2)通道的創(chuàng)建與釋放

2.JPEGD相關(guān)接口

性能指標(biāo)：

JPEGD性能指標(biāo)是基于硬件解碼的性能，JPEGD硬件解碼不支持3個(gè)SOS的圖片解碼，對(duì)于硬件不支持的格式，會(huì)使用軟件解碼，軟件解碼性能參考為1080P 15fps。JPEGD解碼的輸出圖片如果涉及旋轉(zhuǎn)，則性能指標(biāo)低于軟件解碼的參考值，例如對(duì)于1080P的圖片，性能指標(biāo)低于15fps。

以下性能數(shù)據(jù)，是基于一個(gè)stream上下發(fā)1個(gè)異步媒體數(shù)據(jù)處理任務(wù)后，執(zhí)行一次aclrtSynchronizeStream接口。

在我們代碼使用的過程中，其實(shí)最先需要了解的是我們所用的接口的性能，這直接影響到我們的使用方案，可以防止我們的代碼設(shè)計(jì)直接超越了模塊處理的性能。實(shí)際和官方標(biāo)量有的時(shí)候會(huì)有一點(diǎn)實(shí)測(cè)的出入，不過最好還是按照手冊(cè)中的描述進(jìn)行預(yù)先規(guī)劃，以下為手冊(cè)中的指標(biāo):