国产一级毛卡片视频在线播放,成人电影免费看,欧美精品日韩一区二区,日本福利视频在线,天天综合网加勒比

深度評測 "算力猛獸"浪潮NF5468A5 GPU服務(wù)器

2022-07-11 17:41 10990

北京2022年7月11日 /美通社/ -- 近日,浪潮信息推出AI服務(wù)器 NF5468A5"超值機(jī)型 限免試用"活動(dòng)。浪潮NF5468A5是一款性能強(qiáng)大、應(yīng)用場景廣泛的GPU服務(wù)器,硬件設(shè)計(jì)合理,可最大化發(fā)揮核心組件的性能優(yōu)勢,并通過分區(qū)散熱設(shè)計(jì)保障服務(wù)器穩(wěn)定運(yùn)行,同時(shí)廣泛兼容主流加速卡,計(jì)算性能強(qiáng)大,以更靈活的計(jì)算架構(gòu)最大程度地滿足用戶在圖像識(shí)別、自然語言處理、語音識(shí)別等多場景應(yīng)用需求,專業(yè)測評媒體將其比喻為"算力猛獸"。

本文將圍繞NF5468A5整體設(shè)計(jì)及性能測試進(jìn)行深度測評解讀,展現(xiàn)HPL、內(nèi)存帶寬、AI訓(xùn)練、AI推理、視頻編解碼、HASH等應(yīng)用場景的各類測試數(shù)據(jù),如對該AI服務(wù)器感興趣可以申請參加試用活動(dòng)。

浪潮NF5468A5服務(wù)器
浪潮NF5468A5服務(wù)器

NF5468A5是浪潮推出的一款面向AI訓(xùn)練和AI推理、視頻編解碼等多種應(yīng)用場景的全能型GPU服務(wù)器,在4U空間內(nèi)搭載2顆AMD EPYC處理器,支持多達(dá)8張雙寬加速卡。浪潮官網(wǎng)顯示,這款產(chǎn)品已經(jīng)支持NVIDIA、AMD、Intel、寒武紀(jì)、燧原等多家業(yè)界主流AI加速卡。

本次拿到的樣機(jī)采用如下配置:


接下來,筆者將從系統(tǒng)解析、性能測試這兩個(gè)方面對浪潮NF5468A5服務(wù)器進(jìn)行測評。

1. NF5468A5系統(tǒng)解析

1.1 整體系統(tǒng)設(shè)計(jì)

浪潮NF5468A5 AI服務(wù)器采用了4U機(jī)架式機(jī)箱,高x寬x深為175mm x 478mm x 830mm。整體風(fēng)格簡約、硬朗,不論做工、還是用料、細(xì)節(jié),均彰顯出大廠品質(zhì)。

前面板沿用浪潮一貫穩(wěn)重的黑色,六邊形的格柵結(jié)構(gòu)由金屬制成,可以將風(fēng)扇高速旋轉(zhuǎn)產(chǎn)生的湍流風(fēng)切割成平穩(wěn)的平流風(fēng),從而更平穩(wěn)的吹向服務(wù)器內(nèi)部。前面板右上角,電源鍵下方是ID、Reset按鍵和系統(tǒng)狀態(tài)指示燈,前面板左上角則是VGA、兩個(gè)USB 3.0接口和管理接口。前面版的豐富接口,充分考慮了運(yùn)維人員的工作場景,十分便捷。

浪潮NF5468A5前視圖
浪潮NF5468A5前視圖

從后窗來看,NF5468A5在4U空間內(nèi)提供了8個(gè)全高全長雙寬PCIe x16的物理插槽,支持最新PCIe Gen4,雙向通信帶寬高達(dá)64GB/s,相比PCIe Gen3,功耗不變,但通信性能提升1倍。在此基礎(chǔ)上產(chǎn)品還提供了3個(gè)全高全長單寬x16物理槽位,可支持25G/100G/200G雙口光纖,或者千兆/萬兆R(shí)J45網(wǎng)卡以及8/16端口12Gb/s RAID卡,可滿足客戶對網(wǎng)絡(luò)及存儲(chǔ)的要求。同時(shí)可支持1個(gè)OCP 3.0網(wǎng)卡專用插槽,支持熱插拔,將網(wǎng)卡更換時(shí)間從20分鐘縮短到1分鐘,能夠大幅提高運(yùn)維效率。

NF5468A5支持4個(gè)電源模組,可以提供1600W~3000W功率的80 PLUS鉑金電源模塊,效率高達(dá)94%,可選3+1冗余或者2+2冗余,多種組合的冗余電源設(shè)計(jì),充分考慮了不同配置AI服務(wù)器的負(fù)載情況,保障穩(wěn)定性。

浪潮NF5468A5后視圖
浪潮NF5468A5后視圖

整個(gè)服務(wù)器采用非常緊湊的布局設(shè)計(jì),總共分成四個(gè)功能區(qū)域,從前往后依次是:磁盤存儲(chǔ)區(qū)、系統(tǒng)散熱區(qū)、處理器+內(nèi)存區(qū)、GPU+IO擴(kuò)展區(qū)。

浪潮NF5468A5內(nèi)部俯視圖
浪潮NF5468A5內(nèi)部俯視圖

下面我們先看下CPU和內(nèi)存。這臺(tái)樣機(jī)搭配了2顆AMD EPYC 7543處理器,核心數(shù)達(dá)到了32核心64線程,基準(zhǔn)主頻2.8GHz,最大加速時(shí)鐘頻率3.7GHz,L3 Cache 256MB,功耗225W。另外,浪潮官網(wǎng)介紹NF5468A5可支持2顆AMD基于"Zen3"微架構(gòu)內(nèi)核的EPYC Milan-X處理器,最高128個(gè)核心256線程、1536MB L3 Cache 以及18 GT/s XGMI互連鏈路,CPU TDP最大支持280W。樣機(jī)配置了16根32G DDR4內(nèi)存,同時(shí)可以看到服務(wù)器主板整齊排布了32個(gè)DDR4內(nèi)存插槽,最大容量可達(dá)8TB,內(nèi)存總帶寬750GB/s,支持RDIMM/LRDIMM等類型的內(nèi)存條。NF5468A5強(qiáng)勁的處理器性能、巨大的內(nèi)存容量和帶寬,特別適合AI計(jì)算、云計(jì)算、HPC以及企業(yè)各類業(yè)務(wù)的工作負(fù)載。

浪潮NF5468A5的CPU散熱器和內(nèi)存條
浪潮NF5468A5的CPU散熱器和內(nèi)存條

筆者手上的這臺(tái)NF5468A5,最吸引眼球的是本次測試樣機(jī)搭配了8顆NVIDIA A100 40G加速卡,從京東網(wǎng)上的報(bào)價(jià)看,8張A100的價(jià)格已經(jīng)與一款中高端轎車相當(dāng),這究竟是一款什么樣的AI服務(wù)器,筆者將帶大家一探究竟。

我們來重點(diǎn)看一下NF5468A5的GPU模組。樣機(jī)搭配了8張NVIDIA A100 PCIE 40GB GPU加速卡,由于每張卡功耗高達(dá)250W,服務(wù)器也給GPU板卡配置了單獨(dú)供電線,保證GPU卡的穩(wěn)定工作。為了滿足PCIE卡的高功率運(yùn)行,我們看到NF5468A5在GPU板上專門設(shè)計(jì)了4個(gè)用于大電流通流的bus bar,據(jù)浪潮的工程師介紹,bus bar的通流能力可以達(dá)到2880W,這對于各類PCIE加速卡的支持是非常強(qiáng)勁的。

浪潮NF5468A5支持8張NVIDIA A100 PCIE 40GB GPU
浪潮NF5468A5支持8張NVIDIA A100 PCIE 40GB GPU

NF5468A5提供了對豐富外插卡的支持,針對A100這種全高全長的卡配置了專用支架,搭配尾部鎖片進(jìn)行固定,這樣能增強(qiáng)產(chǎn)品在運(yùn)輸過程中震動(dòng)、跌落情況下的可靠性。我們翻開尾部鎖片,旋轉(zhuǎn)藍(lán)色旋鈕,就能非常順利的取下GPU進(jìn)行更換,這種針對PCIE卡免工具的操作非常人性化。


1.2 系統(tǒng)散熱設(shè)計(jì)

從浪潮官網(wǎng)產(chǎn)品介紹中看到NF5468A5可以支持2顆280W CPU+8顆300W的GPU,在177mm的空間內(nèi)浪潮究竟是如何實(shí)現(xiàn)的?筆者找浪潮工程師拿到了系統(tǒng)風(fēng)流圖,從中可以看出,系統(tǒng)整體風(fēng)道采用前進(jìn)后出的方式,散熱風(fēng)流主要從前面板的硬盤及下方開孔處進(jìn)入系統(tǒng)。風(fēng)流經(jīng)系統(tǒng)風(fēng)扇后通過導(dǎo)風(fēng)罩的分配,一部分進(jìn)入下層前排CPU和內(nèi)存通道,一部分繼續(xù)往后吹;經(jīng)過CPU和內(nèi)存后的風(fēng)及未被預(yù)熱的風(fēng)大部分流向后方上面3U空間的GPU,小部分流向下面1U空間;最后經(jīng)后面板流出系統(tǒng)。如此巧妙的風(fēng)道設(shè)計(jì)和精準(zhǔn)的風(fēng)流控制,足見浪潮作為全球AI領(lǐng)導(dǎo)廠商深厚的設(shè)計(jì)功底。

系統(tǒng)分離式風(fēng)流設(shè)計(jì)
系統(tǒng)分離式風(fēng)流設(shè)計(jì)

這款服務(wù)器將整機(jī)柜產(chǎn)品中"風(fēng)扇墻"的設(shè)計(jì)理念搬到了4U機(jī)箱中,"風(fēng)扇墻"一共由6組可以單獨(dú)維護(hù)的子風(fēng)扇模組組成,風(fēng)扇后部搭配了流線型設(shè)計(jì)的導(dǎo)風(fēng)罩,覆蓋了從風(fēng)扇到GPU中間的區(qū)域,但整個(gè)導(dǎo)風(fēng)罩并沒有完全擋住風(fēng)扇的出風(fēng)區(qū)域,結(jié)合上面系統(tǒng)風(fēng)流圖也證明是為實(shí)現(xiàn)CPU和GPU獨(dú)立風(fēng)道的引流設(shè)計(jì),避免風(fēng)流的串?dāng)_,無論多"強(qiáng)悍"的CPU和GPU都可以馴服。

NF5468A5中置風(fēng)扇墻和導(dǎo)流設(shè)計(jì)
NF5468A5中置風(fēng)扇墻和導(dǎo)流設(shè)計(jì)

1.3 架構(gòu)設(shè)計(jì)

筆者查找了海外網(wǎng)站相關(guān)浪潮產(chǎn)品的介紹資料,找到一張產(chǎn)品的拓?fù)鋱D,發(fā)現(xiàn)有別于傳統(tǒng)CPU-PCIE Switch-GPU的設(shè)計(jì),浪潮產(chǎn)品采用CPU-GPU直連方式。跟浪潮工程師確認(rèn),送測的NF5468A5也采用類似設(shè)計(jì)。工程師介紹,由于省去了PCIE Switch,2顆CPU與GPU的通訊延遲能降低200~300ns,同時(shí)GPU到CPU的通信帶寬可以達(dá)到256GB/s,較GPU通過PCIE Switch只有1條與CPU PCIE通路比,帶寬提升4倍,這種極致的互聯(lián)架構(gòu)設(shè)計(jì),有助于提升GPU與CPU間數(shù)據(jù)通信的帶寬,有效降低數(shù)據(jù)的處理延遲。


2. NF5468A5性能測評

2.1 HPL測試

樣機(jī)搭配2顆AMD EPYC 7543處理器,這款處理器是32 核 64 線程,基準(zhǔn)主頻2.8GHz,L3 Cache 256MB,最大加速時(shí)鐘頻率最高可達(dá)3.7GHz,功耗225W。為了能夠了解CPU實(shí)際性能,下面將采用HPL基準(zhǔn)軟件進(jìn)行測試。

在計(jì)算機(jī)基準(zhǔn)測試軟件中,HPL是應(yīng)用最廣泛的基準(zhǔn)測試程序之一。通過使用高斯消元法對稠密線性方程組進(jìn)行求解,HPL可以準(zhǔn)確測試系統(tǒng)浮點(diǎn)計(jì)算指標(biāo)。在每年全球超級計(jì)算機(jī)排名TOP500中,HPL測試性能是唯一的評價(jià)標(biāo)準(zhǔn)。

由于筆者拿到的設(shè)備是一臺(tái)未預(yù)裝任何軟件的裸金屬服務(wù)器,為了進(jìn)行相關(guān)測試,首先在上面安裝了Ubuntu20.04操作系統(tǒng)。

然后用HPL軟件測試了系統(tǒng)的浮點(diǎn)運(yùn)行能力。通過如下命令,將測試進(jìn)程和CCD進(jìn)行綁定。

mpi_options="--mca mpi_leave_pinned 1 --bind-to none --report-bindings --mca btl self,vader"
mpi_options="$mpi_options --map-by ppr:1:l3cache -x OMP_NUM_THREADS=4 -x OMP_PROC_BIND=TRUE -x OMP_PLACES=cores"
mpirun $mpi_options -app ./appfile_ccx

在運(yùn)行之前,還需要設(shè)置核心運(yùn)行在最高頻率,清除系統(tǒng)緩存,并開啟大頁內(nèi)存等設(shè)置,保證獲得當(dāng)前平臺(tái)最高性能。

echo 3 > /proc/sys/vm/drop_caches
echo 1 > /proc/sys/vm/compact_memory
echo 0 > /proc/sys/kernel/numa_balancing
echo 
always > /sys/kernel/mm/transparent_hugepage/enabled
echo 
always > /sys/kernel/mm/transparent_hugepage/defrag

sudo cpupower frequency-set -g performance

最終測試浮點(diǎn)計(jì)算速度為2.69 TFLOPS,根據(jù)當(dāng)前AMD平臺(tái)理論浮點(diǎn)計(jì)算速度,計(jì)算效率達(dá)到93.74%。

處理器浮點(diǎn)計(jì)算測試結(jié)果
處理器浮點(diǎn)計(jì)算測試結(jié)果

2.2 內(nèi)存帶寬測試

我們用業(yè)界主流的測試軟件STREAM對NF5468A5的內(nèi)存帶寬進(jìn)行了測試,測試參數(shù)如下:

# Thread Binding Options for AMD EPYC 7742/7763 Processor

$ export GOMP_CPU_AFFINITY=0-64:8

$ export OMP_NUM_THREADS=8

在運(yùn)行前,清除系統(tǒng)緩存并且開啟透明大頁內(nèi)存設(shè)置等,設(shè)置參數(shù)如下:

$ echo madvise | tee /sys/kernel/mm/transparent_hugepage/enabled

$ echo madvise | tee /sys/kernel/mm/transparent_hugepage/defrag

$ echo 3 > /proc/sys/vm/drop_caches

$ echo 1 > /proc/sys/kernel/numa_balancing

通過以上編譯和運(yùn)行過程中優(yōu)化,STREAM測試結(jié)果為373 GB/s,根據(jù)當(dāng)前平臺(tái)理論內(nèi)存帶寬409.6 GB/s,實(shí)測內(nèi)存帶寬效率達(dá)到91.1%。應(yīng)該說,這個(gè)效率非常高了。

內(nèi)存帶寬測試結(jié)果
內(nèi)存帶寬測試結(jié)果

2.3 訓(xùn)練性能測試

下面我們來測試NF5468A5的AI訓(xùn)練性能。樣機(jī)配置8張NVIDIA A100 PCIE 40GB GPU,這款GPU采用Ampere架構(gòu),基于7nm制造工藝,包含了超過540億個(gè)晶體管,擁有6912個(gè)CUDA核心,搭載了40GB HBM2內(nèi)存,具備1.6TB/s的內(nèi)存帶寬,F(xiàn)P64性能9.7 TFLOPS,F(xiàn)P32性能19.5 TFLOPS,F(xiàn)P16性能312 TFLOPS。

筆者從github網(wǎng)站上的公共倉庫https://github.com/mlcommons/training_results_v1.0中下載了MLPerf Training V1.0代碼,并使用這套代碼按照以下測試步驟在NF5468A5上訓(xùn)練ResNet50模型。MLPerf是一套衡量機(jī)器學(xué)習(xí)系統(tǒng)性能的權(quán)威標(biāo)準(zhǔn),將在標(biāo)準(zhǔn)目標(biāo)下訓(xùn)練或推理機(jī)器學(xué)習(xí)模型的時(shí)間,作為一套系統(tǒng)性能的測量標(biāo)準(zhǔn)。MLPerf由圖靈獎(jiǎng)得主大衛(wèi)·帕特森(David?Patterson)聯(lián)合谷歌、斯坦福、哈佛大學(xué)等單位共同成立,是國際上最有影響力的人工智能基準(zhǔn)測試之一。ResNet50是計(jì)算機(jī)視覺領(lǐng)域中最經(jīng)典的圖像分類模型,廣泛應(yīng)用于圖像識(shí)別、自動(dòng)駕駛等場景。

MLPerf代碼提供了容器配置文件,我們可以很方便的通過配置文件在自己的服務(wù)器設(shè)備上創(chuàng)建鏡像環(huán)境,鏡像中包含cuda、cudnn、nccl、mxnet等上層組件。但是在運(yùn)行容器之前,還需要在Host OS中安裝NVIDIA GPU Driver、docker、nvidia-docker這些基礎(chǔ)軟件。

首先,筆者參考https://docs.nvidia.com/datacenter/tesla/tesla-installation-notes/index.html#runfile 教程在Ubuntu20.04操作系統(tǒng)中下載并安裝了R470.82.01版本的驅(qū)動(dòng);然后按照https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#docker 教程安裝docker和nvidia-docker。

通過以下命令構(gòu)建容器鏡像:

$ cd  ~/training_results_v1.0/NVIDIA/benchmarks/resnet/implementations /mxnet

$ docker build -t mlperf1.0-nvidia:image_classification .

在測試之前,通過在nf5468a5_cxx.sh文中添加以下內(nèi)容綁定核心與進(jìn)程,最大化的利用系統(tǒng)中的計(jì)算資源,達(dá)到良好的負(fù)載均衡,保證獲得最優(yōu)的性能結(jié)果。

bind_cpu_cores=([0]="48-63,176-191" [1]="32-47,160-175" [2]="16-31,144-159" [3]="0-15,128-143"

[4]="112-127,240-254" [5]="96-111,224-239" [6]="80-95,208-223" [7]="64-79,192-207")

bind_mem=([0]="3" [1]="2" [2]="1" [3]="0"

[4]="7" [5]="6" [6]="5" [7]="4")

測試環(huán)境準(zhǔn)備完成,執(zhí)行以下指令開始測試:

激活環(huán)境變量:

$ source config_NF5468A5.sh

$ export CONT=mlperf1.0-nvidia:image_classification 

$ export DATADIR=/home/data/mxnet_imagenet/ 

$ export LOGDIR=/home/resnet50/

執(zhí)行測試腳本:

$ ./run_with_docker.sh

 


測試結(jié)果為21486 images/sec,也就是35分鐘即可完成ResNet50模型的訓(xùn)練。參考最近幾期MLPerf訓(xùn)練榜單,搭載8張NVIDIA A100 40G GPU卡的服務(wù)器的最好成績是36.2分鐘。可以說,在同等GPU配置的服務(wù)器中,浪潮NF5468A5的ResNet50訓(xùn)練性能是最好的。

2.4 推理性能測試

筆者也測試在目前推理場景中熱度最高的NVIDIA Tesla T4,這款精致的GPU卡只有75W,采用Turing架構(gòu), 在半高卡的尺寸內(nèi)集成320個(gè)Turing Tensor Core和2560個(gè)Turing CUDA Core,配備16GB GDDR6,支持FP32/FP16/INT8/INT4等多種精度的運(yùn)算,F(xiàn)P16的峰值性能為65T,INT8為130T,INT4為260T。 

NVIDIA Tesla T4 GPU
NVIDIA Tesla T4 GPU

推理性能測試同樣使用了MLPerf測試工具,本次測試是基于MLPerf Inference V1.0.復(fù)用了訓(xùn)練測試時(shí)使用的OS、docker、nvidia-docker等基礎(chǔ)軟件環(huán)境。

我們在NF5468A5搭載1張NVIDIA T4 GPU,使用github網(wǎng)站上的公開代碼https://github.com/mlcommons/inference_results_v1.0,按照如下步驟測試了ResNet50模型的推理性能:

同訓(xùn)練時(shí)一樣,首先要構(gòu)建容器鏡像:

# unzip mlperf-inference-release.zip

# cd /mlperf-inference-release/closed/Inspur

# export MLPERF_SCRATCH_PATH=/home/inspur/data/data_mlperf/

# make prebuild

(備注:prebuild后會(huì)自動(dòng)進(jìn)入容器實(shí)例)

然后執(zhí)行以下指令開始測試:

sudo CUDA_VISIBLE_DEVICES=0 make run RUN_ARGS="--benchmark=resnet50 --scenarios=Offline --config_ver=default --test_mode=PerformanceOnly --fast"

在圖像分類應(yīng)用場景中,使用ImageNet數(shù)據(jù)集,ResNet50測試結(jié)果是每秒處理5671.9 張圖片。我們了解到NVIDIA T4的ResNet50推理性能為每秒5000張圖片左右。應(yīng)該說,在NF5468A5上測得的T4推理性能非常好了。

ResNet50推理測試結(jié)果
ResNet50推理測試結(jié)果

筆者也拿到了寒武紀(jì)MLU270-S4推理加速卡。MLU270-S4采用TSMC 16nm工藝制造,集成16GB DDR4 內(nèi)存,支持ECC,同時(shí)兼容INT4和INT16運(yùn)算,理論峰值分別達(dá)到256TOPS和64TOPS。

我們發(fā)現(xiàn)NF5468A5對寒武紀(jì)的板卡也做了很好的兼容性適配,BMC可以顯示MLU270-S4的資產(chǎn)信息,風(fēng)扇轉(zhuǎn)速也根據(jù)MLU270-S4的功耗進(jìn)行了調(diào)整,相比A100,能夠明顯感覺到風(fēng)扇轉(zhuǎn)速主動(dòng)降低了。不得不說,浪潮服務(wù)器的散熱控制做得很精細(xì)。

寒武紀(jì)MLU270-S4加速卡
寒武紀(jì)MLU270-S4加速卡

我們在NF5468A5上插了1張MLU270-S4,測試了Caffe框架下的ResNet18、PyTorch框架下的GoogleNet以及TensorFlow下的ResNet101v1.5、VGG16和InceptionV3這幾個(gè)模型的推理性能,在使用int8精度時(shí),計(jì)算性能分別為每秒7440、5800、2400、1400和1000張。

筆者分析,浪潮NF5468A5在訓(xùn)練和推理測試中能取得這么好的成績主要有三個(gè)原因:第一,ResNet50模型從算法上還是需要CPU進(jìn)行一定的圖像預(yù)取和處理操作,本次送測的AMD 7543具備32核心2.8GHz主頻,有助于圖像在CPU端的預(yù)處理工作;第二,NF5468A5采用CPU和GPU直連設(shè)計(jì),有效降低數(shù)據(jù)的處理延遲,同時(shí)單個(gè)CPU與GPU通信帶寬高達(dá)128GB/s;第三,NF5468A5可以支持NVME SSD作為數(shù)據(jù)盤,通過將多顆NVME SDD數(shù)據(jù)盤組建RAID,可以極大的提升磁盤IO能力,在AI這種需要頻繁讀取數(shù)據(jù)的場景中,能夠非常有效的避免因?yàn)镮O短板帶來的性能瓶頸。

2.5 視頻編解碼性能測試

筆者在NF5468A5服務(wù)器上也評測了浪潮自研的M10A加速卡。

據(jù)浪潮官網(wǎng)介紹,M10A是一款面向AI場景優(yōu)化設(shè)計(jì)的VPU(Video Processing Unit), VPU是一種全新的視頻處理核心引擎,將視頻處理功能做成ASIC芯片,具有硬件編碼、硬件解碼、硬件轉(zhuǎn)碼等視頻加速功能,可以減少服務(wù)器在視頻處理業(yè)務(wù)上的計(jì)算性能消耗和降低視頻傳輸對網(wǎng)絡(luò)帶寬的需求。

M10A在8W功耗下可以提供16路1080P30視頻的加速能力,相當(dāng)于每路1080P視頻加速僅需0.5W。M10A針對H.265視頻格式壓縮算法進(jìn)行了特殊優(yōu)化,實(shí)測數(shù)據(jù)表明M10A的H.265編碼效果可以使得網(wǎng)絡(luò)帶寬利用率翻倍,同時(shí)計(jì)算CPU負(fù)荷最低可降至2%,適用于直播、短視頻、云游戲、視頻會(huì)議等場景。

浪潮M10加速卡
浪潮M10加速卡

在FFMPEG視頻框架下,我們直接用軟件SDK中的demo腳本,測試了M10A在不同視頻分辨率下的性能數(shù)據(jù),如下是16路1080P全高清視頻實(shí)時(shí)轉(zhuǎn)碼的性能測試情況:


在測試的過程中,我們發(fā)現(xiàn)M10A VPU芯片內(nèi)部是"多核"結(jié)構(gòu),這將進(jìn)一步降低視頻處理延遲,提高多路視頻轉(zhuǎn)碼時(shí)的性能穩(wěn)定性。

從測試結(jié)果看到,M10A進(jìn)行16路1080P全高清視頻轉(zhuǎn)碼時(shí),每路視頻轉(zhuǎn)碼性能都能達(dá)到33fps,達(dá)到了浪潮官方宣傳的性能。

M10A視頻轉(zhuǎn)碼性能測試結(jié)果
M10A視頻轉(zhuǎn)碼性能測試結(jié)果

另外,我們還測試了4K超高清和720P高清分辨率下的M10A的性能數(shù)據(jù),分別可以達(dá)到4K 120fps和720P 960fps,解碼、編碼和轉(zhuǎn)碼的性能都是一致的。

在我們跟視頻行業(yè)技術(shù)大咖的交流中了解到,一張M10A的視頻處理能力相當(dāng)于一臺(tái)雙路服務(wù)器的性能,M10A具有高性能、低功耗的優(yōu)點(diǎn),這對視頻行業(yè)來說是一個(gè)非常高性價(jià)比的解決方案。

2.6 HASH性能測試

除了前面講到的幾張加速卡,筆者也嘗試了其他板卡,比如主流的消費(fèi)級顯卡RTX3090等,發(fā)現(xiàn)NF5468A5都做了很好的適配工作。

RTX3090采用第2代NVIDIA RTX架構(gòu)-NVIDIA Ampere架構(gòu),采用8納米工藝,擁有10496個(gè)CUDA核心,搭載了24 GB GDDR6X內(nèi)存,384bit位寬。

RTX3090顯卡
RTX3090顯卡

下面,我們來看看浪潮5468A5搭載RTX3090顯卡在區(qū)塊鏈場景的性能?;赥-Rex這個(gè)知名的應(yīng)用軟件,筆者對業(yè)界主流的哈希算法進(jìn)行了性能測試。T-Rex不僅支持區(qū)塊鏈場景中最常用的ETHASH算法,也支持其他諸如BLAKE3、MTP等哈希算法。

ETHASH算法性能測試過程
ETHASH算法性能測試過程

針對每種HASH算法,我們使用了t-rex軟件的benchmark模型,在單個(gè)3090顯卡上進(jìn)行測試,每次測試持續(xù)10分鐘時(shí)間,并記錄了最終的性能數(shù)據(jù),如下表所示。

浪潮NF5468A5+單卡RTX3090 HASH算法測試結(jié)果


其中ETHASH算法的單卡性能達(dá)到了108MH/s。

這在很大程度上得益于NF5468A5優(yōu)秀的散熱設(shè)計(jì)。RTX3090的功耗高達(dá)350W,在區(qū)塊鏈場景,顯卡通常是7*24小時(shí)運(yùn)行,因此對散熱的要求非常高。筆者監(jiān)控了整個(gè)測試過程中的GPU功耗和溫度情況,發(fā)現(xiàn)在長達(dá)半天的測試過程中,雖然GPU功耗長期維持在330~340W之間,但是GPU的溫度一直維持在60℃左右,甚至在多卡同時(shí)運(yùn)行時(shí),GPU的溫度也能保持在60℃左右,可以看出NF5468A5的散熱設(shè)計(jì)做得相當(dāng)不錯(cuò)。

3. NF5468A5服務(wù)器測評總結(jié)

通過對產(chǎn)品外觀和內(nèi)部設(shè)計(jì)的評測,我們看到,浪潮NF5468A5在產(chǎn)品設(shè)計(jì)上,存儲(chǔ)、計(jì)算、風(fēng)扇、GPU擴(kuò)展等各模塊簡潔明朗,尤其是巧妙的分區(qū)散熱設(shè)計(jì)有效實(shí)現(xiàn)CPU與GPU模組的分流,豐富的存儲(chǔ)+IO擴(kuò)展性,同時(shí)人性化的設(shè)計(jì)以扎實(shí)的做工,也彰顯出浪潮對產(chǎn)品細(xì)節(jié)的嚴(yán)謹(jǐn)和大廠雄厚的設(shè)計(jì)實(shí)力。

在整體實(shí)際性能的綜合測試,得益于浪潮高效的產(chǎn)品架構(gòu),最大發(fā)揮CPU與GPU之間的通訊效能,處理器計(jì)算效率達(dá)到93.74%,實(shí)測內(nèi)存帶寬373 GB/s,搭配8張A100訓(xùn)練ResNet50模型得到每秒處理21486張圖片的驚人算力,在ImageNet數(shù)據(jù)集下進(jìn)行ResNet50推理測試展現(xiàn)超出T4標(biāo)稱13%的圖片處理能力,這臺(tái)算力猛獸全方位的表現(xiàn),相信給筆者和大家都留下了深刻的印象。

此外,ETHASH算法單卡性能突破100MH/s;很好地支持寒武紀(jì)國產(chǎn)推理卡,輕松實(shí)現(xiàn)每秒處理圖片超7000張;搭載視頻轉(zhuǎn)碼卡M10A展示了480fps 1080P視頻轉(zhuǎn)碼性能。浪潮NF5468A5還有很多意想不到的潛能,筆者期待進(jìn)一步的發(fā)掘,給大家?guī)砀实脑u測。

消息來源:浪潮信息
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection
国产成人精品AV- 无人区码一码二码三码区- 一区二区三区视频在线视频免费- 亚洲无码天天爽- 亚洲成人免费片- 亚洲免费字幕中文- 无码一区二区三区裸体视频- 亚洲青青视频一区- 久久精品韩国无码- 亚洲天堂免费视频- 成人亚洲欧美日韩在线- 久草视频中文视频- 亚洲欧美综合久久久久- 欧美亚洲韩国日本在线- 伊人久久综合精品- 久久精品精品无码一区三区剧情 - 国产视频正在播放- 六月丁香激情综合- 中文字幕欧美人妻精品一区蜜臀- 青爽国产在线观看- 日韩系列国产精品视频网- 久久国产日韩无码- 香蕉伊蕉伊中文视频在线- 国产精品久久嫩粉- 精品三级久久久- 国产精品一级久久黄色片- 欧洲精品一区AV- 久久精品综合网- 国产高清无码网址- 91美女片黄在线观看- 中国视频一区二区- 欧美 亚洲 国产 日韩一区二区- 国产国语口爆在线免费视频- 免费av网址在线看不卡- 综合欧美精品日韩专区- 日韩综合久久91- 亚洲aⅤ国产av综合网- 久草成人在线视频- 9亚洲高清免费无码- 免费一级精品国产- 手机在线无码成人- 中文字幕久热av- 亚洲一区二区三视频- 亚洲欧美综合网- 国产高清精品在线中文字幕- 国产一二三在线成人- 亚洲伊人久久综合精品- 99久久精品国产片久人- 国产欧美大片一区- 久久免费AV片国产精品- 一本精品无码不卡- 久久久久久久国产视频- 国产精品无码久久AV丝袜喷水- 69日韩国产成人无码- 国产欧美日韩成人电影- 久久人人国产视频- 多人伦交性欧美精品欧- 国产福利不卡视频在免费- 中文字幕中文字幕在线网- 国产高清亚洲精品- 一区精品国产无码- 国产三区四区在线- 亚洲精品aⅴ无码精品- 国产亚洲精品永久- 亚洲精品中文幕一区二区- 一区二区三区人妻- 99久久精品综合网- 国模私拍视频在线观看- 国产99精品视频- 中字幕精品一区二区三区- 日韩精品成人亚洲欧美- 午夜性色在线观看视频- 久久精品国产亚洲香蕉- 国产日韩av无码精品- 亚洲欧美日产国产- 亚洲AV中文无码乱人伦在线观看- 亚洲一级毛片无码- 五十路丰满中年熟女中出- 日韩中文字幕亚洲无线码- 熟女一区二区三区av无码- 在线视频精品人- 中文国产成人久久- 国产高清视频在线播放一区- 国产精品制服丝袜亚洲欧美- 做a视频免费看欧美国- 91亚洲区国产区精品区- 无码Aⅴ在线观看- 日韩一级片在线- 国产精品伦免费视频- 亚洲欧美成人va在线观看- 欧美成人日韩一区- 日本aⅴ大伊香蕉精品视频- 国产精品福利网站- 99精品无码专区喷水- 欧美午夜精品在线免费观看- 国产蜜臀香蕉精品久久- 亚洲成人娱乐网- 人妻少妇乱子伦精品无码专区毛片- 日本不卡高清一级- 亚洲伊人日韩制服在线- 国产成人精品一区二区免费看- 日本另类一区二区- 一区二区日韩欧美- 中文字幕在线永久在线观看- 亚洲精品成人日韩国产- 一区二区日韩成人网- 亚洲伊人久久综合精品- 欧美超碰在线观看综合一区- 综合欧美国产亚洲- 超碰一区二区高清- a级毛片内射免费视频- 亚洲高清日韩国产- 天天视频高清一区二区三区- 国产一二区不卡卡- 久久综合伊人一区二区三- 国产高清在线二区- 国产在线中文字幕- 无码国产精品自拍- 91偷拍精品一区二区三区- 第一页亚洲人妻- 日韩欧美精品三级- 日韩在线视频免费- 欧美日韩国产精品综合视频- 欧美丝袜日韩一区- 久久情精品国产品免费- 欧美日韩成人一区三区二区- 国产福利在线导航- 欧美福利视频99- 免费AV网站精品- 国产欧美日韩成人电影- 久久一道精品99- 欧美在线国产一区- 亚洲专区成人av- 五月天婷婷色综合- 欧美日韩亚洲中文字幕三- 国产精品口爆吞精2024年版- 成人av网站在线观看- 国产对白影音先锋- 日韩最新激情一区- 香蕉国产精品偷在线播放- 无码一区二区三区在线观看视频- 国产精品美女网站- 99人妻少妇精品视频一区- 亚洲精品国产精- 国产美女免费精品视频- 亚洲aⅤ无码一区二区三区国产- 夜福利无码高清在线播放网站 - 中文字幕日本人妻深夜视频- 亚洲女同精品一区二区久久- 欧美精品一区二区三区蜜桃- 亚洲无码国产专区- 亚洲自拍一区在线观看- a在线v免费不卡高清视频- 欧美日韩午夜在线播放- 日韩不卡一二三区- 亚洲国产天堂网精品网站- 国产色呦呦免费- 国精品午夜久久- 国产性色无码视频在线观看- 欧美乱码精品一区二区朱莉- 日本精品视频区- 国产亚在线手机视频网站- 中文字幕精品AV- 亚洲无码内射人妻- 日本一本草久网- 国产专区在线免费观看- 色综合久久综合- 五月色综合国产精品- 日韩成人中文在线观看- 黑人精品一区二区三区一不卡- 五月天无码激情在线观看- 亚洲无码另类日韩- 国产高清无码一区- 亚洲欧美日韩综合在线- 久久99国产乱子伦精品免- 欧美日韩国产中文精品- 国产网友自拍第1页视频- 人妻熟妇一区二区三区丁香五月- 午夜视频欧美在线观看- 国产精品视频无码2023- 精品国产一区在线观看免费- 高清无码一区二区三区视频播放- 久久久久亚洲天堂- 刺激一区乱国内久久精品- 亚洲人成网站在线播放首页- 精品少妇无码av在线播放资讯- 亚洲日韩久久一级毛片- 亚洲区日韩精品中文字幕不卡- 亚洲a级一区在线- 精品无码人妻系列专区- 国产区在线免费观看- 日本不卡成人五区- 在线观看黄网站- 日本黄色不卡视频- 亚洲一区中文字幕日产乱码- 国产粉嫩系列一区二区三- 国产主播一区二区- 91中文字幕免费视频- 欧洲美女视频一区二区三区- 99视频免费看- 五月青草久久Aⅴ- 亚洲国产av最新网址- 欧美日韩国产无限码一区- 久一区久久蜜桃- 日韩中文字幕a- 日韩欧美中文在线精品- 久久伊人成人蜜桃- 深夜一区二区三区- 无码中文字幕日韩专区- 国产一区二区黄色激情片- 亚洲日韩欧美专区制服- 日韩v亚洲v欧美v精品综合- 超碰一区二区在线- 国产人成在线播放- 欧美午夜福利视频网站- 欧美一区二区福利视频- 欧美一级在线看- 亚洲天堂久久五月天- 亚洲AV成人一区不卡- 亚洲日本天堂网免费观看- 中文字幕久久久婷婷- 日韩午夜精品免费理论- AV毛毛片免费在线- 亚洲不卡av一区二区三区- 国产精品偷拍一区- 五岳丁香在线观看网址国产不卡- 超频人妻在线视频- 九九久久国产高清视频- 激情婷停亚洲无码- 久久综合九色综合97网- 亚洲精品一二三- 人妻aⅴ无码专区久久- 国产91在线久草热视频- 国产综合av一区- 精品一区一区三区- 超碰在线天天干- 日韩精品亚洲高清- 亚洲欧洲日韩Av在线综合- 国产在线播放一区二区日韩- 99久热在线精品视频播- 成人VR一区二区三区久久久- 亚洲无码中文字幕第一页- 亚洲色图欧美中文字幕- 成人午夜无码视频- 国产蜜臀香蕉精品久久- 亚洲精品国产专区在线- 高清无码喷水抽搐视频- 亚洲码一区二区的- 一级片永久免费在线观看- av一区二区三区成人观看- 国产精品极品白嫩- 国产日韩综合精品一区二区三区- 手机国产在线不卡- 99久久国语露脸精品国产色- 免费av不卡在线- 亚洲色图在线播放- 在线不卡AV网站- 亚洲AⅤ在线播放- av中文字幕一区二区三区久久- 国产成人精品一区二区三区福利- 久久精品秘 一区二区三天- 亚洲精品一本在线- 日韩无码VA一区- 久久成人综合国产一区- 欧美视频日韩精品- 日韩一级无码av毛片免费不卡- 久草视频在线分类- 国产人妖乱国产精品人妖 - 影音先锋AV网- 久久精品视频国产- aaa级国产毛片视频- 国产欧美日本在线- 免费观看久久久久- 国产午夜精品大片网址- 中文字幕有码99- 成人无码av一区二区- 免费香蕉视频国产在线看- 国产在线视频区- 91在线国产播放- 日本东京热一区二区视频观看- 国产精品污污网站- 国产精品亚洲香蕉久草91- 无码专区精品在线播放- 日本二区三区在线- 亚洲精品午夜精品- 高清国产日本欧美- 欧美成人精品大片一区二区- 国产精品亚洲五月天高清- 亚洲一级二级三级- 人人爽人人摸人人- 亚洲人人妻人人草- 欧美一级色中色- 国产在线视频八区- 99一区二区三区不卡中文字幕- 大香蕉精品手机在线观看- 在线人成亚洲播放网站- av无码在线国产- 2018久久久国产精品- 91在线一区国产- 亚洲国产精品女人- 国产人成精品一区- 久草精品在线播放- AV大片免费观看- 亚洲精品亚洲精品午夜- 99就国产综合精品美女- 超碰人人干人人爽- 免费久久综合无码- 久久二合一无码区- 欧美亚洲高清国产- 久久国产精品免费精品- 九九热视频这里只有精品- 五月天久久综合网- 国产欧美日韩综合播放- 成年一区高潮无码- 日本不卡免费二区- 手机成人亚洲无码- 国产精品一二二区在线网站- 特级毛片视频无码免费看- 91插插插网站- 综合中文亚洲欧美- 日韩区精品视觉在线观看- 国产亚洲日韩在线- 波多野结衣 亚洲- 亚洲精品影视亚州色区- 亚洲AV无码一区二三区- 欧美日韩精品久久系列- 精品人妻在线一区二区三区- 精品国产午夜在线- 国内精品无卡无码- 日韩精品中文字幕在线视频- 狼友视频首页入口- 亚洲三级带中字- 国产熟女AV一区- 黄片现看欧美一区- 亚洲午夜高清国产- 日本黄色91视频- 亚洲色图亚洲无码- 亚洲AV成人片无- 亚洲91精品超碰大屁股- 91在线国产观看视频- 亚洲国产精品超碰- 日韩无码精品视频- 精品国产三级美国美女- 亚洲无码在线一区- 午夜福利欧美视频- 自拍偷拍亚洲无码- 国产高清无码在线- 人妻无码中文字幕- 国产精品在线三品- 人人澡人人澡人人澡澡- 在线观看黄片国产- 免费超级乱淫视频播放性- 午夜福利电影一区二区- 精品欧美激情一区- 午夜亚洲一级A毛片- 無碼流出一区二区- 亚洲国产黄片亚洲性爱自拍- 欧美日韩国产亚洲自拍另类- 91超碰人人做人人爱水牛- 亚洲高清一区二区三区电影- 欧美三级在线综合一区二区- 精品少妇免费三级- 久久综合色一综合色- 亚洲精品911- 国产日韩AV在线- 偷拍一区二区三区福利视频- 欧洲Av一区二区三区免费观看- 五月婷综合中文字幕无码- 中文字幕欧美亚洲精品- 国产精品未满十八禁止观看资讯- 亚洲视频免费观看- 国产一区中文字幕- 无码少妇一区二区- a天堂一区二区三- 无码一区二区av- 欧洲精品色在线- 成人在线观看视频中文字幕- 精品女同一区二区免费视频- 久草热线精品视频- 久草精品视频在线观看视频- 欧美一级片一区- 亚洲成人手机在线- 久久日韩国产一区二区三区四区 - 99久久蜜桃1区- 国产精品亚洲一区二区三区不卡爆乳- 成人一区二区毛片- 日韩欧美一二区久久麻豆- 亚洲精品资源久久- 麻豆A∨传媒在线播放免费观看- 国产专区21p- 亚洲AV深喉口爆一区二区三区- 黑人无码专区一区二区三区天堂- 99国产精品久久久久久蜜月- 性无码国产免费看- 国产精品久久久久久五月尺- 无码国产精品一区二区高潮视频- 日本日本乱码伦视频免费- 精品无码久久久久久无码专区- 亚洲无码不卡在线中文字幕- 日韩欧美国产偷- 韩日一本无码独奏视频网址- 无码中文字幕视频- 免费在线中文字幕- 牛牛碰在线视频- 91中文字幕免费视频- 国产二三无码区- 三级毛片高清一区- 丁香AV国产一区在线观看- 日本高清一区在线- 中文字幕国产精品综合一区- 国产在线a视频在线观看- 中字幕精品一区二区三区- 91人妻无码精品一区二区- 精品久久午夜亚洲国产- 国产精品无线观看- 精品国产日本久久- 国产桃色无码一区- 国产福利精品自拍视频- 亚洲成人激情久久- 久久国产视频网- 日韩一区二区激情- 999精品国产- 国产高清无码在线免费看- 少妇潮喷无码白浆水视频- 97国产成人视频- 在线精品亚洲欧美日韩- 一区二区成人毛片免费视频- 国产精品一区第二页在线- 精品一区二区三- 亚洲aⅴ无码码潮喷在线观看- 亚洲乱码在线观看- 日韩一区免费看看- 超碰国产一区二区- 国产免费无码影视- 九九中文字幕在线- 日韩刺激一级毛片- 日韩精品女同一区二区在线观看- 久久成人国产精品无码- 91久久精品国产热免费- 亚洲综合国产二区日韩精品- 精品国产96亚洲一区二区三区- 日韩精品在线二区- 久久久久女教师免费一区- 精品久久一区二区- 亚洲a∨无码精品色午夜在线观看 国产日韩欧美在线精品首页 - 亚洲成人AV网址- 精品一区二区三区日本久- 99精品小视频- 日韩美女在线观看不卡一区- 亚洲无码中文AV- 日韩人妻无码区- 91精品在线视频免费播放- 亚洲欧美日本∨在线观看- 日韩午夜无码不卡福利片- 一区二区三区视频- 美国大片在线观看- 四色AV一区二区- 久草香蕉视频二区- 中文字幕亚洲日韩第一页- 亚洲亚中文传媒剧情国产- 超碰97人人青青- 无码AV在线不卡- 欧美 日韩 亚洲一区二区- 色拍自拍亚洲综合图区- 一级毛片在线观看免费- 香蕉久久AV一区二区三区- 免费亚洲av网址- 国产夜色福利院视频在线观看- 久久精品国产亚洲VA九九- 精品综合国产高清- 加勒比东京热av- 韩国Av无码成人- 欧美一区二区三区免费看视频- 国产在线欧美色图- 日韩欧美国产高清91- 国产精品一区二区三区女同- 成人毛片18女人毛片免费- 午夜免费视频91- 国产第一区第一页- 日韩欧美中文在线观看视频- 日韩一区二区激情- 中文字幕亚洲日韩欧国无码- 日韩中文字幕人妻- 在线不卡的亚洲av- 国产亚洲99久久- 亚洲伊人免费视频- 欧美亚洲日韩不卡- 成人国产片视频在线观看- 亚欧一区无码中文- 中文亚洲人妻在线- 久久久国产精区区- 国产精品偷伦一区二区- 国产一级持黄大片99久久- 国产日韩综合精品一区二区三区- 亚洲国产日韩在线人高清- 日韩国产精品一区二区a- 久久免费香蕉视频- 国产成人av在线天日韩精品第一页- 亚洲视频免费观看- 欧性猛交ⅹxxx乱大交- 天天插天天干天天av- 国产在线观看免费- 日韩欧美亚洲综合久久- 久久精品黄大片- 亚洲有码高清无码- 国产成人无码视频- 精品国产三级a- 亚洲国产精品成人综合在线- 午夜日韩国产另类在线- 成人动视频国产欧美精品- 精品视频国产香蕉尹人视频- 亚洲大胆免费视频- 美女福利国产视频- 热久久国产精品- 91精品自拍 - 国产Av无码专区影视- 九九热亚洲精品综合视频- 国产精品狼友在线- 亚洲精品粉嫩区偷拍无码- 91综合免费视频- 国产va一二三区- 精品乱子伦一区二区三区费- 国产自产高清在线- 国产在线观看黄片- 一区二区久久精品- 99视频免费看- 亚洲免费日本视频- 无码乱人伦中文视频- 一级a做片免久久费观看- 欧美亚洲精品乱码免费高清- 精品久久不卡一本- 五十路丰满中年熟女中出- 中文字幕福利在线- 狼友视频国产一区- 国产日韩一区二区三区试看- 日韩在线中文高清在线资源- 超级碰人妻明星香蕉97- 欧美一区二区性- 中文字幕久久人妻色欲- 国产熟女对白99精品熟妇- 黄色毛片一级片午夜性福利- 精品国产在天天在线观看- 午夜一日本级频- 欧美日韩不卡一区二区三区中文字 - 少妇自慰白浆一区二区- 国产精品成人免费在线- 国产成人自线视频- 欧美综合第一页- 国产乱码精品一vv黄片- 日韩区欧美国产区在线观看- 国产精品一区二区av综合- 国产三级无遮挡在线播放- 免费国产一级—片内射- 久久综合色婷婷- 探花国产亚洲欧美- 日韩加勒比无码综合- 亚洲欧美日韩国产精品- 久草视频国内在线- 亚洲精品综合三级- 在线观看亚洲欧美精品- 欧美日韩免费一区2024- 少妇综合在线观看高清- 国产污污在线网站- 亚洲无码视频1区二区。- 日韩av不卡1卡- 欧美三级精品一区二区三区- 亚洲中文字幕久久- 综合久久久久久久- 日韩AV无码一级- 日韩AV无码一级- 国产欧美高清精品一区2- 欧美日韩三级亚洲- 日韩欧美精品小视频- 热久久久久久久- 影视国产乱伦综合- 国产网曝无码在线- 日韩AV无码精品久久人妻- 中文亚洲精品欧美久久国产精品- 无码无码日韩精品人妻- 九九热精品国产- 激情四射在线网址- 国产精品一级二级- 最新中文国产中文字幕- 国产精品~色哟哟- 久久久精品无码的- 黄色大片一级久久- 久久不卡国产精品一区二区- 欧美激情国产一区二区三区- 青青青国产在线观看播放- 国产成人精品一区二三区在线- 无码不卡av手机版免费- 久久成人免费av- 国产网友自拍第1页视频- 亚洲国产精品VA在线播放- 青青草原国产一区二区- 99热精品久久- 日韩不卡一二三区- 毛片免费全部播放无码- 午夜国产福利在线观看- 91青青久久精品国产77- 日韩中文字幕综合在线网- 久草在线青青草- 丁香AV国产一区在线观看- 日韩欧美在线综合网高清- 国产成人精品高清啪一区- 亚洲中文久久久无码精品- 欧美一区二区免费- 色婷婷精品久久一区综合- 国产精品第7页- 苍井空一区二区- 亚洲无码99视频- 青青草视频在线观看一区二区三- 日本黄色不卡视频- 日韩不卡在线观看视频不卡- 欧美亚洲另类综合- 国产美女福利网站- 一级片搜索视频亚洲- 久久不卡无码欧美- 国产精品国产三级国产AV主播 - 日本一区二区三区高清免费- 亚洲免费精品三级- 国产日韩精品视频无码- 国产精品国产精品- 全黄一级毛片免费- 国产九九九精品- 精品国产自在在线在线观看- 国产精选精品一区二区三区 - 色综合一二区三区- 亚洲国产欧美另类- 国产亚av手机在线观看- 亚洲最大无码av- 日韩一级一级一级黄心- 超碰人人人人人- 91美女片黄在线观看- 亚洲中文字幕人妻少妇无码- 国产精品一级片- 一级a特黄大片a- 欧美亚洲视频免费在线观看- 欧美一级久久性爱- 久久精品久久喷水- 亚洲无码视频一区三区视频- 亚州中文无码AV在线观看- 亚洲青涩在线精品国产- 亚洲国产欧美黄色- 国产99这里只有精品- 亚洲天堂网站在线- 国产精品538一区二区- 色依依av在线- 国产丝袜不卡丝袜在线- 中文黄片免费视频- 日韩精品少妇视频- 超碰美女自慰在线- 国产对白福利在线播放- 日本日韩欧美在线- 免费无码精品国产三级v片- 久久精品国产首页久久九九- 国产精品国产三级区别- 欧美在线观看一二三区- 婷婷久久五月天- 国产精品自线在线播放- 亚洲一区不卡免费- 免费看一级毛片- 久草av手机在线- 国产成人av在线天- 欧美日韩美女在线- 国产一级特黄免费- 亚洲国产极品在线- 日韩欧美国产电影- 久久久久亚洲不卡- 国产啪在线91- 亚洲日韩色图av- 欧美亚洲第一页- 精品国产乱码久久久久久牛牛- 午夜福利片一区二区三区- 日韩欧美视频免费一区二区三区 - 国产精品午夜福利在线观看网站- 亚洲v日韩v精品v无码一区二区- 大陆一级黄片二区- av一区二区三区- 91亚洲精品久久久蜜桃 网站- 91久久无码人妻一区二区- 日韩中文字幕在线视频专区- 最新国产精品 久- 亚洲一区无码视频- 亚洲少妇性爱视频- 亚洲日韩在线视频观看- 欧美图片一区二区- 国产一级片在线- 亚洲中文字幕无码ⅴa- 综合精品欧美三级- 日韩成人无码AⅤ- 国产成人精品亚洲综合- 亚洲AV熟女高潮30P- 日朝无码高消AV- 国产精品视频一- 欧美精品国产中文字幕- 国产91在线久草热视频- 国产欧美亚洲日韩图片- 国产精品va无码二区- 亚洲免费精品三级- 亚洲中文在线播放一区- 91欧美综合视频- 亚洲久一久二久三- 成人毛片中文在线观看- 毛片国产精品二区- 日韩亚洲分类精品- 欧美另类第一页- 亚洲AV成人精品网站在线演者- 精品无码精品三区- 久久国产精品女- 久久无码一区二区三区四区- 精品国产一区二区成人- 国产精品成人va- 国产一区二区在线观看91精品- 无码激情一区八区- 69热精品在线- 国产国产亚洲高清- 中文字幕国产在线天堂- 亚州一区二区精品- 精品在线观看国产一区无码- 免费无码aaa- 熟妇一区二区精品- 日韩区中文字幕日韩区- 欧美激情一区二区三区四区久久 - 亚洲第二天狼人区- 深夜国产福利一区- 久久国产福利精品不卡高清- 日韩午夜偷拍精品用户偷拍- 精品久久一区二区三区三线- 亚洲精品在线射- 国产天天看天天弄- 国产成人综合亚- 国产乱女乱子视频在线播放- 亚洲欧美日本国产- 国产av区一区二- 亚洲欧洲国产综合- 污网址在线观看- 韩日激情无码三区- 亚欧日韩视频国产- 欧美亚洲图片日韩- 欧美日韩国产一区二区三区精品- 欧美人妻日韩一区- 亚州精品无码久久aV字幕- 91人妻洗澡一区二区三区- 久久午夜福利视频- 国产 超碰 AV- 久久久国产精品福利免费- 日韩户外一区AV- 国产这里有精品- 香蕉av不卡一区二区三区- 欧美一本大道东京热精品- 国模精品视频一区二区三区模- 中文字幕亚洲在线- 欧美成人精品久久一区二区三区- 免费看片一级在线播放- 午夜日韩一区二区- 日韩婬乱a一级毛片色优优- 国产主播一区二区- 一区二区无码在线- 成人网站免费大全日韩国产- 久久久久亚洲综合- 日韩成人无码一区- 亚洲AV成人精品一区二区- 中文无码一级在线观看- 亚洲成人视频网站免费观看- 日本高清不卡一区- 国产制服丝袜亚洲日本在线- 日本中文字幕五月天- 日本孕交毛茸茸- 国产无码久久久久- 国产99视频在线观看的- 91综合精品国产丝袜长腿久久- 久久美女福利视频- 国产精品99无码一区二区- 国产AV一区二区三区制服- 亚洲美女人妻vs一区二区三区 - 国产亚洲另类久久久精品- 亚洲第一福利在线- 日韩无码手机视频- 精品人妻中文字幕- 国产精品最新网址- 亚洲日产韩国精品一区- 亚洲AV无码一区二区在线- 国产不卡无码视频- 日本一区二区在线- a久久久久久久- 一区二区三区鲁丝不卡- 中文字幕在线精品视频不卡- 国产精品黄片在线- 国精品午夜久久- 久久国产精品女- 欧美国产日韩视频大全- 免费三级精品国产- 日韩亚洲网曝欧美- 超碰免费中文字幕- 99热精品日韩在线- 亚洲欧美综合在线日韩- 国产亚洲精品AAA大- 91久久精品国产热免费- 九九热在线精品- 日本一区二区高清- 亚洲五月天激情在线视频- 人人澡人人澡人人- 一级Av日韩在线播放- 久草免费在视频线- 免费黄色自慰网站- 免费一级视频亚洲- 日本成人一区二区在线观看- 久久一区二区小说- 香蕉人妻AV久久久久天天- 国产污污污网址- 国产精品一区二区不卡系列- 亚洲一区日本高清- 素人大屁股午夜小电影- 国产精品一区91在线- 97超碰在线精品- 国产黄色五级毛片- 成人精品国产一区- 日韩精品亚洲中文字幕- 国产精品成人免费视频- 亚洲久草视频在线- 亚洲日韩精品第一区- 免费综合高清国产- 手机av在线网址- 亚洲日韩欧美在线午夜- 无码中出中文字幕- 午夜性无码专区- av网站在线观看哩- 国产精品偷伦费看- 人妖一区二区在线观看- 亚洲综合色无码- 日韩综合一区二区三区在线- 欧美日韩精品永久免费在线- 国产又色又爽又黄费无遮挡的视频- 日韩在线二区全免费- 99久久亚洲美女综合部- 午夜无码在线观看- 精品国产在天天在线观看- 久久久综合激情吧- 欧美性激烈粗大精品久久久- 亚洲天堂无码精品- 高清黄色毛片免費資訊- 精品久久一二三- 少妇自慰白浆一区二区- 国产精品第7页- 日韩天天干天天- 国产激情无码视频- 无码人妻一区兔费- 亚洲人综合婷婷六月丁- 一区二区熟女乱伦- 免费国产高清精品- 久久精品无码一区二区国产78- 午夜毛片日韩在线精品- 日韩欧美中文在线精品- 欧美h在线观看- 久久精品色婷婷国产福利 - 五月丁香婷中文- 黄片现看欧美一区- 黄片现看欧美一区- 91无码人妻精品一区三区- 日韩AV不卡二区- 国产99精品久久- 黄色三级毛片a国产- 国产久久精品无码- 亚洲欧美日韩综合网通- 美女视频亚洲一区日韩妖精视频 - 精品自拍亚洲一区在线- 黄色一级特级片- 精品69视频在线- 蜜桃精品一去二区三区久久久- 久草视频国内在线- 久久a级片视频- 国产污污自拍视频观看- 欧美高清在线精品播放网站- 中文字幕导航在线网站- 精品亞洲影視少婦- 蜜桃人妻无码AV天堂二区- 精品国产三级a在观看- 国产精品三级片- 亚洲最新精品每日一更新- 久草蜜臀资源网- 亚洲AⅤ综合无码二区- 91情侣在线精品国产免费- a真人一级毛片日韩区- 久久久久久三区- 成人精品一区二区不卡视频- 在线观看国产免费91- 国产精品无码av看片- 日韩一线二线三Av成人- 本欧美地日韩一区- 日本一级黄色AⅤ- 成人久久网站国产- 超碰在线观看亚洲- 亚洲欧美精品二区- 高清无码 第一页- 日韩中字无码一区二区三区四区- 99精品国产福利在线观看免费- 色噜噜人妻丝袜av先锋音- 一区二区中文在线- 欧美精品久久九九- 欧美日韩另类人妻视频- 精品久久三级中文- 超碰精品在线高清- 国产av一区无码- 国产精品天干天干浪潮AV- 欧美极品在线不卡- 国产欧洲亚洲精品- 久久嫩草精品二区- 中文字幕制服诱惑亚洲系列- 亚洲成人蜜桃动漫一区- 一区二区不卡日韩- 天天澡天天摸天天爽免费- 亚洲午夜免费色网视频- 天堂中文资源在线观看- 日韩欧美一二区- 欧美性久久久久- 精品无码久久久国产片- 中文人妻无码一区二区三区久久 - 国产微拍精品一区一再猛点- 一区精品国产无码- 日韩午夜福利视频网- 日本中文三级久久- 九九国偷自产一区- 中文字幕亚洲在线- 一本大道一卡2卡三卡4- 欧美一区二区久久精品- 亚洲色图国产主播- 剧情熟女资源综合- 国产一区二区18久久- 亚洲欧美综合久久久久- 国产日韩欧美在线a- 在线观看免费视频一区- 一区国产亚洲欧美在线观看- 中文字幕无码一区二区三区免费- 国产愉拍精品手机- 亚洲天堂第一页- 加勒比无码av一区二区久久- 日韩中文字幕在线视频专区- 国产欧美日韩亚洲精品中文专区 - 久久国产视频网站- 国产激情无码视频- 免费国产黄网站- 日韩幕无线码一区中文- 9热一区二区三区- 无码国产精品一区二区免费网曝- 亚洲欧美在线视频91- 亚洲AV无码乱国产高潮- 久久亚洲国产视频- 精品日韩一级A片视频在线观看- 精品久久久久粉嫩- 在线观看亚洲精品自拍- 殴美日韩国产Av- 成人社区二区三区免费视频- 一区二区免费看片- 日韩精品另类一区- 免费男女刺激视频网一二三区- 国产97在线视频- 国内精品久久久久久2021 - 91日韩一区二区- 最近在线视频免费观看- 亚洲国产欧美人成- 欧美精品成人一区二区三区- 国产激情综合在线观看- 亚洲乱码国产一区二区- 久久精品精品无码一区三区剧情 - 国产成人综合vr- 欧美人妻高清视频- 久草视频国内在线- 国产欧美综合精品- 国产综合在线特级毛片在线- 欧美国产日韩视频大全- 日韩午夜不卡无码- 成人永久免费视频网站- 久久国产伦子伦精品- 国产美女精品A∨在线看- 国产三级久久三级久久- 妇女精品一二区- 日韩av不卡1卡- 日韩欧美成人免费中文字幕- 久久精品韩国无码- 一区二区三区中国大乳房熟女- 日韩旡码中文字幕国产- 国产精品第十页- 99这里有精品视频- 国产在线欧美日韩第一页- 无码精品欧日韩av观看- 欧美亚洲另类在线- 亚洲中文欧美日韩在线卡- 日韩成人丝袜在线视频播放- 乱伦精品综合欧美- 成人三级视频在线观看- 国产中文综合无码- 日韩综合天堂蜜臀在线- 久久美女视频福利- 欧美国产大片在线- 超碰在线不卡av- 日韩女人a级毛片一区二区三区- 亚洲熟妇无码另类久久久- 无码中文久久精品一区二区- 国产在线草莓AⅤ精品- a级毛片内射免费视频- 国产一二三精品无码不卡在线- 亚洲一区二区精品视频在线观看- 嫩草在线网址一区- 日韩有码精品视频- 国产对白在线观看精品- 午夜福利国产精品- 久久精品夜色国产亚洲?V- 国产亚洲欧美在线观看三区- 国产成人最新视频在线- 特色特黄A毛片高清免费观看- 日本一区二区三区国产- 欧美日韩视频在线播放一区- 日本不卡高清视频v中文字幕- 色婷婷精品午夜在线播放- 91精品综合久久久久久五回天- 人人爽亚洲AV人人爽AV- 国内精品久久久久久久久- 久久久5蜜桃波波- 国产精品亚洲а∨无码播放麻豆- 精品国产免费一区二区AV片- 亚洲一区亚洲无码- 成人综合色在线一区二区- 天天色天天综合网- 久久在线人人97- 亚洲一级成人在线- 巨臀中文字幕一区二区- 久久精品无码视频- 琪琪午夜福利剧场- 亚洲 制服 一区- 国产尹人综合香蕉- 欧美日韩精品永久免费在线- 国产一级片高清a- 亚洲中文字幕在线观看免费- 福利姬在线观看- 日本激情视频A∨一区- 久久亚洲日韩在- 国产主播一区二区- 制服丝袜怡红院- 中文字幕亚洲乱码一二三- 欧美承认在线a- A国产精品无码久久综合- 99久久精品国产片久人- 日韩中文字幕二区三区- 日本中文在线观看国产- 久久久伊人成人网- 日本久久久一级片- 国产深夜福利在线观看- 欧美亚洲高清国产- 成人亚洲亚洲毛片- 国产成人午夜福利在线观看- 亚洲精品国产啊啊啊- 在线亚洲国产一区二区三区- 国产日韩在线亚洲字幕中文- 亚洲日韩欧美在线中文- 中文字幕国产精品综合一区- 色综合久久蜜芽国产精品- 人妻系列无码专区久久五月天- 国产99视频在线观看的- 欧美熟妇一区二区- 日韩 欧美 国产 一区二区三区- 亚洲视频 一区- 日韩欧美小视频- 日韩有码在线观看- 一区二区三区国产在线视频- 91精品国产自产91精品- 精品国产AV无码一道- 成人无码国产av- 久久综合色婷婷- 日韩激情无码专区国产- 国产日韩精品视频无码- 国产精品高清免费在线- 激情五月深爱五月- 亚洲成在人线aⅴ免费毛片- 欧美日韩不卡视频- 一级片一区二区中文字幕- 成人不卡久久福利- 国产欧美区呦呦- 日韩国产综合精选- 亚洲欧美日韩a在线免费观看- 青青草日韩欧美在线- 在线欧美亚洲综合- 亚洲一区色线视频- 国产亚洲无码精品- 中日韩在线视频- 97精品国产91久久久- 日本久久久九九九- 欧美日韩国产在线观看成人欧美 - 亚洲国产午夜站 香蕉- 无码人妻Av一区二区蜜臀- 日韩午夜免费视频- 国产国语国拍精品- 青草国产在线视频- 亚洲欧美日韩综合精品网- 国产精品日韩视频- 精品欧洲在线观看- 久久人成国产网站- 欧美成人香蕉视频在线观看- 国产精品自在自线观看- 久久在线无码视频- 亚洲乱AV在线免费观看- 亚洲午夜黄色毛片- 欧亚一区二区AV- 国产一级特黄无码免费视频- 国产最新无码A∨- 国产91在线免费- 天天色综合色图片- 日韩精品在线二区- 中文字幕免费专区- 久草中文在线視频- 超碰久久在线97- 亚洲精品国产日韩- 日本乱伦中文字幕- 亚洲中文精品视频在线- 制服丝袜亚洲欧美- 中国一区二区视频- 亚洲a∨无码精品色午夜在线观看- 成人毛片无码一区二区三区- 日本欧美国产综合- 丝袜欧美日韩叧类一区二区- 国产一级Av片在线播放- 亚洲色婷成人综合电影在线- 在线视频91综合- 精品久久久久久亚洲精品- 久草超碰国产在线观看- 蜜桃AV无码一区在线播放- 狠狠操中文字幕- 国产初次视频观看- 久草亚洲专区一区二区三区- 一区日韩国产精品- 国产A一级毛片精品高清乱码- 国产成人视频免费- 超碰人人操一区二区天天干- 国内精品人妻无码久久久影- 香蕉av免费高清下载器- 一区二区三区巨臀- 韩国AV一区二区- 国产成人美女AV- 日韩淫乱无码视频- 国产精品第8页- 一区二区在线欧美日韩中文免費資訊 - 免费人妻中文不卡无码- 亚洲高清无码三区- 欧美日韩无码精品一区二区- 伊人久久大香线- 97久久精品人搡人妻人人玩- 久久精品亚洲精品国产欧美- 国产日产欧美欧韩在线- 久久99热这里只有精品国产- 国内福利无码视频在线播放- 亚洲专区中文字幕第三页- 精品国产成年女人毛片- 欧美日韩α级视频- 亚洲日韩人妻系列- 欧洲一区二区在线- 无码一区二区三区裸体视频- 亚洲欧美专区综合- 在线 偷窥 制服 另类- 久久久精品欧美中文一区二区- 国产激情久久久- 国产黄色片久久- 亚洲国产精品成人av在线不卡- 一级毛片免费福利视频- 中文字幕 日韩 亚洲- 久久99这里精品6国产- 国产精品高潮一区- 亚洲欧美天堂日韩- 99伊人国产在线一区二区- 国产亚洲成人久久- 综合网中文字幕- 国产精品十八禁网站在线观看- 在线观看h国产- 免费亚洲AV网站- 无码精品国产一区- 国产精品福利一区二区在线- 国产成人无码激情- 无码第一页久久日- 亚洲AV无码国产精品久久不卡 - 国产亚洲中文久久- 高清无码第一页- 久久青青无码av亚洲黑人- 国产日韩欧美久久- 日韩成人综合在线- 久章草在线视频观看无码- 欧美久久久久一区二区三区- 自拍偷拍第二页- 亚洲无码免费播放- 国产免费成人视频- 国产精品中文字幕一区二区- 久久精品免费看- 久久综合免费乱子伦精品- 成人高辣h视频一区二区在线观看 欧美成人精品大片一区二区 - 成人高辣h视频一区二区在线观看- 国产精品最新网址- 精品久久久久伊人- 中文字幕大看蕉永久网下载- 成人毛片中文在线观看- 成人无码国产av- 欠草免费在线视频- 亚洲黄色在线观看- 91精品免费福利视频- 免费丝袜AV二区- 中文字幕精品三区无- 国产一级AV免费- 久久久久久电影- 久久激情五月视频- 国产黄视频免费看- 青青草日韩欧美在线- 日本中出中文字幕- 91国在线观看- 久久精频视频久久- 日韩欧美国产另类一区二区- 久久精品欧美色综合- 亚洲欧美91麻豆久久丁香- 国产97在线观看- 午夜福利中文字幕- 久碰久摸久看视频不卡视频- 亚洲最大无码av- 日韩午夜电影网- 国产成人综合亚洲- 97人人色人人操- 国产一区二区av- 蜜桃人妻无码AV天堂二区- 91人妻中文字幕- 国产成人自拍a片- 欧美第一在线视频- 中文字幕不卡在线- 热re99久久精品国产- 九九久久免费视频- 成人无码视频在线- 成人国产色情毛片- 黄色精品三区在线- 91久久国产综合- 日韩欧美视频二区- 亚洲成人网址在线- 超碰在线无码高清- 精品女同一区二区- 久久精品国产一区二区三- 性色AV无码专区一区二区- 亚洲欧美精品主播- 久久国产精品2024视频区- 五月天久久综合- 国产高清免费不卡- 日韩人妻无码二区- 中文字幕在线看- 日日日韩欧美日日- 蜜桃污污污网站- 99福利视频一区- 日韩无码一二三区影片- 超碰在线观看亚洲- 国产在线观看一区- 国产精华av午夜在线- 国产精品一区二区三- 亚洲国产综合精品中文一区二区- 视频一区二区久草- 国产精品91在线- 久久精品国产无码- 亚洲大胆免费视频- 一级精品片在线观看- 国产欧美日韩va另类在线播放- 国精品无码一区二区三区浪潮- 超碰免费在线观看- 卡一卡二卡四卡无卡无码- 国产A一级毛片精品高清乱码- 亚洲 欧美 日韩 在线- 日韩三级在线播放- 国产尤物无毒不卡- 国产成人亚洲综合91- 欧美一区二区丁香五月天激情- 国产精品亚洲香蕉久草91- 成人无码专区视频- 一区二区无码精品- 国产精选91一区- 亚洲国产日韩欧美久久- 国产人成在线观看- 欧美亚洲国产一页- 亚洲中文无码A在线观看- 国产精品无码不卡- 91在线播放国产- 一道日本一区二区三区高清- 伊人日韩在线一区- 国产成人少妇免费-