【導(dǎo)讀】使用瑞芯微RK3588本地部署DeepSeek，意味著千元級硬件即可本地化高效運行1.5B/7B DeepSeek模型，無需聯(lián)網(wǎng)就可在本地處理數(shù)據(jù)，不需要將數(shù)據(jù)傳輸?shù)皆贫耍瑴p少了網(wǎng)絡(luò)延遲，可以快速響應(yīng)應(yīng)用，同時也減少了數(shù)據(jù)傳輸?shù)皆贫藭r被竊取的問題，不需要借助云端就可以處理數(shù)據(jù)，也就降低了成本。快包平臺可提供安全穩(wěn)定且即插即用的RK3588開發(fā)板及主控芯片，幫助工程師快速實現(xiàn)DeepSeek應(yīng)用部署。
摘要
使用瑞芯微RK3588本地部署DeepSeek，意味著千元級硬件即可本地化高效運行1.5B/7B DeepSeek模型，無需聯(lián)網(wǎng)就可在本地處理數(shù)據(jù)，不需要將數(shù)據(jù)傳輸?shù)皆贫耍瑴p少了網(wǎng)絡(luò)延遲，可以快速響應(yīng)應(yīng)用，同時也減少了數(shù)據(jù)傳輸?shù)皆贫藭r被竊取的問題，不需要借助云端就可以處理數(shù)據(jù)，也就降低了成本。快包平臺可提供安全穩(wěn)定且即插即用的RK3588開發(fā)板及主控芯片，幫助工程師快速實現(xiàn)DeepSeek應(yīng)用部署。
掃碼可申請免費樣片以及獲取產(chǎn)品技術(shù)規(guī)格書
RK3588是瑞芯微電子推出的一款高性能處理器，采用先進(jìn)的8nm制程工藝，集成了四核Cortex-A76和四核Cortex-A55 CPU，以及Mali-G610 MP4 GPU。更重要的是，RK3588內(nèi)置了獨立的NPU（神經(jīng)網(wǎng)絡(luò)處理單元），可提供高達(dá)6TOPS的AI算力，為運行復(fù)雜的深度學(xué)習(xí)模型提供了強(qiáng)勁動力。
AI界新星DeepSeek（中文名：深度求索）在近期迅速崛起，憑借低成本、高性能的AI模型火爆全網(wǎng)。其核心是一個強(qiáng)大的語言模型，能夠理解自然語言并生成高質(zhì)量文本，此外DeepSeek免費向全球開發(fā)者開放，加速了AI技術(shù)普及。
在RK3588上部署Deepseek可以通過瑞芯微官方的 RKLLM量化部署，步驟如下：
2、模型轉(zhuǎn)換
3、本地推理
DeepSeek轉(zhuǎn)換完成的RKLLM模型如下圖所示：
(圖源訊為，下同)
然后將其傳輸?shù)介_發(fā)板上，使用對應(yīng)的可執(zhí)行文件運行即可，運行之后如下圖所示：
接下來向該模型提出問題即可，回復(fù)內(nèi)容如下所示：
在回復(fù)的過程中查看CPU和NPU的利用率，可以看到CPU的占用率為84%，并且調(diào)用了NPU的3個核心進(jìn)行加速推理：
本地部署，釋放邊緣AI潛力
更低延遲： 本地處理數(shù)據(jù)，無需網(wǎng)絡(luò)傳輸，顯著降低延遲，滿足實時性要求高的應(yīng)用場景，例如工業(yè)機(jī)器視覺、自動駕駛等。 更高隱私： 敏感數(shù)據(jù)無需上傳至云端，有效保護(hù)用戶隱私和數(shù)據(jù)安全，適用于智慧醫(yī)療、金融支付等領(lǐng)域。 更低成本： 減少對云服務(wù)的依賴，降低網(wǎng)絡(luò)帶寬和云存儲成本，更適合大規(guī)模部署。
智能安防： 在智能攝像頭、門禁系統(tǒng)等設(shè)備中，利用DeepSeek實現(xiàn)人臉識別、行為分析、異常檢測等功能，提升安防效率和準(zhǔn)確性。 工業(yè)視覺： 在工業(yè)生產(chǎn)線中，利用DeepSeek實現(xiàn)產(chǎn)品質(zhì)量檢測、設(shè)備狀態(tài)監(jiān)控、機(jī)器人引導(dǎo)等功能，提高生產(chǎn)效率和產(chǎn)品質(zhì)量。 智慧醫(yī)療： 在醫(yī)療影像設(shè)備中，利用DeepSeek輔助醫(yī)生進(jìn)行疾病診斷和治療方案制定，提高診斷準(zhǔn)確性和效率。 其他領(lǐng)域： 包括智能零售、智慧交通、智能家居等，RK3588和DeepSeek的組合將為各行各業(yè)帶來創(chuàng)新應(yīng)用。
快包電子平臺推出了很多設(shè)計優(yōu)化的RK3588主板方案，它們都是穩(wěn)定出貨、即插即用，在具體場景實現(xiàn)應(yīng)用的產(chǎn)品。
瑞芯微RK3588工控機(jī)開發(fā)板
方案簡介：
方案基于Rockchip新一代旗艦 RK3588處理器開發(fā)設(shè)計，采用先進(jìn)8nm制程工藝集成4核Cortex-A76+4核Cortex-A55架構(gòu)，主頻最高達(dá)2.4GHZ，支持8K超清顯示，四屏異顯，內(nèi)置瑞芯微自研三核NPU，綜合算力可達(dá)6TOPS。
應(yīng)用場景：
AGV、邊緣計算、智慧大屏、高端平板、智能NVR、可視化網(wǎng)關(guān)等領(lǐng)域。
瑞芯微3588直播一體機(jī)
方案簡介：
瑞芯微 3588 直播機(jī)是一款即插即用直播機(jī)方案，方案可供直播機(jī)設(shè)備終端制造商開發(fā)自定義直播機(jī)。該直播機(jī)主板采用RK3588高端8核處理器，6T算力，屏幕分辨率最大可支持1920*1080，并配有兩個USB3.0、一個Type-C全功能接口，方便客戶組合外設(shè)，設(shè)置WiFi和4G互聯(lián)，監(jiān)控外設(shè)錄像/編輯，快速導(dǎo)入產(chǎn)品創(chuàng)新。
應(yīng)用場景：
瑞芯微RK3588邊緣計算盒子
瑞芯微RK3588邊緣計算盒子，主頻高達(dá)2.4GHz，適用于邊緣計算，廣告機(jī)，miniPC整機(jī)，工控一體機(jī)，零售機(jī)和快遞柜。支持安卓12系統(tǒng)，內(nèi)嵌高性能AI加速硬件，支持6T算力NPU.板載LPDDR4/LPDDR4X 8G內(nèi)存，EMMC標(biāo)配128GB（最大可選512GB），支持WIFI6通信、10000M以太網(wǎng)。可直接驅(qū)動1920*1080液晶屏。
應(yīng)用場景：
掃碼可申請免費樣片以及獲取產(chǎn)品技術(shù)規(guī)格書
免責(zé)聲明：本文為轉(zhuǎn)載文章，轉(zhuǎn)載此文目的在于傳遞更多信息，版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
以太網(wǎng)PHY芯片的國產(chǎn)替代方案與應(yīng)用
芝識課堂——運算放大器（一），電路設(shè)計圖中給力的“三角形”
人形機(jī)器人中的毫米波雷達(dá)感應(yīng)和傳感器融合
ST 新款微型單片降壓轉(zhuǎn)換器，用于智能電表、家電和工業(yè)電源轉(zhuǎn)換器提供低電壓電源
