5瓦功耗實現多路視頻實時分析,NVIDIA Jetson蘊含哪些黑科技?
Nvidia Jetson是嵌入式產品的一個總稱,可以根據用戶對算力,產品的設計,外接傳感器等需求,打造不同技術規格的嵌入式計算平臺。伴隨易于學習的教程、官方社區打造的現成開源項目,初學者在Jetson開發者套件中也能輕松設置實時視頻分析、機器視覺推理、零售數據監測等相關AI算法。
▲點擊上方圖片進入官方商城
現在僅需¥499 起(2GB版),就可以開啟你的AI之旅!
5W功耗實現1080P視頻分析
卡片機身打造低價高效AI安防
NVIDIA Jetson Nano開發者套件是一款功能強大的小型計算機,可在圖像分類、目標檢測、分割和語音處理等應用中并行運行多個神經網絡。全部工作都可在這一簡單易用的平臺上完成,而其運行功耗僅為5瓦。
Jetson Nano的AI性能并沒有因為其卡片大小而有所削減,其能為各種復雜的深度神經網絡模型提供實時計算機視覺和推理。下面是一些經典模型的測試結果,方便大家進行評估。
很多開發者遇到的問題都是在實際應用中難以達到官方所宣稱的性能。顯然,這需要依賴良好的優化,推薦首選NVIDIA TensorRT來做推理,經過更新,TensorRT已經到了7.1.3版,性能也更強大。
近期,一位初學者把Nano接入公司普通高清攝像頭組成的安防系統中,成功以極其低廉的價格實現智能視頻分析。項目已開源分享在Jetson開發者社區中。
這里讀取了4路普通高清攝相機的RTSP流,使用PeopleNet做行人檢測,準確性為92%。這是一個非常典型的安防視頻分析流程。使用DeepStream SDK,可以在幾分鐘內完成配置和部署。更進一步,甚至可以擴展這個流程,將其用于人流量分析,并將結果上傳服務器或云端。NVIDIA 也開源了更完整的示例(詳情見鏈接)。
https://github.com/NVIDIA-AI-IOT/deepstream-occupancy-analytics
總體來說,Jetson Nano入門門檻十分之低,這無疑對開發者是很友好的。NVIDIA也希望有更多開發者參與進來,進一步挖掘Jetson的應用潛力。上面示例幾乎不需要修改就可以跑在Jetson平臺的其它硬件上。如果使用Jetson AGX Xavier,擴展到32路視頻進行實時分析應該也是沒有問題的。
官方開發套件支持
助力快捷高效落地
Jetson軟件開發套件 (SDK)可提供全套工具、庫、支持GPU的算法和教程,以加速應用程序的開發。上述安防系統能夠快速得到智能化升級,正是得益于DeepStream的完美支持。
DeepStream是NVIDIA針對智能視頻分析(IVA)應用提供的端到端解決方案,其中包括圖像獲取、解碼、預處理、檢測、追蹤、分類、分析無縫連接。如果再配合Transfer Learning Toolkit,則連模型的訓練、剪枝都能夠一起解決。
DeepStream的基礎示例是在Jetson Nano上進行8路視頻解碼、推理及追蹤。
這個示例中所用的模型比較簡單,Backbone為ResNet10,輸入分辨率也僅有480×272,因此準確性還不算太高。但足以驗證8路1080p解碼能力。
基礎示例主要用于為開發者展示DeepStream的總體流程,模型看上去還不夠實用。而Transfer Learning Toolkit中則提供了幾個精度更高的預訓練模型,也更加傾向實際場景。這些模型都可以在NVIDIA NGC上獲取,并可以根據EULA進行免費商業使用。下面大家一起來看看效果。
這里是一個行車記錄儀場景,即將1個檢測模型和2個分類模型背靠背連接。檢測器識別汽車、自行車、行人、路標4類目標,并將檢測到的車輛送入兩個分類網絡判斷品牌和車型。檢測網絡輸入分辨率為960×544,準確性在90%以上,分類網絡輸入分辨率為 224×224,準確性均高于94%。
Jetson:研究、實踐AI的理想之選
Cloudhin云軒提供行業定制化服務
簡單來說,Jetson針對不同的開發者,針對不同的人群和不同的場景,有它不同的優勢所在,主要有以下三點。
1. 面向用戶和開發者,Jetson提供了各種免費工具和SDK,對用戶不同的AI應用進行加速,滿足大家不同場景的一個需求。如果你是相對來說資深一些的開發者,你可以直接用CUDA對硬件,比如說GPU上的運算單元進行操作;你是數據科學家,關注算法能不能很快的跑起來,那么你就可以直接把模型輸入給它,在GPU上跑出來一個最好的效果。
圖3-免費的軟件工具及文檔
2. 提供的工具還支持非常多的主流的框架,比如說TensorRT、OpenCV等等,這樣子你就可以把你在其他平臺上通用的框架訓練出來的模型結果直接部署到我們的Jetson上來,可以大大節省你的時間。
圖4-支持主流框架
3. 提供統一軟件架構—CUDA,可以最大程度降低硬件的遷徙成本。由于Jetson所有硬件平臺使用統一架構,當你從一個硬件平臺往另外一個硬件平臺上遷徙的時候,你只需要做再次編譯即可,無需要做任何代碼級的改動。
圖5-單一且統一的軟件堆棧
無論對于大型企業、中小型企業還是研究機構而言,Jetson 系列模塊都可以提供可滿足特定性能和預算需求的解決方案。目前全系開發者套件和模組,Cloudhin云軒均可以按實際落地需求配套提供。無人機、自動化工控、智能安防和智慧影像分析等行業專業應用,歡迎聯系我們進行配套定制。專業勤修,銳意進取。云軒技術工程師畢業于NVIDIA深度學習研究所,豐富經驗,值得信賴。
如果您有合作需求或寶貴建議,歡迎來信。
郵箱:hezuo@kuanfans.com
合作熱線:021-5415 5559