瀚博半導體發布邊緣AI推理加速卡等新產品

9月3日，2022世界人工智能大會同期活動——人工智能大會芯片產業落地論壇在上海舉行。會上，芯片設計公司瀚博半導體公司創始人兼CEO錢軍發布了包括數據中心推理卡載天VA10、邊緣AI 推理加速卡載天VE1和瀚博軟件平臺VastStream擴展版，并預覽了國產7nm云端GPU芯片SG100。

載天VA10 Int8峰值算力達到400TOPS；功耗150瓦，整體最高推理能力達到同功耗主流GPU兩倍以上；而時延低至后者的6%。在低延時場景下，該推理卡的推理性能達到同功耗市場主流GPU的3倍以上。該推理卡適合多種需要高實時性的云端AI應用部署，包括直播視頻增強、智慧交通管理、實時語義理解等場景。

載天VE1兼具低時延與高吞吐率的特點，吞吐率達到主流GPU的2倍，時延僅為其1/5。該AI推理加速卡在低功耗的同時實現了高算力。在40~65瓦功耗下，INT8峰值算力達到100TOPS，支持60路1080P視頻實時解碼，支持主流AI框架的模型，提供從模型編譯到推理優化的全流程低代碼開發框架VastPipe，軟硬結合為客戶提供端到端的AI推理解決方案。當前，該AI推理加速卡適用于智慧交通、車路協同、工業質檢等邊緣算力場景，包括高速公路事件檢測、“人、車、非機動車”視頻結構化、大數據研判等高數據量并發場景；以及實時動態信息交互、工業缺陷檢測等低時延要求場景。

為配套硬件，使其發揮最佳性能，瀚博半導體推出了可實現同步支持的軟件平臺VastStream。該軟件平臺可加速各類AI應用部署，包括計算機視覺、視頻處理、自然語言處理、搜索與推薦、算子自定義擴展等。

會上，錢軍還展示了7nm云端GPU芯片SG100。該芯片具有高吞吐量、高質量、低延時的解碼能力，集渲染、AI、視頻于一體，可為云游戲、云手機、云計算等場景提供深度優化。該芯片還提供SR-IOV虛擬化支持，端到端提升用戶視覺體驗。

此外，錢軍表示，瀚博半導體已引入中臺，實現了IP內核、安全模塊等技術面向包括云端AI芯片、加速器等在內的多類產品的聯通復用。

作者：姬曉婷
來源：中國電子報、電子信息產業網