瀚博半导体发布首款高性能超低延时通用云端推理AI芯片

2021-07-07

2021.7.7 – 中国上海


高性能人工智能与视频处理芯片解决方案提供商瀚博半导体(上海)有限公司(下称瀚博半导体瀚博),在2021世界人工智能大会首日发布其首款云端通用AI推理芯片SV100系列及VA1通用推理加速卡,可实现深度学习应用超高性能超低延时的推理性能,可显著降低数据中心与边缘智能应用的部署成本。SV100系列及VA1通用推理加速卡预计将于今年四季度量产上市。


人工智能行业随着持续的技术演进,算法模型的精度、性能等关键指标在众多领域不断取得突破性进展,已进入算法规模化应用落地阶段。全球范围内各行业数据中心对推理算力的需求在快速增长,下游客户多样化的算力应用场景,催生了多样化的AI计算加速芯片需求,然而市面上却鲜有主流GPU厂商外的其他更优解决方案。基于对行业产品技术需求的洞察及显而易见的巨大市场机遇,经过两年多的技术论证与软硬件一体化设计,瀚博半导体重磅推出了专为云端数据中心而生的SV100系列芯片与VA1通用推理加速卡。



瀚博SV100系列芯片性能优异,单芯片INT8峰值算力超200 TOPS,深度学习推理性能指标数倍于现有主流数据中心GPU,具有超高吞吐率超低延时的特性。瀚博自研的通用架构,为各种深度学习推理负载极致优化。 此次推出的SV100系列芯片支持FP16, BF16INT8等数据格式,并可以实现众多主流神经网络的快速部署及计算机视觉、视频处理、自然语言处理和搜索推荐等多样化推理应用场景。同时集成高达64路以上H.264/H.265/AVS21080p视频解码,广泛适用于云端与边缘智能应用场景,提升客户的设备资产效益、降低运营成本。


瀚博半导体此次同步推出的基于SV100系列芯片的VA1推理加速卡,为单宽半高半长75PCIe x16,支持32GB内存PCIe 4.0高速接口协议,无需额外供电,即可适用于所有厂商的人工智能服务器,实现数据中心高密度高算力部署。

瀚博半导体创始人兼CEO钱军表示:SV100系列产品是所有瀚博人的心血结晶,我为我们的团队感到无比骄傲!我们深度了解行业客户对吞吐量、延迟、通用性和成本的需求。同时,向前兼容性非常重要,我们的软件栈具有极高灵活性与可扩展性,能够支持未来新兴算法模型和用户自定义算子扩展等。另一方面,占据过半中国AI应用市场的计算机视觉应用需要高密度的视频解码算力配合AI算力实现端到端的计算加速,在两者之间的算力配比平衡方面,我们也做了大量的工作。瀚博通过前期核心技术积累和前瞻性布局,正式发布我们性能优异的SV100系列云端通用AI推理芯片和VA1推理卡,可有效应对上述低延时、通用性和视频处理等方面的行业痛点,推进云端与边缘的智能应用落地。”


瀚博半导体创始人兼CTO张磊表示:SV100系列芯片基于先进的DSA架构,相同功耗下实现数倍于数据中心GPU的最高深度学习推理性能。同时支持计算机视觉、自然语言处理、搜索推荐、智能视频处理领域的众多常用神经网络,软件栈支持灵活扩展,支持用户自定义算子。VA1推理卡采用75W单宽半高半长设计,可无缝适配各种人工智能服务器,最大化算力部署密度。我们的VastStream软件平台支持TensorFlow, PyTorch, Caffe2等常见的深度学习框架模型与ONNX格式的模型,通过高度定制的AI编译器充分优化模型在瀚博硬件上的执行效率。我们的软件栈完备,同时提供了符合行业开发者使用习惯的工具,方便使用者以极低成本向瀚博硬件平台迁移、部署现有算法应用。”


关于瀚博半导体

瀚博半导体201812月成立于上海,在北京、深圳和多伦多均有研发分部。公司核心员工来自世界顶级的高科技公司,平均拥有15年以上的相关芯片与软件设计经验。公司目前拥有200人以上的资深团队,且规模还在快速增长中。瀚博半导体致力于成为驱动云边计算的算力源泉,中国芯片设计企业的标杆和世界芯片设计的领导者之一。