中新网上海新闻6月30日电(记者 许婧)今年最热科技风口与最火投资赛道的人工智能大模型,经历了“技术狂飙”后,技术迭代日新月异,行业趋势不断变化。
专注于音视频场景应用探索的萤石网络近日发布了自主研发的垂直大模型——“蓝海大模型”。萤石智能算法总经理程战战分享了萤石的AI技术策略,萤石聚焦于空间级的具身智能,萤石的AI是与物理世界交互的具身AI。他指出,通用的大模型技术属于互联网大模型,天生缺少与设备的交互,不具备具身记忆,端云协同能力也存在明显短板。为此,萤石自主研发了面向物联网场景的“蓝海大模型”。

据介绍,萤石蓝海大模型是面向物联场景的具身智能大模型,具备开发开放、基础交互及具身代理三大体系化AI能力,覆盖从设备感知到设备执行全链路,接入的设备多种多样,能够感知世界空间信息,处理多模态数据,进行精确识别与理解,最终规划指导设备做出响应。
萤石积累的海量AI能力,除了应用在自身智能家居行业,也将进一步开放给行业开发者,如对于原子算法,萤石提供了29大类,93子类的能力,这些算法是AI开发者“行走江湖”或“居家必备”的基础能力,覆盖从基础的数据治理工具到模型部署等AI工具,可以直接进行调用与使用。
萤石提供的端云协同算法能力,包含了73种基础感知算法,覆盖文本、音频、图像及视频,如人脸识别、人形检测、OCR等,可以被直接调用与使用,供开发者做出对应的AI解决方案。
而对于交互或生成式类算法,萤石也提供了26种能力,覆盖语言交互、图像生成、多模态交互,及多种具身代理服务。萤石深知AI技术应用也可能伴随风险,十分注重AI技术研发与应用过程中的安全防控,这也是萤石的强项,萤石正在依照法律法规要求履行相关算法的安全测评、备案等手续。
十一年锤炼,萤石成长为了全球领先的视觉物联网云平台,实现从视频到视觉的跃进,并通过构建多数据中心+就近服务点的方式服务于全球客户。截至2023年底,萤石云平台已拥有超过31万名开发者客户,场景涵盖了零售连锁、畜牧养殖、教育教学等音视频应用普及的千行百业。
同时,全栈开放的萤石云服务也迎来了前沿技术的引领升级,萤石对PaaS平台的新组件和新工具进行了场景化更新,引入大模型能力,持续构筑视觉云平台的行业领先地位。

萤石网络政企业务部总经理薄法强说,音视频应用行业覆盖广,开发潜力大,萤石云整体业绩稳健增长,在智能家居、连锁商贸、智慧工地与透明家装、医疗养老、娱乐竞技等诸多领域均拥有优秀的开发者合作伙伴,共同落地了丰富的视觉应用。2024年,萤石云升级为全球领先的视觉物联网云平台,立足双主业聚”视”向前行。
聚焦音视频领域,同时与千行百业开发者共同深入场景的萤石云业务,正在通过行业需求的不断锤炼,迭代平台开发能力。有音视频技术覆盖的地方,必然催生通过音视频带来管理效率提升亦或是业务方案创新的需求,AI技术正在成为萤石过去沉淀验证的海量基础能力的催化剂,让开发者与行业客户看到了不同行业前行的新路标。
大模型带来了准确率的提升,可以应对更复杂的任务,但也让企业面临新的挑战,如AI应用开发变得复杂,运行大模型带来的巨大的成本支出。
为此,萤石云系统架构负责人明旭提出了以AI为核心的新一代架构—萤石HomePlay OS,一个围绕人、家、商业,以提升用户的生活及工作体验为目的,通过提供智能代理及以视觉为主的AI能力,让开发者可以快速、灵活、低成本的方式开发自身智能场景或应用的平台。
萤石HomePlay OS 具备AI核心、代理封装、云边协同、隐私保护、全面开放等五大特性。展开来说,基于HomePlay OS不仅可以有效实现以AI为核心的感知、计算和执行,还能将大模型与服务、工具紧密融合实现代理封装,解决开发者大模型应用门槛的问题。另外,HomePlay OS基于有效的端云协同,可灵活分配端和云的算力实现成本最优化,该架构还保持了计算资源、模型、模型组合、代理等多层的全栈开放性。注重数据安全与隐私保护一直都是萤石的主张,在HomePlay OS架构的演进过程中,萤石采用了用户控制下的端到端内容加密,尽可能采用边缘计算或近场去隐私化的计算方式。
通过HomePlay OS的创新实践,萤石正积极探索大模型时代下企业如何更好地定位自身在AI战略中的角色。一方面,萤石敏锐地洞察到大模型给企业带来的新挑战,另一方面,又提出了切实可行的架构解决方案,致力于让开发者更加高效、低成本地开发AI应用,并保障用户隐私安全。这既体现了萤石对行业发展趋势的前瞻性思考,也凸显了其作为行业技术引领者的责任担当。
作为一个全面开放的物联平台,萤石开放平台不仅为设备制造商提供南向的云接入能力,还为行业开发者提供基于云的音视频和AI能力,以辅助开发者打造个性化的行业解决方案。截至目前,萤石开放平台已累计发布了超过1000个开放接口,涵盖接入、直播、通话、存储、AI、信令和用户连接7个类别,31组原子能力,以及20多款aPaaS低代码组件,为海量开发者提供了有力的技术支撑。
萤石开放平台是萤石与开发者携手深入行业的前沿阵地,每时每刻,开发者都在萤石云上调用能力,并据此不断完善适用于各行各业的解决方案。萤石开放平台产品负责人邵佩先生表示,2024年萤石开放平台依旧持续往开放化、智能化、场景化方向发展。
以当下火热的自助消费场景为例,萤石云服务能力及大模型技术,将为行业智能化变革带来新的思路。如自助台球室,正在追求低人工投入成本,全智能化控制,24小时不间断营业的运营策略,要实现这样的物联系统,需要具备三个关键能力:远程化的巡检能力,能够及时响应的连线服务能力,以及低成本的运维能力。
为满足这些需求,萤石推出了更优的开发者集成方案,包括智能视觉巡检组件、智能视频客服组件,以及远程排障专家工具,帮助企业快速升级智能化能力,保障项目尽快上线。
新组件的应用,为开发者呈现了完善的音视频开发服务。其中,结合萤石蓝海大模型升级的智能视觉巡检组件适用于自助门店、收银防飞单、餐饮规范治理和无人服务防纠纷等各种行业的远程巡检场景。智能视频客服组件主要用于提供远程视频连线服务,提供了数字分身复刻能力,融合萤石蓝海大模型,可以实现全天候的音视频连线服务,帮助开发者打造专属的个性化智能服务,目前已在零售、银行、医院、景区等自助化场景中广泛落地,帮助众多企业提升了服务的半径和深度。(完)
注:请在转载文章内容时务必注明出处!
编辑:许婧