中新网上海新闻1月11日电(郑莹莹)商汤日前宣告正式推出 “日日新”融合大模型。
相较于一般传统大语言模型仅支持单一文本输入的模式,“日日新”融合大模型能够满足用户对图像、视频、语音、文本等多源异构信息的综合处理与识别需求。

这在自动驾驶、视频交互、办公教育、金融、园区管理、工业制造等天然拥有丰富模态信息的场景中展现出优势。
原生多模态大模型是业内探索的重要方向之一。但多模态训练过程往往会导致纯语言任务,尤其是指令跟随和推理任务的性能严重下降。
商汤在推动语言模型和多模态模型融合的过程中,发展出两项关键技术:融合模态数据合成与融合任务增强训练,从而完成“日日新”融合大模型的训练,进而推向市场。(完)
注:请在转载文章内容时务必注明出处!
编辑:郑莹莹