中国新闻网-上海新闻
上海分社正文
私有化大模型一体机“亮相” 私有化或成垂直大模型未来发展方向
2023年08月01日 10:48   来源:中新网上海  

  中新网上海新闻8月1日电(谢梦圆)Al生成与大模型,作为当今人工智能领域炙手可热的话题,为相关产业链带来新的机遇和挑战。在近期举办的 2023 世界人工智能大会上,优刻得分享了“中立安全云计算助力大模型发展”的技术产品、工程能力和生态建设等诸多能力,特别提到私有化是垂直大模型未来的发展方向。

  面向政府、金融、教育、制造、基金等行业客户及大模型企业的大模型私有化交付场景,优刻得推出国内第一款私有化大模型一体机,内置 UCloud自主研发的全栈私有云平台,结合行业垂直大模型一体化交付给客户。

  随着垂直行业大模型应用场景的丰富,企业为用户提供大模型应用时,需要将大模型私有化部署,以保障大模型和数据隐私及安全合规性,同时与业务对接共同提供特定的AI场景服务。在此模式下,如何配置适合的计算、存储、网络及管理资源,以满足私有化大模型训练/推理任务的需求和安全要求,是私有化AI算力底座优先要解决的问题。

  为实现大模型私有化交付,优刻得大模型一体机,基于一云多芯且自主可控的UCloudStack全栈私有云平台,提供虚拟化、存储、网络及MaaS模型的私有化一体交付方案,支持Alpaca-LoRA、ChatGLM、T5、MiniGPT-4、Stable Diffusion、LLaMA2及Milvus向量数据库等开源模型的部署及算力调度,用户可在本地或自有数据中心内,轻松部署针对特定场景的大模型服务。

  据悉,优刻得私有化大模型一体机具备以下特点:

  1. 私有化算力中心 训练推理专区建设

  基于“东数西算”两大自建数据中心——内蒙古乌兰察布和上海青浦数据中心,UCloud大模型一体机为大模型训练和应用提供低成本、高附加值的私有化算力服务。自建数据中心内,提供多款GPU大模型一体机算力资源,分别建设灵活可扩展的AI训练和推理专区。

  2. 开箱即用一键部署 训练推理无缝切换

  UCloud大模型一体机,统一底层CPU、GPU、存储及网络资源,结合大模型与业务数据,为上层大模型预训练或推理应用,提供灵活可靠的虚拟化、GPU计算、容器调度、安全隔离网络、统一分布式存储及数据库缓存等云基础设施,实现快速部署、简化管理,助力AI应用高效交付稳定运行。

  集成通用AI和大模型的GPU标准镜像和模板,快速打包算力基础运行环境并实现一键部署,支持运行环境模板的一键拉起,结合调度管理和分布式存储系统,使得GPU算力环境,通过标准S3或NFS协议从存储系统中拉取并加载大模型到内存中,进行预训练或推理计算任务。

  同时,在计算资源调度层面提供K8S容器调度服务,无缝对接云原生架构的资源调度和作业任务管理系统,用于模型切换、训练任务、推理任务的作业管理。基于运行环境一键打包和算力调度技术,使得一体机既可作为训练的算力运行环境,又可在训练结束后,无缝切换至推理业务部署模式,确保基础设施成本可控且安全。

  3. 分布式存储平台 加速AI模型训练

  大模型训练时,基础设施需要提供高速读写能力、可扩展且可兼容POSIX的共享存储系统,以满足大规模数据集的训练需求。UCloud大模型一体机基于UCloudStor统一分布式存储,统一对外提供文件和对象存储,可为训练框架提供POSIX和K8S-CSI接口,便于算力调度接入,并结合冷热数据分离的存储形态,提升数据读写性能、加速AI模型训练,满足千卡规模训练需求。

  4. 全面多维度的安全保障体系

  一体机私有云平台提供全面的安全保障体系,从网络、账号、资源、审计、监控等多维度保障平台大模型和数据安全,并可结合信息安全等级保护三级保证业务的安全性。

  5. 开箱即用的私有MaaS服务

  UCloud基于私有化大模型一体机提供MaaS服务,从大模型训练推理的多样化场景出发,为客户推荐机型提供预装部分工具的镜像,支持各种开源大模型,可覆盖知识推理、问答、图文生成、中文语义及绘画设计等 AI 应用领域,为用户快速搭建大模型的微调或推理环境。

  值得一提的是,UCloud一体机私有云平台还具备业务无感故障自愈的特性,算力资源将优先选择低负荷节点进行虚拟资源部署,并提供打散部署、在线迁移、离线迁移及宕机迁移等能力,

  此外,AIGC绘画服务PICPIK.AI是UCloud私有化一体机的实践应用。PICPIK.AI提供了一种全新的方式,允许用户利用“AI绘画垂直模型”的能力进行AI艺术创作,提供AI WEB端和PhotoShop插件,赋予设计师无与伦比的创造力和精确性,创作出令人惊艳的视觉杰作。

  云计算是通过云端提供海量算力和安全保障,而私有云是将算力和安全保障私有化交付到客户的数据中心,并提供资源智能调度、业务高可靠高可用等机制,结合全面统一的云管理服务,为大模型业务私有化降本增效。

  作为云计算厂商,UCloud也成为了大模型入口处的铺路人。本次推出的UCloud私有化大模型一体机,可同时为多种垂直大模型业务提供业务云化部署和资源调度服务,并可结合UCloudStor统一分布式存储和USDP智能大数据平台为大模型推理和预训练业务,提供数据湖存储及流批一体数仓构建解决方案,提高大模型业务私有化的交付及运维管理效率。

  未来,UCloud将全面拥抱大模型,通过自建数据中心、算力资源和工程服务能力,结合多年云计算技术沉淀,为更多客户及大模型公司提供算力及基础设施服务,赋能千行百业。(完)

注:请在转载文章内容时务必注明出处!   

编辑:谢梦圆  

本网站所刊载信息,不代表中新社和中新网观点。 刊用本网站稿件,务经书面授权。
未经授权禁止转载、摘编、复制及建立镜像,违者将依法追究法律责任。
常年法律顾问:上海金茂律师事务所