本文来源：时代财经 作者：徐晓倩

图源：腾讯云官方

过去一年，大模型搅动全球科技圈。2024年初，Sora、Kimi等应用产品爆火，大模型迎来新一轮狂欢。

时代财经从腾讯云获悉，数据存储约占大模型训练整体工程量的20%-30%。AIGC相关应用持续爆发，数据存储的重要性正在逐渐凸显。

“训练数据是大模型云存储的重要步骤，云存储系统需要能够快速响应数据读写请求，提供低延迟、高吞吐量的存储服务。还要具备可扩容性和暂存能力，比如训练出现突发情况后，能在原有基础上重启继续训练。”某云厂商行业人员向时代财经表示。

4月8日，腾讯云宣布云存储解决方案面向AIGC场景全面升级，能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。数据显示，采用腾讯云AIGC云存储解决方案，可将大模型的数据清洗和训练效率均提升一倍，需要的时间缩短一半。

AI大模型的研发生产流程主要分成数据采集与清洗、模型训练、推理三大环节，各环节都涉及海量的数据处理。在数据采集与清洗环节，由于原始训练数据规模海量，且来源多样，对存储技术提出了多协议支持、高性能、大带宽的需求。

腾讯云对象存储COS支持单集群管理百 EB 级别存储规模，提供便捷、高效的数据公网接入能力，并支持多种协议，充分支持大模型PB级别的海量数据采集。

在数据清洗环节，大数据引擎需要快速地读取并过滤出有效数据，COS通过自研数据加速器GooseFS提升数据访问性能，可实现高达数TBps的读取带宽，支撑计算高速运行，大大提升数据清洗效率。

在模型训练环节，通常需要每2-4小时保存一次训练成果，以便能在GPU故障时时能回滚，因此快速地读写checkpoint（检查点）文件也成了能否高效利用算力资源、提高训练效率的关键。

腾讯云自主研发并行文件存储CFS Turbo ，面向AIGC训练场景的进行了专门优化，每秒总读写吞吐达到TiB/s级别，每秒元数据性能高达百万OPS，均为业界第一。3TB checkpoint 写入时间从10分钟，缩短至10秒内，使大模型训练效率大幅提升。

大模型推理场景对数据安全与可追溯性提出更高要求。腾讯云数据万象CI为此提供图片隐式水印、AIGC内容审核、智能数据检索MetaInsight等能力，为数据生产从“用户输入——预处理——内容审核——版权保护——安全分发——信息检索”业务全流程提供有力支撑，优化AIGC内容生产与管理模式，顺应监管导向，拓宽存储边界。

同时，随着训练数据和推理数据的增长，需要提供低成本的存储能力，减少存储开销。对象存储服务提供了高达 12 个 9 的数据持久性和 99.995% 的数据可用性，能够为业务提供持续可用的存储服务。

在此之前，腾讯云已经面向AIGC场景推出了基于星脉网络的大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。

“稳定性、性能、性价比是大模型时代云存储的核心。”腾讯云智能存储总监叶嘉梁说道，他认为，腾讯云存储未来要做的是把数据的价值开放给客户，让客户能有效地利用好数据。

据今年1月国际调研机构沙利文联合头豹研究院发布的《2023年中国云存储解决方案》报告，腾讯云存储位居国内厂商第一位，获增长指数和创新指数双第一，入选中国云存储解决方案市场“领导者”阵营。

时代财经从腾讯方面获悉，目前已有80%的头部大模型企业选择腾讯云AIGC云存储解决方案，包括百川智能、智谱、元象等明星大模型企业。


                                        
友情提示
本站部分转载文章，皆来自互联网，仅供参考及分享，并不用于任何商业用途；版权归原作者所有，如涉及作品内容、版权和其他问题，请与本网联系，我们将在第一时间删除内容！  
                                        
联系邮箱：1042463605@qq.com