[返回网际谈兵首页]·[所有跟帖]·[ 回复本帖 ] ·[热门原创] ·[繁體閱讀]·[版主管理]
中国研制成功专属大模型软硬件一体机,对标英伟达A100
送交者: coco8831[☆★声望品衔8★☆] 于 2023-08-16 7:34 已读 1220 次 1 赞  

coco8831的个人频道

    据澎湃新闻8月16日报道,科大讯飞与华为共同发布用于构建专属大模型的软硬件一体化设备“星火一体机”。


    科大讯飞董事长刘庆峰介绍,在单卡算力上,这个平台对标英伟达A100,同时还正在和华为一道打造面向超大规模大模型训练的国产算力集群,形成集群化优势。


    大模型的研发过程,需要可以支撑千亿参数规模大模型并行训练的算力和框架,还需要几千张芯片同时连续运行。基于此,系统架构以及并行训练的集群能力成为大模型研发的关键。

    星火一体机的训练和推理一体化部署,可用于问答系统、对话生成、知识图谱构建、智能推荐等领域的应用,具备大模型预训练、多模态理解与生成、多任务学习和迁移等能力。 6park.com

星火一体机基于华为鲲鹏CPU+昇腾GPU,另外联合华为存储和网络提供整机柜方案。图片来源:科大讯飞


      据悉,星火一体机基于华为鲲鹏CPU(中央处理器)+昇腾GPU(图形处理器),另外联合华为存储和网络提供整机柜方案,FP16(半精度浮点数格式)算力2.5 petaFLOPS(1 petaFLOPS为每秒运行一千万亿次浮点运算)。在大模型训练中最为流行的英伟达DGX A100,其单节点包含8块GPU,可以输出5 PetaFLOPS的FP16算力。 6park.com

    上月,科大讯飞公布讯飞星火将与昇腾AI联合,打造基于中国自主创新的通用智能新底座。一方面,讯飞星火认知大模型基于训练推理一体化设计,实现大模型稀疏化、低精度量化的技术突破,能高效适配昇腾AI,加速大模型的行业落地应用和迭代;另一方面,以昇腾AI为核心,软硬件协同优化,构建算力集中、性能优越、供给稳定、数据安全的大模型训练集群。


     在当天的演讲中,刘庆峰更为细致地讲解道,“华为跟科大讯飞共同在昇腾AI的软硬件平台和软件的支撑工具上,把高算力AI芯片、高性能的算子库、多卡高速互联以及分布式存储结合起来,尤其是我们联合针对人工智能所需要的最重要的算子库进行甄别和打磨。然后在此基础上,架构科大讯飞的训练和数据闭环全流程设计,以及训练和推理一体化设计的自研大模型训练平台,中间是支持大规模的异构算力兼容,也支持混合云架构易拓展,使得我们今天所看到的讯飞星火V2.0的演示以及所有产品,架构在安全可控的平台上。”


      据悉,“讯飞星火认知大模型V2.0”除了持续提升通用能力基础外,重点突破代码能力和多模态交互能力。据刘庆峰介绍,在OpenAI构建的代码能力的公开测试集HumanEval上,讯飞星火大模型V2.0基于Python和C++进行代码写作的能力接近ChatGPT水平,差距仅为1%和2%,预计将于今年10月24日全面超越ChatGPT,明年上半年将正式对标GPT-4。


     目前,讯飞星火大模型拥有130亿、650亿和1750亿3个版本的模型参数可选。围绕星火大模型,科大讯飞正在构建开发者生态,目前有4000多个助手开发者团队加入星火平台。

喜欢coco8831朋友的这个贴子的话, 请点这里投票,“赞”助支持!
[举报反馈]·[ coco8831的个人频道 ]·[-->>参与评论回复]·[用户前期主贴]·[手机扫描浏览分享]·[返回网际谈兵首页]
帖子内容是网友自行贴上分享,如果您认为其中内容违规或者侵犯了您的权益,请与我们联系,我们核实后会第一时间删除。

所有跟帖:        ( 主贴楼主有权删除不文明回复,拉黑不受欢迎的用户 )


    用户名:密码:[--注册ID--]

    标 题:

    粗体 斜体 下划线 居中 插入图片插入图片 插入Flash插入Flash动画


         图片上传  Youtube代码器  预览辅助

    打开微信,扫一扫[Scan QR Code]
    进入内容页点击屏幕右上分享按钮

    楼主本栏目热帖推荐:

    >>>>查看更多楼主社区动态...






    [ 留园条例 ] [ 广告服务 ] [ 联系我们 ] [ 个人帐户 ] [ 版主申请 ] [ Contact us ]