智源公布世界最大预训练模型“悟道2.0” ，智谱AI等好几家组织协同产品研发

发布时间：2021-06-03 21:25:02发布人：日新微博

6月3日信息，2021北京市智源交流会举行当日，智源研究所学术研究副院长、清华电子计算机科学与技术系长聘专家教授、计算机专业办公室副主任唐杰公布世界最大预训练模型“悟道2.0”，该实体模型经营规模主要参数达1.75万亿元。“悟道2.0”由智源带头产品研发，北京市智谱华章科技有限责任公司（下称智谱AI）做为技术骨干参加，并关键开发设计了“悟道2.0”的服务平台运用绿色生态。在其中，智源、智谱AI和小冰企业合作开发的虚似学员华智冰造成了普遍关心。
“悟道2.0”还获得了多种国际级的自主创新提升，在预训练模型构架、调整优化算法、高效率预训炼架构层面完成了初始创新理论，在全球认可的人工智能技术工作能力排行榜单中，获得9项工作能力的领先水平。 “禅悟”预训练模型是由唐杰佳選，来源于智谱AI、北京市智源人工智能技术研究所、小冰企业等企业的100余名AI生物学家精英团队科研开发进行。2020年3月22日，智源曾公布了“禅悟1.0”，两个半月后，禅悟演变到2.0。
“悟道2.0”特点：较大、最准、通用性、国内
唐杰详细介绍，“禅悟”的精准定位，从一开始就不仅要做“中国第一”，只是瞄向全球顶级水准，让设备像人一样思索，迈进通用性人工智能技术。
“悟道2.0”主要参数做到1.75万亿元，摆脱了先前Google Switch Transformer 预训练模型造就的 1.6 万亿元主要参数纪录，也超出OpenAI开发设计的第三代生成式预训炼Transformer（GPT-3）10倍，是世界最大预训练模型。而一般AI科技界觉得实体模型主要参数越大，代表着通用性人工智能技术潜力越强。特别是在值得一提是，“悟道2.0”这世界较大万亿元实体模型，彻底根据国内超算 GPU 服务平台打造出。
为何新一代“世界最大”预训练模型会发生在智源与智谱AI精英团队？唐杰表明，精英团队开辟的FastMoE技术性，摆脱了海外MoE技术性存有的限定短板，是完成“万亿元实体模型”根基的重要。
FastMoE做为第一个适用PyTorch架构的MoE系统软件，具备便捷性强、协调能力好、训炼速度更快的优点，可在不一样经营规模的电子计算机或群集上适用学者探寻不一样的MoE实体模型在不一样行业的运用。对比立即应用PyTorch完成的版本号，加速47倍。
FastMoE能够适用NoisyGate、GShard、Swith Transformer等繁杂平衡对策，适用不一样权威专家不一样实体模型，现阶段已根据阿里巴巴 PAI 服务平台，亦在国内神刀众核超算服务平台取得成功布署。
精确层面，禅悟 2.0也获得了醒目的考试成绩，在 ImageNet、LAMA、LAMBADA、SuperGLUE、MSCOCO 等新项目都获得了提升，得到了9项每日任务上的 SOTA。现阶段悟道2.0在话题讨论、美术绘画、写诗、视頻等每日任务上都已靠近图灵测试。
规模性预训练模型的主要参数经营规模一般远超传统式的专用型人工智能技术实体模型，在算率資源、训炼時间等层面耗费极大。为了更好地提高规模性预训练模型的产业链普遍意义和便捷性，禅悟精英团队构建高效率预训炼架构，完成了全链路的原創提升或迭代更新提升，预训炼高效率大幅度提高。
唐杰详细介绍，禅悟 2.0预训炼架构具备“五个高效率”特性：高效率编号、高效率实体模型、高效率训炼、高效率调整、高效率逻辑推理，它真真正正朝向工业界的运用。禅悟 2.0预训炼架构还融合了世界最大的汉语词库WuDaoCorpora，包含较大汉语文字数据、多模态数据与汉语会话数据。
唐杰称禅悟彻底开源系统，一切公司、开发人员取得禅悟 2.0预训炼架构之后，能够十分快地开展布署，随后运用在具体业务流程中。现阶段，禅悟 2.0早已与美团外卖、小米手机、快手视频、360、搜狗搜索、寒武纪、第四范式、推想科技、好末、小冰科技等战略合作共创实体模型绿色生态。
协同智谱AI和小冰精英团队一同打造出第一位虚似学员“华智冰”
虚似学员“华智冰”
当场，唐杰还详细介绍了一位自身的新学员-“华智冰”。
“华智冰”是以禅悟为核心，以智谱AI的专业知识数据信息一体两翼架构和小冰企业全世界领跑的人工智能技术完善架构为基本开发设计的虚似数字人，是中国第一个原創的全科医师虚似学员。华智冰将师从于唐杰，打开在清华计算机专业知识工程试验室的学习培训和科学研究职业生涯，接纳智源、智谱AI和小冰企业的联培。
华智冰由三方一同产品研发打造出，另外，智谱AI还为虚似学员给予了结合专业知识和数据信息的一体两翼人工智能技术系统软件，让她具备一定的认知能力和推理能力。小冰则给予了全世界领跑的人工智能技术完善架构，另外承担响声、品牌形象的开发设计运用。智谱.AI借助清华精英团队十余年在专业知识智能化层面的累积和优秀人才优点，结构了高品质规模性数据仓库，专注于打造出可表述、鲁棒性、可以信赖、具备推理能力的新一代认知能力模块，提到对新学员华智冰的培养计划，唐杰称，从认知智能化向认知能力大数据时代迈入，大家期待这一数据人到多种认知能力智能化上超出人，她不仅识别图像，还应当有造就工作能力。例如能够造就诗、绘画，乃至回应一些数学题目。
先讨论一下华智冰同学的美术绘画和诗词作品工作能力。
由于华智冰是到计算机专业学习培训，唐杰也表明，那她应当还需要会程序编写，下一步给她一个每日任务，能全自动设计方案出网页页面的版块或是新项目架构模式，还可以把里边的编码铺满，让程序执行一切正常等候，这种是大家将来对华贸易智冰的一些期待。自然这一全过程中并不是一天就来了，是渐渐地成长的过程，
一位才华横溢的清华大学同学们，请希望！

相关评论 (0条)

暂无任何评论，欢迎您点评！

我要评论