
2021年6月,北京智源研究院(BAAI)推出了悟道1.0的后续版本悟道2.0,作为中国第一个超大规模智能模型系统。悟道是一个语言模型,旨在在人类层面的思维上超越OpenAI的GPT-3和谷歌的LaMDA。经过4.9TB的图像和文本训练,并在9个基准上超过了最先进(SOTA)水平,悟道比任何同行都更接近于实现通用人工智能(AGI)和人类水平的思维。
悟道接受了4.9TB高质量英文和中文图像和文本的训练:
- 1.2TB中文文本数据
- 2.5TB中文图形数据
- 1.2TB英文文本数据
悟道是基于开源的MoE系统FastMoE进行训练的。MoE是一种机器学习技术,其工作原理如下:
将预测建模任务划分为子任务,针对每个子任务训练专家(学习者)模型,开发门控模型,该门控模型基于要预测的输入来学习咨询哪个专家,并组合预测。FastMoE使悟道能够并行咨询不同的专家模型,并切换到预测结果最好的模型。例如,如果输入是英文文本,悟道将使用预测模型,该模型可以在英文文本中生成回应。
数据统计
数据评估
关于悟道特别声明
本站AFT导航提供的悟道都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由AFT导航实际控制,在2025年3月19日 下午2:25收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,AFT导航不承担任何责任。
相关导航

开源的机器学习模型监测和测试工具

腾讯混元大模型
腾讯研发的大语言模型,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力

阿里巴巴M6
阿里巴巴达摩院推出的超大规模中文预训练模型(M6)

序列猴子
出门问问推出的一款超大规模的语言模型

AgentGPT
在浏览器中组装、配置和部署自主人工智能的开源项目

MiracleVision奇想智能
美图推出的AI视觉大模型,支持AI图像、设计和视频创作

StableVicuna
第一个通过RLHF训练的大规模开源聊天机器人

文心大模型
百度推出的产业级知识增强大模型
暂无评论...