斯坦福大学推出的大模型评测体系
HELM全称HolisticEvaluationofLanguageModels（语言模型整体评估）是由斯坦福大学推出的大模型评测体系，该评测方法主要包括场景、适配、指标三个模块，每次评测的运行都需要指定一个场景，一个适配模型的提示，以及一个或多个指标。它评测主要覆盖的是英语，有7个指标，包括准确率、不确定性/校准、鲁棒性、公平性、偏差、毒性、推断效率；任务包括问答、信息检索、摘要、文本分类等。
上海人工智能实验室推出的大模型开放评测体系
智源研究院推出的FlagEval（天秤）大模型评测平台
以众包方式进行匿名随机对战的LLM基准平台
生物医学研究问答数据集和模型得分排行榜
大规模多任务语言理解基准
一个综合性的大模型中文评估基准
您的邮箱地址不会被公开。 必填项已用 * 标注
评论 *
显示名称 *
邮箱 *
网站
在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。
上海人工智能实验室推出的大模型开放评测体系