ARC：AI2 推理挑战数据集
649.3
3 浏览
2 喜欢
6 下载
一个包含 7,787 个真正的小学水平、多项选择科学问题的新数据集，旨在鼓励对高级问答的研究。数据集分为挑战集和简单集，其中前者仅包含基于检索的算法和单词共现算法都回答错误的问题。我们还包括与任务相关的超过 1400 万个科学句子的语...
数据介绍
文件下载列表
相关论文
数据使用声明
README.md
一个包含 7,787 个真正的小学水平、多项选择科学问题的新数据集，旨在鼓励对高级问答的研究。数据集分为挑战集和简单集，其中前者仅包含基于检索的算法和单词共现算法都回答错误的问题。我们还包括与任务相关的超过 1400 万个科学句子的语料库，以及该数据集的三个神经基线模型的实现。我们将 ARC 视为对社区的挑战。
ARC 数据集包含来自各种来源的 7,787 道科学考题，包括由 AI2 附属研究合作伙伴许可提供的科学考题。这些是纯文本的英语语言考试问题，如文件中所示，跨越多个年级。每个问题都有一个多项选择结构（通常有 4 个答案选项）。这些问题被分类为包含 2,590 个“困难”问题（检索和共现方法都无法正确回答的问题）的挑战集和包含 5,197 个问题的简易集。每个都预先分为训练、开发和测试集，如下所示：
Challenge Train: 1,119
Challenge Dev: 299
Challenge Test: 1,172
Easy Train: 2,251
Easy Dev: 570
Easy Test: 2,376
每组都以两种格式提供，CSV 和 JSON。CSV 文件在一个单元格中包含问题的全文及其答案选项。JSON 文件包含问题的拆分版本，其中问题文本已以编程方式与答案选项分开。
Challenge Dev: 299
Challenge Test: 1,172
Easy Train: 2,251
Easy Dev: 570
Easy Test: 2,376
每组都以两种格式提供，CSV 和 JSON。CSV 文件在一个单元格中包含问题的全文及其答案选项。JSON 文件包含问题的拆分版本，其中问题文本已以编程方式与答案选项分开。
JSONL 结构
JSONL 文件包含相同的问题，分为问题的“词干”（问题文本），然后是各种答案“选择”及其相应的标签（A、B、C、D）。问题ID 也包括在内。
JSONL 文件包含相同的问题，分为问题的“词干”（问题文本），然后是各种答案“选择”及其相应的标签（A、B、C、D）。问题ID 也包括在内。
{
"id": "MCAS_2000_4_6",
"question": {
"stem": "Which technology was developed most recently?",
"choices": [
{
"text": "cellular telephone",
"label": "A"
},
{
"text": "television",
"label": "B"
},
{
"text": "refrigerator",
"label": "C"
},
{
"text": "airplane",
"label": "D"
}
]
},
"answerKey": "A"
}
"id": "MCAS_2000_4_6",
"question": {
"stem": "Which technology was developed most recently?",
"choices": [
{
"text": "cellular telephone",
"label": "A"
},
{
"text": "television",
"label": "B"
},
{
"text": "refrigerator",
"label": "C"
},
{
"text": "airplane",
"label": "D"
}
]
},
"answerKey": "A"
}
CSV 结构
逗号分隔 (CSV) 列：
逗号分隔 (CSV) 列：
questionID - 问题的唯一标识符（我们自己的编号）
originalQuestionID - 测试中的问题编号
totalPossiblePoint - 得分时该问题值多少分
AnswerKey - 正确答案选项
isMultipleChoiceQuestion - 1 = 多项选择，0 = 其他
includeDiagram - 1 = 包含图表，0 = 其他
examName - 考试的来源
schoolGrade - 年级水平
year - 考试的出版年份
question - 问题本身的文本
subject - 一般问题主题
category - 测试、训练或开发
originalQuestionID - 测试中的问题编号
totalPossiblePoint - 得分时该问题值多少分
AnswerKey - 正确答案选项
isMultipleChoiceQuestion - 1 = 多项选择，0 = 其他
includeDiagram - 1 = 包含图表，0 = 其他
examName - 考试的来源
schoolGrade - 年级水平
year - 考试的出版年份
question - 问题本身的文本
subject - 一般问题主题
category - 测试、训练或开发
官方网址：https://allenai.org/data/arc
附件列表
暂无可预览附件
暂无相关代码
数据使用声明：
一、数据来源与展示说明：
1、该数据来自于互联网数据采集或服务商的提供，本平台为用户提供数据集的展示与浏览。
2、本平台仅作为数据集的基本信息展示、包括但不限于图像、文本、视频、音频等文件类型。
3、数据集基本信息来自数据原地址或数据提供方提供的信息，如数据集描述中有描述差异，请以数据原地址或服务商原地址为准。
二、所有权说明：
1、本站中的所有数据集的版权都归属于原数据发布者或数据提供方所有。
三、数据转载说明：
1、如您需要转载本站数据，请保留原数据地址及相关版权声明。
四、侵权与处理说明：
1、如本站中的部分数据涉及侵权展示，请及时联系本站，我们会安排进行数据下线。