人工智能在开发好的测试题方面与人类的表现相匹配

　　研究人员开发了一种人工智能 (AI) 模型，可以生成在线课程评估问题，教师发现这些问题与人类编写的问题无法区分。

　　新的 AI 称为 QUADL，它做两件事：它识别教学文本中的关键术语和想法，然后针对这些术语和想法设计问题。

　　“我们为 QUADL 提供课程的课件内容和学习目标，然后 QUADL 可以开发问题来帮助学生实现这些学习目标，”北卡罗来纳州立大学计算机科学副教授、一篇关于这项工作的论文。

　　“人类擅长开发课程，但在与讲师和课件开发人员的访谈中，我们发现他们常常难以提出能够有效评估学生在这些课程学习目标方面取得的进展的问题，”博士 Machi Shimmei 说。 . 北卡罗来纳州立大学的学生和该论文的第一作者。“我们的研究表明 QUADL 可以成为教师和课程开发人员的有用工具。”

　　为了测试 QUADL 的性能，研究人员使用了名为开放式学习计划的现有在线课件。研究人员招募了五名在课堂上使用 OLI 的教师，并要求他们评估一长串问题。有些问题是由 QUADL 生成的;有些是由当前最先进的问题生成 AI 模型(称为 Info-HCVAE)生成的;有些问题已经在 OLI 课程中使用过。研究参与者没有被告知问题的来源，而是被要求评估每个问题的教学价值。

　　“QUADL 生成的问题的教学价值分数与教师为 OLI 中使用的人们编写的问题给出的价值分数基本相同，”Shimmei 说。“Info-HCVAE 生成的问题从教师那里得到的分数较低。”

　　研究人员现在正在计划本科课堂研究，要求教师使用 QUADL 生成的问题，以了解 QUADL 生成的问题如何影响学生的学习，如果有的话。

　　Matsuda 说：“这项即将开展的工作应该会关闭这项技术的循环。” “假设，QUADL 会起作用。现在我们必须看看它是否真的会在实践中起作用。”

　　QUADL 是 Matsuda 和他的合作者正在开发的称为PASTEL的更大的 AI 技术套件的一部分。所有 PASTEL 技术都旨在促进教育课件的开发。

　　“这些技术处理从生成问题——这是 QUADL 的角色——到用于评估课件的每个元素在帮助学生学习方面的有效性的质量保证功能的一切，”Matsuda 说。“我们正在寻找研究合作伙伴来帮助我们开发这些生成式 AI 技术，并寻找有兴趣在课程中使用这些 AI 工具的教育工作者合作伙伴。”

　　这篇题为“机器生成的问题在熟悉学习目标时会吸引教师”的论文将在7 月 3 日至 7 日在日本东京举行的第 24 届教育人工智能国际会议(AIED 2023) 上发表。该论文由卡内基梅隆大学的 Norman Bier 合着。