高等教育中与测评相关的任务 - 生成式人工智能在从业者中扮演的得力助手
导言
 
       自ChatGPT生成式人工智能(GenAI)工具问世以来,它对教育领域的影响显著(Baidoo-Anu和Owusu Ansah,2023年;Kim和Adlof,2023年);然而,很多人对其广泛的应用持谨慎态度。尽管如此,GenAI的支持者坚持主张,在道德、责任和达成一致的框架内使用这一技术,可以提供广泛的效用,帮助从业者完成各种任务,甚至提高生产力(Liu等,2023年;Meniado,2023年)。
 
 
       本文旨在分享从2022年12月到2023年12月间积累的经验和见解。在这段时间里,我与同事们探索了GenAI的一般应用,并具体使用了西交利物浦大学于2023年8月推出的专有GenAI工具XIPU AI(君谋);我们的重点是将君谋应用于学术英语(EAP)课程考核方面的任务。我们所提供的例子和建议可在其他情境中得以转化,因为它们构成了高等教育(HE)考核流程的重要组成部分。关键考虑因素包括实施结构良好的学习成果考核方法,提供学习机会和反馈机制,以及与多方利益相关者合作以维护教育质量。
 
 
考核任务设计
 
       ChatGPT揭示了传统的EAP考核任务的弊端,如论文、报告和总结对于考核与语言相关的学习成果已不再可靠。GenAI倚靠其背后的大语言模型(LLM),它能够以及格的标准(至少40%)完成这些考核任务,因为它能够以正确的英语产生可信的输出。因此,我们在评估是否完全抛弃这些考核任务类型的早期讨论中发现,与其完全舍弃,不如探索新方法,我与同事们按未来的考核标准,重新设计和修改考核任务,以更好地与后ChatGPT时代的实际相符。我们开始将考核任务的初稿提交给GenAI,以评估其“GenAI-proof”状态,找出缺陷并改进,认识到GenAI虽然通过遵循形式逻辑规则实现客观性,但在提供不同观点方面仍有不足。
 
 
       因此,我们认为那些要求学生展示高阶思维能力(HOTS)的任务,如批判性思考、反思、评估、推理和伦理考量等,更为适合用于考核,具体包括反思报告、批判性分析论文、案例研究评估、研究项目和思维挑战的设计。这些任务需要查阅多个来源,评估不同的观点,进行批判性推理,并从伦理角度考量。这自然而然需要对课程的一些部分进行重新调整,以培养学生需要的技能。这一方法的回报丰富,因为它极大地减少了GenAI被考核者不道德使用的风险。对抗GenAI的另一有效策略是将考核任务与特定模块材料相结合,并设置时间限制,这使得学生不能简单依赖于GenAI生成的知识,而必须在一定的时间范围内,结合精心选择的内容完成考核。最后,我们对未来的考核提出了另一种设计的方法 – 考核任务集。我们可以将考核任务进行拆分,这有多方面的好处,比如对学习者来说工作负担更容易管理,提供多次反馈并提升,以及比较学生的作业样本以确保真实性。
 
 
备课
 
       备课的目标是确保课程团队的所有成员都参与到课程设计中,确保创建有效、可靠、真实和公平的考核任务,并改善现存问题。这些努力还涉及将学习成果与课程标准对齐,选择适合的教学策略。与以往只有模块负责人创建预标准化样本的做法不同,GenAI在2023-24学年第1学期开始前发挥了关键作用,协助生成考核初稿,尽管初稿不完善,但它们在识别和解决问题方面非常有价值,从而帮助调整考核任务。在此过程中的一个关键发现是考核任务中的语法和词汇的权重分配为50%,而这些任务并不限于现场活动,与后ChatGPT时代的现状不符。鉴于学生可以访问并积极使用君谋,将整体评分标准的一半分配给语法和词汇使用的准确度是不恰当的,因为GenAI可以帮助学生规避错误。这个问题目前正在由语言学院审议,预计将很快发布与2024-25学年相关的新的课程考核指导方针。这一经验强调了根据当前情况重新评估评分标准的迫切需要。此外,在创建教学和学习材料,包括样本方面的讨论,最终达成了一致意见,同意利用GenAI帮助完成这些任务。
 
 
       此外,确定将君谋整合到课堂中可向学生展示智能工具的实际应用,提高学生对其潜能和局限性的认识,并洞察和反思以评估工具在课堂使用的效果,为可能的改革提供信息。毕竟,禁止学生在完成考核任务时使用GenAI并不容易(Chaudhry等,2023年;Weber-Wulf等),因此我们有责任主动向学习者展示如何负责任和有效地使用这个工具。君谋对学生和工作人员都可用,我们通过要求他们使用该工具进行构思想法、寻求复杂概念的解释、缩小研究焦点、创建研究术语和总结文本,来帮助他们思考。这些都是GenAI在高等教育环境内外执行的一些常见任务(Ansari等,2023年;Moorhouse等,2023年),我们应该重视。
 
 
反馈
 
       提供形式反馈是有效教学的一个重要方面,不仅涵盖学术英语,而且涵盖所有学科。尽管对教育者来说是耗时的,但这种反馈对学习者来说具有巨大的价值,可以促使他们不断改进学习,并鼓励他们积极参与学习过程。认识到GenAI在这方面有所助益,我们团队在2023-24学年第2学期进行了探索,发现输入学生的作业并从君谋寻求反馈,便可得到有针对性和具体的关于他们作业的评论,如组织、语法和词汇等。虽然需要多次尝试才能获得令人满意的结果,但生成的反馈大部分与评估类别相关的反馈是可用的。关于任务完成方面,团队承认GenAI工具无法就这个方面提供评论,尽管如此,我们团队一致认为,通过集中关注学生任务完成情况,老师们可以根据学生的表现提供更详细和有意义的反馈。最终,我们团队得出结论,虽然需要审查生成的反馈以涵盖与任务相关的评论和上下文特定的建议,但利用GenAI可以极大地减少花费的时间,并向学生提供全面而个性化的反馈。
 
 
结论
 
       经过一年的时间,我和我的同事们一致认为GenAI工具在考核相关事项方面极大地帮助了我们,提高了效率并改善了我们的输出质量。最初我们将GenAI视为对手,随及我们的观点发生了变化,积极建立一种互惠互利的关系。然而,我们都感到尽管这种合作是有价值的,但技术的不断更新,可能与大学现有系统或政策发生冲突,其结果仍然是不可预测的。作为高等教育从业者,我们理解将GenAI整合到我们工作中的必要性,但我们也不能忽视保持了解并不断调整,审查我们的做法,以最大化技术工具的好处的重要性。GenAI是一个有用的盟友,尽管存在其独特的挑战。
 
 
 
 
 

作者
Martina DORN
高级语言讲师
英语语言中心
语言学院
西交利物浦大学

日期
2024年03月14日

相关文章