简介
INS202课程旨在为本科生提供国际关系研究方法的入门知识，尤其注重介绍数据收集与分析的低门槛方法，内容分析便是其中一种实用的方法。尽管高级内容分析技术层出不穷，但简单的方法往往足以帮助本科生在政治科学和国际关系研究中识别并发现关键的沟通模式。从媒体报告到政府文件，这些内容大多可在互联网和图书馆数据库中轻松获取，并通过简单的编码实践进行分析。因此，内容分析可为本科生提供用于其毕业设计项目的低门槛数据收集和分析方法。
鉴于内容分析主要围绕文本展开，我们迎来了一个将其与大型语言模型结合使用的绝佳机会。内容分析的核心在于通过编码量化定性数据，即根据特定规则为文本和其他交流形式分配数字代码，编码后的数据可进一步通过描述性统计分析来解读。简而言之，内容分析围绕一组交流中的词汇、主题、话题等，识别并通过统计学方法揭示其使用模式，以辅助解答研究问题。
基于此背景，我将XIPU AI引入本课程的内容分析教学，并希望达成两个主要目的。首先，通过一个快速的课堂调查，我发现虽然热议不断，但多数学生此前从未使用过XIPU AI。因此，我希望为学生提供使用人工智能辅助研究的实践经验。其次，XIPU AI不仅是一个辅助工具，更是一个教学工具，能够展示研究人员在数据编码过程中的决策过程，并反应依赖人工智能来分析的固有局限性，如实际中的障碍和可靠性问题。
为此，我们设计了一个三步教学流程。首先，学生需手动编码媒体报道；接着，在XIPU AI的协助下，学生需输入简单的提示词以完成编码；最后，我们尝试使用更复杂的提示词，以手动完善编码和流程计划。
第一步：手动编码媒体报道
在COVID-19疫情期间，世界卫生组织（WHO）的交流沟通和政策成为了各国政府之间政治争议的焦点。为了深入探究这一现象，我们要求学生分析COVID-19期间，世界卫生组织的媒体报道，以揭示报道中的模式和潜在偏见。我们特别聚焦于中国英语媒体如何描绘WHO背景下各政治家的行动。这一过程中，关键的问题有：哪些人被提及，以及是如何描述他们的行为的？
为实现这一分析目标，我们为学生提供了详细的编码手册和时间表。他们需按照手册的指导，对选定的报纸文章进行编码，主要围绕两个维度：“行为人”和“行为”。在“行为人”这一维度上，由于类别的不确定性，我们鼓励学生根据文本内容自行开发和扩充手册中的类别。而在“行为”这一维度上，我们则提供了一组固定的类别，要求学生评估行为人的行为是（1）积极的、（2）消极的、（3）中立的、还是（4）未识别到任何行动。
学生们分组合作完成这一编码任务，并在组内和组间共享编码手册和时间表。为了方便协作和编辑，我们利用XJTLU Box（西交利物浦大学云存储平台）进行文件的共享和补充。
这一手动编码过程不仅锻炼了学生的分析能力，也促使他们用批评性思维进行一系列批判问题的反思。例如，他们需要决定如何最合理地分类行为人，是否每个行为人都应被单独分类，是否有更合适的分组方式。此外，学生们还需要讨论并准确判断一个行为是被描绘为积极的还是消极的，或者其他。这一过程中，确保小组间理解的一致性成为了检验编码者间可靠性的重要指标。
第二步：引入人工智能作为编码助手
尽管市面上有许多强大的程序和编程库可用于辅助内容分析，但这些软件的高复杂性往往让本科生在进行研究时望而却步。而XIPU AI以其自然语言输入的特点，为编码大量文本提供了一个更为便捷和实用的选择。
我们首先向学生介绍了XIPU AI，并让他们尝试完成一个简单的提示词，要求AI将两个主要的编码维度——行动者以及对其行为的评估——应用于报纸文章的分析（图1）。
随后，学生被要求对比第一步中他们自己的理解和AI生成的编码的差异性，然后再比较不同组之间AI输出的内容。通过这一练习，学生对文本编码过程中固有的决策过程有了更为深入的理解，包括为类别建立及应用制定精确规则的必要性。
这项练习还揭示了编码员之间可靠性的重要程度：正如人类编码员可能以不同的方式应用规则，从而以不同的方式编码，XIPU AI也会基于类似甚至相同的提示词产生不同的输出。例如，AI在初次回答时可能会忽略某些行为体，这时就需要学生指出并纠正其错误。在某些情况下，AI会详细说明为何以某种方式评估行为，而在其他时候，它可能仅给出一个简单的“正面”或“负面”评价。
因此，学生们有一个重要发现，即XIPU AI与同类人类编码员一样，需要人类的持续监督和训练（通过更详尽的提示词）以产生更可靠的结果。针对这些限制，通过编写更为详细和精准的提示词，可以有效提高AI的输出质量和可靠性。
第三步：更高级的提示词
更高级且详尽的提示词不仅让学生可以查询AI对单一文本的解释，还使得他们可以利用AI来构建和维护编码手册以及日程安排。如图2所示，这是基于四篇AI生成的文章编码结果，这些结果是通过不断向XIPU AI提供多样化的提示词来优化其编码方法和输出而得到的。如今，XIPU AI已经能够主动提供一个编码手册，并随着在文本中遇到新的行为人而持续更新。同时，它还以表格形式呈现了一个清晰易读的编码日程安排。
达到这种输出结果的过程是一个逐步要求XIPU AI完善其输出的过程，最终生成一个类似于手动编码中使用的人工定制的日程安排。在达到上述格式之前，我们审查了三篇文章，这些文章至少在表面上符合我们的需求。
然而，我们也发现，我们需要经常提醒XIPU AI编码手册中定的规则。例如，它并不总是能识别出文章中提到的所有行为人，或是正确地评估他们的行为。此外，即使使用更高级和详细的提示词，当使用相同或类似的提示时，不同的用户也会从XIPU AI那里收到不同的输出。
结论
将XIPU AI内容分析工具融入INS202课程带来了多重显著优势。首先，它为缺乏研究经验的本科生提供了一个直观易用的文本分析工具，相较于其他复杂的软件和编程库，它更易于上手和操作。其次，通过运用XIPU AI进行内容分析，可以用其作为一种教学工具，加深学生对该方法中常见问题的认识。例如，与AI“互动”进行编码的过程使学生深刻体会到在编码文本时所需作出的关键决策，如类别的设定与应用，以及编码员合作可靠性的重要性。因此，使用XIPU AI的经验使学生更加明白在研究方法中平衡和审慎地运用AI技术是至关重要的。
