JAMA发布详细投稿指南:如何在论文中报告AI的使用

2024年3月7日,《JAMA》发表了一篇文章[1],明确规定了如何在论文中说明人工智能(AI)的使用。这些信息已同步更新到《JAMA》和《JAMA Network》的作者投稿须知中。

原文链接:https://jamanetwork.com/journals/jama/fullarticle/2816213


撰写稿件时使用AI的声明


当使用传统或生成式AI创建、审核、修改或编辑论文手稿中的任何内容时作者应在论文的Acknowledge部分报告以下内容:
  • AI软件平台、应用程序或工具的名称
  • AI工具的版本号和扩展号
  • 制造商名称
  • 使用日期
  • 简要描述AI的使用方式,以及在论文手稿的哪些部分使用了AI
  • 确认作者会对AI生成内容的完整性负责
注:以上指南不适用于AI检查语法、拼写和参考文献等用途


研究中使用AI的准则


当将AI(如大型语言模型[LLM]、自然语言处理[NLP]、机器学习、聊天机器人等)用于科学研究时,作者应遵守以下准则:
  • 遵循特定研究设计的报告规范(见下框中的示例),需要详细报告相应规范列出的各条目。
  • 避免在文本、表格或图形中包含可识别的患者信息
  • 如果包含AI生成的内容(文本、图像),请注意版权和知识产权问题,并获得了发布许可。
框. AI相关报告规范的部分示例
CONSORT-AI:评估AI相关干预措施的临床试验报告[2]
SPIRIT-AI:评估AI相关干预措施的临床试验方案[3]
MI-CLAIM:临床AI建模相关研究[4]
CLAIM:AI在医学影像中应用的研究[5]

方法部分

  • 包括研究设计,如果有相关的报告规范,请说明如何遵循了该规范,并提供细节以确保可重复性。
  • 描述是如何将AI应用于研究中的某些环节(如提出或完善研究假设、协助生成协变量列表、创建图表等)。
  • 使用了LLMs的研究,应提供该软件平台或程序、工具、版本和制造商名称;报告使用日期,提示词(prompt)及其顺序,以及根据初始输出结果对提示词做出的任何修改。
  • 报告机器学习和算法开发的研究,要说明用于开发、训练和验证数据集的详细信息。明确指出算法是否仅在先前收集或现有的数据集上进行训练和测试,或者研究是否包括前瞻性部署(prospective deployment)。还应介绍机器学习模型,描述变量、结局、以及选择的微调参数。描述所涉及的任何假设(如对数线性)以及如何检验这些假设。
  • 说明用于评估算法性能的指标,包括偏倚、区分度、校准度、再分类等(视情况而定)。
  • 说明缺失数据的处理方法
  • 说明机构审查委员会/伦理审查、批准或豁免情况。
  • 描述AI相关方法学偏倚、AI生成内容不准确的解决方法。
  • 在适用的情况下,说明是否进行了敏感性分析,以探究AI模型在弱势或代表性不足的群体中的表现。
  • 提供数据共享声明,包括是否共享代码。

结果部分

  • 报告比较性结果时,应提供效应值、不确定性(如95%CI)和其他测量值(如似然比),同时应包括有关性能错误、不准确或缺失数据的信息,以及足够的细节供他人复现结果。
  • 报告解决方法学偏倚和人群代表性问题的分析结果。
  • 如果表格或图形中包含AI生成的文本或内容,需注明来源和许可信息。

讨论部分

  • 讨论AI相关偏倚的可能性,以及为识别和减少偏倚采取的措施。
  • 讨论AI生成内容可能不准确,以及为识别和处理此类问题采取的措施。
  • 讨论研究结果在人群中的外推性,以及为探索AI模型在弱势或代表性不足群体中的表现而进行的分析结果。

参考文献:

[1]. JAMA.2024.doi: 10.1001/jama.2024.3471.

[2]. BMJ.2020:370:m3164.doi: 10.1136/bmj.m3164.

[3]. BMJ.2020:370:m3210.doi: 10.1136/bmj.m3210.

[4]. Nat Med.2020;26(9):1320-1324.

[5]. Radiol Artif Intell.2020;2(2):e200029.

——分割线——
医咖会在2023年底也上线了SCI-AI工具(基于GPT4.0大语言模型),可应用于多种场景,例如科研问题咨询、内容撰写、信息查询等。点击左下角“阅读原文”即可免费试用,手机端和电脑端均可以体验哦!(注:未认证用户需认证后使用)

未经允许不得转载:论文排版软件 » JAMA发布详细投稿指南:如何在论文中报告AI的使用

评论 抢沙发