人气爆棚的chatGPT,其医学水平怎么样?
2023/2/4 17:20:29 医学资料库

    

     最近,一款基于人工智能的聊天工具chatGPT可以说是人气爆棚,推出2个月,用户数量就突破了1亿!成为历史上增长最快的消费应用。

    

     成了精的chatGPT

     由于chatGPT在聊天和文本生成方面的神奇表现,于是产生了各种花式玩法,除了各种调戏,也有不少正经用途,有写小说的,有写代码的,还有更牛的,写论文没头绪,竟然让chatGPT帮忙写了个论文大纲,这质量,稍微修改一下就能用的那种,妥妥的效率神器!

     被调戏

    

    写小说

    

    写代码

    

    写论文提纲

     在专业知识领域,chatGPT也有不错的表现,明尼苏达大学法学院的 Jon Choi 教授和宾夕法尼亚大学沃顿商学院的 Christian Terwiesch 教授分别让 ChatGPT“做”了次自己课程的期末试题。结果 ChatGPT 还真都通过了!chatGPT的医学水平怎么样在医学领域,chatGPT也有不俗的表现,韩国的Sun Huh考察了chatGPT在医学寄生虫学期末考试中的表现。

    结果显示,chatGPT做对了全部79道题中的48道,准确率60.7%,其中记忆性题目的准确率为53.1%,解释性题目准确率62.5%,解决问题型题目准确率73.3%(见下表)。

    

    另一项研究测试了chatGPT在美国医学执照考试USMLE(相当于咱们的执业医考试)中的表现。

    USMLE考试分三个阶段,第一阶段(1)通常由完成两年学习的医学生参加;第二阶段(2CK)是四年级的医学生,他们完成了长达两年的临床轮换;第三步(3)由研究生完成。

    结果显示,chatGPT 在没有任何医学内容优化的情况下,在第二、第三阶段的考试中都已达到或接近通过门槛。在应对考试中,很多人都发现,chatGPT除了给出答案,还很喜欢给出推理过程,但是,有时候推理明显是错误的,结论却是对的,相当于一通胡说八道之后,却推导出了一个正确的答案!

    

    除了考试,chatGPT写医学类的论文的能力也可圈可点,在一项研究中,研究人员收集了50篇高分论文的摘要,让chatGPT看后,要求写类似风格的摘要。chatGPT是用2021年以前的内容训练出来的,为了防止chatGPT看过这些文章的正文,这50篇摘要都是2022年11-12月份的最新文献,确保实验无任何作弊情况。

    然后研究人员找资深审稿人辨别原哪些是原稿,哪些是chatGPT生成的。结果在50篇原稿中,有7篇被审稿人标记为人工智能生成,说明审稿人对生成文稿保有高度的警惕。在chatGPT生成的50篇摘要中,有34篇被识别出来,16篇则被误认为是人工撰写。这些审稿人表示,chatGPT生成的摘要确实很难辨别,但生成的摘要中,有些内容表述含糊不清,或者有明显套路化的句式,可以识别出来。

    

    可以看出,chatGPT并不完美,但是作为通用人工智能模型,有这样的成绩已经相当惊艳了,如果后续针对专业领域的知识进行优化,那它能进化到什么程度,不敢想象。

     如此巨大的应用前景,难怪首富们都扎堆儿入坑,chatGPT的研发公司openAI,当今首富马斯克是创始人之一,微软是其投资金主,前首富比尔·盖茨评价ChatGPT称,这种人工智能技术出现的重大历史意义,不亚于互联网和个人电脑的诞生。看来,未来真的已经来了。

     [参考文献]https://pubmed.ncbi.nlm.nih.gov/36627845/https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1https://www.biorxiv.org/content/10.1101/2022.12.23.521610v1.full

     医学搜答案神器!免费,无限制!医学生都在用!

    源网页  http://weixin.100md.com
返回 医学资料库 返回首页 返回百拇医药