|
2023年3月，《J Med Internet Res》（IF=7.4）在線發(fā)表了一項(xiàng)關(guān)于ChatGPT的文章。研究者利用ChatGPT生成了一篇完整的神經(jīng)外科論文，在用詞、句子表述、論文結(jié)構(gòu)方面都與真正的醫(yī)學(xué)論文非常相似，包含1992個(gè)詞和17篇參考文獻(xiàn)，整個(gè)文章創(chuàng)建過(guò)程大約花了1個(gè)小時(shí)。不過(guò)，參考文獻(xiàn)還是有很多問題。 
全文鏈接：https://www./2023/1/e46924/ 引導(dǎo)ChatGPT生成一篇醫(yī)學(xué)論文研究者選擇PLOS Medicine作為這篇文章的目標(biāo)期刊。研究者通過(guò)提出以下問題啟動(dòng)了該過(guò)程：“Suggest relevant RCT in field of neurosurgery that is suitable for
aim and scope of PLOS Medicine and would have high chance of acceptance.”注：請(qǐng)建議一個(gè)神經(jīng)外科領(lǐng)域的RCT，該RCT要符合PLOS
Medicine的投稿范圍，并且被接收的可能性很高。ChatGPT回復(fù)如下，給出一個(gè)標(biāo)題：One relevant randomized controlled trial (RCT) in the field
of neurosurgery that may be suitable for the aim and scope of PLOS Medicine and
has a high chance of acceptance is:Title: “Effectiveness of deep brain stimulation for
treatment-resistant depression: a randomized controlled trial”接著，研究者要求ChatGPT逐一撰寫文章的每個(gè)部分，包括摘要、引言、方法、結(jié)果和討論，并要求有合適的參考文獻(xiàn)引用。此外，研究者還要求 ChatGPT 基于結(jié)果生成表格以及一張圖。ChatGPT還不具備圖形設(shè)計(jì)能力，因此它提供了一個(gè)數(shù)據(jù)表，研究者無(wú)需對(duì)數(shù)據(jù)進(jìn)行任何更改，在Excel中生成圖即可。 在交流中，研究者不斷改進(jìn)問題和提示，以提高輸出質(zhì)量，整篇文章的生成過(guò)程不超過(guò)1小時(shí)。 研究者整個(gè)過(guò)程中發(fā)送的問題和提示如下： 1. Suggest
relevant RCT in field of neurosurgery that is suitable for aim and scope of
PLOS Medicine and would have high chance of acceptance.（建議一個(gè)神經(jīng)外科領(lǐng)域的RCT，該RCT要符合PLOS Medicine的投稿范圍，并且被接收的可能性很高） - 2. Now
give me abstract according to open access articles on PLOS Medicine.（根據(jù) PLOS Medicine 期刊上的開放獲取文章格式撰寫摘要）
- 3. Now
I want you to make whole article step by step. One section after another
section. Give me only introduction section. Use citations by standards of PLOS
Medicine. Give me reference list at the end.（請(qǐng)逐步撰寫整篇論文，一個(gè)部分完成后再繼續(xù)下一個(gè)部分?，F(xiàn)在先撰寫引言部分，按照PLOS
Medicine的要求引用參考文獻(xiàn)，在文章最后要列出參考文獻(xiàn)）
- 4. I
want you to be more specific. Use scientific language.（內(nèi)容要更詳細(xì)，使用學(xué)術(shù)語(yǔ)言）
- 5. Now
give me materials and methods section.（現(xiàn)在撰寫材料和方法部分）
- 6. Now
give me detailed results section including patient data.（現(xiàn)在撰寫詳細(xì)的結(jié)果，包括患者數(shù)據(jù)）
- 7. Now
I need discussion. compare the results with published articles. Make in-text
citations (numbers in square brackets) and give citation list at the end. Start
numbering of citations from “9”.（現(xiàn)在撰寫討論部分。將結(jié)果與既往已發(fā)表的文章進(jìn)行比較。在文本中引用參考文獻(xiàn)，并在文章最后列出參考文獻(xiàn)。引用從“9”開始編號(hào)）
- 8. I
need the discussion to be longer - at least twice. Compare our study with
similar previous studies. Add more citations. Start numbering of citations from
“9”.（討論部分的內(nèi)容要更多一些，至少是現(xiàn)在的兩倍。將這篇研究與之前的類似研究進(jìn)行比較。引用更多參考文獻(xiàn)，從“9”開始編號(hào)）
- 9. Give
me all nine references.（列出9篇參考文獻(xiàn)的信息）
- 10. PLOS Medicine want to provide
“Author summary”. It should be bullet Why was this study done?（PLOS Medicine 要求提供“Author summary”，簡(jiǎn)要說(shuō)明為什么要進(jìn)行這項(xiàng)研究）
- 11. Give me another two bullets
on: What did the researchers do and find?（再給出兩個(gè)要點(diǎn)：研究人員做了什么，以及發(fā)現(xiàn)了什么）
- 12. I give you result section of
an article and you suggest tables to go with it?（發(fā)給你一篇文章的結(jié)果部分，你能給出與之相似的表格嗎？）
- 13. Can you create some charts?
Can you provide datasheet for creating charts?（你能創(chuàng)建一些圖表嗎？您能提供用于創(chuàng)建圖表的數(shù)據(jù)嗎？）
盡管與ChatGPT交流的作者是一名神經(jīng)外科醫(yī)生，但在文章創(chuàng)作過(guò)程中并沒有提出專業(yè)相關(guān)的建議。僅給出了一般性提示，例如“make this section longer（讓該部分更長(zhǎng)）”或“provide a paragraph on statistics（提供有關(guān)統(tǒng)計(jì)的一段話）”。文章生成后，研究者會(huì)審查準(zhǔn)確性和連貫性，并與該領(lǐng)域的現(xiàn)有文章做對(duì)比，同時(shí)邀請(qǐng)一名精神科專家和一名統(tǒng)計(jì)學(xué)家進(jìn)行審查。研究者又讓ChatGPT來(lái)審查這篇自己生成的文章。給出的提示如下：1. Can you create a review of a
scientific article as if you were a reviewer? I want you to mention strengths,
weaknesses of the article. Then I want you to suggest, what should be improved.
Provide examples.（你能像審稿人一樣對(duì)一篇論文進(jìn)行評(píng)審嗎？希望你能說(shuō)明該論文的優(yōu)點(diǎn)和缺點(diǎn)，然后給出建議應(yīng)該改進(jìn)哪些地方，并給出例子）2. I want you to mention strengths,
weaknesses of the article.（請(qǐng)指出文章的優(yōu)點(diǎn)和缺點(diǎn)）3. I want you to suggest, what should be
improved in manuscript. Study design can not be changed, suggest what
information should be added or clarified.（請(qǐng)建議論文中有哪些地方應(yīng)該改進(jìn)。研究設(shè)計(jì)不能改，建議應(yīng)該增加或澄清哪些信息）ChatGPT生成了一篇神經(jīng)外科論文，包含摘要、引言、材料和方法、結(jié)果、討論，也有圖表和圖。一共有1992個(gè)單詞，17篇參考文獻(xiàn)。引文格式與PLOS Medicine的要求相符。文章撰寫過(guò)程大約需要一個(gè)小時(shí)。對(duì)全文感興趣的，可以查閱補(bǔ)充材料：https://www./2023/1/e46924/#app1神經(jīng)外科專家對(duì)文章的評(píng)價(jià)總體來(lái)說(shuō)，ChatGPT生成的文章，看起來(lái)真實(shí)性很高，但也發(fā)現(xiàn)了一些問題和明顯的錯(cuò)誤。最明顯的不足是該文章比類似文章要短，并且引用的參考文獻(xiàn)數(shù)量更少。ChatGPT 在理解信息片段之間的上下文聯(lián)系方面，比早期的自然語(yǔ)言處理 (NLP) 模型有了顯著改進(jìn)。第二個(gè)明顯的問題是缺乏注冊(cè)信息以及倫理審批號(hào)。還有一個(gè)局限性是，當(dāng)前版本的ChatGPT未使用 2021 年 9 月之后的數(shù)據(jù)進(jìn)行過(guò)訓(xùn)練，因此無(wú)法提供該日期之后的信息（例如，引用最新的文獻(xiàn)）。在審查引文和參考文獻(xiàn)列表時(shí)，研究者發(fā)現(xiàn)了重大錯(cuò)誤。9篇參考文獻(xiàn)在相關(guān)性和格式方面是正確的，但另外8篇文獻(xiàn)有明顯錯(cuò)誤，包括文獻(xiàn)不存在、DOI號(hào)錯(cuò)誤、內(nèi)容不相關(guān)等問題。研究方法中統(tǒng)計(jì)分析的描述相當(dāng)簡(jiǎn)短，但表述很清晰，而且符合標(biāo)準(zhǔn)表述的大部分要求。樣本量進(jìn)行過(guò)估算，所提出的統(tǒng)計(jì)檢驗(yàn)也都與研究目的、變量類型相符（即計(jì)數(shù)資料用卡方檢驗(yàn)，連續(xù)變量用t檢驗(yàn)）。統(tǒng)計(jì)結(jié)果在文本和表格中均清晰簡(jiǎn)潔地呈現(xiàn)。然而，表2數(shù)據(jù)和文章正文不一致，未包含置信區(qū)間，顯示的均值與正文描述的均值也不同。AI 生成的評(píng)審意見給出了相當(dāng)準(zhǔn)確的評(píng)論，指出了文章的優(yōu)點(diǎn)和缺點(diǎn)，并建議了可以完善的地方，有些意見具有普適性，例如單中心研究設(shè)計(jì)和隨訪時(shí)間較短，評(píng)審意見中沒有出現(xiàn)實(shí)質(zhì)性錯(cuò)誤。一個(gè)AI檢測(cè)工具指出這篇文章是ChatGPT生成的概率為72%，即“很有可能是AI生成的”。OpenAI的AI識(shí)別工具認(rèn)為“可能是AI生成的”。盡管當(dāng)前的AI語(yǔ)言模型能夠生成復(fù)雜且看似完美的論文，但讀者在仔細(xì)檢查后仍會(huì)發(fā)現(xiàn)語(yǔ)義不準(zhǔn)確和錯(cuò)誤，特別是參考文獻(xiàn)有很大問題。隨著AI功能的不斷完善，為AI用于學(xué)術(shù)寫作和研究制定準(zhǔn)則將變得越來(lái)越重要，包括如何驗(yàn)證內(nèi)容的準(zhǔn)確性和真實(shí)性，檢測(cè)和防止欺詐和不當(dāng)行為。然而，也要認(rèn)識(shí)到在學(xué)術(shù)寫作和研究中使用AI語(yǔ)言模型的潛在好處，例如提高文檔創(chuàng)建、分析結(jié)果和語(yǔ)言編輯的效率和準(zhǔn)確性。參考文獻(xiàn)：J Med Internet Res. 2023;25:e46924
|
