分析人工智能研究的特性

瑪格麗特公主癌癥中心的高級科學(xué)家，論文的第-一作者本杰明·海貝·凱恩斯博士說：“科學(xué)的進(jìn)步取決于研究人員審查研究結(jié)果并復(fù)制主要研究結(jié)果的能力。”“但是在計算研究中，尚無法*訪問AI研究的細(xì)節(jié)的普遍標(biāo)準(zhǔn)。這不利于我們的進(jìn)步。”

加拿大多倫多---科學(xué)家正在挑戰(zhàn)他們的同事，以提高人工智能(AI)研究的透明度和可重復(fù)性，以加快其發(fā)現(xiàn)對癌癥患者的影響。

在2020年10月14日發(fā)表在《自然》雜志上的一篇文章中，多倫多大學(xué)，瑪格麗特公主大學(xué)，斯坦福大學(xué)，約翰·霍普金斯大學(xué)，麻省理工學(xué)院哈佛公共衛(wèi)生學(xué)院等機(jī)構(gòu)的科學(xué)家挑戰(zhàn)科學(xué)期刊以聘用計算研究人員更高的透明度標(biāo)準(zhǔn)，并呼吁同事在出版物中共享其代碼，模型和計算環(huán)境。

在McKinney等人于2020年1月發(fā)表在著名科學(xué)雜志上的Google Health研究聲稱人工智能(AI)系統(tǒng)在兩個方面均能勝過人類放射科醫(yī)生后，作者對AI研究缺乏透明度和可重復(fù)性表示了擔(dān)憂乳腺癌篩查的魯棒性和速度。這項研究在科學(xué)界引起了轟動，并在公眾中引起了轟動，頭條新聞出現(xiàn)在BBC新聞，CBC和CNBC中。

仔細(xì)檢查會引起一些擔(dān)憂：該研究缺乏對所用方法的充分描述，包括其代碼和模型。缺乏透明度使研究人員無法確切了解該模型的工作原理以及如何將其應(yīng)用于自己的機(jī)構(gòu)。

Haibe-Kains博士解釋說：“研究人員更有動力發(fā)表研究發(fā)現(xiàn)，而不是花費時間和資源來確保研究能夠被重復(fù)。”“期刊很容易受到人工智能的'炒作'的影響，并且可能降低接受論文的標(biāo)準(zhǔn)，這些論文不包括使研究可重復(fù)的所有材料，通常與他們自己的準(zhǔn)則相矛盾。”

這實際上會減慢AI模型到環(huán)境的轉(zhuǎn)換速度。研究人員無法了解模型的工作原理，無法以深思熟慮的方式復(fù)制它。在某些情況下，這可能會導(dǎo)致不必要的試驗，因為適用于一組患者或一個機(jī)構(gòu)的模型可能不適用于另一組。

Haibe-Kains博士說：“在紙面上和理論上，麥金尼等人的研究都是美麗的，但是，如果我們不能從中學(xué)到，那么它就幾乎沒有科學(xué)價值。”

Haibe-Kains博士是多倫多大學(xué)醫(yī)學(xué)生物物理學(xué)的副教授，同時也是Vector Vector Institute for AI的副教授，他說，這只是計算研究中一種有問題的模式的例子。