分析人工智能研究的特性

瑪格麗特公主癌癥中心的高級(jí)科學(xué)家，論文的第-一作者本杰明·海貝·凱恩斯博士說(shuō)：“科學(xué)的進(jìn)步取決于研究人員審查研究結(jié)果并復(fù)制主要研究結(jié)果的能力。”“但是在計(jì)算研究中，尚無(wú)法*訪(fǎng)問(wèn)AI研究的細(xì)節(jié)的普遍標(biāo)準(zhǔn)。這不利于我們的進(jìn)步。”

加拿大多倫多---科學(xué)家正在挑戰(zhàn)他們的同事，以提高人工智能(AI)研究的透明度和可重復(fù)性，以加快其發(fā)現(xiàn)對(duì)癌癥患者的影響。

在2020年10月14日發(fā)表在《自然》雜志上的一篇文章中，多倫多大學(xué)，瑪格麗特公主大學(xué)，斯坦福大學(xué)，約翰·霍普金斯大學(xué)，麻省理工學(xué)院哈佛公共衛(wèi)生學(xué)院等機(jī)構(gòu)的科學(xué)家挑戰(zhàn)科學(xué)期刊以聘用計(jì)算研究人員更高的透明度標(biāo)準(zhǔn)，并呼吁同事在出版物中共享其代碼，模型和計(jì)算環(huán)境。

在McKinney等人于2020年1月發(fā)表在著名科學(xué)雜志上的Google Health研究聲稱(chēng)人工智能(AI)系統(tǒng)在兩個(gè)方面均能勝過(guò)人類(lèi)放射科醫(yī)生后，作者對(duì)AI研究缺乏透明度和可重復(fù)性表示了擔(dān)憂(yōu)乳腺癌篩查的魯棒性和速度。這項(xiàng)研究在科學(xué)界引起了轟動(dòng)，并在公眾中引起了轟動(dòng)，頭條新聞出現(xiàn)在BBC新聞，CBC和CNBC中。

仔細(xì)檢查會(huì)引起一些擔(dān)憂(yōu)：該研究缺乏對(duì)所用方法的充分描述，包括其代碼和模型。缺乏透明度使研究人員無(wú)法確切了解該模型的工作原理以及如何將其應(yīng)用于自己的機(jī)構(gòu)。

Haibe-Kains博士解釋說(shuō)：“研究人員更有動(dòng)力發(fā)表研究發(fā)現(xiàn)，而不是花費(fèi)時(shí)間和資源來(lái)確保研究能夠被重復(fù)。”“期刊很容易受到人工智能的'炒作'的影響，并且可能降低接受論文的標(biāo)準(zhǔn)，這些論文不包括使研究可重復(fù)的所有材料，通常與他們自己的準(zhǔn)則相矛盾。”

這實(shí)際上會(huì)減慢AI模型到環(huán)境的轉(zhuǎn)換速度。研究人員無(wú)法了解模型的工作原理，無(wú)法以深思熟慮的方式復(fù)制它。在某些情況下，這可能會(huì)導(dǎo)致不必要的試驗(yàn)，因?yàn)檫m用于一組患者或一個(gè)機(jī)構(gòu)的模型可能不適用于另一組。

Haibe-Kains博士說(shuō)：“在紙面上和理論上，麥金尼等人的研究都是美麗的，但是，如果我們不能從中學(xué)到，那么它就幾乎沒(méi)有科學(xué)價(jià)值。”

Haibe-Kains博士是多倫多大學(xué)醫(yī)學(xué)生物物理學(xué)的副教授，同時(shí)也是Vector Vector Institute for AI的副教授，他說(shuō)，這只是計(jì)算研究中一種有問(wèn)題的模式的例子。