顶级医生抨击Google未能支持有关发现超人类癌症的AI的惊人说法
发布时间：2020-10-18 09:29:56发布人：root
杰出的医生公开批评了Google和其他公司对AI研究的重大主张，然后没有共享源代码和模型来让其他人复制和验证实验。
一月份，由Google Brain的斯科特·梅耶·麦金尼（Scott Mayer McKinney）领导的团队在《自然》杂志上发表了一篇文章，称其人工智能在乳房X光检查中发现乳腺癌的能力优于人类医生。主流媒体广泛报道了这些说法。现在，顶级医生在本周发表在《自然》杂志上的一篇文章中抱怨说，谷歌员工们没有用可用的证据来支持他们的主张。
加拿大的玛格丽特公主癌症中心资深科学家，该论文的第一作者本杰明·海贝·凯恩斯博士说： “从理论上讲，麦金尼等人的研究是美丽的。” “但是，如果我们不能从中学到东西，那么它就几乎没有科学价值。”
Haibe-Kains告诉The Register： “如果没有计算机代码和合适的模型，将很难以他们的工作为基础。”
“复制他们的模型不是不可能的，但是要花费数月的时间，甚至不能保证新生成的模型甚至可以接近他们的模型，甚至可以访问他们用于训练的所有数据。Devil就是细节。”
没有计算机代码和拟合模型，将很难基于他们的工作
例如，本文不包含有关系统超参数和训练管道的信息。Haibe-Kains说，研究人员应该发布相关的源代码，以便可以更轻松地验证和测试声明。这样做是一门好科学。
除海贝·凯恩斯外，来自多伦多大学，斯坦福大学医学院，麻省理工学院，布里格姆妇女医院以及致力于可复制科学的团体质量分析质量控制协会等顶级机构的22位专家也发表了自己的看法。文章的名称。Haibe-Kains和他的同事说，Google的“文献不充分的研究发表不符合科学发现的核心要求。”
“仅深度学习模型的文本描述可以掩盖其高度复杂性。计算机代码中的细微差别可能会对结果的训练和评估产生明显的影响，从而可能导致意想不到的后果。因此，用于训练模型并得出其最终参数集的实际计算机代码形式的透明度对于研究可重复性至关重要。
他们建议，发布源代码并不难，例如将其发布在GitHub，GitLab或Bitbucket等网站上。现在还有一个选项卡，可用于将预打印服务arXiv上的论文及其相关的源代码。
的确，尽管存在诸如Docker，Code Ocean，Gigantum和Colaboratory之类的软件可以简化该过程，但在实际系统上部署模型确实比较棘手。
Google发言人告诉The Register： “重要的是声明这是早期研究。” 由于该项目的医疗性质，该网络巨头似乎不希望其源代码在经过QA流程之前就发布：“我们打算在将其软件用于临床环境之前对其软件进行广泛的测试，与病人，提供者和监管者一道，以确保疗效和安全性。”
不只是互联网巨头
Haibe-Kains表示，代扣代码问题并非Google独有。各种团队撰写的许多有关AI使用的科学论文都缺乏重新创建实验的材料。他说：“研究人员更有动力发表研究结果，而不是花费时间和资源来确保他们的研究能够被重复。”
“期刊很容易受到AI的“炒作”的影响，可能会降低接受论文的标准，这些论文不包含使研究可重复的所有材料，这常常与他们自己的指导方针相抵触。
在研究过程中保留重要的细节（例如用于创建机器学习软件的源代码）不利于科学进步，并阻止了算法在临床环境中在现实世界中进行测试。
麦金尼团队在《自然》杂志上发表的一篇博士文章中礼貌地回击，感谢专家们的“周到贡献”。
他们写道：“我们同意透明性和可再现性对于科学进步至关重要。” “我们同意透明性和可再现性对于科学进步至关重要。按照这一原则，我们的出版物中使用的最大数据源可供学术界使用。”
但是他们不会将代码发布到他们的算法中，并声称该模型中的大多数组件已经向公众开放，其中许多组件是由Google自己发布的。还有其他问题。
谷歌员工表示：“由于医疗领域中与人工智能有关的责任问题仍未解决，提供对此类技术的无限制访问可能会使患者，提供者和开发人员面临风险。” “此外，有影响力的医疗技术的发展必须保持可持续发展的势头，以促进支持未来创新的充满活力的生态系统。在这方面考虑与硬件医疗设备和药品平行可能是有用的。”
由于围绕医疗保健中人工智能的责任问题仍未解决，因此提供对此类技术的无限制访问可能会使患者，提供者和开发人员面临风险
Haibe-Kains告诉El Reg，尽管有许多恳求，但Google决定不发布该代码并不感到惊讶：“他们在原始研究的出版物中获得了一次机会，而第二次在我们的文章中获得了机会。他们没有抓住这些机会，因此很明显，他们不想共享自己的计算机代码。”
Google出于商业原因可能会保留该代码。通过保持自己的实力，这家广告巨人在推动临床试验和开发可出售给医疗保健提供商的产品方面具有优势。
Haibe-Kain告诉我们：“这没有错，但这与科学本身无关，因为没有产生和共享Google以外的新知识来推进整个研究。” “有一种更黑暗的可能性，我更不想相信：它不希望任何人仔细检查其代码，因为它担心其模型不稳定，或者担心可能存在隐藏的偏见或混淆因素，从而使模型的预测无效。
“这不会是以后的分析第一次揭示这种局限性或错误，这正是我们科学家应该始终保持透明的原因。”
相关评论 (0条)
暂无任何评论，欢迎您点评！