準(zhǔn)確率97%的開源肺炎檢測模型：照搬PyTorch教程、50張圖片就完了!
最近，一名澳大利亞人工智能博士候選人在LinkedIn上發(fā)表了一篇關(guān)于新型冠狀病毒病毒的研究文章。由于其話題性和聲稱的97.5%的準(zhǔn)確率，這篇文章迅速獲得了數(shù)萬條評論、點贊和轉(zhuǎn)發(fā)。但是，這樣的模型被拉出來，只用了50張圖片進行訓(xùn)練。
一周內(nèi)建立一個準(zhǔn)確率97%的模型。事實是什么？
此前，澳大利亞一名人工智能博士候選人宣布構(gòu)建了一套深度學(xué)習(xí)模型，可以從肺部x光片中以97.5%的準(zhǔn)確率檢測出患者是否感染了新冠肺炎病毒。因為國外疫情蔓延，醫(yī)療設(shè)施不足，所以人們對這個成績非常關(guān)注。短時間內(nèi)，他們收到了數(shù)萬條評論、贊和轉(zhuǎn)發(fā)。他們還創(chuàng)建了Slack工作組，獲得了很多好評。
從目前發(fā)布的消息來看，整個項目有以下特點:一套訓(xùn)練好的Python模型容器化應(yīng)用代碼和一套GitHub庫，已經(jīng)翻譯成多種語言的正在開發(fā)的Web應(yīng)用和正在開發(fā)的移動應(yīng)用規(guī)劃藍圖，在AWS中托管這種無服務(wù)器架構(gòu)的模型在營銷和贊助方面有大量的后續(xù)計劃。
而以上都是在一周內(nèi)快速完成的。隨后，Reddit用戶挑出了這個解決方案中的幾個嚴(yán)重問題，進行了整理和反駁。
只用50張圖片訓(xùn)練？
首先，這些網(wǎng)絡(luò)的潛在神經(jīng)表示非常復(fù)雜，需要使用大量的訓(xùn)練樣本來完成模型訓(xùn)練。但是截止到提交，這個新冠肺炎測試工具只看到了50個肺部圖像。
對于這樣一個超過150層，超過2000萬個參數(shù)的網(wǎng)絡(luò)來說，如此有限的訓(xùn)練樣本集顯然是可笑的。
該模型通過肺部X射線圖像來學(xué)習(xí)。
樣品有問題。
此外，樣本中可能存在巨大的數(shù)據(jù)偏差。這50張圖片并不包含相關(guān)人員是否感染病毒，只是根據(jù)新冠肺炎急性病例導(dǎo)致的肺部手術(shù)進行標(biāo)注。除非肺部已經(jīng)被病毒破壞，否則模型根本檢測不出任何感染跡象。另外，即使肺炎的癥狀已經(jīng)出現(xiàn)，如果不是急性癥狀，也無法證明這個模型的準(zhǔn)確性。重復(fù)圖像、代碼混亂和模型問題。
最后，這個COVID模型基于流行的基準(zhǔn)網(wǎng)絡(luò)ResNet-50。雖然后者確實是圖像識別和分類領(lǐng)域的常用方案，但ResNet的前期訓(xùn)練一般只覆蓋日常環(huán)境中的物體。換句話說，ResNet網(wǎng)絡(luò)中的隱層更擅長識別幾何形狀和彩色圖像，而我們在x光圖像中顯然找不到這樣的模式。正因為如此，大多數(shù)醫(yī)學(xué)神經(jīng)網(wǎng)絡(luò)只能選擇從零開始構(gòu)建。
對這個代碼庫的進一步觀察揭示了許多其他問題。訓(xùn)練、驗證和測試數(shù)據(jù)集中存在重復(fù)圖像，訓(xùn)練流程大多直接抄襲PyTorch教程，夾雜大量不必要的代碼；Hubissues也完全不可理解...
GitHub地址:https://github.com/elcronos/COVID-19項目負責(zé)人回應(yīng):我說項目不可用。
最初，當(dāng)個別開發(fā)人員與項目負責(zé)人溝通并提出問題時，對方回應(yīng)說:
你好，xxx，我們的成果得到了加拿大xxx研究所放射科醫(yī)生的支持和認可。
然而隨著越來越多的質(zhì)疑，項目負責(zé)人在GitHub中更新了介紹，說:
雖然這個項目的結(jié)果“看起來很有希望”，但我明確指出，這個模型還遠遠沒有，所以不應(yīng)該用于診斷或任何醫(yī)療決策。這是一項正在進行的工作，我們需要有相關(guān)技能的人的幫助。我也在GitHub的資源庫中指出，我正在尋找能夠改進和收集更好數(shù)據(jù)集的開發(fā)者的幫助。
…
不幸的是，這個項目引起了相關(guān)專家的注意。他們沒有注意到模型還沒有準(zhǔn)備好，需要更好的數(shù)據(jù)集并幫助創(chuàng)建更好的模型，也沒有閱讀我們所有的免責(zé)聲明。我指責(zé)這個項目有誤導(dǎo)性，甚至有人暗示我有商業(yè)意圖。這對我的個人生活造成了一些負面影響，所以我決定退一步，暫時退出社交媒體。至少接下來的幾天，我不會在這個群里活動。
完整版聲明參考:https://github.com/elcronos/COVID-19
然而，負責(zé)人仍在大力宣傳該項目，并開始籌集資金。項目負責(zé)人創(chuàng)建了一個Slack討論組，該討論組有幾個子渠道，包括一個專門用于溝通和籌款的#營銷渠道。此外，#保薦人頻道負責(zé)與潛在投資人溝通，報告其未來投資回報前景。
松弛討論組:https://app.slack.com/client/T010AJ5H31N/learning-slack
除此之外，名為#datascientists的頻道也沒有多少有用的內(nèi)容，里面全是熱情但缺乏經(jīng)驗的新手。同樣，#醫(yī)生頻道的情況也差不多。唯一有價值的內(nèi)容是來自專業(yè)醫(yī)療人員的反對意見，比如不建議使用肺部x光診斷新冠肺炎感染。最后一個子通道#研究人員幾乎是空的。
另一方面，UI/UX頻道制作的內(nèi)容相當(dāng)豐富。目前，這個程序有五個不同的徽標(biāo)，外加一組專用于移動和Web應(yīng)用程序的界面。
所以，對于這種說法，大部分開發(fā)商并不買賬。很多人認為，在目前的特殊情況下，這種問題嚴(yán)重的項目不應(yīng)該進行發(fā)布和宣傳(甚至有開發(fā)商調(diào)侃稱，宣傳的工作量是開發(fā)工作的20倍左右)。診斷中的醫(yī)學(xué)深度學(xué)習(xí)
深度卷積網(wǎng)絡(luò)在疾病的診斷和治療方面確實具有一系列潛在的優(yōu)勢。近年來，許多科學(xué)出版物都對這一新的發(fā)展方向給予了高度關(guān)注:2016年，來自倫敦的一組研究人員發(fā)表了一種新方法，基于包含8萬張眼底照片的數(shù)據(jù)集，可以以86%的準(zhǔn)確率診斷糖尿病引起的視網(wǎng)膜病變。同年，來自烏干達的研究人員通過使用10，000個對象的數(shù)據(jù)集，評估了卷積神經(jīng)網(wǎng)絡(luò)(CNN)對微觀血液涂片的分析能力。兩名日本研究人員通過包含55萬張CT掃描圖像的數(shù)據(jù)集，對肺結(jié)節(jié)進行了大規(guī)模分類操作。
然而，前面提到的新冠肺炎測試完全不同。稍微瀏覽一下其公布的代碼庫，就能看出作者對深度學(xué)習(xí)和AI技術(shù)的認知嚴(yán)重不足。更糟糕的是，很多開發(fā)者都在質(zhì)疑，他們顯然是想利用這次爆發(fā)來推廣自己。說好的代碼改變世界？
深度學(xué)習(xí)絕不是最好的解決方案。近年來，無數(shù)毫無準(zhǔn)備的企業(yè)匆忙組建數(shù)據(jù)團隊，卻發(fā)現(xiàn)成本在快速上升，卻沒有任何有意義的產(chǎn)出。
此前，李菲菲在一次采訪中提到:
泡沫確實存在。過度的夸張和炒作可以說是鋪天蓋地。作為科學(xué)家，我希望這些泡沫盡快消散。只有注重實芯的人，才能推動AI進步，帶來實實在在的收益，這一點在醫(yī)療醫(yī)療、醫(yī)藥等領(lǐng)域尤為重要。
此外，我們永遠不應(yīng)該利用技術(shù)來制造不公正、偏見或擴大現(xiàn)有的不平等。對于AI技術(shù)，希望降低其接觸門檻，增加公平性，盡可能緩解各種相關(guān)矛盾。只要處理得當(dāng)，我們完全有機會利用人工智能技術(shù)創(chuàng)造更美好的未來。當(dāng)然，前提是我們要仔細梳理現(xiàn)有的AI成果，找出哪些是捏造的，哪些是真實的。
閱讀:李菲菲最新訪談:希望AI領(lǐng)域的泡沫盡快消散，尤其是醫(yī)療部分。
時至今日，AI技術(shù)仍在開拓前進。忽略了這一點，很容易陷入炒作的泥潭。
說了這么多，任何一個理性的開發(fā)商都不會貿(mào)然進入，把自己的命運交給運氣。相反，只有先建立一支在AI/ML、DataOps、架構(gòu)、開發(fā)等領(lǐng)域有專長的團隊，才能打贏這場仗。
最后，代碼不能讓世界變得更好也沒關(guān)系，不要惹麻煩就好。
關(guān)注我，轉(zhuǎn)發(fā)這篇文章。如果你相信我“收到信息”，你可以免費獲得價值4999元的InfoQ迷你本！了解更多信息
