0
本文作者: 劉海濤 | 2021-09-30 11:18 |
現(xiàn)今的幾家醫(yī)療AI企業(yè)能夠走到頭部,或多或少都和拿下三類證有點關(guān)系。
過去,認(rèn)證曾是這個市場發(fā)展的最大阻礙之一,給眾多廠商的業(yè)務(wù)和布局都踩下了剎車鍵;
而今,曾經(jīng)全力攻關(guān)審評審批的幾家人工智能企業(yè),三類證也已經(jīng)成為他們商業(yè)化發(fā)展,乃至上市背后最堅實的基石和后盾。
拿證過程中,他們都曾經(jīng)歷怎樣碰壁摸索和努力?
近期,雷鋒網(wǎng)《醫(yī)健AI掘金志》邀請到科亞醫(yī)療、Airdoc、聯(lián)影智能、匯醫(yī)慧影、致遠(yuǎn)慧圖等醫(yī)療AI企業(yè),一同分享三類證背后的審批經(jīng)驗、創(chuàng)業(yè)多年的戰(zhàn)略得失,以及各自的未來商業(yè)化探索。
致遠(yuǎn)慧圖CTO丁大勇,以《基于臨床應(yīng)用的糖網(wǎng)AI研發(fā)與拿證》為題,進(jìn)行了演講。
丁大勇表示:醫(yī)療AI產(chǎn)品的認(rèn)證,固然有很多艱辛和曲折,但體會最深的主要有三個方面:首先功能設(shè)計針對臨床問題;其次,數(shù)據(jù)采集要反映臨床實際;最后,模型性能需要接受臨床檢驗,也就是專家和教授常談的“醫(yī)工結(jié)合”。
以產(chǎn)品功能設(shè)計為例,從技術(shù)角度出發(fā),當(dāng)AI給出 “轉(zhuǎn)診”與“不轉(zhuǎn)診”建議時,糖網(wǎng)篩查功能開發(fā)就已經(jīng)完成80%。
但在實際臨床中,轉(zhuǎn)診建議是有緊迫與不緊迫的區(qū)分:但臨床對患者轉(zhuǎn)診建議是有緊迫與不緊迫的區(qū)分:輕度不需要轉(zhuǎn)診;中度需要在一個月或者兩個月之內(nèi)轉(zhuǎn)診,具體由眼科醫(yī)生來確認(rèn);重度要兩周之內(nèi)就要完成轉(zhuǎn)診,否則它的進(jìn)展對視力的損傷風(fēng)險會比較大;
如果是第四期就要立即轉(zhuǎn)診,英國篩查要求中就要求48個小時之內(nèi)去看眼科大夫,并且確定后續(xù)的處置方案。
在產(chǎn)品功能設(shè)計的時候,就需要把這一點考慮進(jìn)來。同時,因為需要收集標(biāo)注數(shù)據(jù),醫(yī)生閱片就必須提前考慮疾病嚴(yán)重程度,這種思考使得后續(xù)轉(zhuǎn)診還是不轉(zhuǎn)診更加一致。
第二,產(chǎn)品功能是閱片關(guān)注區(qū)域的提示,現(xiàn)在診斷必須由醫(yī)生來完成,不能只用輔助診斷。
醫(yī)生只是判斷是否采納輔助診斷建議,我們就要給出充足的建議理由。眼科醫(yī)生看眼底片是非常細(xì)致的,我們不提示,他會花更多時間細(xì)節(jié),一定找到新生血管或增殖膜位置。
如果產(chǎn)品能夠一下指出來,就可以節(jié)省醫(yī)生搜索圖像尋找病灶區(qū)域的時間。
臨床試驗數(shù)據(jù)分析表明,產(chǎn)品提示區(qū)域中的病灶,對金標(biāo)準(zhǔn)診斷結(jié)果的解釋水平超過90%。
這樣在臨床和認(rèn)證質(zhì)量安全角度,就需要將這一點考慮進(jìn)來,首先在收集標(biāo)注數(shù)據(jù)階段,就要提前明確出疾病嚴(yán)重程度,并準(zhǔn)確標(biāo)注出來,之后在認(rèn)證過程中也必須有明確證明過程,使得說明和功能更加一致。
以下是演講的全部內(nèi)容,《醫(yī)健AI掘金志》做了不改變原意的整理和編輯:
各位朋友,大家晚上好。我是致遠(yuǎn)慧圖 CTO丁大勇,非常高興跟大家交流我們在人工智能醫(yī)療器械方面的研發(fā)與注冊經(jīng)歷。
我將報告我們糖網(wǎng)AI(糖尿病視網(wǎng)膜病變的輔助診斷)的研發(fā)和注冊過程,給大家?guī)硭夭暮退伎?,同時也希望各位專家前輩同仁能夠提供一些指導(dǎo),把人工智能醫(yī)療領(lǐng)域做好。
首先介紹一下公司,致遠(yuǎn)慧圖成立于2016年,擁有醫(yī)療影像人工智能實驗室,在計算機視覺處理、人工智能、圖像標(biāo)注和大數(shù)據(jù)計算等領(lǐng)域有深厚的積累和行業(yè)經(jīng)驗,最初的創(chuàng)始人有孫宇輝,我和李錫榮等。
目前,致遠(yuǎn)慧圖的糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件(EyeWisdom?DSS)與多病種眼底影像輔助診斷軟件(EyeWisdom?MCS)已先后獲得歐盟CE認(rèn)證。糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件已經(jīng)獲批國家藥監(jiān)局醫(yī)療器械三類證。多病種眼底影像輔助診斷軟件是全國首個獲國家藥監(jiān)局第三類《創(chuàng)新醫(yī)療器械特別審查程序》審批的同類產(chǎn)品。
我是清華大學(xué)計算機系博士畢業(yè),師從國內(nèi)人工智能領(lǐng)域第一位中國科學(xué)院院士張鈸教授,畢業(yè)后在人工智能和計算機視覺領(lǐng)域工作近10年。其中,2007年到2013年任英特爾中國研究中心資深研究員,從事機器學(xué)習(xí),計算機視覺相關(guān)的研究工作,參與多媒體檢索、人臉識別、AR導(dǎo)航、以及手勢交互等多個項目的研發(fā)。
宇輝跟我以前是Intel的同事,在sales marketing group(業(yè)務(wù)暨營銷事業(yè)群)工作過十多年。
在出來創(chuàng)業(yè)前幾年,他曾領(lǐng)導(dǎo)一個涉及醫(yī)學(xué)影像的全球創(chuàng)新項目,涉及超聲設(shè)備小型化,當(dāng)時Intel非常關(guān)注這種移動計算、嵌入式計算的應(yīng)用。
宇輝也看到醫(yī)療設(shè)備小型化趨勢,小型化醫(yī)療設(shè)備可以在救護(hù)車等場景使用,但急救現(xiàn)場的醫(yī)護(hù)或急救員有能力操作,但不一定能讀懂影像,這就是AI體現(xiàn)價值的地方。
而李錫榮教授曾與我在清華智能技術(shù)與系統(tǒng)國家重點實驗室跟隨張鈸院士一起學(xué)習(xí)人工智能技術(shù)。
我博士畢業(yè)之后就加入了Intel,錫榮老師則是到荷蘭阿姆斯特丹大學(xué)繼續(xù)深造,后來回國。
當(dāng)我和宇輝打算創(chuàng)業(yè)時,拜訪了錫榮,他也非常支持,并加入了我們,現(xiàn)在致遠(yuǎn)慧圖已經(jīng)有七十多人的算法和硬件工程師團(tuán)隊。
核心技術(shù)領(lǐng)域包括計算機視覺、人工智能、圖像處理、大數(shù)據(jù)計算等等,提供疾病篩查診斷治療方面的人工智能和智能硬件集合的解決方案。
首先我來介紹一下糖網(wǎng)AI的背景。糖網(wǎng)主要是做糖尿病視網(wǎng)膜病變的篩查。糖尿病視網(wǎng)膜病變是工作年齡人群的首要致盲因素,我國糖尿病患者現(xiàn)在已經(jīng)接近1.3億或者1.4億了。糖尿病視網(wǎng)膜病變在我國糖尿病患者中的發(fā)生率接近三分之一,在歐美略低一點,大概是在20%~25%。對糖尿病視網(wǎng)膜病變篩查做得最好的是英國。
糖尿病視網(wǎng)膜病變隨嚴(yán)重程度分為四個等級,按照診療標(biāo)準(zhǔn),二級及以上都需要轉(zhuǎn)診到眼科進(jìn)一步檢查和處理。
我們現(xiàn)在看到的4張病例圖都眼底照片,用一種專用的相機、通過人的瞳孔拍攝眼球底部,也就是視網(wǎng)膜上面的情況。
視網(wǎng)膜底部亮亮的圓盤叫視盤,視盤中間生長延伸出血管,一起延伸出來的這種白色的很薄的一層是神經(jīng)纖維。所以,視盤是這給視網(wǎng)膜提供營養(yǎng)的一個關(guān)鍵結(jié)構(gòu),同時也是將光信號轉(zhuǎn)換成了神經(jīng)沖動之后沿神經(jīng)纖維傳出眼球進(jìn)入大腦的一個關(guān)鍵結(jié)構(gòu)。
糖尿病患者在長時間內(nèi)環(huán)境紊亂的條件下,全身的微血管(直徑50μm以下的)會產(chǎn)生一些病變,病變會對需氧量高的那些組織首先產(chǎn)生危害,那么人全身需氧量最高的組織單位是哪個?
大家可能以為是大腦皮層,實際上不是,是視網(wǎng)膜。微血管異常的時候,首先會在視網(wǎng)膜上引起缺氧反應(yīng),刺激組織的代償性變化,最終產(chǎn)生新生血管,就是最右邊那那一例的情況,糖尿病視網(wǎng)膜病變達(dá)到第4期,視網(wǎng)膜長出一些異常的血管。
異常血管非常脆弱,破裂的時候會有很多不好的影響,淺層次看就是玻璃體混濁,從更深層的機理看,出血造成血液中的一些物質(zhì)會侵入并毒害視網(wǎng)膜組織。腦血屏障保證了血液當(dāng)中的一些有害的物質(zhì),不會進(jìn)入腦組織,那么視網(wǎng)膜和血液之間也有屏障,當(dāng)新生血管破裂的話,血液當(dāng)中的有害有毒的物質(zhì)會對視網(wǎng)膜產(chǎn)生不良影響,使人視力急劇損失且不可逆。
大家可以看到從左到右,四種嚴(yán)重程度逐步增加。但是對于糖尿病患者來講,他感受的癥狀不是一個線性增長的過程。在前三期如果沒有出現(xiàn)這種黃斑水腫的話,前三期患者主觀是感受不到視力上的變化的。當(dāng)患者感受到自己視力已經(jīng)下降,一般就已經(jīng)進(jìn)展到了第四期。到這時,視力上已經(jīng)損失的部分是無法恢復(fù)的,治療只能延緩病情的進(jìn)一步惡化。
這就是為什么糖尿病視網(wǎng)膜病變一定要進(jìn)行篩查,而且要通過早期的篩查觀察它的進(jìn)展,來采用眼部乃至全身的一些控制方法來延緩它的進(jìn)展。
(二)糖網(wǎng)AI篩查的臨床場景
我們的臨床場景主要是體檢、內(nèi)分泌科(糖尿病科),還有基層眼科。所以我們產(chǎn)品主要考慮三個關(guān)鍵功能:
第一,按照國際分級嚴(yán)重程度判斷;
第二,根據(jù)影像提示醫(yī)生要關(guān)注哪些地方進(jìn)行核對檢驗;
第三,圖像質(zhì)量的自動評估。
左邊是產(chǎn)品界面,在2021年6月獲得藥監(jiān)局審批。
(三)產(chǎn)品注冊過程
我不是這方面專家,只是經(jīng)歷講講自己的理解。注冊審批最核心邏輯是要用各種方式證明產(chǎn)品具有安全性和有效性。
第一,產(chǎn)品要定型,也就是研發(fā)完成,要完全確定產(chǎn)品“用于什么場景,解決什么問題,能達(dá)到什么效果?!?/p>
第二,創(chuàng)新申報。藥監(jiān)局對新品類醫(yī)療器械設(shè)置了“創(chuàng)新醫(yī)療器械”的綠色審查通道。
進(jìn)入審查通道也需要申請和審查,一般是被認(rèn)定技術(shù)上有創(chuàng)新性,同時又有比較重要臨床意義產(chǎn)品,才有資格進(jìn)入創(chuàng)新審查通道。
通過創(chuàng)新通道,藥監(jiān)局給予我們生產(chǎn)廠商更多交流機會,也會在審查注冊過程中給一些優(yōu)先權(quán),以促進(jìn)技術(shù)創(chuàng)新。
第三,注冊檢驗,按照產(chǎn)品說明書檢驗產(chǎn)品是不是做到說明書中所說的要點。
第四,臨床試驗環(huán)節(jié),注冊的確認(rèn)環(huán)節(jié),確認(rèn)和驗證的區(qū)別在于,驗證是 Whether we do the thing right,是檢驗設(shè)計結(jié)果是否被正確實現(xiàn);
而確認(rèn)是whether we are doing the right thing,是用戶是否認(rèn)為這個產(chǎn)品解決了問題。
所以,臨床試驗是非常重要的環(huán)節(jié),臨床試驗設(shè)計的最核心目標(biāo),是在安全性、有效性兩方面提供最嚴(yán)格證據(jù)。
以上內(nèi)容都完成之后就可以提交注冊材料,進(jìn)入申報過程。
醫(yī)療器械注冊申報流程是有比較詳細(xì)的法規(guī)和規(guī)定的,建議大家在細(xì)節(jié)上注意每一個環(huán)節(jié)的要求、周期等,提升效率,減少等待時間,也降低風(fēng)險。
下面報告產(chǎn)品注冊時間線,大家可能覺得這是一個漫長時間,特別是對于初創(chuàng)公司來看,其他行業(yè)都認(rèn)為這件事情是難以想象的。
我們也是經(jīng)歷之后才知道,注冊過程有很多法規(guī)規(guī)范,現(xiàn)在也非常理解藥監(jiān)部門,是讓技術(shù)能夠安全給全社會帶來福利,這都是非常必要的。
后面講一下拿證環(huán)節(jié)中遇到的一些情況,分享一些心路歷程,主要從三個方面講講感觸:
第一,見證了人工智能醫(yī)療器械審查制度從無到有的建立過程,這可能說的不太準(zhǔn)確;
第二,從生產(chǎn)者角度出發(fā),在設(shè)計產(chǎn)品、規(guī)劃注冊過程中緊扣臨床,能夠取得更好效果;
第三,在法規(guī)約束下,我們來做創(chuàng)新,需要兢兢業(yè)業(yè)態(tài)度。
我們的產(chǎn)品送檢非常早,2017年年底就已經(jīng)討論規(guī)劃注冊過程。
2018年1月,中檢院嘗試構(gòu)建了眼底圖像數(shù)據(jù)庫,探討在檢驗環(huán)節(jié)中測試產(chǎn)品性能。其中中檢院對圖像質(zhì)量,格式、標(biāo)注等作出了明確要求。
我們規(guī)劃注冊時,產(chǎn)品在全球都沒有先例,甚至全球監(jiān)管制度也在探索,后面,國內(nèi)監(jiān)管制度發(fā)展就進(jìn)入快車道。
《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件的審評要點》正式文檔在2019年7月份發(fā)布。
同時,藥監(jiān)局信息中心也征集了相關(guān)醫(yī)院和廠商共建人工智能醫(yī)療器械創(chuàng)新合作平臺;這個平臺公共評測服務(wù)技術(shù)方案基本是按照咨詢意見來實施。
到2020年9月,藥監(jiān)局發(fā)布了《人工智能醫(yī)療器械質(zhì)量要求與評價》相關(guān)的征求意見稿。
我們研發(fā)團(tuán)隊認(rèn)真提供了反饋,中檢院老師也對反饋給予了肯定,最終在2021年6月,《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》征求意見稿出來,同期三類注冊證也到手。
這個過程中有很多艱辛和曲折,我從三個方面有所體會,第一,功能設(shè)計要針對臨床問題;第二,數(shù)據(jù)采集要反映臨床實際;第三,模型性能要接受臨床檢驗,下面再說得細(xì)致一點。
第一,功能設(shè)計針對臨床問題,當(dāng)AI給出 “轉(zhuǎn)診”與“不轉(zhuǎn)診”建議時,糖網(wǎng)篩查需要功能就已經(jīng)完成80%。
但臨床對患者轉(zhuǎn)診建議是有緊迫與不緊迫的區(qū)分:輕度不需要轉(zhuǎn)診;中度需要在一個月或者兩個月之內(nèi)轉(zhuǎn)診,具體由眼科醫(yī)生來確認(rèn);重度要兩周之內(nèi)就要完成轉(zhuǎn)診,否則它的進(jìn)展對視力的損傷風(fēng)險會比較大;
第四期需要立即轉(zhuǎn)診,英國篩查要求中要求48個小時之內(nèi)去看眼科大夫,并且確定后續(xù)的處置方案。
在產(chǎn)品功能設(shè)計的時候,就需要把這一點考慮進(jìn)來。同時,因為需要收集標(biāo)注數(shù)據(jù),醫(yī)生閱片就必須提前考慮疾病嚴(yán)重程度,這種思考使得后續(xù)轉(zhuǎn)診還是不轉(zhuǎn)診更加一致。
第二,產(chǎn)品功能是閱片關(guān)注區(qū)域的提示,現(xiàn)在診斷必須由醫(yī)生來完成,不能只用輔助診斷。
醫(yī)生只是判斷是否采納輔助診斷建議,我們就要給出充足的建議理由。眼科醫(yī)生看眼底片是非常細(xì)致的,我們不提示,他會花更多時間細(xì)節(jié),一定找到新生血管或增殖膜位置。
如果產(chǎn)品能夠一下指出來,就可以節(jié)省醫(yī)生搜索圖像尋找病灶區(qū)域的時間。
臨床試驗數(shù)據(jù)分析表明,產(chǎn)品提示區(qū)域中的病灶,對金標(biāo)準(zhǔn)診斷結(jié)果的解釋水平超過90%。
還有圖像質(zhì)量的自動檢測,在實際篩查場景中,眼底照片有可能質(zhì)量不足,例如受白內(nèi)障等因素影響。
這時,因為圖像質(zhì)量偏離了臨床診斷標(biāo)準(zhǔn)的要求,基于低質(zhì)量圖像的AI的建議,會增加醫(yī)生誤判的風(fēng)險,我們產(chǎn)品應(yīng)當(dāng)提示沒拍好,并告知造成質(zhì)量不足的可能原因。
例如患者白內(nèi)障比較嚴(yán)重,或瞳孔比較??;就可以現(xiàn)場提示重拍。
第三,數(shù)據(jù)采集要反映臨床實際,在訓(xùn)練模型把樣本病例交給模型做示范,尤其是病癥比較輕、不典型情況;在盲態(tài)閱片臨床試驗中,靈敏度特異度都在93%左右。
安全和有效是醫(yī)療器械的生命線,我們所有法規(guī),所有內(nèi)部管理質(zhì)控都是為了安全有效。
為此,我介紹一下致遠(yuǎn)慧圖保證產(chǎn)品質(zhì)量安全的一些經(jīng)驗和感觸。
第一,研發(fā)團(tuán)隊上,研發(fā)團(tuán)隊都是學(xué)人工智能圖像處理的,他們也要認(rèn)真學(xué)習(xí)法規(guī),只有研發(fā)團(tuán)隊熟悉法規(guī)、研發(fā)過程和結(jié)果合規(guī)才有基礎(chǔ);
法規(guī)團(tuán)隊、注冊團(tuán)隊也必須深入理解產(chǎn)品所用的技術(shù),這樣才會在注冊過程中提前規(guī)劃產(chǎn)品注冊策略,注冊效率才能提高。
第二,臨床試驗設(shè)計的嚴(yán)謹(jǐn),只有在產(chǎn)品定位準(zhǔn)確、功能明確,才能設(shè)計出高質(zhì)量臨床試驗回答安全性和有效性問題。
在臨床試驗方案確定之前,往往需要預(yù)試驗確定入組標(biāo)準(zhǔn)、樣本量等環(huán)節(jié)。
第三,認(rèn)真對待專家會發(fā)布意見,專家會是技術(shù)中心藥監(jiān)局向?qū)<易稍冴P(guān)于這個產(chǎn)品的意見。
作為生產(chǎn)廠商,為了咨詢會能夠順利進(jìn)行,對于專家會上的問題,進(jìn)行認(rèn)真準(zhǔn)備,從技術(shù)和法規(guī)兩個層面推敲它。
如果我們有機會系統(tǒng)報告和闡述產(chǎn)品情況,一定會多次演練并模擬問答;
有時候同事之間甚至?xí)粏柡芗怃J的模擬問題引起非常激烈交鋒,但這樣一個過程之后,對法規(guī)產(chǎn)品的各方面與法規(guī)適配情況,與審評或?qū)<业臏贤ň蜁槙澈芏唷?/p>
以上關(guān)于研發(fā)注冊過程的體會,我把它歸納成三個方面。
一,研發(fā)和注冊以產(chǎn)品為本,具體就是醫(yī)工結(jié)合,緊密聯(lián)系臨床,著眼臨床需求,嚴(yán)肅醫(yī)療,醫(yī)療行業(yè)問題都是非常嚴(yán)謹(jǐn)非常專業(yè)的。
現(xiàn)在公司辦公室里最多的書不是深度學(xué)習(xí),而眼科專業(yè)書籍,我們希望每一個產(chǎn)品經(jīng)理都成為產(chǎn)品所在眼科領(lǐng)域的小小專家;
二,法規(guī)為綱,所有內(nèi)容都要依法依規(guī),基于法規(guī)要求,對產(chǎn)品的臨床定位、所解決的臨床問題、可能產(chǎn)生的臨床風(fēng)險,與相關(guān)法規(guī)要求,理解上都會持續(xù)不斷地明確,持續(xù)不斷深入,并最終體現(xiàn)在產(chǎn)品安全有效性提升上;
三,管理為魂,內(nèi)部規(guī)范流程要逐步建立起來,形成執(zhí)行習(xí)慣,注冊和研發(fā)兩個團(tuán)隊要互相勉勵,互相促進(jìn)。
法規(guī)框架約束下進(jìn)行創(chuàng)新是一件有挑戰(zhàn)的事情,需要技術(shù)團(tuán)隊給自身劃定界限,也需要法規(guī)團(tuán)隊理解產(chǎn)品技術(shù)創(chuàng)新的初心和目標(biāo)。
作為場上隊長,必須以身作則,從自己做起帶頭學(xué)法規(guī),帶頭嚴(yán)謹(jǐn)?shù)厝プ鲞@個事情,不能為了方便就怎么樣。
雷鋒網(wǎng):臨床試驗過程中,是否遇到設(shè)備差異導(dǎo)致的AI結(jié)果差異問題?后面是怎樣解決的?
丁大勇:三中心盲閱片臨床試驗涉及到三家北京三甲醫(yī)院,三家醫(yī)院所用設(shè)備都不一樣。
三家醫(yī)院的數(shù)據(jù)上,產(chǎn)品表現(xiàn)沒有統(tǒng)計顯著性差異。
雷鋒網(wǎng):研發(fā)過程中標(biāo)數(shù)據(jù)標(biāo)注時間一般會花費多少?占比是多少?
丁大勇:糖尿病視網(wǎng)膜病變的標(biāo)注如果帶著病灶的話,可能一張片子要5分鐘以上。
后來我們對標(biāo)注工具進(jìn)行了優(yōu)化,也做了一些快速標(biāo)記設(shè)定,后面就可以在2分鐘左右完成。
標(biāo)注分級與病灶耗時的占比沒有具體統(tǒng)計,因為有時候分級很好判斷,例如看到新生血管,直接就標(biāo)出分級。
但如果想把病灶都圈出來,還得逐一去做,所以占比沒有統(tǒng)計,可以想象一般情況下至少是1:3~1:4以上。
雷鋒網(wǎng):部門合規(guī)建設(shè)也有可以參考的體系文件嗎?
丁大勇:合規(guī)建設(shè)沒有可以參考的體系文件,體系文件都是按照原始法規(guī)條文從零開始建立體系,沒有可以參考的文件。
人工智能醫(yī)療器械與傳統(tǒng)醫(yī)療器械不一樣,對數(shù)據(jù)要求;我們使用的研發(fā)工具也是自己研發(fā)的,沒有體系可參考,很多現(xiàn)行基本上都是在研讀法規(guī)中摸索構(gòu)建出來的。
雷鋒網(wǎng):訓(xùn)練數(shù)據(jù)集需要按地域分布采集東南西北中多家中心的嗎?
丁大勇:訓(xùn)練數(shù)據(jù)集是來自多家中心的,也可以坦言地點上的分布也沒法顧及到東南西北;特別是偏遠(yuǎn)整個醫(yī)療水平恐怕也有問題。
但是大城市醫(yī)院的片子,患者都來自四面八方,所以地域代表性還是足夠的。
雷鋒網(wǎng):做臨床試驗時,如果多個醫(yī)生標(biāo)注的金標(biāo)準(zhǔn)不一樣怎么辦?
丁大勇:臨床試驗方案中是有明確規(guī)定的,各位金標(biāo)準(zhǔn)專家獨立閱片之后,對于存在差異病例大家會坐在一起討論決定。
如果專家達(dá)不成一致,就由臨床試驗的PI來做決定。
雷鋒網(wǎng):有的臨床設(shè)計是人+AIvs人,有些是AIvs金標(biāo)準(zhǔn),主要是和軟件功能形態(tài)有關(guān)嗎?
丁大勇:后者是單目標(biāo)值法,應(yīng)用中有很大風(fēng)險和局限,特別在沒有成熟可參考產(chǎn)品品類上,設(shè)置單目標(biāo)值依據(jù)就會有問題。
例第二款產(chǎn)品——多病種的輔助診斷,就采用這個“人+AI”與“人”的優(yōu)效性對照。
選擇何種臨床試驗的類型,既與產(chǎn)品功能形態(tài)輔助診斷有關(guān)系,也與試驗實施時的歷史條件有關(guān)——整個領(lǐng)域?qū)θ绾卧O(shè)計試驗,理解都在不斷地加深。
雷鋒網(wǎng):請問注冊需要哪些關(guān)于數(shù)據(jù)方面的記錄?
丁大勇:很多,沒有辦法去一一列舉,可以說審批要點的每個字都要去落實。
雷鋒網(wǎng):訓(xùn)練模型需要多大數(shù)據(jù)集?這是來自臨床,還是經(jīng)過一定篩選?
丁大勇:訓(xùn)練集數(shù)量跟我們要解決的問題復(fù)雜程度有關(guān)系,這不能一概而論。
數(shù)據(jù)集是直接來自臨床場景,按照一定規(guī)范分解成測試數(shù)據(jù)集、訓(xùn)練數(shù)據(jù)集、和驗證數(shù)據(jù)集。
收集數(shù)據(jù)過程需要有篩選,篩選之后,數(shù)據(jù)集應(yīng)仍然能保留我們要解決的臨床問題主要特征。
就像剛才提到的,篩選是把拍攝質(zhì)量差、無法做出可靠診斷的圖像剔除;對于拍攝質(zhì)量合格,而僅因為病癥輕微或病癥不典型造成醫(yī)生之間判斷不一致的病例就不應(yīng)當(dāng)篩出去。
我們是由醫(yī)生專家們開閱片會,決定那些數(shù)據(jù)診斷金標(biāo)準(zhǔn),最終這樣做出來的效果還是不錯的。
雷鋒網(wǎng):功能是二分類還是五分類,臨床方案對這兩種功能(的設(shè)計)會不同嗎?
丁大勇:會不同,臨床實驗邏輯是要證明產(chǎn)品的安全有效,什么叫有效?我們自己聲稱的功能有效就叫有效。
如果我們的產(chǎn)品的主要功能是提供關(guān)于“轉(zhuǎn)診與非轉(zhuǎn)診”的建議,那么它就是二分類;如果主要功能是要做疾病進(jìn)展程度的判斷,按照國際標(biāo)準(zhǔn)的0到4級,那就是五分類。
雷鋒網(wǎng):公司是否有進(jìn)軍海外市場的計劃?海外是否有對標(biāo)產(chǎn)品?
丁大勇:我們已經(jīng)出海,產(chǎn)品在歐洲已經(jīng)在試用落地;此外,在美國我們的臨床試驗也在推進(jìn)過程當(dāng)中。
在海外是有對標(biāo)產(chǎn)品的,目前包括IDx-DR和EyeArt。
雷鋒網(wǎng):研發(fā)到什么情況下才能稱之為產(chǎn)品定型?
丁大勇:產(chǎn)品定型問題是很專業(yè),這得聯(lián)合法規(guī)方面的同事回答。
純粹技術(shù)角度來講,實現(xiàn)了設(shè)計目標(biāo),并通過多種內(nèi)部測試能穩(wěn)定達(dá)到目標(biāo),就可以認(rèn)為基本定型。
雷鋒網(wǎng):指定的相機型號有哪些?一定要臨床驗證的型號才可以嗎?未來新的型號怎么辦?
丁大勇:所有注冊證上允許使用的型號或推薦型號都必須有明確證明過程。
這個證明通過綜合研發(fā)過程中所有相關(guān)證據(jù)完成,包括臨床試驗當(dāng)中的證據(jù),也包括測試數(shù)據(jù),還包括補充的驗證數(shù)據(jù)。
從目前的實踐上來看,藥監(jiān)局要求所有證據(jù)總量加起來要超過一定值。注冊完成之后,如果想增加推薦相機型號,就需要走變更流程,需要提交增加的相機型號適用性證據(jù)。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。