監(jiān)督GroupMCP的穩(wěn)健性研究范文

本站小編為你精心準(zhǔn)備了監(jiān)督GroupMCP的穩(wěn)健性研究參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫(xiě)作靈感。歡迎深入閱讀并收藏。

《統(tǒng)計(jì)與信息論壇雜志》2014年第六期

一、有監(jiān)督groupmcp方法及其穩(wěn)健性

（一）有監(jiān)督GroupMCP方法有監(jiān)督GroupMCP方法在使用時(shí)需要解釋變量的群組結(jié)構(gòu)被預(yù)先確定，并要求用于構(gòu)建模型的訓(xùn)練資料充分包含自變量和因變量的信息，且因變量沒(méi)有缺失值。有監(jiān)督GroupMCP方法獲得的學(xué)習(xí)模式可以被外推確定新樣本的因變量取值。1．模型形式和目標(biāo)函數(shù)。假定有n條獨(dú)立同分布的觀(guān)測(cè)記錄Xi，｛yi｝，i＝1，2，…，n，其中P維的解釋變量向量Xi∈Rp可以分成G組，第g組解釋變量的大小為Kg；Y為被解釋變量，Y可以是連續(xù)變量，也可以是0，1二分類(lèi)變量。其中βq是相對(duì)于第q個(gè)解釋變量的回歸系數(shù)，Xi，g是第g組解釋變量第i次觀(guān)測(cè)的取值向量，βg為相應(yīng)的系數(shù)向量，ei為殘差項(xiàng)，ηβ（）•是轉(zhuǎn)換函數(shù)，在Logistic回歸模型中表示為L(zhǎng)ogit函數(shù)。GroupMCP方法在目標(biāo)函數(shù)的群組層面加上MCP罰式（3），其中λ為正則參數(shù)，用來(lái)調(diào)整懲罰力度；α為調(diào)整參數(shù)，用來(lái)控制懲罰范圍；θ＝β，當(dāng)θ≤αλ時(shí)，MCP罰的懲罰力度會(huì)隨著參數(shù)絕對(duì)值的增大而增大；當(dāng)θ＝β足夠大、即θ＞αλ時(shí)，懲罰力度將維持在0．5αλ2不變。MCP罰可以避免像Lasso罰那樣一直增大懲罰力度，從而給參數(shù)估計(jì)值帶來(lái)較大的偏倚。2．參數(shù)估計(jì)的算法實(shí)現(xiàn)。極小化損失函數(shù)式（4）與式（5）在求解待估參數(shù)時(shí)需要充分考慮解釋變量之間的關(guān)系結(jié)構(gòu)，于是傳統(tǒng)的統(tǒng)計(jì)計(jì)算算法將不再適用，建議使用局部群組梯度下降算法。局部群組梯度下降算法是梯度下降算法向群組變量的擴(kuò)展，即在每個(gè)群組內(nèi)使用梯度下降算法，既保留了梯度下降法簡(jiǎn)便易行的優(yōu)點(diǎn)，又考慮了解釋變量的群組結(jié)構(gòu)［10］。此算法的具體操作步驟為：第一步，預(yù)先設(shè)定參數(shù)向量的初始值槇β＝β（）0；第二步，求解損失函數(shù)Q（β）依據(jù)一階泰勒展開(kāi)的漸近函數(shù)槇Q（β）；第三步，進(jìn)行迭代計(jì)算，即在第t次迭代時(shí)以第t－1次迭代計(jì)算得到的參數(shù)向量估計(jì)值βt－（）1為基準(zhǔn)，對(duì)每一個(gè)待估參數(shù)βgk在給定其他參數(shù)不變的情況下，依據(jù)槇Q（β）在βgk上的偏導(dǎo)數(shù)等于0（即槇Q（（β））／（βgk）＝0）計(jì)算更新t次迭代后估計(jì)值為槇β（t）gk。重復(fù)進(jìn)行迭代計(jì)算，直到相鄰兩次參數(shù)估計(jì)值的差值小于容忍度tol時(shí)停止，此時(shí)的參數(shù)估計(jì)值即為最終估計(jì)值。3．冗余參數(shù)的確定。有監(jiān)督GroupMCP方法的討厭參數(shù)有正則參數(shù)λ和調(diào)整參數(shù)α，這兩個(gè)參數(shù)共同確定了GroupMCP懲罰函數(shù)的大小和范圍。討厭參數(shù)的不同取值將造成參數(shù)的不同估計(jì)結(jié)果，于是為了準(zhǔn)確地選擇解釋變量，要先確定冗余參數(shù)的合理取值。筆者建議可以使用基于Grid估計(jì)的迭代計(jì)算方法，具體計(jì)算步驟為：首先給出λ和α在其支撐集上的一系列取值；然后計(jì)算給定λ和α取值下模型參數(shù)的估計(jì)值，從而得到AIC、BIC或GCV評(píng)價(jià)指標(biāo)的得分；最后根據(jù)AIC、BIC或GCV最小值來(lái)確定討厭參數(shù)的合理取值。4．模型估計(jì)結(jié)果的分析。MCP懲罰函數(shù)的引入會(huì)使較小的參數(shù)估計(jì)值收縮為0，也就是說(shuō)對(duì)因變量解釋效果越小的群組變量的回歸系數(shù)越容易收縮為0，于是回歸系數(shù)不為0的群組變量即為選出的變量。基于選出的變量組可以構(gòu)建最終模型，根據(jù)此模型的預(yù)測(cè)效果即可以評(píng)價(jià)變量選擇及所建模型的準(zhǔn)確度。

（二）有監(jiān)督GroupMCP方法穩(wěn)健性研究的本質(zhì)成組變量選擇方法的穩(wěn)健性研究與單個(gè)變量選擇不同。單變量選擇方法的穩(wěn)健性研究通常考慮當(dāng)數(shù)據(jù)包含異常值時(shí)，該方法是否仍可以準(zhǔn)確地選出顯著的解釋變量；成組變量選擇方法的穩(wěn)健性則多討論因理論知識(shí)不完備、或數(shù)據(jù)包含測(cè)量誤差造成解釋變量的群組結(jié)構(gòu)與真實(shí)結(jié)構(gòu)不同時(shí)，亦即當(dāng)群組結(jié)構(gòu)不可避免地存在一定錯(cuò)誤率的情況下，該方法仍然能夠準(zhǔn)確地選擇有顯著解釋作用的變量，而且還能夠得到良好預(yù)測(cè)效果的性質(zhì)。有監(jiān)督GroupMCP方法的穩(wěn)健性研究的本質(zhì)，在于討論此方法對(duì)解釋變量的群組結(jié)構(gòu)錯(cuò)誤率的容忍程度。所謂結(jié)構(gòu)錯(cuò)誤率或變量錯(cuò)分率，是指實(shí)際分析中被錯(cuò)誤分組的變量個(gè)數(shù)占變量總個(gè)數(shù)的比例，即“結(jié)構(gòu)錯(cuò)誤率＝被錯(cuò)誤分組的變量個(gè)數(shù)／變量總個(gè)數(shù)”。有監(jiān)督GroupMCP方法對(duì)結(jié)構(gòu)錯(cuò)誤率的容忍度越大則穩(wěn)健性越強(qiáng)。值得注意的是，對(duì)有監(jiān)督GroupMCP方法的穩(wěn)健性進(jìn)行研究時(shí)需要充分考慮現(xiàn)實(shí)環(huán)境的復(fù)雜多變，具體體現(xiàn)在解釋變量類(lèi)型的多樣性、結(jié)構(gòu)錯(cuò)誤率的非確定性以及被錯(cuò)分變量的隨機(jī)性等。變量類(lèi)型的多樣性是指解釋變量可以是連續(xù)的、離散的、名義的或多種類(lèi)型的混合；結(jié)構(gòu)錯(cuò)誤率的非確定性是指實(shí)際研究中解釋變量群組結(jié)構(gòu)的錯(cuò)誤率是預(yù)先未知的，且在不同研究中結(jié)構(gòu)錯(cuò)誤率也不同；被錯(cuò)分變量的隨機(jī)性是指各種類(lèi)型的變量都可能被錯(cuò)誤分類(lèi)。為了盡可能地貼近現(xiàn)實(shí)情況來(lái)研究有監(jiān)督GroupMCP的穩(wěn)健性，本文參考國(guó)外學(xué)者的研究和模擬方法，模擬生成多套具有不同結(jié)構(gòu)錯(cuò)誤率且被隨機(jī)錯(cuò)分的解釋變量，這些解釋變量可以是連續(xù)的、離散的或名義的［11－12］。對(duì)模擬數(shù)據(jù)進(jìn)行分析的重點(diǎn)是，討論有監(jiān)督GroupMCP方法在不同結(jié)構(gòu)錯(cuò)誤率下的變量選擇和模擬預(yù)測(cè)效果。

二、模擬研究

（一）研究?jī)?nèi)容和步驟模擬研究包括模擬生成數(shù)據(jù)、分析數(shù)據(jù)和結(jié)果討論三個(gè)主要環(huán)節(jié)：模擬生成數(shù)據(jù)環(huán)節(jié)將模擬產(chǎn)生具有不同結(jié)構(gòu)錯(cuò)誤率的、包含離散變量和連續(xù)變量等不同類(lèi)型的隨機(jī)數(shù)據(jù)作為解釋變量，基于真實(shí)模型對(duì)模擬生成的解釋變量進(jìn)行計(jì)算得到每個(gè)樣本的因變量取值；分析數(shù)據(jù)環(huán)節(jié)將使用有監(jiān)督GroupMCP方法對(duì)模擬數(shù)據(jù)進(jìn)行分析；結(jié)果討論環(huán)節(jié)則分析討論解釋變量被選出的頻率、模型的預(yù)測(cè)效果，即回歸分析中以“預(yù)測(cè)偏倚＝abs（預(yù)測(cè)值的期望－觀(guān)測(cè)值的均值）”、“預(yù)測(cè)殘差的方差＝Var（預(yù)測(cè)值－真實(shí)值）”、“預(yù)測(cè)均方誤差MSE＝預(yù)測(cè)偏倚的平方＋預(yù)測(cè)殘差的方差”作為評(píng)價(jià)準(zhǔn)則，分類(lèi)判別中以靈敏度、特異度和AUC均值作為評(píng)價(jià)準(zhǔn)則。在某一結(jié)構(gòu)錯(cuò)誤率下，有監(jiān)督GroupMCP方法若能高概率地選出對(duì)因變量有顯著解釋效果的變量，低概率地選出沒(méi)有顯著解釋效果的變量，且所得模型預(yù)測(cè)效果較好，即可說(shuō)明有監(jiān)督GroupMCP方法對(duì)此結(jié)構(gòu)錯(cuò)誤率有很強(qiáng)的容忍性。

（二）回歸預(yù)測(cè)中有監(jiān)督GroupMCP方法的穩(wěn)健性假定組內(nèi)解釋變量之間具有高相關(guān)性，不同組解釋變量之間存在弱相關(guān)或不相關(guān)。模擬設(shè)定前3組解釋變量對(duì)因變量有顯著解釋效果，后三組則沒(méi)有。從［－2，2］的均勻分布中隨機(jī)抽取30個(gè)數(shù)值對(duì)應(yīng)為這30個(gè)解釋變量的系數(shù)b1～b30，基于前30個(gè)解釋變量及其系數(shù)。

（三）分類(lèi)判別中有監(jiān)督GroupMCP方法的穩(wěn)健性模擬產(chǎn)生6組，每組10個(gè)，共有60個(gè)解釋變量，其中x1～x10、x11～x20、…、x51～x60分別為一組，這些解釋變量可以是連續(xù)的或是離散的。假定組內(nèi)解釋變量之間具有高相關(guān)性，不同組解釋變量之間存在弱相關(guān)或不相關(guān)。模擬設(shè)定前3組解釋變量對(duì)因變量有顯著解釋效果，后三組則沒(méi)有。從［－2，2］的均勻分布中隨機(jī)抽取30個(gè)數(shù)值對(duì)應(yīng)為這30個(gè)解表2中AUC是指ROC曲線(xiàn)下面積，AUC取值越高說(shuō)明分類(lèi)效果的準(zhǔn)確度越高；靈敏度是指真實(shí)值為1且預(yù)測(cè)結(jié)果為1的概率；特異度是指真實(shí)值為0且預(yù)測(cè)結(jié)果為0的概率。

（四）小結(jié)1．解釋變量之間的關(guān)系結(jié)構(gòu)準(zhǔn)確可知時(shí)，GroupMCP方法能夠正確地選擇變量組。從圖1（a）與圖2（a）可知，當(dāng)解釋變量之間的關(guān)系結(jié)構(gòu)準(zhǔn)確可知時(shí)，GroupMCP方法在回歸預(yù)測(cè)或分類(lèi)判別中都能夠以近100％的概率精準(zhǔn)地選出對(duì)因變量有顯著解釋效果的變量組。2．結(jié)構(gòu)錯(cuò)誤率在5％以下時(shí)，GroupMCP方法具有較好的穩(wěn)健性。分析圖1（b）與圖2（b）可知，當(dāng)結(jié)構(gòu)錯(cuò)誤率在5％時(shí)，對(duì)因變量有顯著影響的解釋變量可以被以高于98／100＝98％的概率被選出，其他非顯著解釋變量會(huì)被以不高于60／100＝60％的概率選出。比較分析圖1和圖2以及表1和表2發(fā)現(xiàn)，結(jié)構(gòu)錯(cuò)誤率越高選出無(wú)解釋效果變量的可能性就越大，而選擇具有顯著解釋效果變量的準(zhǔn)確度就越低。由于選出的解釋變量較多，模型預(yù)測(cè)效果沒(méi)有受到明顯的影響，于是可知當(dāng)結(jié)構(gòu)錯(cuò)誤率在5％以下時(shí)，有監(jiān)督GroupMCP方法具有良好的穩(wěn)健性。3．忽略解釋變量?jī)?nèi)部結(jié)構(gòu)將不利于準(zhǔn)確選擇變量及變量組。比較分析圖1（d）與圖2（d）可知，忽略解釋變量的群組結(jié)構(gòu)會(huì)遺漏許多重要的解釋變量，同時(shí)也會(huì)選出一些不重要的解釋變量，不利于找出對(duì)因變量有顯著解釋效果的變量及變量組。

三、實(shí)例分析

（一）研究背景和目的證候是中醫(yī)領(lǐng)域的一個(gè)重要概念，是指疾病過(guò)程中一定階段的病位、病因、病性、病勢(shì)及肌體抗病能力的強(qiáng)弱等與本質(zhì)有機(jī)聯(lián)系的反應(yīng)狀態(tài)，由多個(gè)證素單元組成，而每個(gè)證素具體表現(xiàn)為臨床可被觀(guān)察到的一系列癥狀。亞健康狀態(tài)是介于健康與疾病之間的一個(gè)物理狀態(tài)，主要表現(xiàn)有身體不太舒服、虛弱、無(wú)精力，具體表現(xiàn)為精力衰退、肢體功能和能動(dòng)性衰弱，但是還達(dá)不到疾病診斷的嚴(yán)重程度。中醫(yī)善于“治未病”，認(rèn)為亞健康是陰、氣、血、臟、腑出現(xiàn)不均衡所致，并認(rèn)為與虛、火、瘀阻、濕四個(gè)證素有關(guān)［13］（見(jiàn)表3）。由于患者的體質(zhì)不同，即使都是亞健康人群，不同患者的主證不同，起關(guān)鍵作用的證素也不同。準(zhǔn)確判斷患者的證素有助于深度了解患者的體質(zhì)和疾病狀態(tài)，是后續(xù)治療的基礎(chǔ)。本研究將對(duì)影響肝郁脾虛證的亞健康人群的關(guān)鍵證素及相應(yīng)癥狀進(jìn)行探索分析。

（二）數(shù)據(jù)說(shuō)明此研究采用分層抽樣的方法，從6家臨床中心隨機(jī)選取了307個(gè)亞健康受試者，剔除缺失診斷結(jié)果的4人，共有303個(gè)受試者進(jìn)入研究，其中57人為肝郁脾虛證的亞健康患者，占18．81％。納入模型的解釋變量及其結(jié)構(gòu)見(jiàn)表3。從表3的描述統(tǒng)計(jì)結(jié)果可知，這些癥狀在肝郁脾虛證的亞健康人群中的分布概率大于非肝郁脾虛人群中的分布概率；瘀阻所包含的癥狀在兩類(lèi)分群中的分布差異更為明顯；每個(gè)癥狀的發(fā)生頻率都較低，因某個(gè)單一癥狀無(wú)法區(qū)分肝郁脾虛人群，故本文采用成組變量選擇法進(jìn)行分析。

（三）模型構(gòu)建和參數(shù)估計(jì)基于表3所列解釋變量的群組結(jié)構(gòu)建立GroupMCPLogistic模型，分析得知對(duì)肝郁脾虛證的亞健康患者起重要影響的證素為瘀阻和濕證，這兩個(gè)證素包含的癥狀及相應(yīng)參數(shù)估計(jì)結(jié)果見(jiàn)表4。根據(jù)五折交叉驗(yàn)證方法，計(jì)算得AUC均值為0．7377，標(biāo)準(zhǔn)差為0．0857，平均靈敏度為0．8571，平均特異度為0．7604。如果不考慮癥狀之間的群組結(jié)構(gòu)而構(gòu)建一般的Logistic模型，選出的癥狀指標(biāo)及其相應(yīng)參數(shù)估計(jì)結(jié)果見(jiàn)表5。使用五折交叉驗(yàn)證方法計(jì)算得AUC均值為0．7531，標(biāo)準(zhǔn)差為0．0829，平均靈敏度為0．8247，平均特異度為0．7171。

（四）結(jié)果分析比較分析表4和表5的變量選擇和參數(shù)估計(jì)結(jié)果可知：第一，兩類(lèi)模型研究目的不同，導(dǎo)致了變量選擇結(jié)果的不同。基于有監(jiān)督GroupMCP的Logistic模型的研究目的，在于合理處理變量之間的相關(guān)關(guān)系，選擇有顯著解釋意義的變量組，此方法有效地指出了在本研究所調(diào)查的亞健康人群中，瘀阻和虛證（主要是腎陽(yáng)虛）是影響肝郁脾虛證診斷的兩大重要證素；傳統(tǒng)Logistic模型在選擇有顯著解釋意義單個(gè)變量時(shí)并不考慮變量之間的關(guān)系，于是在本實(shí)例分析中此方法可用于疾病預(yù)測(cè)，但不利于研究亞健康人群中對(duì)肝郁脾虛證影響顯著的證素。第二，基于有監(jiān)督GroupMCP的Logistic模型具有較好的解釋性。比較表4和表5可知，基于GroupMCP的Logistic模型選出對(duì)亞健康人群中肝郁脾虛證的診斷起顯著作用的是瘀阻和虛證，且瘀阻類(lèi)癥狀的系數(shù)符號(hào)都為正，虛證所包含癥狀的系數(shù)有正有負(fù)，說(shuō)明本研究調(diào)查的亞健康人群中肝郁脾虛證的癥狀以肝郁為主，氣虛的癥狀越重表明更偏向于單證的虛證，而非兼證肝郁脾虛證與中醫(yī)理論相符。基于MCP的Logistic模型同時(shí)選出便秘和大便稀溏，且系數(shù)都為正值，不易于解釋。第三，解釋變量具有內(nèi)部結(jié)構(gòu)時(shí)，基于GroupMCP的Logistic模型對(duì)數(shù)據(jù)有更好的擬合及預(yù)測(cè)效果。從AUC、特異度、靈敏度等評(píng)價(jià)指標(biāo)上看，基于GroupMCP的Logistic模型的AUC均值為0．7671，平均靈敏度為0．8514，平均特異度為0．74，高于基于GroupMCP的Logistic模型，這是因?yàn)榛贕roupMCP的Logistic模型考慮了解釋變量?jī)?nèi)部結(jié)構(gòu)，充分使用數(shù)據(jù)信息，對(duì)數(shù)據(jù)有更好的解釋和預(yù)測(cè)效果。同時(shí)，前者AUC的標(biāo)準(zhǔn)差為0．0689，低于后者，說(shuō)明GroupMCP方法有更好的穩(wěn)健性。

四、討論與展望

成組變量的選擇問(wèn)題在經(jīng)濟(jì)、生物基因、醫(yī)學(xué)診斷等實(shí)際問(wèn)題研究中極為常見(jiàn)。有監(jiān)督GroupMCP是在給定解釋變量的群組結(jié)構(gòu)的基礎(chǔ)上進(jìn)行GroupMCP分析的一種數(shù)據(jù)挖掘方法。此方法考慮變量的內(nèi)部結(jié)構(gòu)，提高了變量選擇結(jié)果的準(zhǔn)確性，有效降低計(jì)算量和計(jì)算偏差，具有良好的Oracle性質(zhì)。但此方法的穩(wěn)健性問(wèn)題尚未得到充分研究，而一個(gè)方法的穩(wěn)健性即對(duì)異常情況的容忍程度，是決定此方法能否被廣泛使用的關(guān)鍵因素。為此，本文重點(diǎn)研究和討論有監(jiān)督的GroupMCP方法的穩(wěn)健性問(wèn)題。本文根據(jù)有監(jiān)督GroupMCP方法的相關(guān)理論，確定本次穩(wěn)健性研究的目的、研究方法和評(píng)價(jià)標(biāo)準(zhǔn)，采用模擬研究討論有監(jiān)督GroupMCP方法在不同結(jié)構(gòu)錯(cuò)誤率下進(jìn)行變量選擇和模型預(yù)測(cè)的穩(wěn)健性，通過(guò)實(shí)例分析說(shuō)明本研究的應(yīng)用價(jià)值。第一，基于GroupMCP的Logistic模型合理地處理了變量之間的相關(guān)關(guān)系，能夠準(zhǔn)確地選擇對(duì)因變量有顯著解釋意義的變量組或潛變量。例如本文的實(shí)例分析部分，選出了對(duì)亞健康人群中肝郁脾虛證的辨證起關(guān)鍵作用的證素有瘀阻和虛，這也是此方法與單變量選擇方法在研究目的上的本質(zhì)區(qū)別。第二，解釋變量存在群組結(jié)構(gòu)時(shí)，有監(jiān)督GroupMCP方法在分類(lèi)判別和回歸預(yù)測(cè)中都可以準(zhǔn)確地選擇有顯著解釋變量的變量組，所得模型具有良好的解釋和預(yù)測(cè)效果。第三，解釋變量結(jié)構(gòu)的準(zhǔn)確度越高，變量選擇和模擬預(yù)測(cè)效果越精準(zhǔn)。當(dāng)解釋變量的關(guān)系結(jié)構(gòu)的先驗(yàn)信息出現(xiàn)略微錯(cuò)誤時(shí)，若結(jié)構(gòu)錯(cuò)誤率不超過(guò)5％，有監(jiān)督GroupMCP方法仍然可以準(zhǔn)確選出顯著的變量組，模型預(yù)測(cè)效果也有很好的穩(wěn)健性。但是，有監(jiān)督GroupMCP方法仍存在局限性。例如有監(jiān)督GroupMCP方法會(huì)將顯著的群組內(nèi)的所有變量都選出，增加冗余變量個(gè)數(shù)，提高模型復(fù)雜度；此方法假定解釋變量存在群組結(jié)構(gòu)，但在實(shí)際問(wèn)題中解釋變量的內(nèi)部結(jié)構(gòu)可能是更加復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，此時(shí)GroupMCP方法的群組結(jié)構(gòu)假設(shè)將不再適用，需要引入Liu等人提出的基于網(wǎng)絡(luò)結(jié)構(gòu)的協(xié)變量研究方法進(jìn)行分析［14］；GroupMCP方法的研究重點(diǎn)是顯著變量的群組選擇，而不是單個(gè)解釋變量，當(dāng)研究既關(guān)注解釋變量的內(nèi)部結(jié)構(gòu)又關(guān)注單個(gè)變量時(shí)，此方法的使用效果不再完美，還有待于在未來(lái)的研究中進(jìn)一步改進(jìn)和完善。

作者：李淞淋李揚(yáng)易丹輝單位：中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院應(yīng)用統(tǒng)計(jì)科學(xué)研究中心統(tǒng)計(jì)咨詢(xún)研究中心