編輯導(dǎo)讀：如今，銀行和互聯(lián)網(wǎng)大廠的和合作越來(lái)越頻繁。其中，一項(xiàng)重要的合作是聯(lián)合建模。本文作者根據(jù)自己的一次風(fēng)險(xiǎn)聯(lián)合建模的經(jīng)歷，從中總結(jié)出一些問(wèn)題，希望對(duì)你有幫助。

最近雷帥慢銀行著實(shí)愁壞了，行內(nèi)消費(fèi)信貸業(yè)務(wù)新增客戶越來(lái)越少，活躍度也越來(lái)越低了。疫情長(zhǎng)期結(jié)束不了，消費(fèi)下滑經(jīng)濟(jì)下行，監(jiān)管持續(xù)趨嚴(yán)，資產(chǎn)規(guī)模和質(zhì)量都開(kāi)始面臨很大的增長(zhǎng)壓力。

雷帥慢銀行尋思，這么下去不是辦法，形勢(shì)再差，也要人為，得主動(dòng)出擊去找優(yōu)質(zhì)資產(chǎn)。

怎么找，流量和質(zhì)量都掌控在互聯(lián)網(wǎng)大廠手上。

于是，找到了雷帥快大廠，你把優(yōu)質(zhì)用戶給我，我們來(lái)做款產(chǎn)品，一起分潤(rùn)。

互聯(lián)網(wǎng)公司都是在做流量變現(xiàn)，雷帥快大廠就爽快同意了。

win-win。

那快大廠怎么把優(yōu)質(zhì)用戶給慢銀行呢？

快大廠雖然自己也做消費(fèi)信貸業(yè)務(wù)，也有內(nèi)部風(fēng)險(xiǎn)評(píng)分。但風(fēng)險(xiǎn)是由用戶和產(chǎn)品決定的，慢銀行想要的是適合他們產(chǎn)品的優(yōu)質(zhì)用戶，快大廠的優(yōu)質(zhì)用戶雖然不錯(cuò)，但不是最優(yōu)。

這就是合作中最重要的一環(huán)，聯(lián)合建模。

慢銀行提供一批有風(fēng)險(xiǎn)表現(xiàn)的用戶給快大廠去匹配特征，風(fēng)險(xiǎn)是慢銀行的，特征是快大廠的。

由慢銀行同學(xué)去建模，有了模型之后就可以對(duì)快大廠的流量做精準(zhǔn)風(fēng)險(xiǎn)評(píng)估了。

一般來(lái)說(shuō)，誰(shuí)用模型誰(shuí)建模。

于是慢銀行和快大廠分別成立了一個(gè)小組，兩方各自指定了個(gè)負(fù)責(zé)人，專項(xiàng)對(duì)接該模型開(kāi)發(fā)工作。

一、立項(xiàng)會(huì)議

小組成立之后，馬上開(kāi)了一次語(yǔ)音會(huì)議，聊這個(gè)模型怎么建。

兩方負(fù)責(zé)人先拉了個(gè)微信群，把慢銀行和快大廠這次聯(lián)合建模相關(guān)的人員都拉進(jìn)去了。

慢銀行一堆問(wèn)題就跟機(jī)關(guān)槍一樣發(fā)射了，

你們有多少特征，能回溯到什么時(shí)候？

需要用什么主鍵去匹配特征？

你們的數(shù)據(jù)能不能傳給我們，我們直接在行內(nèi)建模？

我們要建xgb模型，你們xgb模型怎么部署？

……

快大廠不爽了，你們急個(gè)毛線，

我們數(shù)據(jù)多著呢，近兩年都可以回溯，身份證和手機(jī)號(hào)做主鍵，我們上千個(gè)特征不出庫(kù)，我們準(zhǔn)備好電腦和建模環(huán)境，你們帶著標(biāo)簽過(guò)來(lái)。

你們準(zhǔn)備多少樣本建模，最好多帶點(diǎn)？

你們自己怎么定義標(biāo)簽的？

你們準(zhǔn)備建幾個(gè)模型，輸出幾個(gè)字段？

一來(lái)二回，都覺(jué)得對(duì)方不給力。

慢銀行嫌快大廠特征數(shù)據(jù)不出庫(kù)，還要他們派模型同學(xué)駐場(chǎng)建模。

快大廠嫌慢銀行能帶出的樣本太少了，建模效果不好的話還要怪?jǐn)?shù)據(jù)質(zhì)量。

但好歹，一些事情還是確定下來(lái)了。

慢銀行指定了一個(gè)模型同學(xué)（慢A），快大廠也指定了個(gè)同學(xué)（快B）。

然后，慢A去準(zhǔn)備建模需要的10w樣本，走申請(qǐng)流程帶出。

快B就去準(zhǔn)備了兩臺(tái)電腦，搭建建模環(huán)境。

二、數(shù)據(jù)準(zhǔn)備

慢A同學(xué)在慢銀行苦心經(jīng)營(yíng)，找了許多人開(kāi)了許多會(huì)，終于確定了如何選取這10w樣本。

又潛心寫(xiě)了幾行代碼抽取這些樣本，還請(qǐng)同事幫忙review一下這幾段sql。

然后走起了漫無(wú)邊際的審批流程，匹配加密的主鍵，樣本出庫(kù)等。

這個(gè)時(shí)候的慢A覺(jué)得自己是張騫。

此時(shí)，快B同學(xué)在快大廠申請(qǐng)了兩臺(tái)舊電腦，確保了無(wú)網(wǎng)絡(luò)訪問(wèn)權(quán)限，然后安裝了下必備的Python包。

然后開(kāi)始準(zhǔn)備怎么做都有問(wèn)題的特征，從特征庫(kù)里選擇了幾張合適的穩(wěn)定有效的特征表，開(kāi)始做一些脫敏處理。

變量的值要脫敏，例如分段處理，變量的含義也要做脫敏，巴不得改名為變量1、變量2……。

無(wú)所不用其極，這個(gè)時(shí)候的快B覺(jué)得自己是SB。

最后，還要計(jì)算變量的分布，確保分段處理后的變量分布逐月穩(wěn)定且合理。

三、無(wú)窮無(wú)盡的拉扯

許多天以后，慢A終于準(zhǔn)備好了樣本，快B被慢銀行罵了幾次SB后，變量的含義還是沒(méi)改，不過(guò)加了一個(gè)維度列。

這些加密的主鍵被發(fā)送到快B，匹配了早已不知道是什么的特征。

終于，慢A帶著這10w個(gè)好壞樣本，不情不愿地來(lái)到了快大廠的所在地，快B給安排了工位，電腦桌面放好了10w個(gè)樣本的匹配結(jié)果。

慢A開(kāi)始了無(wú)腦的數(shù)據(jù)分析，統(tǒng)計(jì)了數(shù)據(jù)的匹配情況，對(duì)著f1、f2……的特征強(qiáng)壓著內(nèi)心的怒火。

在旁邊拿出了自己帶來(lái)的電腦，連上熱點(diǎn)，開(kāi)始了百度一下。

找出了早已備好的計(jì)算woe、iv的代碼塊，對(duì)著所有的變量跑了一通，篩出了一些區(qū)分度高的變量后，又看了他們的風(fēng)險(xiǎn)分布。

問(wèn)天，這個(gè)單增的變量是不是應(yīng)該單增；問(wèn)地，這個(gè)單減的變量是不是應(yīng)該單減；問(wèn)自己，這個(gè)U型分布變量是個(gè)什么鬼。最后問(wèn)快B，快說(shuō)，我有刀。

時(shí)間無(wú)情的流逝。

模型終于建好了，慢A算了幾個(gè)KS，不由得想罵人，怎么有點(diǎn)低，怎么波動(dòng)這么大。

找快B，找慢銀行，多方討論，也沒(méi)有什么高招，只好就這樣。

然后定了個(gè)閾值做了一些業(yè)務(wù)指標(biāo)的測(cè)算，出了一個(gè)報(bào)告。

慢A把成果發(fā)送回了慢銀行，進(jìn)行了遠(yuǎn)程匯報(bào)……

最后，模型就這么定了。

這個(gè)階段慢A很煩躁。

四、模型部署

慢A把模型文件和模型變量交給快B之后，就逃也似的離開(kāi)了快大廠。

此時(shí)的快B覺(jué)得氣定神閑，上線過(guò)很多個(gè)模型之后，誰(shuí)還會(huì)把這這當(dāng)回事呢。

然后不緊不慢地打開(kāi)了慢A給的文件，差點(diǎn)沒(méi)吐血。

這些變量咋還被再次處理了，給的變量都被分段好了，還合并分組干什么，不知道xgb是二叉樹(shù)嘛。

怎么入模了這么多變量。

模型文件一解析，又發(fā)現(xiàn)這樹(shù)怎么長(zhǎng)這樣，這xgb參數(shù)也太扯淡了。

快B大叫一聲不好，一個(gè)電話打給了慢A，慢A說(shuō)有些變量分組人數(shù)太少就合并了，參數(shù)是網(wǎng)格搜索找出來(lái)的。

快B很吐血，這意味著，要多一層特征處理作業(yè)，這一步很容易出錯(cuò)。另外，模型打分作業(yè)耗時(shí)久，需監(jiān)控的變量多。

因?yàn)橥皆隽诉@些工作，重要但不緊急的模型部署變成了重要又緊急的todo。

但好歹，模型文件給到了快大廠，離線打分總遠(yuǎn)遠(yuǎn)好于實(shí)時(shí)打分。

模型終于被部署好了，并經(jīng)過(guò)了一致性校驗(yàn)。

這個(gè)階段快B很暴躁。

五、我說(shuō)

有件事情特別重要，而很多建模的同學(xué)并沒(méi)有意識(shí)到。

離線打分再把分?jǐn)?shù)推送至線上接口，會(huì)比推送特征線上實(shí)時(shí)計(jì)算分?jǐn)?shù)容易地多。

前者，模型復(fù)雜度就不太重要，計(jì)算作業(yè)再耗時(shí)也不是什么大問(wèn)題。

但后者，就注定不能用太多變量，不能讓模型過(guò)于復(fù)雜，因?yàn)橥扑蛶装賯€(gè)特征至線上是很困難的，保證接口響應(yīng)速度是很吃資源的，驗(yàn)證分?jǐn)?shù)的一致性也是更不容易的。

這決定了你如何去做特征工程，如何去訓(xùn)練模型。

所以，最為要緊的事情是，在啟動(dòng)建模前就必須想清楚最終將如何上線應(yīng)用。

負(fù)責(zé)建模的A和B同學(xué)，一定要清楚這個(gè)流程，即使他們本人還沒(méi)有這些經(jīng)驗(yàn)，也需要有人告知并提醒他們。

并且保持一定頻率的交流。

如果你們?cè)诼?lián)合建模，或者任何建模，確保你有辦法知曉更全的信息。如果沒(méi)辦法，我可以盡一點(diǎn)綿力。歡迎交流。

[email protected] 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自Unsplash，基于CC0協(xié)議