數(shù)字風(fēng)控概述
從2007年開始到2014年左右,高速移動(dòng)網(wǎng)絡(luò)和智能手機(jī)迅速在大眾中普及,開啟了移動(dòng)互聯(lián)網(wǎng)時(shí)代。在這個(gè)背景下,企業(yè)的產(chǎn)品與服務(wù)也出現(xiàn)了兩個(gè)重要的趨勢。
第一個(gè)趨勢是企業(yè)業(yè)務(wù)的數(shù)字化與在線化。在PC互聯(lián)網(wǎng)時(shí)代,互聯(lián)網(wǎng)的主要作用是以文字和圖片為主的新聞與信息的傳播,比如典型的如門戶網(wǎng)站、論壇、電子郵件、搜索引擎等。到了移動(dòng)互聯(lián)網(wǎng)時(shí)代,大量企業(yè)將自己的產(chǎn)品與服務(wù)在線化,通過手機(jī)上的一個(gè)App提供給用戶,使得用戶能夠隨時(shí)隨地、更便利地使用這些服務(wù)。短短幾年間,人們?nèi)粘I钪械囊?、食、住、行、金融等,很大部分都可以通過手機(jī)完成,而不再是通過線下完成。不同行業(yè)業(yè)務(wù)數(shù)字化與在線化的深度和廣度仍然在高速地拓展中??梢灶A(yù)見的是,未來幾乎所有的面向最終用戶的企業(yè),都會(huì)將自己的核心產(chǎn)品與服務(wù)數(shù)字化,并利用移動(dòng)互聯(lián)網(wǎng)提供出來。
第二個(gè)趨勢是企業(yè)經(jīng)營理念從交易成單型轉(zhuǎn)向用戶運(yùn)營型。傳統(tǒng)上,一個(gè)企業(yè)僅僅關(guān)注“交易成單”而不關(guān)注“用戶運(yùn)營”。例如,一個(gè)咖啡店,顧客進(jìn)門購買咖啡,支付,拿咖啡,出門,這一單就結(jié)束了,咖啡店和顧客之間再?zèng)]有關(guān)系。在移動(dòng)互聯(lián)網(wǎng)時(shí)代,企業(yè)通過App和用戶建立聯(lián)系,不僅僅關(guān)注成單,同時(shí)也關(guān)注用戶。通過用戶的評(píng)論反饋與流失分析,改進(jìn)自己的產(chǎn)品與服務(wù);通過“種草”文章給用戶介紹不同的產(chǎn)品;通過給用戶發(fā)放優(yōu)惠券或者“小樣”,鼓勵(lì)用戶嘗試自己可能喜歡的產(chǎn)品等等。企業(yè)通過對(duì)用戶進(jìn)行精細(xì)化的運(yùn)營,更好地服務(wù)了用戶,提升用戶的滿意度,同時(shí),也給自己帶來了更多的成單量。
企業(yè)將自己的產(chǎn)品與服務(wù)放到了移動(dòng)互聯(lián)網(wǎng)上,為用戶提供了更便利、滿意度更高的服務(wù)。與此同時(shí),企業(yè)在營銷、交易、生態(tài)、內(nèi)容的生產(chǎn)與傳播等互聯(lián)網(wǎng)核心業(yè)務(wù)環(huán)節(jié)面臨著越來越嚴(yán)峻的安全挑戰(zhàn),業(yè)務(wù)風(fēng)控逐漸成為一個(gè)企業(yè)的基礎(chǔ)設(shè)施。
風(fēng)控,即風(fēng)險(xiǎn)控制,是一個(gè)應(yīng)用非常廣泛的詞,在不同的領(lǐng)域,有著不同的含義。本文所說的風(fēng)控是指針對(duì)企業(yè)在線業(yè)務(wù)中出現(xiàn)的各類業(yè)務(wù)層面風(fēng)險(xiǎn)的識(shí)別與防控。下面以幾個(gè)典型的場景來進(jìn)一步明確本文所指的風(fēng)控。 營銷是企業(yè)做用戶運(yùn)營的有效手段。營銷的形式非常多樣化,不過,從營銷的目的來看,大體上可以分為兩類:
無論具體的形式是什么,拉新營銷活動(dòng)的本質(zhì)邏輯都是“獎(jiǎng)勵(lì)新用戶”,或者說是“花錢買用戶”。只要拉新營銷的本質(zhì)邏輯不變,黑產(chǎn)總可以用各種手段造一批假用戶“賣”給企業(yè);各種促活類營銷活動(dòng)的本質(zhì)邏輯都是“獎(jiǎng)勵(lì)活躍”,或者說是“花錢買活躍”。只要促活營銷的本質(zhì)邏輯不變,黑產(chǎn)也總能夠用各種手段制造假活躍“賣”給企業(yè)。對(duì)于企業(yè)而言,要理解營銷中是存在風(fēng)險(xiǎn)的,因?yàn)闋I銷費(fèi)用的損失很少出現(xiàn)在賬面上,將預(yù)算投入營銷活動(dòng),活動(dòng)后留存不好,很多企業(yè)會(huì)認(rèn)為是由于“投放人群不對(duì)”或者“產(chǎn)品體驗(yàn)不好”等因素,而忽略了營銷活動(dòng)中大量參與者可能都是“假”的用戶——事實(shí)上,如果沒有良好的營銷風(fēng)控,這個(gè)是大概率會(huì)發(fā)生的事情。
交易是很多業(yè)務(wù)完成的必要場景。比如,購買商品、服務(wù)等,都不可避免地有支付交易這個(gè)環(huán)節(jié)。交易也是風(fēng)險(xiǎn)最敏感的場景之一,因?yàn)椋@里的風(fēng)險(xiǎn)通常直接和錢相關(guān)。交易環(huán)節(jié)的風(fēng)險(xiǎn)通常包括偽冒交易、電信詐騙、惡意退款、無意退款等。用偽冒交易舉例,即黑產(chǎn)通過買賣等多種方法,盜取用戶的銀行卡信息,在線完成支付盜刷交易。盜刷交易通常會(huì)選擇容易變現(xiàn)的商品,或者與小商家串通變現(xiàn),或者通過服務(wù)打賞等途徑變現(xiàn)。最近幾年,盜刷還采用過一種極其隱蔽的方式:每張卡每天僅偽冒支付幾元到十幾元,連續(xù)很多天持續(xù)不斷地進(jìn)行。因?yàn)槊總€(gè)人每天都會(huì)有很多小額支付,而且很多小額支付是沒有銀行短信提醒的,所以,人們很難發(fā)現(xiàn)自己的卡被多支付了十幾塊錢。
應(yīng)用內(nèi)的生態(tài)包含的內(nèi)容比較多,最常見的生態(tài)之一是“榜單”或者“熱榜”。App希望優(yōu)質(zhì)的商品、內(nèi)容排到前面,被更多的用戶購買、看到。同時(shí)也鼓勵(lì)了商家或內(nèi)容生產(chǎn)者不斷提供優(yōu)質(zhì)的商品與內(nèi)容,形成良性循環(huán)。無論是商品還是文章、視頻,同樣的內(nèi)容,在某個(gè)品類榜單的前幾名和在榜單的3頁以后,吸引的流量通常有著數(shù)量級(jí)的差別。由于榜單潛藏著巨大的利益,就存在購買“刷榜”服務(wù)的風(fēng)險(xiǎn)。通過購買刷榜服務(wù),利用虛假的觀看、點(diǎn)贊、收藏、好評(píng)等動(dòng)作,將一個(gè)商品或者內(nèi)容刷到榜單前面。如果這種風(fēng)險(xiǎn)不加制止,就會(huì)形成劣幣驅(qū)逐良幣的情況,平臺(tái)中的商品內(nèi)容質(zhì)量不斷降低,損害用戶體驗(yàn),嚴(yán)重影響平臺(tái)的長期發(fā)展。
上面是業(yè)務(wù)風(fēng)險(xiǎn)的一些典型場景,業(yè)務(wù)風(fēng)險(xiǎn)在不同的行業(yè)可能會(huì)有更具體的表現(xiàn)形式,比如,航旅行業(yè)的搶占低價(jià)座倒賣、搶占低價(jià)房倒賣;電商行業(yè)的占庫存、秒殺特價(jià)商品、虛假交易套利;游戲行業(yè)的資源號(hào)、iOS惡意退款等等。
通過上面的描述,相信大家對(duì)“業(yè)務(wù)風(fēng)控”在解決什么問題有了一個(gè)直觀的了解。
數(shù)字風(fēng)控體系架構(gòu)
體系構(gòu)成
數(shù)字風(fēng)控體系主要由布控體系、識(shí)別體系、處置體系、運(yùn)營體系4部構(gòu)成,其結(jié)構(gòu)圖如下圖所示。
圖1.風(fēng)控體系結(jié)構(gòu)圖
布控體系:是在業(yè)務(wù)的交互流程中,設(shè)計(jì)布控的埋點(diǎn)事件和每個(gè)事件上采集的參數(shù),提供數(shù)據(jù)給識(shí)別體系進(jìn)行黑灰產(chǎn)識(shí)別,同時(shí)供處置體系進(jìn)行交互干預(yù),實(shí)現(xiàn)對(duì)黑產(chǎn)的有效防御作用。如在設(shè)備的啟動(dòng)環(huán)節(jié),埋點(diǎn)采集設(shè)備的參數(shù),進(jìn)而識(shí)別使用的設(shè)備是否存在風(fēng)險(xiǎn)。
識(shí)別體系:根據(jù)布控體系采集的事件參數(shù),通過各種策略算法識(shí)別多種類型黑產(chǎn),是整個(gè)風(fēng)控體系的眼睛,讓隱藏在龐大數(shù)據(jù)中黑產(chǎn)無所遁形。想要眼睛看得清、看得準(zhǔn),關(guān)鍵要有成體系的防御網(wǎng),從多個(gè)維度的數(shù)據(jù)、多個(gè)維度的策略算法識(shí)別黑產(chǎn),提升黑產(chǎn)繞過成本。
處置體系:在業(yè)務(wù)流程中進(jìn)行處置干擾,識(shí)別體系不可能保證識(shí)別的100%的精準(zhǔn),通過合理的處置手段,可以讓黑產(chǎn)無功而返,同時(shí)可以保證誤召回的用戶不受影響。處置體系是直接關(guān)系到業(yè)務(wù)的結(jié)果的一環(huán),如何將決策引擎返回的結(jié)果用好、用哪種方式以及什么時(shí)間點(diǎn)用都決定了用戶的體驗(yàn)以及最終的風(fēng)控效果。處置體系需要考量的方面比較多,并且家公司根據(jù)業(yè)務(wù)邏輯會(huì)對(duì)決策結(jié)果分為不同場景不同階段的處置方式。
運(yùn)營體系:是持續(xù)地攻防對(duì)抗、不停迭代,保證整體防御效果的穩(wěn)定。通過多種手段發(fā)現(xiàn)潛在的效果問題,再深入分析問題總結(jié)規(guī)律,快速迭代識(shí)別體系和處置體系,確保潛在問題提前修復(fù)、已知問題快速修復(fù),盡最大可能保證業(yè)務(wù)安全。
通過圖1所示的四部分體系結(jié)構(gòu),構(gòu)建了整個(gè)數(shù)字風(fēng)控體系,每一部分都承擔(dān)著獨(dú)立重要的角色,后文將深入介紹每個(gè)體系包含的內(nèi)容。
體系運(yùn)行
體系運(yùn)行主要介紹整體數(shù)據(jù)流向,便于理解上述提到的體系,包括兩部分:在線數(shù)據(jù)流和離線數(shù)據(jù)流。在線數(shù)據(jù)流是指從一條請(qǐng)求進(jìn)入系統(tǒng)開始,在各系統(tǒng)模塊之間流轉(zhuǎn),計(jì)算特征,得出最終結(jié)果的過程,在線數(shù)據(jù)流的流轉(zhuǎn)保證了識(shí)別處置的實(shí)時(shí)性。離線數(shù)據(jù)流是指從離線日志出發(fā),在各個(gè)計(jì)算模塊之間流轉(zhuǎn),計(jì)算特征,給出最新結(jié)果,并最終將結(jié)果更新到畫像系統(tǒng)中過程。
1.在線數(shù)據(jù)流
當(dāng)一條請(qǐng)求發(fā)生時(shí),是如何得到最終的處置結(jié)果并且發(fā)揮作用的?答案是通過請(qǐng)求數(shù)據(jù)在各個(gè)體系模塊內(nèi)的流轉(zhuǎn)最終得到?jīng)Q策建議。通過長期的實(shí)踐,數(shù)美形成了一套獨(dú)特的在線數(shù)據(jù)流轉(zhuǎn)系統(tǒng),其在線數(shù)據(jù)流處理流程如圖2所示。
圖2.在線數(shù)據(jù)流處理流程
下面依據(jù)數(shù)據(jù)流在各模塊之間的流轉(zhuǎn)順序進(jìn)行介紹,如下所示。
1)如圖2左下位置,在設(shè)備啟動(dòng)或頁面打開時(shí),首先通過SDK采集設(shè)備或?yàn)g覽器相關(guān)信息,主要包括硬件層、系統(tǒng)層、應(yīng)用層、進(jìn)程層、環(huán)境層等相關(guān)數(shù)據(jù)。采集到設(shè)備數(shù)據(jù)首先上報(bào)到設(shè)備指紋服務(wù)端,該服務(wù)器會(huì)根據(jù)這些數(shù)據(jù)生成設(shè)備唯一標(biāo)識(shí)。設(shè)備標(biāo)識(shí)可以看作是設(shè)備的唯一身份證號(hào),從此這個(gè)設(shè)備在數(shù)據(jù)中就是唯一存在,然后生成的設(shè)備標(biāo)識(shí)會(huì)加密處理下發(fā)到客戶端。
2)設(shè)備指紋服務(wù)端會(huì)根據(jù)采集信息計(jì)算設(shè)備風(fēng)險(xiǎn)特征,為設(shè)備生成各種標(biāo)簽,如篡改設(shè)備、偽造設(shè)備、農(nóng)場設(shè)備、多開設(shè)備等,這些畫像會(huì)實(shí)時(shí)更到設(shè)備畫像系統(tǒng)中。畫像系統(tǒng)是一個(gè)包含設(shè)備畫像、手機(jī)號(hào)畫像、IP畫像、賬號(hào)畫像等的數(shù)據(jù)庫,無論是設(shè)備、手機(jī)號(hào)、還是IP,在發(fā)生請(qǐng)求的時(shí)候都會(huì)在畫像系統(tǒng)更新自己的特征,因?yàn)楹诋a(chǎn)的資源也是有限的,這些畫像會(huì)隨著時(shí)間的增長、接入數(shù)據(jù)的增多逐漸沉淀,這迫使黑產(chǎn)無法使用舊資源從而尋找使用新資源,這也會(huì)使其付出更昂貴的代價(jià)。
3)如圖2左上角位置,在客戶端發(fā)生各種業(yè)務(wù)行為時(shí),會(huì)進(jìn)行布控,將行為發(fā)生時(shí)的信息連同設(shè)備標(biāo)識(shí)上傳到業(yè)務(wù)系統(tǒng)。業(yè)務(wù)系統(tǒng)會(huì)將信息傳入風(fēng)控系統(tǒng)。主要參數(shù)包括事件類型、賬號(hào)標(biāo)識(shí)、IP地址、設(shè)備標(biāo)識(shí)、發(fā)生時(shí)間等信息,請(qǐng)求會(huì)進(jìn)入在線數(shù)據(jù)流的實(shí)時(shí)決策引擎。
4)實(shí)時(shí)決策引擎,首先會(huì)請(qǐng)求不同類型的基礎(chǔ)引擎進(jìn)行特征計(jì)算和組裝、這些特征過決策引擎輸出決策結(jié)果,實(shí)時(shí)將決策結(jié)果反饋給業(yè)務(wù)系統(tǒng)。
基礎(chǔ)引擎主要是進(jìn)行特征計(jì)算和組裝,包括名單引擎、關(guān)系引擎、畫像引擎、統(tǒng)計(jì)引擎、模型引擎等。這些引擎主要是計(jì)算不同類別的特征,引擎是有掛載順序的,下游的引擎可以使用上游引擎輸出的特征。名單引擎主要是判定輸入特征是否命中名單,為靈活配置,名單的匹配方式比較靈活,包括相等、包含、相似等匹配方式。如設(shè)備黑名單、文本包含黑名單等。關(guān)系引擎是根據(jù)輸入的ID類信息讀取關(guān)聯(lián)關(guān)系,如讀取賬號(hào)關(guān)聯(lián)的設(shè)備等。畫像引擎是ID類信息,讀取ID相關(guān)的畫像特征,如讀取設(shè)備基礎(chǔ)特征、設(shè)備風(fēng)險(xiǎn)特征等。統(tǒng)計(jì)引擎是計(jì)算統(tǒng)計(jì)類特征,如同IP下一天關(guān)聯(lián)的去重賬號(hào)數(shù)等。模型引擎主要是計(jì)算監(jiān)督模型特征,如設(shè)備評(píng)分模型,賬號(hào)評(píng)分模型等。
實(shí)時(shí)決策引擎主要運(yùn)行專家規(guī)則。專家規(guī)則都是通過可視化UI管理配置的,如圖2右上角所示。專家規(guī)則使用的特征都是由基礎(chǔ)引擎計(jì)算得到的,專家規(guī)則支持與或條件迭代,支持大于、等于、小于、包含等邏輯計(jì)算。如果命中規(guī)則,實(shí)時(shí)決策引擎會(huì)返回策略編號(hào)、處置建議、風(fēng)險(xiǎn)等級(jí)等給業(yè)務(wù)系統(tǒng)。業(yè)務(wù)系統(tǒng)會(huì)根據(jù)自己的業(yè)務(wù)處置邏輯對(duì)結(jié)果進(jìn)行處置,從而完成整體在線數(shù)據(jù)流。
離線數(shù)據(jù)流
在線數(shù)據(jù)流存儲(chǔ)和計(jì)算能力有限,需要使用長周期、全局計(jì)算的模型策略,對(duì)存儲(chǔ)和計(jì)算能力要求較高,因此會(huì)在離線數(shù)據(jù)流中進(jìn)行處理計(jì)算,然后將結(jié)果回寫到在線畫像引擎中。離線數(shù)據(jù)流處理流程如圖3所示。
圖3.離線數(shù)據(jù)流處理流程
離線數(shù)據(jù)流在各個(gè)模塊之間的流轉(zhuǎn)順序上圖所示:
包含原始行為數(shù)據(jù)與設(shè)備數(shù)據(jù)的在線日志會(huì)傳入數(shù)據(jù)倉庫,形成離線日志。離線特征引擎會(huì)根據(jù)特征依靠關(guān)系進(jìn)行逐級(jí)計(jì)算存儲(chǔ),主要計(jì)算各種實(shí)體的關(guān)聯(lián)特征、聚集特征、相似特征、地域特征等。完成計(jì)算的特征進(jìn)入離線決策引擎,經(jīng)過專家規(guī)則給出結(jié)論,即實(shí)體的各種高級(jí)特征,如是否團(tuán)伙賬號(hào)、是否高頻賬號(hào)等,然后將這些實(shí)體的特征回寫入畫像系統(tǒng)中以供后續(xù)使用。
如上所示,在線數(shù)據(jù)流、離線數(shù)據(jù)流構(gòu)成了整個(gè)風(fēng)控體系運(yùn)行的載體,保證整體風(fēng)控系統(tǒng)的正常運(yùn)行。
以上內(nèi)容節(jié)選自由機(jī)械工業(yè)出版社與數(shù)字風(fēng)控領(lǐng)域領(lǐng)軍者數(shù)美科技聯(lián)合傾力打造的數(shù)字風(fēng)控領(lǐng)域?qū)I(yè)書籍《數(shù)字風(fēng)控體系:設(shè)計(jì)與實(shí)踐》《數(shù)字風(fēng)控體系:設(shè)計(jì)與實(shí)踐》由數(shù)美科技CEO、CTO領(lǐng)銜執(zhí)筆,是數(shù)美科技技術(shù)團(tuán)隊(duì)近十年一線風(fēng)控經(jīng)驗(yàn)的沉淀與總結(jié)。
撰? 稿? 人:計(jì)旭
責(zé)任編輯:張淑謙
審? 核? 人:曹新宇