0
| 本文作者： 劉海濤 | 2020-08-25 14:14 |
日前，雷鋒網(wǎng)醫(yī)健AI掘金志邀請騰訊微保數(shù)據(jù)智能中心負(fù)責(zé)人李羽，做客雷鋒網(wǎng)公開課，以“保險科技助力用戶增長”為題，介紹了互聯(lián)網(wǎng)用戶轉(zhuǎn)化和推薦體系在保險領(lǐng)域的技術(shù)實踐。
目前，微保平臺已經(jīng)服務(wù)上億的微信用戶，自研平臺也已經(jīng)接入36家保險公司，處理超過十億級別用戶會話、千億級別用戶行為。
但微保最開始做保險推薦和獲客的時候，也曾經(jīng)歷迷茫試錯期。
李羽表示，微保一開始覺得保險推薦和其他互聯(lián)網(wǎng)領(lǐng)域情況類似，可以很容易上線獲得收益，但實際完全不是這么回事。
最開始半年的研發(fā)，微保做了三個模型版本升級、15次實驗，但只有一次推薦獲得收益，效果也僅僅只有1%左右。
這種情況下，微保做了大量分析和行業(yè)調(diào)研，才一步步找到保險和其他領(lǐng)域推薦的不同，其中差異主要包括SKU規(guī)模小、用戶認(rèn)知差、產(chǎn)品復(fù)雜且限制多等等。
為了解決SKU規(guī)模小、產(chǎn)品復(fù)雜的問題，微保引入了組合的概念，將原來單個保險產(chǎn)品做成組合，產(chǎn)品形態(tài)上是多個產(chǎn)品組合融合成一種卡片，再輔助一些推薦理由，逐漸讓用戶產(chǎn)生共鳴，把原來30個保險種類擴(kuò)展成上千個SKU組合。
針對用戶認(rèn)知差的問題，微保重新定義了問題，從端到端建模更改為意愿度推薦模型，在用戶買或不買、點或不點之前，就進(jìn)行用戶認(rèn)知程度識別，按照認(rèn)知層級推薦。在認(rèn)知度模型實驗中，這種方法成功對10%的尾部用戶點擊率造成極大提升。
以下為李羽演講全文內(nèi)容，雷鋒網(wǎng)做了不改變原意的編輯：
很高興有這個機(jī)會跟大家做些交流，也感謝主辦方雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))。今天我分享的題目是保險科技助力用戶增長的實踐，我叫李羽，是微保數(shù)據(jù)智能中心負(fù)責(zé)人。
首先，介紹一下微保，微保全稱是微民保險代理有限公司，由騰訊控股。
騰訊這幾年大概投資了幾百家公司，其中絕大多數(shù)都是投資公司，例如美團(tuán)和滴滴，但也有少量控股公司，例如QQ音樂、閱文集團(tuán)，當(dāng)然微保也是其中之一。微保是在2017年9月，獲批的保險代理牌照，并在2018年1月正式上線產(chǎn)品。
微保作為騰訊的控股公司，自然也可以獲得很多獨家資源支持，例如微信錢包九宮格里保險服務(wù)入口就是騰訊對微保的重要支持之一。
在微保成立之前，就曾有很多保險公司希望和騰訊合作，騰訊自身也希望把自己的互聯(lián)網(wǎng)能力和保險行業(yè)做結(jié)合，但過去騰訊每個團(tuán)隊都有自己的主營業(yè)務(wù)，對于保險的理解和使用并不那么深刻。
而微保出現(xiàn)之后，基本上就能解決這個問題。微保作為一個橋梁，一方面可以承載騰訊自身的互聯(lián)網(wǎng)能力，一方面也可以和保險公司攜手一起為用戶創(chuàng)造價值。
微保作為騰訊旗下互聯(lián)網(wǎng)保險服務(wù)平臺，目標(biāo)就是基于騰訊生態(tài)體系服務(wù)C端用戶和保險公司。
我們認(rèn)為科技的發(fā)展有兩種驅(qū)動方式，一種是熱點驅(qū)動，一種是需求驅(qū)動。
熱點驅(qū)動類似于為科技而科技，行業(yè)首先會出現(xiàn)一些比較熱門或比較前沿的技術(shù)，隨后大家開始跟進(jìn)前沿技術(shù)，再往后才是落地場景的思考。
微?？萍汲闪⒌牡谝惶?，就是致力于用科技創(chuàng)造價值，里面包含幾個目標(biāo)：
首先，用戶面向誰；其次，用戶有哪些需求點，需要怎樣的價值點；之后，針對這些價值點或需求制定解決方案；最后，為解決方案尋找技術(shù)，落地實施。
這是微?？萍挤?wù)C端用戶的數(shù)字地圖。
第一級是保險行業(yè)需要解決的問題，例如產(chǎn)品好嗎？服務(wù)好嗎？是否安全？
下一級是具體子問題，例如產(chǎn)品是不是一定很貴？保險這么復(fù)雜，需要購買什么樣的產(chǎn)品？后續(xù)需不需要理賠？針對這些現(xiàn)實問題，微保希望通過科技層面探索解決方案。
再下一級是幫助保險精算師設(shè)計更有效、更具有性價比的保險產(chǎn)品，達(dá)到風(fēng)險識別和反欺詐，以及大數(shù)據(jù)精算定價能力。
這幾個環(huán)節(jié)的問題，都可以通過科技手段解決。
例如，在復(fù)雜市場里選擇保險產(chǎn)品？就可以通過保險科技幫助用戶更快速、更高效找到適配的保險產(chǎn)品。
保險教育層面，也可以通過搜索引擎推薦、知識圖譜、智能客服等手段，解決用戶購買過程中關(guān)于核保和核賠的問題與困惑。
保險賠付疑慮層面，也可以通過保險科技，讓服務(wù)更直接。微保在這方面已經(jīng)嘗試做智能理賠問診、保單管家、一鍵退保等功能。
作為一個保險代理平臺，除了面向C端用戶，微保還面向再保公司，再保公司的述求集中在兩方面，一方面幫保險公司找到更多優(yōu)質(zhì)用戶，另外一方面幫助驅(qū)動用戶增長，降低風(fēng)險成本。
在這種情況下，微保打造一些平臺或中臺區(qū)域，在to B領(lǐng)域跟保險公司合作，例如，個性化的風(fēng)控平臺、BI平臺、投放平臺等。
綜合來看，微保雖然是一個互聯(lián)網(wǎng)保險公司，但很多情況下，都需要對保險有足夠的認(rèn)知和理解，才可以利用一些互聯(lián)網(wǎng)、AI技術(shù)幫助C端用戶選擇更好的保險產(chǎn)品，幫助保險公司提升人力效率，做到更精細(xì)化的用戶運營，同時在這個過程中，也需要運營中臺、對話平臺、AI語音等技術(shù)。
剛才分享的都偏效果和效率，其實整個傳統(tǒng)保險投保流程，以及續(xù)保流程和用戶生命周期管理，都是一個很漫長的過程。
這張圖可以看到，具體實現(xiàn)非常復(fù)雜，甚至解決方案堆在一起就有幾十個格子圖。
當(dāng)然，整個格子圖構(gòu)造核心還是基于騰訊金融云和騰訊公有云等基礎(chǔ)設(shè)施；在騰訊云之上才是微保Paas層；再往上通過中臺或平臺服務(wù)，降低前端業(yè)務(wù)開發(fā)量，提升研發(fā)效率和智能化水平；最頂層則是基于中臺和平臺構(gòu)建輕量級業(yè)務(wù)層，用中臺能力快速拼裝各種業(yè)務(wù)，支持服務(wù)用戶。
接下里，從保險獲客視角，介紹微保增長黑客的工作。
首先介紹一下增長黑客，增長黑客是一整套體系和方法，近年很多互聯(lián)網(wǎng)公司都在嘗試和研究將增長黑客應(yīng)用在業(yè)務(wù)增長層面。
早期嘗試增長黑客實踐的案例就是 Facebook，以數(shù)據(jù)為指引的實驗方式，系統(tǒng)性在用戶在生命周期的各個階段，尋找當(dāng)下最具性價比的機(jī)會來推動北極星指標(biāo)（唯一指標(biāo)）提升，也就是注重通過數(shù)據(jù)和實驗的方式驅(qū)動業(yè)務(wù)，發(fā)現(xiàn)業(yè)務(wù)中的增長點。
具體執(zhí)行層面，需要橫跨市場、產(chǎn)品、工程、設(shè)計和數(shù)據(jù)等團(tuán)隊，把所有人聚在一起，為了共同的目標(biāo)做實驗、想方法，并通過快速迭代的方式達(dá)到目標(biāo)。
我們可以發(fā)現(xiàn)，增長黑客需要的數(shù)字體系目標(biāo)分為以下幾類：
數(shù)字化，通過數(shù)據(jù)方式甄別業(yè)務(wù)實際情況，改進(jìn)策略效果；
實驗化，數(shù)據(jù)比對、核心數(shù)據(jù)的生成，實驗化都是重要的方法；
精細(xì)化，技術(shù)需要滿足用戶、運營或產(chǎn)品等不同群體、不同場景和不同策略的精細(xì)化訴求，推薦就是精細(xì)化的一個重要手段；
平臺化和中臺化，這部分主要因為增長技術(shù)體系構(gòu)建和實現(xiàn)比較困難、保險業(yè)務(wù)鏈條比較長；
例如獲客就包括用戶購買首單和后續(xù)的加購，以及第二年的續(xù)保等等，如果里面每個鏈條、每個場景都做增長和相關(guān)技術(shù)搭建，那最后整個服務(wù)效率和效果一定差異巨大。所以需要很強(qiáng)的平臺化或中臺化設(shè)計，讓整個公司健康險產(chǎn)品服務(wù)鏈條統(tǒng)一。
在整個實際實踐過程中，還需要注意一些技術(shù)之外的問題，例如因為每個業(yè)務(wù)團(tuán)隊對增長黑客的理解不同，大家對增長的方法論也不是特別熟悉，就需要在磨合過程中，增加一些機(jī)制來填補(bǔ)業(yè)務(wù)方和增長技術(shù)之間的空隙。
這是增長黑客的技術(shù)體系，主要包含三個層面：
底層是數(shù)據(jù)中臺，主要提供基礎(chǔ)和應(yīng)用能力，包括可視化和多元分析，以及算法和畫像能力。
往上是增長平臺，可以圍繞增長數(shù)據(jù)化和實驗化做一些個性化實驗平臺、業(yè)務(wù)平臺，以及運營平臺。
最頂層是互聯(lián)網(wǎng)和人工服務(wù)場景，互聯(lián)網(wǎng)場景包括微信場景，運營場景，廣告投放場景，人工運營包括售前服務(wù)和售后服務(wù)。
接下來會重點介紹三點：保險領(lǐng)域的個性化推薦；互聯(lián)網(wǎng)服務(wù)場景的保險領(lǐng)域個性化推薦；人工服務(wù)場景和管家智能助手。
前面已經(jīng)提到實驗化是增長體系重要一環(huán)，通過實驗平臺相關(guān)工作就可以理解這些工作開展方式，但前面介紹遺留了一個問題，就是整個增長技術(shù)體系和真正業(yè)務(wù)對接過程中存在的縫隙。
關(guān)于這個缺口的彌補(bǔ)，微保在實踐過程中采用了BP制度，通過BP制度深入和業(yè)務(wù)緊密綁定起來在一起，彌補(bǔ)業(yè)務(wù)和增長之間的缺口。
BP的工作核心就是把業(yè)務(wù)方提出的目標(biāo)、假設(shè)、需求轉(zhuǎn)換成底層中臺或平臺來承接一些明確技術(shù)需求。
目前，微保內(nèi)部主要有三種BP技術(shù)角色：業(yè)務(wù)分析BP、個性化BP、系統(tǒng)BP。
業(yè)務(wù)分析BP的核心工作就是發(fā)現(xiàn)和評估假設(shè)，做專題分析或用戶洞察，跟產(chǎn)品和業(yè)務(wù)方一起討論，要做哪些優(yōu)化和優(yōu)化進(jìn)展。
個性化BP的核心工作則是把假設(shè)轉(zhuǎn)化為可執(zhí)行的實驗，做具體增長策略和實驗設(shè)計，并配置實驗，解讀是否有效。
系統(tǒng)BP則是把前面的分析和實驗或者有效的策略，固化到系統(tǒng)層面和增長中臺。最后增長平臺就只需要把系統(tǒng)BP的需求轉(zhuǎn)化成平臺方案設(shè)計。
右邊這張圖是使用業(yè)務(wù)分析BP舉例說明BP的工作流程，每個大核心的業(yè)務(wù)都會有一對一的業(yè)務(wù)分析BP，深入到產(chǎn)品中跟產(chǎn)品一起討論需求或假設(shè)，再把需求和假設(shè)做排期，做相關(guān)開發(fā)，形成結(jié)論反饋到產(chǎn)品層。
前面大概介紹了微保增長技術(shù)體系，按照剛才的邏輯將展開三個點詳細(xì)跟大家交流。
推薦技術(shù)發(fā)展到現(xiàn)在，技術(shù)層面和算法層面都已經(jīng)沒有特別大的挑戰(zhàn)。
微保一開始也覺得，很容易就可以做一個保險相關(guān)推薦，快速上線拿到收益，但實際完全不是這么回事。
最開始，我們一共做了三個模型版本升級，15次實驗，但只有一次推薦獲得收益，效果大概只有1%左右，整個過程經(jīng)歷了半年的時間。
在這種情況下，微保開始做相關(guān)分析和行業(yè)調(diào)研，半年之后才逐漸找到保險產(chǎn)品推薦和其他領(lǐng)域推薦的差異。差異主要分為以下幾類：
第一種差異，SKU規(guī)模，電影或資訊領(lǐng)域等其他領(lǐng)域，通常SKU規(guī)模比較大，例如電影領(lǐng)域就有幾十萬候選推薦SKU，而保險領(lǐng)域則少之又少。調(diào)研發(fā)現(xiàn)，保險行業(yè)在售保險產(chǎn)品，甚至還不到1000種。而微保奉行的就是嚴(yán)選和定制策略，能上線的產(chǎn)品更少，大約在三十款左右。
第二種差異，產(chǎn)品復(fù)雜度和用戶認(rèn)知。在電影或資訊領(lǐng)域，大家看電影標(biāo)題或簡介就可以很容易理解其中所講述的故事和含義。而保險領(lǐng)域，因為產(chǎn)品復(fù)雜度高和存在大量的條款和計算公式，造成理解保險的時候，對于大多數(shù)用戶都是很難的一件事情。
第三種差異，產(chǎn)品限制。在電影或者資訊領(lǐng)域，不涉及黃色或者反動，大部分產(chǎn)品都沒有太多限制，可以正常做推薦。但保險領(lǐng)域要求非常多，有很多核保規(guī)則、地域限制，極大約束推薦過程中的策略生成。
第四種差異，關(guān)注頻率。資訊大家每天都會關(guān)注，但用戶即使已經(jīng)購買保險，也不會經(jīng)常去看自己的保單，關(guān)注頻率非常低。
第五種差異，行業(yè)經(jīng)驗，電影、資訊、電子產(chǎn)品等行業(yè)都非常成熟，網(wǎng)上資料甚至開源代碼系統(tǒng)都非常多。但保險領(lǐng)域相對比較匱乏，微保調(diào)研了很久，也沒有找到適合行業(yè)解決方案。
這么多復(fù)雜問題情況下，意味著不能再遵循過去的方法和策略，需要提出新的解決方案。
按照增長黑客的方法論，在找到解決方案之前，我們需要做一些假設(shè)，以及針對假設(shè)做一些實驗，驗證新的增長思路，假設(shè)和猜想是否正確。
我們做了很多關(guān)于用戶的認(rèn)知分析。用戶首次訪問微保之后，前三天付費占比只有不到一半，另外一大半的付費用戶是在第4天到第365天才成交，把觀察時間拉到更長，前三天成交的比例會進(jìn)一步的下降。
總結(jié)發(fā)現(xiàn)，我們的用戶有一部分可能很快就買保險，而另一部分可能會過了很久才買，這個分析佐證了用戶認(rèn)知差異的存在：首先，用戶準(zhǔn)備度差異非常大；其次我們的推薦策略優(yōu)化方向，還要考慮用戶準(zhǔn)備度，讓用戶理解產(chǎn)品、記住微保。
在針對問題做了一系列分析后，我們產(chǎn)生了一些實踐思路或者假設(shè)，那么我們也通過一系列的實驗來驗證了這些假設(shè)：
第一點，重新定義建模目標(biāo)，此前我們的工作都是端到端建模，把用戶直接扔到模型里面，讓模型自己學(xué)。
現(xiàn)在我們分開看這個問題，在識別用戶買或不買、點或不點之前，就去識別用戶認(rèn)知程度，在認(rèn)知程度基礎(chǔ)上決定推薦策略。建好了認(rèn)知度模型后，我們針對模型打分尾部10%的用戶做了實驗，對這些用戶不展示產(chǎn)品，而展示一些教育內(nèi)容或者健康活動。
最終實驗下來，我們發(fā)現(xiàn)整體保費和轉(zhuǎn)化率并沒有沒有影響，而最后10%用戶點擊率又有很大提升，這就證明認(rèn)知度模型可以比較好的識別出用戶對保險的認(rèn)知度。
第二點，嘗試降低產(chǎn)品復(fù)雜度，擴(kuò)展item，引入更多非產(chǎn)品類item。
因為用戶的認(rèn)知差異非常大，并不能為所有用戶都推薦高難度的產(chǎn)品，需要循序漸進(jìn)。所以微保就做了贈險、教育類的文章，發(fā)現(xiàn)這比直接給用戶看產(chǎn)品更有效。
為此，微保引入組合的概念，把原來單個保險產(chǎn)品做成組合，在產(chǎn)品形態(tài)上是一個卡片的形態(tài)，那么單個產(chǎn)品用戶看起來沒有什么感覺，但多個產(chǎn)品組合在一起，再輔助一些推薦理由，就可以逐漸讓用戶產(chǎn)生共鳴，在引入卡片之后，還可以極大擴(kuò)展SKU數(shù)量，原來30款產(chǎn)品，使用卡片組合之后，可以擴(kuò)展成上千個SKU組合。
第三點，引入推薦理由元素幫助用戶理解，降低推薦產(chǎn)品復(fù)雜度，例如卡片標(biāo)題、產(chǎn)品簡介、相關(guān)標(biāo)簽。
第四點，降低試錯成本。數(shù)據(jù)驅(qū)動或?qū)嶒烌?qū)動本身就非常復(fù)雜，一旦實驗很慢或試測成本很高，就會導(dǎo)致難以為繼。
為此微保采取了兩個舉措，一方面加強(qiáng)人工規(guī)則表達(dá)能力，便于引入更多專家經(jīng)驗，其中主要是因為整個行業(yè)發(fā)展這么多年，在人和人打交道過程中需要更多依靠人工去售賣，而保險專家有更多知識沉淀，這些知識可以通過加強(qiáng)規(guī)則表達(dá)，跟推薦引擎結(jié)合，減少試錯成本；
另外一方面，加強(qiáng)實驗系統(tǒng)建設(shè)，微保最開始階段整個實驗系統(tǒng)都比較笨拙，后續(xù)解決實驗系統(tǒng)跟保險行業(yè)結(jié)合的問題之后，產(chǎn)品時間并發(fā)度有極大的提升。
舉幾個推薦實驗實例，最左側(cè)是一個健康險相關(guān)組合卡片，左邊是個性化重疾卡片，可以看到卡片名介紹，底部有卡片文章相關(guān)的item，item可以根據(jù)用戶畫像做個性化定制。模型也會幫助專家選擇卡片名或卡片介紹的組合，這樣卡片上線之后，整體轉(zhuǎn)化率可以提升3.2%。
中間是健康險相關(guān)的長期保障卡片，主要實驗就是下面底部文章和信息變化。例如用戶看過產(chǎn)品，文章就變?yōu)槭裁椿剂酥丶策€需要健康保障。如果已經(jīng)為家人投保，這篇文章就會變?yōu)椤盀槭裁丛皆鐗蛸I終身重疾越劃算？”
通過這一系列嘗試，長期保障卡片對首頁保費提升率造成很大提升，幫助首頁產(chǎn)生的保費提升了6%左右，終身重疾轉(zhuǎn)化率提升了77%。
右邊是小白用戶的案例，我們找了一些認(rèn)知度低的用戶，首先不給他看產(chǎn)品，只在核心位置給他推薦專屬福利。
最終目標(biāo)客群整體點擊率提升了23%，用戶30天轉(zhuǎn)化率也有大規(guī)模的提升。而我們讓目標(biāo)用戶記住了微保之后，他們的30天轉(zhuǎn)化率提升了10%。
最后介紹微保推薦系統(tǒng)的整體結(jié)構(gòu)圖。底層部分是數(shù)據(jù)能力層，包括外部聯(lián)合數(shù)據(jù)建模專區(qū)；
往上是系統(tǒng)層再往上是個性化推薦策略體系，我們把這個體系分為深度場景推薦、多產(chǎn)品推薦以及專家經(jīng)驗推薦。
這樣分的本質(zhì)原因在于，微保本身就是做推薦相關(guān)工作的同學(xué)還比較少。但微保需要做的推薦場景卻非常多，就需要有一部分同學(xué)首先服務(wù)好一些核心場景，跟場景相關(guān)的深度推薦，例如首頁場景、投保成功場景；另外一部分同學(xué)則專注在通用推薦上，更多推薦場景通過一個通用算法把它滿足起來。
很重要的專家推薦場景，則交給專家，把專家知識引入進(jìn)來，建立一套體系幫助保險專家推薦。
下一步介紹智能助手怎么輔助提升人工效率和效果，幫助人工做增長工作。
保險產(chǎn)品的復(fù)雜性，導(dǎo)致了即使是互聯(lián)網(wǎng)保險平臺，也需要依賴人工客服來解決用戶的各種各樣的問題，而這些人工客服在互聯(lián)網(wǎng)場景下服務(wù)客戶的時候，又面臨各種各樣的問題。
例如用戶可能想要高效和專業(yè)的靠譜服務(wù)，如果是線下保險代理人在投保過程中，可以根據(jù)用戶的語態(tài)、語速、談吐、判斷需求和對保險的認(rèn)知程度，并把自己心中之前最好的解決方案給到用戶。但互聯(lián)網(wǎng)保險往往都是隔空服務(wù)用戶，并不能完整及時的捕獲用戶的信息。也就很難高效并且合理地給出方案，服務(wù)好用戶。
怎么去解決這些問題？
微保是通過智能助手來幫助人工客服捕捉用戶意圖，給出回復(fù)建議的。微保的智能助手不是第一天就有一個完整的能力體系的，也是在具體客服、管家服務(wù)的支撐工作中，逐漸進(jìn)行體系化規(guī)劃，構(gòu)建工具，讓智能助手逐漸可以應(yīng)用在各個服務(wù)環(huán)節(jié)。
例如接觸用戶環(huán)節(jié)、了解需求環(huán)節(jié)、滿足需求環(huán)節(jié)，數(shù)據(jù)驅(qū)動環(huán)節(jié)。再下一步，微保會把這些環(huán)節(jié)所解決的工具或能力沉淀成智能化解決方案。
首先，在了解需求階段。微保會把用戶在全站的行為和留下的數(shù)據(jù)做成用戶畫像標(biāo)簽，讓客服更好理解用戶的對話訴求。
除了用戶畫像標(biāo)簽，微保還根據(jù)用戶進(jìn)線后的一些聊天行為、聊天時間間距抽取關(guān)鍵信息，判斷用戶形象、對保險了解程度，提高補(bǔ)充需求收集效率。
此次，滿足需求階段。微保會制定一些智能服務(wù)助手或智能核保智能理賠方案，給到人工客服，這樣用戶留下相關(guān)信息之后，就可以對他的需求做進(jìn)一步洞察，例如發(fā)現(xiàn)用戶服務(wù)過程中產(chǎn)生的問題和機(jī)會，做產(chǎn)生相應(yīng)的策略指導(dǎo)。
這張圖，從上到下發(fā)展展現(xiàn)了微保相關(guān)體系的規(guī)劃，下層有數(shù)據(jù)，往上是基礎(chǔ)技術(shù)，再往上是真正提高人效的場景。
這是具體應(yīng)用場景的截圖。
微保目前累計已經(jīng)服務(wù)2千萬次保險咨詢，幫助客服人員人均服務(wù)會話數(shù)提升1.5倍。
在人工智能助手服務(wù)場景，微保目前還處于打基礎(chǔ)、建設(shè)基礎(chǔ)能力的階段，還沒有完全按照增長方式運作起來，下一步會把之前累積的保險領(lǐng)域增長實踐方案跟人工服務(wù)場景結(jié)合起來，幫助人工服務(wù)場景做到數(shù)字化和實驗化。
最后介紹下微保AB實驗系統(tǒng)。
為什么要實驗驅(qū)動，本質(zhì)原因是人會犯錯誤？國外一篇文章統(tǒng)計，普通人判斷AB策略好壞的正確率10%~20%，微軟5年經(jīng)驗產(chǎn)品經(jīng)理正確率是30%~40%，谷歌產(chǎn)品經(jīng)理正確率在33%左右。如何減小犯錯誤的機(jī)會，就需要通過實驗驅(qū)動的方法。
另外一個原因是，人去判斷1%的變化，基本上判斷不出來的，但通過實驗系統(tǒng)，則比較容易判斷其中的變化。增長黑客也是非常強(qiáng)調(diào)實驗驅(qū)動的。
判斷1%的變化和提升是不是有價值？如果每天都做1%改進(jìn)，累計一年就是37倍的提升，但如果每天做負(fù)向1%優(yōu)化，一年下來指標(biāo)就只剩下原來0.02了。
這是微保實驗系統(tǒng)框架，包括面向用戶、面向產(chǎn)品經(jīng)理或者是面向數(shù)據(jù)分析師，主要界面是實驗管理平臺。
實驗管理平臺后端有兩個相關(guān)子系統(tǒng)做支撐，一個是實驗系統(tǒng)后臺，實驗系統(tǒng)后臺包括分流、分桶染色邏輯；另外一個是實驗配置邏輯，比較重要的模塊就是實驗分析。
很多公司可能在實驗分析方面投入比較少，但微保的實踐過程中發(fā)現(xiàn)，實驗分析非常重要，因為如果對實驗解讀不正確，就可能造成很多無用功，這種情況下不如去相信人的經(jīng)驗。
接下來會對微保增長黑客實踐過程中遇到的一問題，進(jìn)行一些回顧。
首先，就是互聯(lián)網(wǎng)保險領(lǐng)域流量比較小。微保雖然依托騰訊在保險領(lǐng)域流量已經(jīng)非常大，但跟其它互聯(lián)網(wǎng)產(chǎn)業(yè)比，流量還比較小。
為此，微保主要通過預(yù)計算的方式來分層分桶，保證在實驗效率和實驗效果方面達(dá)到平衡。
其次，保險業(yè)務(wù)流程比較長，實驗場景也很多，以推薦為例，已經(jīng)有28個實驗場景接進(jìn)來。
早期的時候每個場景的上報數(shù)據(jù)都不一樣，給實驗科學(xué)性和可解讀性造成了巨大障礙，因此在這里強(qiáng)調(diào)，我們埋點的方案一定要體系化，需要有中臺或者平臺的視角來看待埋點。
另外業(yè)務(wù)流程長，需要我們保證用戶在多個場景下遇到的實驗策略是一致的。如果再某個場景下，給用戶說A，到另外一個場景，又給用戶說B，就無法讓用戶形成連貫的體驗了。
所以在整個推薦策略中，用戶染色策略和用戶的實驗策略必須全局化，保證全局統(tǒng)一。
再次，保險用戶轉(zhuǎn)化周期長。保險和其他商品有很大不同，通常需要設(shè)定長周期實驗指標(biāo)，最初，微保曾把精力放在短周期實驗指標(biāo)上，但用戶成分或行為發(fā)生變化的時候，短期實驗效果往往就會發(fā)生嚴(yán)重波動。
因此，我們設(shè)計了長周期的實驗觀察指標(biāo)，也考慮了一些短期行為的長期價值，幫助我們更好的衡量實驗。
最后，就是要做到實驗結(jié)論科學(xué)可信，要有實驗分析模塊，數(shù)據(jù)出來后，至少要做假設(shè)檢驗。另外在實驗結(jié)論分析時還要避免辛普森悖論。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
