今天跟大家聊一下關(guān)于AB-Test，很多人可能到?jīng)]聽(tīng)說(shuō)過(guò)，跟大家詳細(xì)的分享和分析一下這個(gè)在跨境，乃至整個(gè)生活中都運(yùn)用的比較多的測(cè)試手段!

　　想必跨境電商從業(yè)者每天都會(huì)想思考如何提升店鋪銷(xiāo)量，但是不是所有選好的商品都能夠有好的銷(xiāo)量，這不單是選品的問(wèn)題，商品描述、定價(jià)策略、促銷(xiāo)手段等都有可能影響到商品的銷(xiāo)量，而對(duì)于這些運(yùn)營(yíng)方法的決策就需要用到相應(yīng)的測(cè)試方法，其中最常見(jiàn)的測(cè)試方法就是AB測(cè)試，

　　今天我對(duì)AB測(cè)試進(jìn)行詳細(xì)介紹，希望能通過(guò)此文告訴賣(mài)家們AB測(cè)試是什么?并給各位賣(mài)家推薦一些常見(jiàn)的AB測(cè)試工具和結(jié)果分析方法。

　　一、AB測(cè)試是什么

　　AB測(cè)試是為Web或App界面或流程制作兩個(gè)(A/B)或多個(gè)(A/B/n)版本，在同一時(shí)間維度，分別讓組成成分相同(相似)的訪客群組隨機(jī)的訪問(wèn)這些版本，收集各群組的用戶體驗(yàn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，最后分析評(píng)估出最好版本正式采用。

　　AB測(cè)試主要是用在開(kāi)發(fā)，通常是在web或者APP界面或流程上做A和B兩個(gè)版本，或者更多的版本，然后同一時(shí)間分別讓屬性相同的訪客訪問(wèn)這些版本，收集訪客的相應(yīng)體驗(yàn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，然后對(duì)比結(jié)果以決策最終采用哪個(gè)版本作為正式版本。

　　作為延伸，AB測(cè)試也會(huì)用在各種不同的應(yīng)用場(chǎng)景下，比如：體驗(yàn)優(yōu)化、轉(zhuǎn)化率優(yōu)化、廣告優(yōu)化、算法優(yōu)化等。

　　二、AB測(cè)試比較常見(jiàn)的場(chǎng)景應(yīng)用

　　1、體驗(yàn)優(yōu)化

　　用戶體驗(yàn)永遠(yuǎn)是賣(mài)家最關(guān)心的事情之一，但已經(jīng)完善的落地頁(yè)隨意的改動(dòng)是一件很冒險(xiǎn)的事情，因此很多賣(mài)家會(huì)通過(guò)AB測(cè)試進(jìn)行決策，常見(jiàn)的是在保證其他條件一致的情況下，針對(duì)某一單一的元素進(jìn)行AB兩個(gè)版本的設(shè)計(jì)，并進(jìn)行測(cè)試和數(shù)據(jù)收集，最終選定數(shù)據(jù)結(jié)果更好的版本。

　　2、轉(zhuǎn)化率優(yōu)化

　　通常影響電商銷(xiāo)售轉(zhuǎn)化率的因素有產(chǎn)品標(biāo)題、描述、圖片、表單、定價(jià)等，通過(guò)測(cè)試這些相關(guān)因素的影響，不僅可以直接提高銷(xiāo)售轉(zhuǎn)化率，長(zhǎng)期進(jìn)行也能提高用戶體驗(yàn)。

　　3、廣告優(yōu)化

　　廣告優(yōu)化可能是AB測(cè)試最常見(jiàn)的應(yīng)用場(chǎng)景了，同時(shí)結(jié)果也是最直接的，營(yíng)銷(xiāo)人員可以通過(guò)AB測(cè)試的方法了解到哪個(gè)版本的廣告更受用戶的青睞，了解到哪些步驟怎么做才能最吸引用戶。

　　三、AB測(cè)試的操作方法

　　通常做AB測(cè)試是一個(gè)逐步設(shè)計(jì)的過(guò)程，在過(guò)程中需要注意以下幾個(gè)要點(diǎn)：目標(biāo)、方案、設(shè)計(jì)、數(shù)據(jù)、分析。

　　具體操作步驟如下：

　　1、根據(jù)業(yè)務(wù)場(chǎng)景的需求，設(shè)立AB測(cè)試的目標(biāo)，也就是需要改進(jìn)的點(diǎn)。

　　2、根據(jù)目標(biāo)建立優(yōu)化方案，通常優(yōu)化的點(diǎn)是單一要素。

　　3、依照優(yōu)化方案進(jìn)行相關(guān)的AB版本設(shè)計(jì)，這里需要注意的是AB兩個(gè)版本通常只有優(yōu)化方案中的單一要素不同，其他界面需保持一致。

　　4、數(shù)據(jù)收集，設(shè)計(jì)好AB測(cè)試版本后，將流量合理分發(fā)至每個(gè)版本，然后收集用戶的行為數(shù)據(jù)。

　　5、測(cè)試結(jié)果分析，統(tǒng)計(jì)顯著性按照95%進(jìn)行區(qū)分，達(dá)到標(biāo)準(zhǔn)并且可以維持一段時(shí)間則可以結(jié)束實(shí)驗(yàn);如果達(dá)不到標(biāo)準(zhǔn)則需要延長(zhǎng)測(cè)試時(shí)間;如果長(zhǎng)時(shí)間達(dá)不到標(biāo)準(zhǔn)則需要考慮終止測(cè)試。

　　四、AB測(cè)試結(jié)果分析指南

　　AB測(cè)試結(jié)果的分析可以分為兩個(gè)方面的分析，一是統(tǒng)計(jì)學(xué)分析;一是業(yè)務(wù)分析。

　　1、統(tǒng)計(jì)學(xué)分析

　　上面簡(jiǎn)單提到了統(tǒng)計(jì)學(xué)分析，所謂統(tǒng)計(jì)學(xué)分析即通過(guò)統(tǒng)計(jì)學(xué)的角度來(lái)分析是否可信。這里有三個(gè)層面：第一是分析AB兩個(gè)版本之間的差異性，通過(guò)統(tǒng)計(jì)顯著性來(lái)反映;之后再分析差異大小，這里通過(guò)改進(jìn)效果來(lái)表示，即轉(zhuǎn)化率的提高或降低的幅度;最后是差異區(qū)間，表示轉(zhuǎn)化率改進(jìn)的空間范圍。

　　統(tǒng)計(jì)顯著性：

　　統(tǒng)計(jì)顯著性也叫顯著性，是指兩個(gè)群體的態(tài)度之間的任何差異是由于系統(tǒng)因素而不是偶然因素的影響，同時(shí)假定控制了影響差異性的其他影響因素，剩下的是我們推斷的因素，但這個(gè)也不能夠100%保證，因此會(huì)有一個(gè)概率值即顯著性水平。

　　如前面所提，統(tǒng)計(jì)顯著性的值代表了如下含義：

　　1)95%以上：優(yōu)化版本和原始版本之間有顯著的統(tǒng)計(jì)差異，轉(zhuǎn)化率的“改進(jìn)”是可信的;

　　2)90%~95%：優(yōu)化版本和原始版本之間的統(tǒng)計(jì)差異存有疑問(wèn)，轉(zhuǎn)化率的“改進(jìn)”是存有疑問(wèn)的;

　　3)90%以下：優(yōu)化版本和原始版本之間沒(méi)有顯著的統(tǒng)計(jì)差異，轉(zhuǎn)化率的“改進(jìn)”是不可信的;

　　改進(jìn)效果：

　　AB測(cè)試中優(yōu)化版本與原始版本相比轉(zhuǎn)化率提高的幅度。計(jì)算公式是：(優(yōu)化版本轉(zhuǎn)化率-原始版本轉(zhuǎn)化率)/原始版本轉(zhuǎn)化率。

　　差異區(qū)間：

　　也就是AB測(cè)試的優(yōu)化版本與原始版本之間轉(zhuǎn)化率差異最可能分布的區(qū)間范圍。例如：A版本為原始版本，B版本是優(yōu)化版本，A的轉(zhuǎn)化率為10%，B的轉(zhuǎn)化率為15%，則轉(zhuǎn)化率的絕對(duì)差異為5%，而轉(zhuǎn)化率的相對(duì)差異為50%。

　　2、業(yè)務(wù)分析

　　通過(guò)以上統(tǒng)計(jì)學(xué)分析確定了可信度之后，就需要對(duì)AB測(cè)試的結(jié)果進(jìn)行業(yè)務(wù)分析。因?yàn)榻y(tǒng)計(jì)學(xué)分析中我們已經(jīng)得出了差異性要素，在通過(guò)行業(yè)知識(shí)、客戶心理、用戶行為習(xí)慣、喜好等角度進(jìn)一步分析，從統(tǒng)計(jì)的數(shù)字中挖掘出差異的真正的原因。

　　五、AB測(cè)試工具推薦

　　1、Optimizaly

　　optimizaly是一個(gè)提供A/B測(cè)試SaaS服務(wù)的互聯(lián)網(wǎng)公司，2010年成立于美國(guó)。根據(jù)不同的行業(yè)應(yīng)用進(jìn)行了豐富的場(chǎng)景設(shè)定。

　　2、Visual Website Optimizer

　　Visual Website Optimizer對(duì)于電子商務(wù)的用戶來(lái)說(shuō)其功能非常強(qiáng)大，他可以極其詳細(xì)地進(jìn)行A/B測(cè)試，收集整理盡可能多的數(shù)據(jù)。不過(guò)價(jià)格偏貴，也有30天的試用時(shí)間。

　　3、Omniture

　　Omniture公司的總部位于猶他州奧勒姆市(Orem, Utah)，是下一代在線分析技術(shù)的先驅(qū)，它為全球的商務(wù)領(lǐng)袖和創(chuàng)新企業(yè)提供最優(yōu)秀的ROI 提升方案。

　　4、Testin云測(cè)

　　Testin云測(cè)是全球最大的移動(dòng)游戲、應(yīng)用真機(jī)和用戶云測(cè)試平臺(tái)，目前擁有千余款不同型號(hào)的手機(jī)、平板、智能電視和OTT終端，向超過(guò)80萬(wàn)的國(guó)內(nèi)外移動(dòng)游戲、應(yīng)用開(kāi)發(fā)者提供服務(wù)，累計(jì)測(cè)試超過(guò)1.8億次，與IBM、微軟、谷歌、騰訊、阿里、百度以及Intel、ARM、Qualcomm、Imagination等全球主要移動(dòng)芯片供應(yīng)商和聯(lián)想、OPPO、三星等主流終端提供商建立了密切的服務(wù)、合作、溝通關(guān)系。

　　5、ABTester

　　ABTester是一個(gè)可視化操作的AB測(cè)試工具網(wǎng)站,在線設(shè)計(jì)實(shí)驗(yàn),系統(tǒng)自動(dòng)投放至目標(biāo)用戶,后臺(tái)精確統(tǒng)計(jì)篩選最優(yōu)版本。在國(guó)內(nèi)屬于最常見(jiàn)的的在線測(cè)試工具。

　　6、AppAdhoc

　　AppAdhoc 是吆喝科技獨(dú)立開(kāi)發(fā)的一套以 A/B 測(cè)試為基礎(chǔ)的數(shù)據(jù)優(yōu)化平臺(tái)。通過(guò)引入 Google 全數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品優(yōu)化的理念，用數(shù)據(jù)幫助開(kāi)發(fā)者做產(chǎn)品決策，避免無(wú)數(shù)據(jù)決策的產(chǎn)品風(fēng)險(xiǎn)，提升產(chǎn)品潛力。

　　7、云眼測(cè)試

　　云眼是領(lǐng)先的AB測(cè)試工具,涵蓋網(wǎng)站AB測(cè)試、移動(dòng)端AB測(cè)試、全棧API AB測(cè)試,盡情發(fā)揮A/B測(cè)試驗(yàn)證創(chuàng)意,提高轉(zhuǎn)化率和留存率。