當(dāng)我們決定根據(jù)某個模式運行測試時，最后一個對完成該過程至關(guān)重要的元素–杭州品牌策劃公司用新結(jié)果更新該模式。更具體地說，兩個可重復(fù)性得分都得到了更新（正數(shù)或負(fù)數(shù)），中位效果也有所變化，無論好壞。

對于任何獨立于效果和顯著程度的測試結(jié)果，都會發(fā)生這種情況。無論結(jié)果如何，記住并從結(jié)果中學(xué)習(xí)非常重要（除非存在技術(shù)測試設(shè)置問題使實驗無效）。這種反饋機制可以使每個新的測試結(jié)果對未來的預(yù)測越來越準(zhǔn)確，從而進一步將較好的模式與較弱的模式區(qū)分開。

模式有效嗎？來自51 A / B測試預(yù)測的有希望的結(jié)果

但是這種方法如何在實際項目中執(zhí)行？為了評估模式是否具有預(yù)測能力，杭州品牌策劃公司于2017年開始在眾多優(yōu)化項目中跟蹤我們自己的預(yù)測。我們運行并跟蹤了嚴(yán)格由模式驅(qū)動的51個此類a / b測試，這是我們發(fā)現(xiàn)的令人興奮的結(jié)果。

在全部被預(yù)測為陽性（具有任何陽性重復(fù)性得分）的51個實驗中，這些實驗中有36個在停止時結(jié)束為陽性。這使這些模式的預(yù)測率達到71％。以這種方式使用模式顯然有助于我們擺脫隨機性建議的50/50成功率。因此，我們對模式（基于實驗）抱有非常積極的看法，這是在進行更多獲勝的a / b測試同時最大程度地減少工作量方面非常有效的方法。這與以最小的努力（最大的ROI）獲得最大的效果的客戶的業(yè)務(wù)期望相符。

更多可重復(fù)的測試會導(dǎo)致更高的預(yù)測率嗎？

為了驗證重復(fù)性是否是測試結(jié)果的可靠預(yù)測指標(biāo)，杭州品牌策劃公司還可以問自己一個關(guān)鍵問題：更高的重復(fù)性得分會導(dǎo)致更積極的測試預(yù)測嗎？換句話說，如果某個模式的陽性反應(yīng)頻率更高，這是否意味著它在以后的實驗中再次出現(xiàn)陽性反應(yīng)的機會更大？為了回答這個問題，我們通過三組重復(fù)性得分來組織我們的預(yù)測（提醒：得分越高，我們支持模式的積極證據(jù)就越多）。這是我們發(fā)現(xiàn)的：

我們正在看到一個明確的跡象，表明杭州品牌策劃公司擁有更多支持這種模式的證據(jù)，我們的預(yù)測率就越高。我們的預(yù)測率隨著重復(fù)性的程度線性增加。這是我們自2017年以來最有希望的發(fā)現(xiàn)，支持繼續(xù)以這種方式識別和衡量轉(zhuǎn)化模式。這也非常令人放心，因為它表明轉(zhuǎn)換模式可以通用（在不同網(wǎng)站上執(zhí)行）。

從這些發(fā)現(xiàn)中，杭州品牌策劃公司更愿意為我們的可重復(fù)性評分添加一層含義。隨著杭州品牌策劃公司收集更多數(shù)據(jù)并評估我們的預(yù)測準(zhǔn)確性，我們隨時可以在將來對其進行調(diào)整，但是現(xiàn)在從這里開始：

僅分析單個a / b測試是有限的。現(xiàn)在，我們看到了查看多個實驗的價值。以上面概述的方式使用模式是使這種飛躍成為可能的眾多方式之一。模式對我們來說已經(jīng)成為記住過去的多個實驗的有力方法，這對于做出更準(zhǔn)確的預(yù)測至關(guān)重要。去年的71％成功率僅僅是個開始。當(dāng)我們運行并記住更多實驗時，杭州品牌策劃公司的工作將變得更加容易。從過去的實驗中提取概率最終將使我們能夠進行更多獲勝和更高影響的測試。一些杭州品牌策劃公司喜歡說，對一個站點有效的方法可能并不總是對另一個站點有效。但是，對于一個站點，另一個站點和另一個站點有效的東西，很可能會在其他地方再次出現(xiàn)，請記住并加以利用。