對C端產品而言,產品的每一個細節設置都或多或少影響著用戶的產品體驗,本文介紹字節跳動的A/B實驗文化的同時,也將分享抖音設計團隊通過火山引擎A/B測試 DataTester 實現產品優化的案例。
該實驗最初來源自抖音UI團隊一位設計同學提出的想法:用戶刷短視頻的時候會有一定的視覺疲勞——“是否可以通過視頻蒙層讓文字更加清楚,讓用戶瀏覽視頻不再費眼,使用體驗更好?”
(資料圖)
其實,這個設想在產品上的改動非常簡單,調整兩個參數就可以改善視頻文案整體的突出程度,一個參數是蒙層,另一個參數是蒙層的透明度。兩個不同蒙層的產品版本,成為了 DataTester 中A/B實驗的實驗組和對照組,UI設置如下圖:
實驗結果非常驚喜,DataTester 的實驗數據顯示“文字更加突出”組的用戶停留時間更長,抖音的人均App使用時長顯著增加了0.2%,這個數據對于用戶量數以億計的抖音而言,是一個較大的提升,最終該策略也決定推全上線。
在抖音里面,像這樣的小改動撬動大收益的創新非常多,而這些細節全部都是通過A/B實驗精打細磨,最終找到的最優方案。在這背后除了有完善的實驗平臺 DataTester 支撐之外,也有字節傳承下來的實驗理念和文化。
字節跳動的A/B實驗文化提倡:“決策與改動要用置信結果來說話,產品決策從不自嗨。”基于這個理念,產品經理們即使得到了實驗驗證,在日常的產品更新改動上,也不會“唯數據論”,還會繼續通過對用戶的理解、對業務的判斷、合理的數據拆解來進行解讀。
當從A/B實驗中得到結論后,再通過大量實驗沉淀下來的經驗反哺業務、加深對業務過程的理解和洞察,在業務實踐的過程中不斷積累更多的業務經驗。
從企業收益的角度看,A/B測試不僅可以激發創新,讓企業在小步快跑的同時,獲得收益上的提升。而像DataTester 這樣完善的A/B實驗平臺,還能幫助企業顯著提升人效,大幅降低試錯成本。此外,當每個決策都能通過A/B實驗來量化收益時,對企業管理而言,A/B測試也成為了一種穩定、效果可量化的賦能手段。
作為助力企業科學決策的A/B測試平臺,火山引擎DataTester 目前服務了包括美的、得到、凱叔講故事等在內的上百家外部企業,為業務的用戶增長、轉化、產品迭代、運營活動等各個環節提供科學的決策依據,將成熟的“數據驅動增長”經驗賦能給各行業。(作者:許文)