僅以這篇文章協助讀者瞭解 VeryBuy 的數據驅動文化,主要寫給那些未入行、剛入行的產品經理,藉由筆者(一個菜雞 PM)的視角一起窺探,在 VeryBuy 的數據驅動文化下,會如何進行產品探索(Discovery)與建構(Delivery)。
先來簡述什麼是數據驅動(Data-Driven)文化?
圖片來源:unDraw.co
簡單來說,數據驅動文化是指一間企業有意識地利用搜集來的數據,來優化解決問題、做出決策的效率(efficiency)跟效益(effectiveness)。
那 Data-Driven 帶來的價值是什麼?我自己的想法是,回到商業的本質來看,商業就是不斷地做出(儘可能)正確”的決策。而 Data-Driven 的文化是提供一套共同的準則,讓所有人專注在”事實“之上討論如何做決策,而非利用人的”經驗與直覺“來做決策。
依據數據做決策可以協助我們減少直覺帶來的偏誤、設定合理的目標、排序優先級、並做出更符合經濟效益的解決方案。
(以上是我對於 Data-Driven 的理解)
產品開發流程:從需求到上線,再到迭代
圖片來源:unDraw.co
一般來說,從需求產生到 feature 上線,Product Manager 會經歷幾個階段,本篇文章會 follow 這個架構來勾勒 VeryBuy 的數據驅動文化如何體現。先簡述一下這個產品開發的流程:
- 需求產生:需求可能從四面八方飛來,主要來自三個地方:產品策略 Roadmap、需求單位(TGO部門、OP部門)、其他 stakeholders。
- 問題定義與分析:這是整個流程中與 Data 最息息相關的部分,可以再拆解成以下四個環節
- 指標設定:了解需求產生是為了的解決什麼問題、優化什麼商業指標。
- 產生假說:質化的去揣測 user 在相關的產品體驗上,可能遇到了哪些問題,對於問題成因產生一些假說。
- 搜集洞察:試著驗證假說是否為真,並從產品數據中發現其他洞察。
- 構思解決方案:把洞察整理成解決方案的原則。
- 排列優先級:PM /PO 要把資源運用在刀口上,解決最有價值的問題。
- 跟團隊溝通與協作:PM 的 day-in day-out,但不是本文重點,在此不談。
- 用數據做迭代:上線後觀察指標變化,以指標來揣摩 user 對於這個 feature 的想法、感受,並且想出規劃迭代的方向。
因為這次在規劃懸浮按鈕的時候,剛好完整的走完一次這個流程,以下就以懸浮按鈕的規劃為例,分享一下這次的經驗。
- 需求產生:
當時舊版 MWeb 剛被 retire 掉,原本在常駐在 header 上方的 SAB(Smart App Banner) 也消失了,但是 TGO(流量增長暨運營部門) 的導下載 APP 的需求仍在,所以就產生了這次的需求。
2. 問題定義與分析:
指標設定:這個需求最終的目的是要提升從這個渠道下載 APP 的數量,並且要在不破壞用戶體驗的前提下做到這件事。在這樣的理解之下,我設定了幾個要觀測的 metrics
- 通過 SAB 下載 APP 的事件數(# of APP install)
- SAB 的 click、close、view 事件數,以及一些派生指標
- [close/view]、[click/view] → 對於整體現況的了解
- [(click+close)/view] → 版位的受關注程度
- [close/click] → 版位的惹人厭程度
產生假說:這時我先去看看目前產品在上述指標的數據表現如何,因為我猜在觀察那些數據時,會先發現一些有趣的趨勢,並且在實際假裝自己是 user 角色扮演一番後,就會有一些靈光乍現的時刻,於是假說就這麼產生了。我發現:
- item page 的 click rate 比其他的都低,search page 跟 category page 的 click rate 則比較高。
- 推論:item page 的目光焦點在大拇指附近(即螢幕下方),因為 user 是不斷向下滑來看商品資訊的。而 search page 跟 category page 可能是因為要點擊選單、search bar 所以目光焦點在螢幕上方,所以更容易關注到 SAB 而帶來點擊。
- search page 的 close rate 比其他的頁面都要高。
- 假說:舊版 MWeb search page 的 UI 也許不適合再多疊加一層 SAB 在上方,這樣加上 SAB + header + search bar 就已經佔用螢幕的一半了,所以更容易惹惱用戶,因此 close rate 更高。
- item page 的 click rate 比其他的都低,search page 跟 category page 的 click rate 則比較高。
搜集洞察:挖掘完問題之後我發現了一些假說,於是現在要找其他數據來驗證我的假說是否為真。我的假說是「如果用戶體驗受到破壞,他們就更傾向去點擊 close」。
- 所以我找了一些數據來觀察「螢幕比例跟 close rate 的是否有負相關」,因為如果螢幕越矮寬,則在 search page 被 SAB 干擾的篇幅應該更大,結果關係大致如下。所以就可以很清晰地看見兩者之間有個負相關的趨勢,因此推論假說為真。
構思解決方案:於是我將我在數據中獲得的 insights 整理成原則(例如:item page 新的下載入口要在螢幕下方),並跟 Product Designer 分享。在 VeryBuy PM 會跟 designer 合作構思解決方案,不過 PM 的角色只會提出為什麼要做?以及要符合哪些原則?在跟 designer Sync 之後,其他則交由 designer 完成,因為我們相信 designer 能提出更好的 UX solution 來滿足 user 的需求。
3. 排列優先級:
在產品團隊中,PO / PM 是分配資源的人,也因此最需要看向價值,先讓最有價值的事情被團隊開發、交付出來。
順著上面的脈絡,item page 的下載入口要在下方、交互邏輯可能跟其他頁面不一致的話,那麼應該要先做哪一塊價值最高?一樣從數據出發,這次盤點的是所有可以導下載的入口,哪個入口的 click 最高,並依此排序優先級。item page 的是最多流量經過的入口、click 數也最高,所以就決定是從這邊開始了!
4. 跟團隊溝通與協作:
- VeryBuy 的 day-in day-out 就是用 Scrum 框架跑敏捷的開發流程,該有的流程、會議都有,雖然也很有趣,但不是本文的重點就先不談。
最後以懸浮按鈕作為下載入口
5. 用數據做跌代:
- 懸浮按鈕v1 上線之後,終於可以開始觀察當初設定的指標了!
[close/click] → 版位討人厭程度
- 數據觀察:原本預期因為放在下面比較容易被 user 看到,如果沒興趣的 user 應該會點擊 close 所以 [close/click] 版位惹人厭程度應該會偏高,但結果是這個指標下降非常多, user 並不討厭這顆懸浮按鈕。
- 迭代計畫:可嘗試在懸浮按鈕上做 GIF 動圖來增加關注度,而 [close/click] 雖然會升高,但應該在可接受範圍。
[(click+close)/view] → 版位的受關注程度
- 數據觀察:原本預期因為放在下面比較容易被 user 看到,所以這個指標應該要會上升,但這項指標卻不如預期的高,細究 [click/view] 與 [close/view] 兩項指標,發現是因為 close 實在降低太多了,所以導致數據觀察上以為版位的受關注程度有下降,但其實原因是版位惹人厭程度下降。
- 迭代計畫:可接受,暫不迭代
[click/view]、[click]
- 數據觀察:在懸浮按鈕v1 上線之後,初步觀察 [click/view] 以及 [click] 這兩項指標都有顯著上升的情況,不過因為 [click] 上升,導下載的成功率下降,所以最終 App install 的數量沒有顯著上升狀況。
- 迭代計畫:
- 在行銷版位利用文案溝通加強下載誘因
- 調整 app store/google play 商店的版位提升誘因 → ASO 優化
驗收成果:
- 在經過一些迭代之後,目前新的 MWeb 導 APP 下載入口已經趨於穩定的狀態。MWeb 導流到 APP 的下載量從原本佔平均下載量 6.5% 到現在大約是 11% 成長了 4.5 個百分點,變成原本的 170%。
- 接下來這個這顆懸浮按鈕就成為了一種新的運營武器,除了導下載以外,懸浮按鈕也可以作為其他 campaign 的 promotion,不過這就脫離 Product Team 的範疇了,一切還是讓專業的來,交給 TGO!
初嚐 Data-Driven 的思考方式後的一些心得(寫給未入行的產品經理)
整體來說,我覺得 Data-Driven 的文化體現在有意識地做「數據採集、數據分析、優化數據可取得性、讓數據洞察 action-oriented」。VeryBuy 也並非做得面面俱到,但大家都認同這是重要的,並且也在往這個方向前進。
對剛入行不到半年的新人來說,能夠依著產品的數據脈絡,去抽絲剝繭的理解問題到底出在哪裡?並且去一步步地提出假說、找資料驗證假說,是非常理想的環境!
在這個辯證、追尋問題本質的過程中,解決問題的能力也相應的成長不少,大抵體現在:
- 拆解問題的方法能更結構化,
- 對於問題的敏銳度能思考的更細緻,
- 並且更培養以事實為導向去作論證的能力。
最後想說,本質上產品經理的工作只有兩件事:一是想清楚哪些是真正重要的事,二是影響他人讓那件事發生。在 Data-Driven 的文化下工作,毫無疑問的,是訓練想清楚哪些是真正重要的事的理想環境;如果 Data-Driven 儼然成為強勢文化,那只要分享 insights 給團隊,影響力自然也是水到渠成。
願各位產品新人都能接受 Data-Driven 的文化洗禮。
寫在最後的後面,關於數據驅動文化可能帶來的 side effect
「數據不會騙人,但取數錯誤會。」
- 最近聽到了這句話,很好的解釋了 side effect。其實不只取數錯誤,更常發生的狀況是盲信數據、不探求數據背後的故事,就形成了錯誤解讀。數據只是一個工具,這個工具讓故事的說服力更強、解釋力更深。但光只有數據,永遠無法取代故事本身。
by 小白