欧美精品在线一区二区三区_亚洲女同精品视频_日韩一区免费_国产欧美久久久精品免费_国产这里只有精品_僵尸再翻生在线观看_久久99精品国产一区二区三区_亚洲免费一区二区_女教师淫辱の教室蜜臀av软件_中文字幕国产一区二区

如何推進多方合作的A/B測試項目?

2020-7-24    濤濤

在多方合作的項目中,我們需要規劃項目的合理落地方案,并在執行過程中和各方有效溝通。結合近期羚瓏商家合作測試項目的實踐經歷,聊聊我在項目中的心得體會。

項目背景

我們想了解京東首焦banner中,設計因素對點擊效果的影響情況。做這件事最大的限制在于投放數據會受多種因素影響,不僅是一個設計因素的選擇,還有比如人群、出價、品牌、類目等因素的不同,都能影響到最終的投放結果。因此,從總體樣本中取樣進行分析的意義不大。為了解決上述問題,我們招募了一些能控制其他因素的品牌廣告主,與有能力支持投放的測試投放系統合作,共同完成A/B測試。

需求拆解與規劃

不難發現這個需求會涉及到多個項目角色,意味著將有復雜的推進流程,需要提前拆解與規劃,才能保證項目進度可控。

如何推進多方合作的A/B測試項目?來看京東的實戰案例!

△ 測試項目流程與分工

我們可以分三步來進行:

1. 找到項目關鍵步驟

關鍵步驟是將一個項目的推進拆解成多個階段,找到關鍵步驟,也就知道了每個階段的主要任務,可以進一步分工來推進項目。

如何找到關鍵步驟?我們可以從項目目標中提取。測試項目的目標是找到設計因素與投放點擊效果的影響關系。這個目標里提取重要的關鍵詞為:設計因素、投放點擊效果、影響關系。面對這些關鍵詞我們會有疑問產生如「測試設計因素是什么?有哪些?」、「如何投放」、「如何判斷影響關系」,再進行串聯梳理,得到完整步驟流程。

2. 明確角色任務與產出

每個階段的主要任務,可以拆解分工給項目角色,項目角色也就有了各自的任務,角色產出物則是任務執行的結果,將直接推動項目進入下一環節。所以為了順利推進項目,我們需要根據項目實際情況評估角色任務分工是否合理,產出是否滿足項目要求。

比如在「設計測試圖片」這個步驟中,有兩個分工方案,讓廣告主或我們自己設計圖片。我們從項目時長、溝通成本、潛在風險等維度進行評估,判斷廣告主把控變量不嚴謹會導致測試數據無效,且外部合作溝通成本較高時間不夠,所以最后將設計圖片的任務分給了內部。

3. 預判項目風險

對流程規劃得越詳細,在后續合作過程中越容易把控項目的節奏,項目風險越低。

再如「設計測試圖片」這個關鍵步驟,詳細展開執行流程會發現涉及到交互設計師、兩方視覺設計師、廣告主四個角色。對于項目執行角色,產出物的質量及按時交付尤為重要,所以重點把控輸出準確性與完成時間。對于項目決策角色,也就是決策最終投放哪些圖片的廣告主,溝通配合尤為重要。所以基于規避風險也對項目流程進行了優化,前置在項目之初,要求廣告主提前準備交付內容,規定交付時間及格式,以及充分溝通說明圖片設計產出之后不能進行較大改動。

結論推導的重要前提與方法

1. 保證數據有效

測試結論來源于測試數據,我們首先應該保證回收數據的有效性。測試項目的關鍵指標是點擊率,即點擊量與曝光量的比值。當圖片本身曝光量低時,我們認為隨著曝光量增加,點擊率比值波動范圍仍然較大,數據還未穩定在某個區間段,會影響結論準確性,判定為無效數據。發現類似這種問題,我們會和廣告主商量繼續投放,延長測試時間來增加曝光。

2. 充分測試

要想得到可靠普適的結論,需要對比多組樣本的測試結果。對于某個設計因素,我們先進行了單一廣告主的投放數據對比,可以找到投放效果最優和最差的設計水平。然后又將多個廣告主的結果進行對比,會發現存在不一致的情況,驗證了單組樣本結論不能作為類目結論輸出。如果多個廣告主結果一致,或呈現某一趨勢,則結論在該類目可以認為較為普適。

3. 差異分析

對于多組樣本結果不一致的情況,可以從組間因素差異著手分析。

如何推進多方合作的A/B測試項目?來看京東的實戰案例!

△ 背景設計因素測試結果

上圖是兩個廣告主分別測試背景設計因素得到的結果。第一組的投放結果為實景設計效果更好,第二組則為普通平面設計效果更好。產生這樣差異的原因是什么呢?我們先找出組間可能導致這一結果的因素,分別是顏色和產品。從顏色上看,是否平面+黑色效果更好呢?我們看了其他廣告主結果,否定了這一猜想。再從產品圖來看,兩個產品的識別度是不同的,我們將其他廣告主該因素測試圖按產品是否容易識別分組,最終得出兩組不同的結論:當產品圖易識別時,背景設計對效果影響不大;當產品圖不易識別時,實景圖效果更好。這也就解釋了上圖結果不一致的原因。

回顧整個項目,我個人認為項目中最重要的工作是溝通。下面我來分別談談內外部溝通的經驗。

雙贏是外部合作溝通的基石

與外部團隊、廣告主合作推進項目,需要及時有效的溝通,什么是有效的溝通呢?

1. 圍繞對方利益談配合

廣告主只看轉化結果,我們如果只談設計不談轉化,廣告主是不會想要出錢參與項目的,那么項目也將停滯不前。所以在合作前,我們做了項目及團隊包裝,用真實的案例讓廣告主快速理解參與項目所能帶來的價值,并用團隊以往的作品、能力展示讓廣告主了解與我們合作的優勢。廣告主越認同項目價值及我們的專業度,配合度就會越高。

如何推進多方合作的A/B測試項目?來看京東的實戰案例!

△ 招募PPT中的真實案例介紹

2. 圍繞對方目標來「推銷」方案

在推進項目這一點上,找到目標一致的點更容易促成各方意見達成一致。

我們合作的廣告主很多會選擇外包banner設計,所以廣告主們習慣了做傳說中的「甲方爸爸」,難免會對視覺設計方案有各種主觀意見。比如,某電視廣告主不喜歡紅色圖片設計,想要藍色。對于這樣的分歧,我個人喜歡用引導式的溝通方法。首先,不要急于表達自己或否定對方的意見,可以以疑問句式來猜測對方的目的。「喜歡藍色是希望用沉穩的顏色來表現產品的高級感嗎?」,如果猜測正確,對方會因自己的需求被理解而更容易溝通,這時再繼續闡述用紅色如何表達高級感;如果猜測不正確,對方會順勢說出原因,我們再圍繞對方的目標進一步溝通。如果對方毫無理由「不喜歡這個設計」,而設計師并不覺得有設計問題,那么我們需要停止專業角度的溝通,從設計是否滿足當前階段項目需求的角度來溝通,方案則更容易被接受。

內部合作各盡所能發揮優勢

內部合作分交互、視覺、用研三種不同的崗位角色,在項目中都發揮著自己重要的作用。

交互擅長統籌與拆解問題,團隊的內部溝通能產生多種解題思路,對項目的推進至關重要;在遇到如需要統計學分析、樣本設置等專業問題時,用研可以提供更專業的分析方法與幫助,為我們實現科學分析提供有力支持;視覺設計師對banner設計有豐富的經驗,可以在各個環節中發揮優勢。從項目之初就參與設計因素拆解、測試方案設置,可以補充視覺相關的設計因素,在優化測試方案、風險預期方面都可以提供重要的建議。在結論推導中,對圖中的因素差異敏感度高,可以根據數據提出關鍵猜想。

文章來源:優設    作者:京東設計中心JDC

藍藍設計www.ocunn.cn )是一家專注而深入的界面設計公司,為期望卓越的國內外企業提供卓越的UI界面設計、BS界面設計 、 cs界面設計 、 ipad界面設計 、 包裝設計 、 圖標定制 、 用戶體驗 、交互設計、 網站建設 平面設計服務

日歷

鏈接

個人資料

藍藍設計的小編 http://www.ocunn.cn

存檔

日本天堂在线视频| 成人动漫一区二区在线| 99视频精品全部免费在线视频| 国产高清亚洲| 成人影院av| aaaaa一级片| 免费精品99久久国产综合精品应用| 亚洲熟妇无码av在线播放| 女人一区二区三区| 欧美精品免费看| 中文字幕精品—区二区| 亚洲久久久久久久久久| 精品日韩成人av| 欧美videos大乳护士334| 欧美精品日韩精品| 欧美午夜精品一区二区三区 | 九色精品美女在线| 欧美日韩在线观看一区二区| 精品女厕一区二区三区| 洋洋成人永久网站入口| 亚洲精品乱码久久久久久久久| 国产精品久久久久精k8| 国产精品女同互慰在线看| 国产视频亚洲色图| 久久久综合视频| 久久亚洲一区二区三区明星换脸| 91在线国产观看| 久久综合久久综合久久综合| 久久久久亚洲蜜桃| 国产欧美久久久精品影院| 欧美精彩视频一区二区三区| 国产精品伦理在线| 一区二区三区中文字幕| 亚洲福中文字幕伊人影院| 亚洲3atv精品一区二区三区| 岛国av在线一区| 高清国产一区二区三区| 国产日韩欧美一区二区三区在线观看| 综合天天久久| 亚洲电影成人| 日本v片在线高清不卡在线观看| 日本aⅴ精品一区二区三区| 秋霞国产午夜精品免费视频| 黄网站免费久久| 不卡高清视频专区| 国产日产欧美一区二区视频| 亚洲免费观看视频| 五月天中文字幕一区二区| 一本色道**综合亚洲精品蜜桃冫| 欧美日韩一级二级| 亚洲精品在线观| 久久精品国产精品| 日本精品久久久久影院| 91网站在线免费观看| 久久久久久久久国产精品| 97精品国产97久久久久久春色| 国产精品99久久久久久白浆小说| 99久久精品免费看国产四区| 欧美日韩一区二区三| 国产经典久久久| 999国产视频| 欧美日产一区二区三区在线观看| 婷婷视频在线播放| 欧美精品一区免费| 亚洲av午夜精品一区二区三区| 国产肥白大熟妇bbbb视频| 九九视频免费看| 一区二区日韩在线观看| 亚洲色图16p| 色图在线观看| 欧美激情啪啪| 色135综合网| 天堂va蜜桃一区二区三区 | 成年人视频在线免费观看| 丰满诱人av在线播放| 国产精品亚洲欧美一级在线| 日韩毛片视频| 免费不卡在线视频| 欧美国产日本韩| 欧美在线视频你懂得| 亚洲欧洲日韩国产| 日本一区二区在线播放| 欧美婷婷久久| 亚洲精品高清无码视频| 人妻精品久久久久中文| 无码人妻精品一区二区| 久久高清免费视频| www国产在线| 成人影院在线看| 日韩在线视频一区二区三区| 你懂的国产精品| 国产精品夜夜嗨| 亚洲一区在线观看网站| 精品国产乱码久久久久久夜甘婷婷| 久久五月天综合| 91在线高清视频| 欧美午夜精品久久久久免费视| 青青青免费在线| 久久丫精品国产亚洲av不卡| 波多野结衣在线观看一区| 美臀av在线| 亚洲av毛片成人精品| a毛片在线观看| 精品资源在线| 欧美色图在线播放| 韩国av一区二区三区| 亚洲精品成人少妇| 日韩av网站在线| 国产欧美日韩中文字幕在线| 久久久久久久香蕉| 丰满少妇高潮一区二区| 91亚洲视频在线观看| 韩国av网站在线| 亚洲精品播放| 国产一区二区三区美女| 99精品视频在线播放观看| 色美美综合视频| 久久国产精品久久久久| 欧美大陆一区二区| 亚洲精品无码久久久久久久| 最新中文字幕视频| 国产精品亚洲lv粉色| 激情av在线| 香蕉久久网站| 国产午夜精品一区二区| 精品久久久久久久久久久院品网 | 99视频在线精品| 欧美精品第1页| 97av在线影院| 黄色成人在线免费观看| 97在线观看视频免费| 97福利网站在线观看视频| 91嫩草国产线观看亚洲一区二区| 一本一本久久| 亚洲午夜精品久久久久久久久| 综合网日日天干夜夜久久| 久久精品人成| 4444亚洲人成无码网在线观看| 日本xxxxxxxxx18| 最近中文字幕mv第三季歌词| 亚洲ww精品| 蜜臀av一级做a爰片久久| 丰满岳妇乱一区二区三区| 欧美激情亚洲另类| www.激情网| 国产精品日日夜夜| a毛片在线播放| 午夜日韩av| 洋洋av久久久久久久一区| 超碰91人人草人人干| 在线丝袜欧美日韩制服| 少妇愉情理伦三级| 久蕉在线视频| 久久国产成人午夜av影院宅| 国产精品久久久久久久久晋中 | 青青草成人网| 免费成人深夜天涯网站| 污污软件在线观看| 免费看av成人| 中文字幕av在线一区二区三区| 一本久久综合亚洲鲁鲁| 亚洲无玛一区| 少妇影院在线观看| 菠萝蜜视频国产在线播放| 欧美aa国产视频| 无吗不卡中文字幕| 国产精品99久久久久久人 | 国产精品成人观看视频免费| a级一a一级在线观看| gogogo影视剧免费观看在线观看| 欧美国产极品| 国产精品色眯眯| 久久69精品久久久久久久电影好 | 亚洲精品av在线| 91精品国产99| 欧美精品一区二区三区免费播放| 青青艹在线观看| 成人精品视频在线观看| 风间由美一区二区三区在线观看| 日韩成人激情在线| 一级日韩一区在线观看| 亚洲一区 视频| 日韩伦理在线| 国产一区高清在线| 日韩久久精品电影| 久久天天东北熟女毛茸茸| 欧美另类一区二区| 久久久加勒比| 99久久精品国产一区二区三区| 中国人与牲禽动交精品| 丁香花在线影院观看在线播放 | 精品国精品国产自在久不卡| 亚洲最好看的视频| 亚洲在线观看免费| 国产精品老女人精品视频| 男人j进女人j| 免费黄色片视频| 国产欧美啪啪| 亚洲一二三四久久| 91精品久久久久久久久久久久久久| 在线天堂www在线国语对白| 亚洲天天影视| 秋霞影院一区二区| 国产亚洲精品美女| 免费久久99精品国产自| 久久久久久av无码免费网站| 日本欧美韩国| 国产日本一区二区| 97在线视频免费| 成熟妇人a片免费看网站| 男人天堂手机在线| 美国一区二区三区在线播放 | 91欧洲在线视精品在亚洲| 亚州av乱码久久精品蜜桃| 欧美日韩一区二区在线观看| 日韩亚洲不卡在线| 一区二区视频免费| 美女亚洲一区| 欧美视频一区二区三区在线观看| 日韩久久不卡| 88av在线视频| 久久久五月天| 欧美成人video| 欧美精品久久久久久久久久久| 天堂在线视频免费观看| 韩国亚洲精品| 亚洲精品午夜精品| 国产福利一区视频| 青青免费在线视频| 日本麻豆一区二区三区视频| 视频直播国产精品| 蜜桃色一区二区三区| 先锋影音在线资源站91| 成人性视频网站| 日韩av片电影专区| 日韩av毛片在线观看| 久久精品黄色| 婷婷激情综合网| 在线不卡视频一区二区| 少妇精品视频一区二区| 亚洲成色精品| 日韩在线视频网站| 中文字幕天堂av| 在线观看福利电影| 亚洲免费伊人电影| 欧美一区二区在线| 亚洲第一天堂网| 久久电影一区| 欧美成人一二三| 国产无遮挡在线观看| 欧美大片91| 欧美色老头old∨ideo| 国产欧美日韩小视频| 在线一区二区三区精品| 精品亚洲porn| 国产精品成人va在线观看| 精品少妇theporn| 成人激情诱惑| 亚洲精品视频在线播放| 色悠悠在线视频| 电影亚洲一区| 色婷婷久久99综合精品jk白丝| 久操手机在线视频| 成人免费在线视频网| 99久久免费精品| 国产精品一 二 三| 国产日韩免费视频| 免费日韩av| 国产不卡精品视男人的天堂| 国产精品视频一区在线观看| 中文字幕免费精品| 久热爱精品视频线路一| 18啪啪污污免费网站| 亚欧日韩另类中文欧美| 精品中文字幕久久久久久| 亚洲少妇一区二区三区| 欧洲美女精品免费观看视频| 在线观看国产一区二区| 久久精品一区二| 大桥未久在线视频| 国产精品18久久久久久久久久久久 | 亚洲七七久久综合桃花剧情介绍| 中文字幕乱码亚洲精品一区| 久久久久无码国产精品一区| 黄色一级a毛片| 国产成人激情av| 97人摸人人澡人人人超一碰| 高清毛片aaaaaaaaa片| 国产一区二区三区综合| 91视频九色网站| 好吊色一区二区三区| 九九在线精品视频| 亚洲精品免费av| 亚洲国产精品18久久久久久| 国产精品888| 国产一区二区三区四区五区加勒比| 日韩成人免费在线视频| 欧美精品国产| 欧美在线xxx| 中文字幕 国产精品| 国产一区成人| 国产在线拍揄自揄视频不卡99| 国产精品视频a| 成人综合在线观看| 欧美激情视频一区二区三区| 一不卡在线视频| 国产精品久久久久久久久图文区| 青青草视频国产| www欧美xxxx| 欧美日韩国产在线播放网站| 欧美深夜福利视频| 色戒汤唯在线观看| 这里只有精品免费| 中文字幕日韩三级片| 激情五月综合| 韩国19禁主播vip福利视频| 无码人妻精品一区二区三区蜜桃91| 日本视频免费一区| 国内精品视频免费| 77777影视视频在线观看| 天天亚洲美女在线视频| 日韩在线一区视频| 日本妇女一区| 欧美激情网站在线观看| 国产三级视频在线播放| 99久久99久久精品国产片果冻| 欧美日韩一区二区三区电影| 免费毛片b在线观看| 日韩网站在线看片你懂的| 国产毛片欧美毛片久久久| 最新精品国产| 国产视频福利一区| 四虎永久在线| 一区二区三区不卡在线观看| 中文av一区二区三区| 美女主播精品视频一二三四| 欧美大学生性色视频| 国产精品亚洲lv粉色| 久久先锋影音av鲁色资源 | 操你啦在线视频| 欧美三级中文字| 久久久久久国产免费a片| 在线播放日韩| 粉嫩高清一区二区三区精品视频 | 国产精品久久久久无码av| 欧洲成人午夜免费大片| 濑亚美莉一二区在线视频 | 欧美一性一乱一交一视频| 欧美熟妇乱码在线一区| 日韩理论片在线| 一区二区三区人妻| 97欧美在线视频| 成人字幕网zmw| 日本视频在线| 欧美大片拔萝卜| 99热在线观看免费精品| 成人国产精品免费观看| 免费成人午夜视频| 国产精品久久久久av蜜臀| 7m精品福利视频导航| 在线观看的av网站| 91久久国产最好的精华液| 久草福利资源在线| 久久成人综合网| 欧美又粗又长又爽做受| 亚洲综合影院| 日本欧美一级片| 国产最新视频在线| 欧美久久一区二区| 国产大学生自拍| 国产69精品久久777的优势| 日本www在线播放| 免费国产自久久久久三四区久久| 国产一区在线播放| 国产在线高清视频| 日韩av在线网| 亚洲天堂网在线观看视频| 亚洲免费观看在线视频| 免费黄色在线视频| 蜜桃视频一区二区| 丁香六月激情婷婷| 亚洲国产精品嫩草影院久久av| 国产精品视频久久久久| 精品视频在线一区二区| 日韩精品欧美国产精品忘忧草| 国产一区二区三区中文字幕| 亚洲国产另类av| 蜜臀av午夜精品久久| 波多野结衣精品在线| 色91精品久久久久久久久| 红桃视频国产一区| 一区国产精品| 久久夜色精品国产噜噜av小说| 国产中文字幕91| 国产精品一二三产区| 欧美激情xxxxx| 在线观看免费黄视频| 亚洲免费视频在线观看| 蜜桃视频在线观看www| 欧美丝袜丝交足nylons图片|