我们会用高级的工具，做漂亮的report，出一堆的数字，大家看着数字多就觉得自己professional，看着数字变大就觉得团队工作出色。开一个网站，做一个promotion，谈一个市场合作，执行一个marketingcampaign，做得辛辛苦苦，看到数字（traffic,acquisition,conversion…）不断变化眼花缭乱，最后出一份report说我们搞到了多少注意力，多少注册，多少钱销售，数字大的时候大家觉得做得好，数字小的时候觉得做得不好，对么？
问个问题：有个网站，对网站架构做了重新设计后，pageview/visitor上升100%，其他数据都不变，这次重新设计是不是成功的？
再问个问题：有两个marketingcampaign，CampaignA带来了10millionimpression，100,000个visitor，2000个订单，200,000元销售；CampaignB带来了5millionimpression,80,000个visitor，1000个订单，400,000元销售。哪个Campaign比较成功？
答案是不知道。
因为我们不知道我们的目标是什么，在不知道目标的时候数字是没有意义的。
有一个笑话很好的形容这个困境：
有一艘太空船在宇宙中航行，忽然全船听到船长的广播：
大家好，现在我有一个好消息和一个坏消息要通知大家
大家开始紧张……
好消息是，我们现在的速度越来越快了
大家高兴了一下
坏消息是，我们不知道自己在往哪开
很多时候，我们就是这样。
如果你回答第一个问题”是成功的“，那么请想象一下如果这个网站是个电子产品公司的客户自助服务页面呢？网站的目标是让用户自己找到问题的答案以减轻客服中心的压力，每个访问者访问页面增多很未必是好事——可能说明你导航更不清楚了让用户要花更多步骤才能找到想要的答案。一方面客户满意度会下降，另一方面更多客户会放弃搜寻信息而直接拨打电话——这样又增加了客服那边的压力。
如果你给了第二个问题肯定的答复，那么请想象一下如果我们的目标是“增加品牌曝光”时你答案是什么，目标是“促进销售”呢？目标是“增加订单量，让用户都体验一下购物”呢？目标是“增加高价值客户”呢？
没有清楚定义目标的时候，我们看到的数字仅仅是数字而已。只有定义了目标，我们才知道数字对我们生意的意义。
首先，在网络营销中我们要清楚定义目标。
对于一个支持性的客服网站，我们的目标是让用户找到满意的答案，从而不去拨打电话。
对于媒体网站，我们的目标是让用户对内容感兴趣，消费更多的内容。
对于电子商务网站，我们希望客户多消费，并且持续消费。
对于某一个市场活动，我们希望能增加品牌曝光，对另一个宣传活动，我们希望能拉多些新用户。
这是我们的目标。
听起来很简单，明确一下自己工作的意义和目的就好了。
其实并不容易。对于很多公司，很多人来说，他们其实不是非常能明确自己工作的目的到底是什么，要做这个要做那个只是因为“之前也是这样做的“或者”业界不都在这样做么“，只是为了做事而做事，而没有想清楚整件事情的意义。
定义了目标之后，我们需要找到一组Metrics（指标）来衡量目标达成情况。打个比方，一个小朋友的目标是“长高”，那么他就可以选择“身高”（测量从脚底到头顶的长度）作为指标。
听起来还是很简单。
其实并不容易，分三步来说：
第一步，了解我们监控到的数字的意义，找到合适的指标来衡量我们目的达成的效果。
第二步，研究数据，将无效和虚假的部分剥离。
第三步，通过测试、辅助指标计算和长期监控来分析隐性和长期效果。
第一步，找到合适的指标来衡量我们目的达成的效果。
这个……没有想象的那么容易。
举个例子，假如你管理一家电子商务网站，你找了几个人帮你做所谓的Marketing，你跟他们说“我要看到实际效果，打广告的目的就是要带来销售。“
听起来目的很明确——促进销售，所以在指标的选择上也就很简单——看每个campaign带来的“销售”类指标就好了。根据团队使用的工具的不同，他们的选择可能有：
SameSessionOrder
SameSessionShopper
SameSessionRevenue
LastClickOrder
LastClickShopper
LastClickRevenue
FirstClickOrder
FirstClickShopper
FirstClickRevenue
LinerOrder
LinerShopper
LinerRevenue
另外，他们可以选择的时间窗可能有7天，10天，30天，或者60天。
选哪几个最合适呢？
一般的做法（有时候也是受到WebAnalytics工具的限制）是选择30天时间窗的LastClickRevenue。”30-dayLast-clickRevenue”大致上（各家WA定义不一样，有WA专家写过一些文章介绍，可以点击这里查看他blog）是这样取得的：
消费者下单完成后进入订单确认页面（Thankyoupage），这个页面上有一段代码会去看该用户机器上的cookie，看该用户在之前30天有没有点击过我们投放的广告（例如发现该用户30天内依次点击过“新浪广告”,“Smater比价网广告”和“百度关键词广告”），如果有，则找到用户最后一次点击的广告（“百度关键词”），把这个订单的功劳都算到它头上。
听起来蛮合理的。
对于没有选择的同学们（比如你的WA工具只给你这个选项）来说，这样做无可厚非。但是对于有选择的人（比如你用好的工具，或者是自己设计开发WA工具），盲目选择”30-dayLast-clickRevenue”就是一件很扯的事情。
首先，为什么是30天的时间窗？
为什么不是7天，10天？为什么不是60天？
你对广告带来的流量的依赖性多高？你的消费者看到和点击你广告的频率怎样？从看到广告到做出购买决策，是否需要长时间的考察和研究？……
再问一遍，为什么不是7天，10天？为什么不是60天？
更重要的是，为什么你只看lastclick的数据？
设想以下情况：
一个用户在新浪看到了你周年庆的广告，点击进去发现你在做特价促销，买东西全场免运费还送一堆赠品，他记下了。过了两天，在上班的时候（^___^，大部分人是在上班时间访问电子商务网站的……），他想起自己要买个电饭煲，于是去比价网找产品比较价格，又看到了你家网址，点击进去看了一下，决定买了，但是没有带网上支付卡所以没有直接买。晚上回家之后，他打开电脑，打开百度，输入你网站的名字（他懒得去回忆你的域名）和那款电饭煲的名字，点击第一个链接（刚好是你的付费关键词链接），到了你网站，买了产品。
新浪的广告让客户了解到你，对你产生的印象，给之后的购物做了铺垫。
比价网广告让客户了解到你也在销售他需要的产品，让他购买。
最后，百度把客户带回来下了单。
你，把功劳都算给百度？
购物决策分为很多个阶段，你的广告可能在他购物决策的不同阶段发挥了作用。
有些类型的广告能让客户来到网站，激发他的一些需求。
有些类型的广告能让消费者在明确了他的需求之后，引导客户来到网站，促成交易。
还有些，介于两者之间，帮助客户从一个阶段到下一个阶段。
如果我们只看离转化（Conversion）最近的广告，把所有功劳都归给它，就会出现很有趣的现象：在报表里面，哪些起到”促成转化“功能的广告得到了所有的功劳，ROI最漂亮，而那些起到”激发需求“或者”增进了解“功能的广告没有得到任何功劳，ROI很难看——很自然的，在我们”优化“市场投放的时候，就会把有限的资金向ROI高的投放方式上倾斜（按照上面那个例子，很多marketer看到数据之后会把新浪和比价网广告停掉，把钱都往百度砸）。
因为你选择了一个有偏见的指标，”激发需求“和”增进了解“类型的广告的作用被大大低估，他们得到的资源也越来越少，最终影响到那些”促成转化“的广告的效果（在上面那个例子，如果没有前面的广告，客户是不会去百度搜索你的）——最后的结果就是，我们越是数字导向，越是去优化我们的marketingcampaign，越是把资源投给那些看起来ROI高的campaign，我们整体的ROI就越差。很讽刺，不是么？
现在，你是否觉得，为了评价”创造销售“这个目标，除了30-daylastclickrevenue我们应该也看看别的指标？比如说同时看30-dayfirstclickrevenue和linerrevenue.30-dayfirstclick将把功劳算给30天内客户点击的第一个campaign，而liner将把功劳平均算给客户在30天内点击过的所有campaign。
如果你的投放金额较大（那么就更需要精细管理），是否应该将campaign分组，有些组用这个指标衡量（例如用firstclick衡量门户网站banner），有些组用那个衡量（比如用lastclick衡量比价网广告），还有些用liner的数据？或者，你觉得可以3个数据都看，弄个公式来计算（给每种数据一个权值）？
这些都是可以的，关键是——清楚的了解我们抓取到的数据含义，结合目标来选择最合适你生意的一套指标。
定义了目标之后，我们需要找到一组Metrics（指标）来衡量目标达成情况。找合适的Metrics要分三步走：
第一步，了解我们监控到的数字的意义，找到合适的指标来衡量我们目的达成的效果。
第二步，研究数据，将无效和虚假的部分剥离。
第三步，通过测试、辅助指标计算和长期监控来分析隐性和长期效果。
网络营销数据解读（四）——目标和指标里对第一步进行了简单的介绍，今天我们来讨论第二步和第三步。
首先，我们要研究数据，将无效和虚假的部分剥离。
因为监控工具的不完美，人工操作的失误，或者合作方有意无意的作弊，我们拿到的数据很未必完全是真实的。你拿到10000个click，可能只有1个是真实用户的点击，拿到10万个注册用户，可能全部都是机器生成。——所以，我们必须要有一个筛选过滤的过程。
因为作弊方法太多，我也没有想到有什么系统性的方法可以用来解决这个问题。有一个简单的原则就是：找异常。真实的数据看起来就是会比较”真实“，数据间的比例关系也会比较合理，数据在时间和地域上的曲线和分布都会比较平滑。反过来，作弊的流量有可能会考虑不周，从而在某方面做得太过分而显出异常来。
举例来说，如果我监控的是我在www.MarsOpinion.com上广告投放的click数据，有哪些可能出现“异常”的地方呢？
流量在时间上的分布异常：如果平时每天带来1万个click，今天忽然带来10万个，这就很让人怀疑。另一种情况，如果每天还是平均1万个很稳定，但是仔细看发现每天有5千个都是在8点5分到8点10分这五分钟过来的，这也是一种异常。
流量在行为上的异常：正常情况下，通过广告带来的大部分的流量应该会直接离开网站（bounce），剩下的那些流量会行为各异，有些人看多几个页面，有些人看少几个。如果发现流量全部被bounce，这是一种异常，如果流量完全没有bounce这也很异常；如果大部分的流量都表现出了类似的行为这也很异常——比如90%的流量都是到了landingpage点击了页面顶部一个不起眼的链接，在下一个页面停留了0秒，又点击了页面顶部一个不起眼的链接，然后离开站，这看起来也很假。
流量在地域上的异常：如果1万个click当中，9800个来自同一个IP（或者相邻的一段IP），这也很奇怪。如果从地域分析上看，一个面向北京免运费的活动，来的流量99%都是山西的，这也很莫名。
流量在来源上的异常：本来买的是www.MarsOpinion.com网络营销专区的广告，结果最后仔细研究发现流量中90%是从游戏专区点来的，这也很不对劲。（不同地方的流量价值是不一样的，可能他们在卖你广告的时候宣传的是”我们的受众刚好是你的目标客户，重合度高，效果好“，但是其实他们那个方面流量太少，为了填数字，只好从别的热门频道——例如游戏频道、娱乐频道——导入垃圾流量充场面）
如果我们监控的不是click，而是registration呢？类似。
时间分布异常：前一个月每天才5个注册，结算前一天来了10000个注册。
行为异常：广告链接到landingpage，但是所有流量都是直接到注册页面注册，没有经过landingpage。
地域异常：都来自同一个IP段
其他异常：所有注册用户都没有填写具体信息；或者所有注册用户都叫类似名字；或者所有注册用户的注册email都长得很像，比较常见的是marsopinion0001@gmail.com,marsopinion0002@gmail.com,marsopinion0003@gmail.com,marsopinion0004@gmail.com,marsopinion0005@gmail.com,marsopinion0006@gmail.com…
上面只是抛砖引玉，并不能涵盖所有作弊流量的特点。但是从Marketer的角度，我们判断流量虚假的原则是确定的：流量是否显著异常。如果他能做到在数据表现上和真实流量没区别，我们确实也很难把他们抓出来。
至少，做好第一步之后，我们已经把那些比较傻的作弊数据给排除掉了。
一般的公司上做到这一步就停下来了——嗯，确切的说，很多公司还没有做到这一步就停了，呵呵。
如果你还要深入想一下的话，可能就会思考这样一个问题：数字大就是好么？带来100,000块钱订单就一定比10,000块钱订单好么？难道带来1000个新用户就一定比带来500个好么？难道1000个访客就比900个访客要有价值么？
不一定。
因为我们虽然衡量了campaign达成指标的程度（数量），但是却没有仔细去考评达成指标的质量。就好象说我们派两个人去不同水果摊买50块钱苹果，心里面想说谁买得多就算谁能干（用“重量”做指标）。最后甲带回来20斤苹果，乙带回来10斤，于是我们认为甲更能干一些。——细细想想，是不是觉得有点怪？万一甲带回来的苹果很难吃呢（难吃，但是并不是假苹果）？万一乙买回来的是你这辈子吃过的最好吃的苹果呢？
在这个例子里，我们本来想采用”苹果的重量“来衡量两个人的能干程度，后来又加入了”口味“来辅助评判。对于网络营销的指标来说，我们也可以类似的引入一些辅助指标来帮助我们更好的理解那些主要指标的“质量”。
第一类的辅助指标，是当期就能拿到的、可以帮助我们衡量主要指标质量的其他指标。（好绕@__@）
比如说，我们的目标是“销售”，那么我们除了订单金额之外，还可以综合订单量，平均订单金额，购物顾客数量和利润一起来看。
假设A网站广告带来了10万块钱的销售，B网站广告带来8万块。A网站的订单数量是500，来自500名不同的客户，平均订单金额200；而B网站的订单数是800，来自800名不同的客户，平均订单金额100——这时候，根据我们策略的不同，我们很可能就做出不同的判断。
如果我们的目标是“扩大客户群”，可能我们会定义RevisedRevenue=Revenue*(1-BuyerWeight)+Buyer*AverageOrderValue*BuyerWeight，如果我们网站的平均订单金额是250，而我们给“购物客户数量”的权重是50%的话，我们就可以计算出A网站广告带来的的RevisedRevenue=100,000*0.5+500*250*0.5=50,000+62,500=112,500，而B网站广告带来的RevisedRevenue=80,000*0.5+800*250*0.5=40,000+100,000=140,000，两相比较，B网站的广告效果比A网站广告效果更好！
但是反过来，如果我们当前目的是“盈利”（比如我们是做service的，服务每个订单的成本类似——比如100块，单个订单买少了我们亏钱，买的越多我们越赚），而且订单的利润数据并不能从WA中得到，我们可能就要用RevisedRevenue来简单的估算一下，比如说我们可以定义RevisedRevenue=Revenue–Order*100，用这个公式来计算的话，我们又会得出结论说A网站广告效果更好一些。总而言之，我们要根据战略目标来调整自己的Metrics中指标的定义，以便于让他更精准的反映”目标达成情况“。
再举个例子，比如我们要做个Campaign，目的是给网站带流量，那么，网站停留时间，浏览深度，和是否到达特定页面（例如公司介绍页面，产品介绍页面）也可以成为我们的辅助指标。比如我们可以定义RevisedTraffic=Traffic*0.1+0.4*(Trafficwithmorethan3pageviews）+0.5*(pageviewoftargetpage)，这样子，那些给我们带来高质量流量（来了之后在我们网站东逛西逛，或者对我们感兴趣看了我们公司介绍产品介绍）的营销渠道会更容易脱颖而出。
比如新浪广告带来了100万visitor，10万浏览超过3个页面，8万（和前面这10万人有重复）人看了产品页面，同时QQ广告带来120万visitor，5万浏览超过3个页面，6万（和前面这5万有重复）人看了产品页面，乍一看访客数量好像QQ广告更好，但是仔细考虑流量的质量，用我们设计的revisedtraffic分析就会发现不是这么一回事。新浪的RevisedTraffic=1,000,000*0.1+0.4*100,000+0.5*80,000=180,000，而QQ的RevisedTraffic=1,200,000*0.1+0.4*50,000+0.5*60,000=150,000，新浪广告的效果更好一些！
从上面的例子可以看到，我们的目标不同，就会导致我们对”质量“理解的不同，也就会需要选用不同的辅助指标来帮助我们更好的解读数据。
除了上面所说的这些之外，还有另一类辅助指标——长期效果。
简单说，就是隔一段时间，再测量一下之前某个campaign带来的流量、客户表现如何。
还是用上面的例子，新浪广告100万Visitor，QQ广告带来120万Visitor。广告投放结束后，过一个月之后我们可以（如果你用的WA工具有这个功能，很多付费工具可以做到，GA的话看过别人这样用过——但是我自己没有亲手操作过）再看看这些人的表现，例如“多少人在广告投放期过后还来过我们网站”，“多少人在最近7天来过网站”，“多少人在投放期过后买过东西”……可能我们会发现，新浪的100万Visitor当中有10万在广告停了以后又来了网站，5万在过去7天内来过（说明访问频率高），1万买了东西；而QQ的120万人当中只有8万又来了网站，4万在过去7天内来过，7千买了东西。我们可以比较有信心的得出结论说新浪的营销效果更好一些，真的给网站带来了客户，对我们有长期的正面影响。
再举两个非常类似的例子，第一个，假设我们在和一堆论坛搞活动吸引论坛的网站来你网站注册，注册就送论坛积分和小礼品，这样很容易在初期看到很好的效果——比如每天注册10000个，我们觉得获取每个新用户的价值高于200块钱，所以当论坛问我们要20块钱一个注册的时候我们觉得还蛮公道的。在结算时看看数据，觉得注册量看起来也没什么异常，应该也是真的，于是挺高兴。但是，当我们在一个月后再查数据的时候，发现只有0.1%的“新用户”在活动结束后来访问过网站，0.01%的人7天内访问过，0.001%的人有购物行为——而自然增长的“真实新用户”，各方面数据表现应该至少是这个数据的200倍！这样算起来，论坛那些新用户的价值只有我们平时自然增长新用户的1/200，也就是价值1块钱/个，20块钱一个买来实在是很亏。为什么会这样呢？一种可能是我们的合作方在作弊——做得很高明，我们没有看出来，但是他再怎么做也很难想到说还要在活动结束后继续来作弊模拟让这些“新用户”去访问网站，所以这时候被我们抓到。另一种可能是那些“新用户”完全就是被论坛积分和小礼品吸引来注册的，他们只是根据论坛的指示填了个表格提交而已，根本没有花心思了解我们网站是干嘛的，自然之后也不会来访问——这就是规则设定的问题了。
另一个例子，假如我们和某非竞争的大网站做用户交换，为了吸引客户，我们可以给出”买100减30“的折扣券，仅供合作方带来的新注册用户使用。因为我们要求很严格：1.只有从合作方过来的流量才能通过注册得到折扣券；2.只有当用户真的买东西之后我们才需要付出折扣券的成本。所以听起来是只赚不赔的生意——如果通过这个合作得到了10万个新用户，5万个买了东西，大家心里面都会很开心，MKT也可以交一份漂亮的报告给老板来论证自己做得多好。只是，如果很不识相的在一个月后再查一下数据，或许会发现这5万个”购物新用户“中只有1%再次访问过网站，而正常数据应该是至少10%。为什么会有这个差距呢？你仔细在网上搜索之后可能会发现所有的网购论坛上都已经贴出了帖子说”www.MarsOpinoin.com在送钱，买100送30，通过这里重新注册个帐号就好！”，然后无数的老用户（一般来说，这种帖子最能吸引已经在marsopinion.com购物过，相信这个网站的用户）点击链接重新注册了个帐号（这次用的是自己不常用的那个email，或者新弄了一个email来注册）拿了折扣券买了自己本来要买的东西，买完之后就把这个帐号丢了。这个Campaign划不划得来我们可以再讨论，但是它的效果并不如想象中好是一定的。
我们可以看到，辅助指标不仅仅可以帮助我们更精准的衡量网络营销效果，衡量它在“达成目标”方面的真实作用，而且还能够在一定程度上更全面和精准地过滤作弊数据，一举两得。
OK，回顾一下，要找到合适的Metrics，我们需要：
第一步，了解我们监控到的数字的意义，找到合适的指标来衡量我们目的达成的效果。
第二步，研究数据，将无效和虚假的部分剥离。
第三步，通过测试、辅助指标计算和长期监控来分析隐性和长期效果。
经过这些步骤，我们已经建立起来了一套合理的metrics（文中只是给了提示和方向，真的要建一套符合自己公司特点的metrics还是需要很多精力深入分析的，没有通用公式:)）
而且这套体系应该已经比大多数公司目前使用的要更全面一些了。
本文转自Mars Opinion博客 原文是网络营销数据解读目标和指标以及完善指标两篇文章。
