データ分析とインテリジェンス

効果測定の基本

■冗談みたいな話だが、いまだに見かける効果測定

ある施策に関する効果測定に関する話。

  • 5,000,000円の予算を使って
  • 100,000人に施策を行った結果
  • うち1,000人が購買活動を行い
  • 1人あたりの購入額は10,000円でした

結論:「10,000,000円儲かったからこのキャンペーンは大成功だ!」

■効果測定について考えている人に向けて

こんな情報を真に受けてさらに広告費用を増額したりすれば大惨事になることは間違いない。しかし、報告を受ける側も行う側も、この効果測定のおかしさに気が付いていないのであれば重症である。おかしいのが承知で目をつぶっているような場合(上司に都合の良い報告をしたい担当者や、結果をよく見せたいコンサルや代理店、場合によってはその両方)は別の問題なのでとりあえず横に置いておく。したがって、効果測定をきちんと行って次の施策に生かしたい、そのためにはどうしたらいいかを考えている人に向けて、議論の材料となる内容を提供したい。結局のところ、問題意識の無い人には何を言っても伝わらないからだ。

■効果測定は目的ではなく「次にどうするか意思決定をするため」

まず最初に、効果測定をすることは目的ではない。この点を正しく抑えておかないと、なんとなく何かが解った気にはなれるが、結局のところ何の役にも立っていないという事態になる。ではいったい何のための効果測定なのか。

結果を見るのは目的ではなく、「結果を元に次にどうするか意思決定をすること」が目的である。結果がどうであれ次にどうするかが決まっているならば、効果測定もレポート作成も報告会も無駄である。施策の結果を検証せず、何が良くて何が悪かったのかわからないままで次を考えるのは馬鹿げている。しかし、レポートを読んで感想を言うだけで何もしないのでは時間を無駄にしている分さらに悪い。

■必要なのは結果

結局のところは「いくらの投資をして、どれだけ儲かったか」以外に見るべきことは無い。「次にどうするべきかの提案」が付いていることがあるが、特に利害関係者(担当者・コンサル・広告代理店など)の提案は当然のことながら自分達にとって都合の良いことを最優先している事も多く、注意が必要である。事前に提案が必要かどうか取り決めしておけば無駄が減る。

■難しそうで高いだけのサービスは不要

「○○理論を使った分析」をうたったサービスやツールは、まずは無視してよい。最初は基本的なところから、社内で初めること。その方が安くて早くてノウハウが溜まって人が育ち、その上効果も出る。ある程度経って行き詰りを感じたら、その時に改めて専門家の知識を借りることを検討するのが良い。その際は難しそうな理論を使っているから効果が出そうなどと考えるのではなく、自分達にとって何が必要であるかを考えることが重要である。また、理論が理解できる人がいない場合は利用は見合わせた方がよいだろう。なぜならば、ブラックボックスの中で行われた結果をもとに判断するのは危険すぎるし、何よりその分析が正しいのか検証ができない。

■効果測定の具体的な方法

以上を踏まえて、ここから具体的な方法について検討する。基本的な項目を上げると

  • ●売上だけではなく、利益を基準にしているか
  • ●施策を行わなかったグループとの比較を行っているか
  • ●期間の設定は適切か
  • ●効果とする対象者・商品は適切か
  • ●一部分を強調して全体が見えなくなっていないか
  • ●人件費などを考慮しているか
  • ●長期的に見ているか
  • ●効果測定を次回の施策に活かしているか

といったことが考えられる。ここに挙げたのは様々な施策に共通する部分で、個別のテーマについてはさらに細かく検証すべき内容があるが、まずは基本を押さえておきたい。

次回効果測定の具体的な方法ではこれらの内容について考察する。

このエントリーをはてなブックマークに追加

タグ:


最新のブログ記事5件

最悪のデータ分析組織とは
「人工知能でいい感じの成果を出してくれ」にどう向き合うか
すごい人工知能が開発されたら起きる未来について
csvファイルの扱い方
仕事を早くすることのメリットについて

ブログトップ > 効果測定の基本