データ分析とインテリジェンス

データ分析の実務概論

■データ分析はプロセスであるが、ごく一部に焦点が当たりすぎている

データ分析とは、大まかに言えば

  • 1・「何がしたいのか」目的を決め
  • 2・そのためにデータを集めて分析し
  • 3・結果を意思決定に使ってさらに実行する

という一連のプロセスが1セットである。データ分析というと2の分析部分にだけ焦点が当たりすぎているが、実際にはその分析に入る前にコミュニケーションとデータの前処理に多大な時間が必要だったり、せっかく分析していい示唆をだしても上司やクライアントに無視されて全てが無駄になる、ということが非常に多いことが見落とされているので注意が必要である。分析の専門家や、上司やクライアントのもとので集計部分だけの担当をする場合であっても、自分の担当する分析だけを考えるか、プロセス全体で考える視野を持つかでデータ分析への関わり方も大きく変わってくるので、視野を広く持っておくべきだ。

手法の話や技術の話については詳しい人による本やブログでの解説がすでにたくさんあるのでそちらにお任せし、データ分析プロセスにおける考え方、実務で必要なコミュニケーション、どうやったら良い分析ができるかなど、実務における泥臭い部分に焦点を当てる。理論的な考察についてはデータ分析の全体像を考えるで展開しているのでそちらを参照のこと。

実際の業務でデータ分析をしたことがない人には読んでもピンとこないかもしれない。ある程度経験してもっと上達したい、効率をよくしたいと問題意識を持ってから読むと見え方が違うと思うので、必要に応じて読んでほしい。

なお、このページは概論と詳細記事へのリンクとなっている。個々のテーマについての詳細はリンク先を参照のこと。随時更新する。

■データ分析の最初から最後まで常に忘れてはいけない事

本質を考える データ分析とはつまりは「限られた時間とデータを使って、物事の本質を捉えることを試みる」ということである。ただし、言葉で言うのは簡単だが、物事の本質を捉えるというのは本当に難しい問題であることを知っておく。何かが解ったなどと軽々しく言うのは無知・はったり・勘違いなどで、ほとんどの場合は間違えているか、全体のうちのごく一部を理解した気になっているに過ぎない。

目的を忘れない データをいろいろいじって数字を見ているとつい目的を忘れて、目先の面白そうな数字に飛びついてしまう。いろいろ議論して仕事をした気にはなるが実際には何も進んでいないということが良く起こる。常に目的は何であったかを問い直すこと。

納期をしっかり押さえる まず最初のコミュニケーションで、いつまでに何が必要かをしっかりと取りきめをしておくこと。クライアントや上司と仕様を決め、大体の工数を出してから取り掛かる。ただし予定通りに終わることはまずなく、後で追加修正が発生することを見越して余裕を持っておく。おきるトラブルとしては

  • ・データの入手が遅れて作業が遅れる
  • ・データの入手ができない事が判って、方針を決めなおす
  • ・コミュニケーションの齟齬があり、求められているのと違う結果を出してやり直し
  • ・依頼者のミスで内容に抜けもれが見つかり追加作業
  • ・報告書の作成中に深堀したい部分が出てきて追加作業
  • ・報告書の作成中に違う視点が出てきてどうするか再検討
  • ・クライアントからの追加要望

など様々なことが起こり得る。時間が足りなければ優先順位も決める。依頼されたことを全てやりきらなければいけないということは無い。

■分析の教科書には書いていないが実務で必要になること

統計の教科書ではデータがすべて用意されて、すぐに統計手法を使える状態になっているが、実務ではそこまでたどり着くのに多大な時間と労力が必要であり、データ分析の実態はコミュニケーションと前処理で時に仕事の9割を占めるようなこともある。

コミュニケーション:1.こちらから選択肢を提示してあげると話が進みやすい 相手がデータや分析について詳しくない場合、どうすればいいかを投げかけても良い答えは得られないし、相手が詳しくないことを自覚していない場合は適当な答えが返ってくることすらあるため、こちらで選択肢を用意して、その中から選んでもらう方が良いこともある。

コミュニケーション:2.勝手に決めない 自分でこうに違いないと勝手に決めつけて作業を進めたり、揚句に開き直ってこの方法が正しいなどと押し付けるのは論外。

コミュニケーション:3.「このデータが知りたい」に全部答えてはいけない 言っている本人が何を言っているか解っておらず、思いつきで言っていたり、とにかく何でもかんでも見てみたいと思っているだけだったり あるのできちんと確認。言われたままにやるとひどいことになる。

データ入手 データ分析するにはデータを入手しなければならないが、ここもコミュニケーションが非常に大切である。相手に任せきりにしてしまうと、遅延、意図したデータではない、形式がおかしい、データが存在しないなど様々問題が起きるため、できるだけ早い段階で話をする。場合によっては分析そのものが出来なくなる場合もあるのでその場合は早急に依頼者と話をすること。

詳細:データを受け取る際に気を付けること

データが正しいかどうか確認する 入手したデータが常に正しいかわからないので、間違っているという前提で臨み、データへの先入観をなくすこと。こうだったはず、こうに違いないと勝手に決めずにきちんと調べる。途中でおかしいことに気がついて泣くのは自分自身。

詳細:データを受け取ったらチェックすること

前処理 入手したデータがそのまま分析に使えるわけではなく、分析に利用するために整えたり・・・などの前処理が必要になる。適切なコミュニケーションと前処理は、考えるという本来の仕事の時間をより多く取るために重要

■分析の考え方

ここまで来てやっと集計と分析に移る。ここでは手法ではなくよいよい分析をするための考え方をテーマとする。

自分に都合の良い解釈をしない 誰でも利益が絡むと目が曇る。都合の良いデータだけ集めてきたり、はた目から見ると無理がありすぎるような結論を出したりする。自分だけで考えるのではなく、第三者にも見てもらう方が良い。ただし、同じ利害関係を持っている場合には都合の良い分析をむしろ奨励する場合もあり、そのまま受け取るのは危険である。

今あるデータを前提にしない 今手元にあるデータが全てではない。分析に必要なデータが足りなければ、入手できる方法をまず考える。その上でコストや時間を考えて最良の選択をすればよい。最初から選択肢を限ってしまう必要はない。

データは見えるうちのごく一部である データに表れるのは、所詮その人の行動でのごく一部の面にしかすぎない。商品の購入データからでは、何を買ったかは解っても、別の商品をなぜ買わなかったのか、本当に欲しい商品は何かは解らない。見えるデータだけで考えるのではなく、データに出てこない部分についても検討しなければ、本当の姿は見えてこない。

■分析をあやまる要因

今後追加予定

■分析結果の報告

今後追加予定

このエントリーをはてなブックマークに追加

タグ:


最新のブログ記事5件

定期レポートを効率化する
最悪のデータ分析組織とは
「何を知りたいのか」がわからなければデータ分析は始まらない
データ分析で業務委託を使う・外注する方法
データ分析について考えたことのまとめ

ブログトップ > データ分析の実務概論