データ分析とインテリジェンス

データ分析がプロセスであることを意識しないと見えないこと

■議論されてこなかった重要な問題

データ分析をしたいと統計学や機械学習の勉強をしている人は多いでしょうが、いざ実際に使ってみようとするとなかなかうまくはいきません。それは統計学や機械学習の手法を使うというのはデータ分析のプロセスの一部であってそれだけでは成立しないからなのですが、そのことについて触れられる機会は非常に少ないです。

これはいままでビジネスの中でデータ分析が使われることが少なかったゆえに問題点が表に出てこずあまり議論されてこなかったことが原因だと考えられますが、言い換えれば今のうちからこの問題について考え、対策を身に着けておけば先んじることができる、ということでもあります。

プロセスについてはデータ分析プロセスの全体像「インテリジェンスサイクル」とはに書いていますので参考にしていただければと思いますが(内容はもっと整理したいのですが。。。)、いまいちピンとこないようであれば例えばスポーツで考えてみるとよいでしょう。

データ分析における統計学や機械学習などの分析手法は野球で言えば、サッカーで言えばPK、テニスで言えばスマッシュみたいたもので、それだけ練習している選手が強くなれると考える人はいないでしょうし、そのスキルが生きるためにはまず基礎練習(Excelやパワポ)、基礎体力(コミュニケーション)の方が重要であるということにも納得してもらえるでしょう。スポーツ以外でもそうですが、表に見える目立つ部分だけを見てそれで全てであると受け止めるのは危険です。データ分析も同様で、分析手法を使うことはプロセスであるという理解が大事なのです。

では、データ分析がプロセスであることを意識しないとどのような弊害が起きると考えられるでしょうか。

■データ分析がプロセスであることを意識しないと見えないこと

もしデータ分析がプロセスであることを意識せずに、与えられたデータに手法を使ってアウトプットを出すことだけだと考えていると、以下のような本来やるべきことが欠落します。

  • ・何が問題であるかを決める(自分で分析してかつ意思決定もする場合)
  • ・何が問題であるかをヒアリングする(意思決定者が別の場合)
  • ・問題解決のために何を知る必要があるかを考える
  • ・たくさんの課題と様々な制約条件の中で取り組む内容と優先順位を決める
  • ・情報収集、保管、管理
  • ・データハンドリング、前処理
  • ・分析結果を洞察して次にどうするべきかを考える
  • ・資料作成とプレゼンテーション
  • ・施策の実行とフィードバック

これらは1つ1つが大きな問題であり、1つでもないがしろにすれば無駄な時間を取られたり分析が無駄になったりしてしまう問題なのですが、なかなか注目が集まらないのはあまり目立たないからでしょうか。今回はそのうちでも最重要項目を取り上げます(今後追記予定)。

■データ分析プロセスにおける最重要項目:何が問題であるかを決める、あるいは何が問題であるかをヒアリングする

一言で言えば目的無きデータ分析は無駄であるということです。まず最初に分析の目的を決めなければなりません。目的を決めずにいきなりデータを触りだしたりすると、適当にいじくりまわしているうちに面白そうなデータが出てきたりして、いつの間にかに時間が過ぎて仕事をした気にはなるのですが、その実態はただ時間が過ぎただけ、などということがよくおきます。あるいは「相手はこう考えているだろう」などと勝手に想像して分析を進めた結果が「こんなのいらない」「今そんな分析は必要ない」などということになります。

前者は経営者、マーケター、コンサルタントなどが自分で分析して自分で決定するような場合、後者はクライアントや上司など意思決定者が別にいるような場合ですが、いずれにしても目的を決めることがデータ分析における最重要項目です。これがなければ後は全て無駄であり、偶然うまくいったとしても決して評価されるべきではありません。

「探索的データ解析」という言葉もあり、方針が決まっていない時に「とりあえず基礎データを見てみる」ことがよく行われますが、何の意識もせず何も決まっていないのにまずデータを見た結果目的が決まることはありません。データを見て何か思いつくのはなんらかの問題意識があるからです。とにかく何か思いつくかもしれないとデータを見るのは多大な浪費です。

目的が決まったとしても、その目的設定が正しいのかどうかはまた別問題です。もっと優先順位を高めるべき問題が抜けていないか、そもそもその問題設定は正しいのか、と刻々と変わっていく状況の中で常に見直していかなければなりません。間違えた目的設定がされていれば、分析はあらぬ方向へ向かっていくことになります。

さらには、意思決定者が別の場合、分析者がその目的をきちんと聞きだせるのかということも問題になります。どんなに分析力が高くても分析の目的を聞き出せないのではただ言われたことをやるだけになり、目的設定が間違えているのに気付いても指摘することができないのであれば力を発揮することもできません。これは結局のところクライアントや上司との信頼関係が構築できるかであり、分析とは全く別のスキル、いや、スキル以前に人間性の話なのですが、今までのデータ分析の話題ではあまりにないがしろにされている部分です。

■データ分析はプロセス全体が動いて初めて価値が出る

データ分析は、目的の決定から始まって施策が実行され、その結果が出て初めて価値になります。学問としての研究は別ですが、少なくともビジネスでは社会に対してどれだけ有益であるか(あるいは自社の利益がどれだけか、という人もいるでしょう)で図られるべきで、分析はしたから理解されなくても使われなくても利益に繋がらなくても自分の責任ではない、と考える人が多く見受けられます。

ただし決して分析者だけが悪いのではなく、データ分析の失敗の責任は経営者・マネージャーにあることは間違いがありませんし、分析に対する勉強不足の人も多いので全てが分析者の責任であると考える必要はありませんが、分析者もまずはできることはやりきった後でそれでもなおプロセスがうまく動かないのであれば、然るべき指摘をすることができるようになるでしょう。と、過去の自分の失敗を踏まえて改めて思う次第です。

このエントリーをはてなブックマークに追加

タグ:データ分析 データ分析プロセス


最新のブログ記事5件

すごい人工知能が開発されたら起きる未来について
csvファイルの扱い方
仕事を早くすることのメリットについて
データ分析実務におけるチェックリスト
機械学習はアルゴリズムを使ったPDCAである

ブログトップ > データ分析がプロセスであることを意識しないと見えないこと