データ分析とインテリジェンス

移転しました。今後こちらのサイトは更新しません。移転先→新ブログ

大学や独学でデータ分析の勉強をしただけだと実務で使えない理由

大学のゼミやセミナーで、あるいは興味があって独学でデータ分析を勉強したので実務で使おうとしてもなかなかうまくいかない。それで自信を無くしてしまう人もいればひどい場合はうまくいかないのは回りの知識不足だからと正当化しだす人もいるのだが、データ分析の理論とツールの勉強が無駄になるには別の理由がある。

それは、大学や独学での勉強がスポーツに例えれば「一人でやる基礎練習」であったり「仲間との紅白戦」であり、試合ではない、ということだ。

>>>続きを読む

「データ分析をする人」とは何をする人のことを指しているのか

データサイエンティスト・データアナリストはマーケターでもエンジニアでもない存在であり、それを他者に理解させる能力がなければならない。その一環として、そもそも「データ分析をする人」と世の中で漠然と言われているが定義があいまい故に誰かに伝える際に混乱が生じてしまっていると感じるので、改めてその言葉について考えてみる。

「データ分析をする人」と呼ばれる人は、「データを使った仕事を専門的に、あるいは中心にしている人」であり、さらに分ければ「アナリスト」と「エンジニア」のどちらかに属すると考えられる。プログラミングをするかや、使う手法が数学的に高度かどうかは問題ではない。また、コミュニケーション能力のある無しも関係ない。それらは手段であり、アナリストでも必要ならばプログラミングするし、何が求められているか要求を的確に掴むことはエンジニアにも必要だ。では、何が違うのか。

>>>続きを読む

定期レポートを効率化する

どこの企業でも多かれ少なかれ存在する定期レポートだが、作るのが面倒なわりには実は誰も読んでいなかったり、作り方が悪くて毎回膨大な時間がとられてしまったりと、放置していると結構ひどいめに合うこともしばしば起きる。誰かに任せるから自分には関係ないと思っているならばそれは勘違いで、その分その誰かの時間が無駄なレポートに費やされる。自ら効率化を提案してきたり、ましてや自力なんとかしようなどという人はごくまれである以上、気がついた人がなんとかするしかない。

外部に依頼している場合であれば、そのレポートがそもそも必要なのかなどということは考慮されることもない。むしろ時間がかかるということは外部にとっては報酬が増えるということであり、改善を提案するのはよほど奇特な人だけである。

>>>続きを読む

最悪のデータ分析組織とは

ここ数年ビックデータやデータサイエンティスト、そして機械学習と人工知能のブームもあり、データ分析が個人の活動ではなく組織として体制を作る企業も増えたと聞く。データ分析の組織化については今後大きな課題になると予想されるが、いままで現場レベルですらほとんど存在しなかったデータ分析をいきなり組織化しようとしてもみんな手さぐり状態であり、そこに特に外注丸投げ体質が加わって組織が機能せず人も育たず2・3年で崩壊するといった事態も散見される。

これから先、いくら日本企業がデータ分析に疎いと言ってもその拡大と共に組織化していく企業は増えてくるだろう。その際、参考の1つとして誰にとっても不幸でしかない最悪なデータ分析組織を捉えて、そこからどう修正していくかを考えていくのが有用ではなかろうか、と思い当たったのでまとることにした。同じ組織は2つと無いとしても、うまくいかない理由はそれなりに共通しているので、これから組織化を行おうとしているならば注意して欲しい。

>>>続きを読む

「何を知りたいのか」がわからなければデータ分析は始まらない

データ分析プロセスの始まりは、何を差し置いても意思決定者が「何を知りたいのか」を決めることだ。目的なく分析を初めようとしたところでうまくいくことはまずないし、たとえうまくいったとしてもそれは偶然にすぎない。

そもそも目的が決まっていなければ何を分析するか決めることができない。「データ分析で何か良い結果を出せ」というのは論外としても、「今あるデータを使って何かできないか」とか「せっかくツールを導入したのだから使いたい」とか「今話題になっている方法(2018年時点:人工知能とかディープラーニングなど)でなんとかしろ」とかあるいは分析者が「新しい理論を勉強したので使ってみたい」と言うからやらせてみるとか、とにかく「何が問題なのか」から出発しない分析は失敗するかほとんどが無駄になるだけだ。

>>>続きを読む

データ分析で業務委託を使う・外注する方法

データ分析は内製化するべきではあるが、さまざまな事情により外注を使うを使うことは当然ありえる。しかし、金さえ払えばあとは自分の望むように勝手にやってくれるわけもなく、動かす側の力量次第でどのような役割を担ってもらうかは大きく変わる。

できればデータ分析プロセスをマネジメントができる人を(外注をコントロールするという意味で)マネジメントにあて、分析フェーズに関しては外注を使う方法が考えられる。データ分析プロセスをマネジメントできる人は簡単には見つからないので、社内で特性のある(ありそうな)人を任命することになるのが大半だろうが、いきなりうまく切り回せるとは思えない。なので業務を部分的に切り出しながら外注を使っていくことになるが、その際、譲っていけない一線は「目的の決定」である。

>>>続きを読む

データ分析について考えたことのまとめ

○データ分析プロセスについて

○データ分析プロセスの詳細 (2)要求・・・意思決定者から分析者へ

>>>続きを読む

「人工知能でいい感じの成果を出してくれ」にどう向き合うか

つい先日、「人工知能でいい感じの成果を出してくれ」という偉い人の脳内はどうなっているのかという記事が話題になっており、読みながらうなづいたり爆笑したりしていた内の1人であるのだが、同時にふと「こうしてデータサイエンティストやデータアナリストといった専門家と呼ばれる人達が馬鹿にするだけだから、営業やコンサルタントがツールやシステムを売ってもうけることができたりするんだろうな。」なんてことも考えていた。

もちろん、記事を鵜呑みにしたり誰かの話を真に受けて、それをそのままやれなどという方が悪いのであるが、だからといってそこでまともに話し合いもしないのでは何も解決しないし誰にとっても得にならない。では、どうしたらよいのだろう。

>>>続きを読む

すごい人工知能が開発されたら起きる未来について

20XX年、ついに人間の思考能力を遥かに超える人工知能を作り出すことに成功した。それは世の中に存在するあらゆるデータを自動で取得、分析して答えを導きだすという。早速とある企業の社長は人工知能に問いかける。

社長「今すぐに会社の業績が上がる方法を教えろ」

>>>続きを読む

csvファイルの扱い方

「comma separated value」の頭文字で、「カンマ区切りのテキストファイル」のこと。テキストファイルなのでテキストエディタ(たとえばメモ帳)で中身が見えるし、直接変更できる。

通常はダブルクリックすると両方Excelが立ち上がるが、中身は全然違う。

>>>続きを読む