データ分析とインテリジェンス

データサイエンティストブームを総括する

データサイエンティストという言葉が聞かれるようになってそろそろ3年になるが、いまだに定義は確立されず、何をする人なのかもよくわからないまま、すでにブームはピークを過ぎ、このまま遠からず消え去っていくだろうという状態になっている。いったいなぜこのようなことになったのか、自分なりに総括してみる。

データサイエンティストとは、高度な統計学や機械学習を使ってその少し前から話の出ていたビックデータを使う人という文脈で登場してきたと理解している。それがいつのまにか既存のデータアナリストとの境目があいまいになり、やがて混同されていく。このあたりになると実態もよくわからず、もはや名乗ったもの勝ちになってしまい、単なるハッタリになっているケースも散見される。データサイエンティストと名乗ってはいるが、実は統計学を多少かじっただけで数理的知識はほとんど持ち合わせていないなどいう場合すらある。それでもまったく知識の無い人には違いがわからず、結局は知識ではなく営業力勝負となっている。

>>>続きを読む

データ分析プロセスを料理に例えてみる

「料理は買い物だけでは終わらない、作って食べないと意味が無い」なんてことを言われたら当たり前だと思うだろうが、データ分析に置き換えて「データ活用は分析だけでは終わらない、実行に移さないと意味が無い」とするとどういうわけか機能しなくなる。そこで、データ分析のプロセスを料理に例えてみることで、解りやすくしてみる。

データ分析の各プロセスは、データ分析の全体像「インテリジェンスサイクル」とはを使う。インテリジェンスサイクル=データ分析プロセスと読み替えてもらえばよい。

>>>続きを読む

csv/excel/コピペ用 都道府県コード一覧

どういうわけか、都道府県コードが欲しいと思った時にすぐコピペできるサイトにいけないので、なら自分で作ってしまえというだけ。ついでにいろいろダウンロード版も作っておくので必要に応じてどうぞ。

Excelファイル

>>>続きを読む

分析の本ではなく分析のためのSQLの入門書・・・書評・感想『10年戦えるデータ分析入門』

10年戦えるデータ分析入門に移動しました。

>>>続きを読む

個人的には残念ながら期待外れ・・・書評・感想『データ分析プロセス』

『データ分析プロセス』を入手。最初に言ってしまうと、残念ながら期待外れであった。

まず、データ分析プロセスと題名には掲げつつ、プロセスの話がほとんどない。第1章の最後にかろうじて出てくるCRISP-DMについても検索すればすぐに出てくる程度の内容で、正直なところ「今更なんでまた?」というぐらい。もっともこれは発売前から公開されていた目次をみた時点で大したことが書かれていないだろうことは予想していたので、さほど気にはならなかったが。

>>>続きを読む

書評・感想『データ解析の実務プロセス入門』

データ解析(分析)プロセスを題名にした書籍が6月に2冊発売されるが、こちらは発売が早い方。早速入手して一通り目を通したので、書評というか感想を書いてみる。

この本はデータ解析のプロセスと題名にもあるように、データ分析のプロセスの全体像と、それにまつわるテーマ(特にデータ収集・前処理・基礎集計)について書かれためずらしい本。統計学や機械学習の専門書とは一線を画し、分析の手法についてはほとんど触れていないので、データ解析という言葉だけで手に取ると普段見かけるのと大分様子が違うことに戸惑うかもしれない。

>>>続きを読む

『ドラッカー名言集 仕事の哲学』とデータ分析

『ドラッカー名言集 仕事の哲学』は、ドラッカーの過去の著作から集められた言葉をまとめた書籍で、したがって特にデータ分析に特化しているわけではないのだが、読んでいたらデータアナリストとして特に意識しておくべき言葉をいくつか見つけたので、ここで紹介する。

これも同様のことを述べている。全ては「何が問題であるのか、そのために何を知るべきなのか」が始まりである。このことに例外は存在しない。「今あるデータを使って何かできないか」とか「せっかくツールを導入したのだから使いたい」とか「新しい理論を勉強したので使ってみたい」とか、とにかく「何が問題なのか」から出発しない分析は失敗するかほとんどが無駄になるだけだ。しかし、世の中の分析の大半はこのうちのどれかであるのが現実である。

>>>続きを読む

〔SQL〕最終(または初回)購入日

「そのまま使える前処理」シリーズの目次はこちら

補足1:maxをminにすれば初回購入日

>>>続きを読む

〔SQL〕テーブルを結合してフラグを立てる

「そのまま使える前処理」シリーズの目次はこちら

※テーブル1とテーブル2をidをキーにして結合

>>>続きを読む

データ分析のためのSQL 目次

特殊なことまで考えると大変なので、これがあれば通常業務の8割ぐらいは対応できるのではないかという基本事項を中心にまとめる予定。なので中級者以上にとっては知っていることばかりになるかもしれない。

いずれSQLだけではなく、SAS・Python・Excelあたりも需要と時間があれば手を広げたい。が、いつになるかは不明。

>>>続きを読む