データ分析とインテリジェンス

移転しました。今後こちらのサイトは更新しません。移転先→新ブログ

csv/excel/コピペ用 都道府県コード一覧

どういうわけか、都道府県コードが欲しいと思った時にすぐコピペできるサイトにいけないので、なら自分で作ってしまえというだけ。ついでにいろいろダウンロード版も作っておくので必要に応じてどうぞ。

Excelファイル

>>>続きを読む

分析の本ではなく分析のためのSQLの入門書・・・書評・感想『10年戦えるデータ分析入門』

10年戦えるデータ分析入門に移動しました。

>>>続きを読む

個人的には残念ながら期待外れ・・・書評・感想『データ分析プロセス』

『データ分析プロセス』を入手。最初に言ってしまうと、残念ながら期待外れであった。

まず、データ分析プロセスと題名には掲げつつ、プロセスの話がほとんどない。第1章の最後にかろうじて出てくるCRISP-DMについても検索すればすぐに出てくる程度の内容で、正直なところ「今更なんでまた?」というぐらい。もっともこれは発売前から公開されていた目次をみた時点で大したことが書かれていないだろうことは予想していたので、さほど気にはならなかったが。

>>>続きを読む

書評・感想『データ解析の実務プロセス入門』

データ解析(分析)プロセスを題名にした書籍が6月に2冊発売されるが、こちらは発売が早い方。早速入手して一通り目を通したので、書評というか感想を書いてみる。

この本はデータ解析のプロセスと題名にもあるように、データ分析のプロセスの全体像と、それにまつわるテーマ(特にデータ収集・前処理・基礎集計)について書かれためずらしい本。統計学や機械学習の専門書とは一線を画し、分析の手法についてはほとんど触れていないので、データ解析という言葉だけで手に取ると普段見かけるのと大分様子が違うことに戸惑うかもしれない。

>>>続きを読む

『ドラッカー名言集 仕事の哲学』とデータ分析

『ドラッカー名言集 仕事の哲学』は、ドラッカーの過去の著作から集められた言葉をまとめた書籍で、したがって特にデータ分析に特化しているわけではないのだが、読んでいたらデータアナリストとして特に意識しておくべき言葉をいくつか見つけたので、ここで紹介する。

これも同様のことを述べている。全ては「何が問題であるのか、そのために何を知るべきなのか」が始まりである。このことに例外は存在しない。「今あるデータを使って何かできないか」とか「せっかくツールを導入したのだから使いたい」とか「新しい理論を勉強したので使ってみたい」とか、とにかく「何が問題なのか」から出発しない分析は失敗するかほとんどが無駄になるだけだ。しかし、世の中の分析の大半はこのうちのどれかであるのが現実である。

>>>続きを読む

データ分析のためのSQL

特殊なことまで考えると大変なので、これがあれば通常業務の8割ぐらいは対応できるのではないかという基本事項を中心にまとめる予定。なので中級者以上にとっては知っていることばかりになるかもしれない。

いずれSQLだけではなく、SAS・Python・Excelあたりも需要と時間があれば手を広げたい。が、いつになるかは不明。

>>>続きを読む

データ分析の実務概論

データ分析とは、大まかに言えば

という一連のプロセスが1セットである。データ分析というと2の分析部分にだけ焦点が当たりすぎているが、実際にはその分析に入る前にコミュニケーションとデータの前処理に多大な時間が必要だったり、せっかく分析していい示唆をだしても上司やクライアントに無視されて全てが無駄になる、ということが非常に多いことが見落とされているので注意が必要である。分析の専門家や、上司やクライアントのもとので集計部分だけの担当をする場合であっても、自分の担当する分析だけを考えるか、プロセス全体で考える視野を持つかでデータ分析への関わり方も大きく変わってくるので、視野を広く持っておくべきだ。

>>>続きを読む

データを受け取ったらチェックすること

データを受け取る際に気を付けることの続き。

データを手に入れたらすぐに前処理というとそうはいかない。データがきちんとしているか、チェックしなければならない。この工程をせずに先に進むと、後で抜けもれが発覚したり、どのように処理するかを決めなおさなければならず、余計な手間がかかる。

>>>続きを読む

誰でも使える・素人にも使える分析ツールはいったい誰が使っているのか

誰でも使える・素人にも使えるという触れ込みの分析ツールがあるが、本当に活用されているのかというとかなり疑問が残る。実際のところ、導入したけれども使っていないのでどうしようという話はよく聞く。導入も維持もただというわけでもないのに、どうしてこのようなことが起こるのだろうか。そもそも、「誰にでも」とは言うが、ではそれは誰のことなのだろうか。

誰にでも使えるツールということは、裏返せば機能は限られており、専門家には到底物足りない。したがって専門家にはそのツールを使うモチベーションが働かない。ましてやツールの利用にデータの前処理が必要である場合、それはいったい誰がやるのか。もし前処理を自分でできるスキルがあるのならば、ツールを使わなくてもコードを書いて分析できるスキルもあるはずで、その方が遥かに応用が効くのでやはりツールを利用する必要性はあまりない。

>>>続きを読む

データ分析とは何か

データ分析というと専門家が難しい数式や統計を使って何かしていて、自分が関与しなくても任せておけば利益を上げてくれるなどと考えていたらとんでもない間違いである。分析と呼ばれる行いは、実際にはインテリジェンスサイクルという一連の流れの一部であり、分析だけでは始まりも終わりもしない。データ分析の全体像「インテリジェンスサイクル」とはにも載せた図を再掲すると

これを見ればわかるように、インテリジェンスサイクルは意思決定サイドが「何のため」であるかを明確にすることから始まる。これ以外の方法はない。「今あるデータを使って何かできないか」とか「せっかくツールを導入したのだから使いたい」など「何のため」から出発しない分析は失敗するかほとんどが無駄になるだけだ。

>>>続きを読む