データ分析とインテリジェンス

csvファイルの扱い方

「comma separated value」の頭文字で、「カンマ区切りのテキストファイル」のこと。テキストファイルなのでテキストエディタ(たとえばメモ帳)で中身が見えるし、直接変更できる。

通常はダブルクリックすると両方Excelが立ち上がるが、中身は全然違う。

>>>続きを読む

仕事を早くすることのメリットについて

いくら生産性を上げよう、効率を高めようと言っても、実際に行動に移す人はまれだ。「仕事が早く終わっても他の仕事が増えるだけでどうせ残業は減らないし給料が増えるわけでもない」などと言う人の大半は実は何もしておらず、単なる言い訳をしているに過ぎない。

言う側も口だけで自分が率先して効率化をすることはないしかといって効率化できた際の見返りを用意するわけでもなく、かくして掛け声と「どうしてできないのか」などというとんちんかんな責任転嫁だけが聞こえてくることになる。だれにとっても得にならないこの不毛なやり取りが今日も全国あちらこちらで繰り広げられていることを考えると何とも言えない気持ちになる。

>>>続きを読む

データ分析実務におけるチェックリスト

キャプチャがたくさんあるツールの使い方マニュアルや、抽象的な一般論が中心の専門書はたくさんあるのだけれども、実務において直面する様々な問題に関する情報があまり見当たらないというのは以前から気になっていた。もちろんそれぞれ必要なものではあるのだけれども、ある一面しか捉えていないのでそれだけでは足りない。

おそらく各人がその都度自己流で対応しているいわば職人芸の領域になっており、特に初学者は近くに教えてくれる人がいないと自己流に陥りやすく、なんとなく目先の仕事はさばけているけれども実はまだまだ無駄が多かったり違う会社に行ったら通用しない、なんてことにもなりかねず、社会全体として考えると大分無駄な時間が費やされてるのではないかと思われるので、様々なチェックリスト(と言う名の「自分の失敗事例集」)をまとめるのは有用だろう、ということで書き始めた。

>>>続きを読む

機械学習はアルゴリズムを使ったPDCAである

機械学習の説明をする際にどうしたらいいか考えていたら、結局のところは(将来はいざしらず)普段行っていることの道具や方法が少し違うだけで本質的には何も変わりがないのでは、という結論になったのでまとめてみました。機械学習というと、なんだかさっぱりわからないから手をださないか、人工知能が何から何までやるので人間は必要なくなる、と両極端になることが多いようですが、そうではなく1つの方法に過ぎないということが伝わればより使われるようになるのではないでしょうか。

次の表は、PDCAと機械学習それぞれについて一般的な流れをまとめたものです。

>>>続きを読む

データ分析がプロセスであることを意識しないと見えないこと

データ分析をしたいと統計学や機械学習の勉強をしている人は多いでしょうが、いざ実際に使ってみようとするとなかなかうまくはいきません。それは統計学や機械学習の手法を使うというのはデータ分析のプロセスの一部であってそれだけでは成立しないからなのですが、そのことについて触れられる機会は非常に少ないです。

これはいままでビジネスの中でデータ分析が使われることが少なかったゆえに問題点が表に出てこずあまり議論されてこなかったことが原因だと考えられますが、言い換えれば今のうちからこの問題について考え、対策を身に着けておけば先んじることができる、ということでもあります。

>>>続きを読む

『日本軍のインテリジェンス』から現在のデータ分析軽視を考える 目次

>>>続きを読む

データ分析失敗の原因

誰しもが重要だと知っていながら最も実行とは遠いのが、「悪い情報を積極的に聞くこと」であろう。悪い情報を聞いても聞こえないふりをするぐらいならまだましだが、怒り出したり責任転嫁しようとしたりと醜態をさらす人は多い。その情報はあっという間に社内に広まり、全ての信用は失われ、二度と正確な情報が上がってくることはない。「悪い情報はすぐにでも上げるように」と口ではいいながらいざその時になったら豹変などすれば、なおさら悪い。

イエスマンに囲まれて気が付かないうちに業績は悪化、最後は中国の古典『史記』に見る情報の失敗(1)で紹介したように、「わたくしは注進しなかったからこそ命があったのです」などと言われてそれでおしまいだ。そもそも分析の目的は意思決定と行動の質の向上であるのに、その分析がねじ曲がっているのであれば役に立たないどころか害悪である。しかしそうなるように積極的に仕向けているのは、たいていの場合経営者・マネージャー側である。

>>>続きを読む

『大本営参謀の情報戦記』に学ぶデータ分析 目次

>>>続きを読む

そのレポートは本当に必要ですか?

何十万円、時にはそれ以上の額を支払って毎月外注しているレポートであるが、その多くは全くと言ってよいほど活用されていないか、あるいは本当に必要なのはごく一部だったりするなんてのはざらである。

一番危ないのは週ごと、月ごと、四半期ごとなど区切りごとに作られるレポートであるが、とっくに形骸化したり誰が使っているか知らないけれども前任者から引き継いだのでそのままになっているというようなことになっていないか注意するべきだ。特に余裕のある企業だとこの程度の無駄が発生していても気になるわけでもなく、余計なこと言って叩かれるぐらいなら黙っておいた方が得なので放置されているのはよく見かける。

>>>続きを読む

データサイエンティストはSEであるべき・・・か?

最近簡単なツールを作って人に渡す機会が増え、どうしたらうまくできるかを考えることがあったり(よくよく考えてみればそれまさにSE兼プログラマの役目)、システム・ツールの導入に失敗して炎上する様子を横目で見ていて、なぜだろう?と疑問がわき、システム構築関連の書籍をいくらか読んでいたところ、「これはデータ分析も同じではないか?」と感じたのがきっかけである。

ツールの作成は、コミュニケーションやユーザーのレベルに合わせたアウトプットの作成、業務フローの確認といった分析やプログラミングとはまったくかけ離れた業務を行わないと、ユーザーにとって使いにくかったり最悪の場合は誰にも使われないという事態になるのは正しく使えば正しく動くだけのツールは不良品であるに書いたが、これはそのままシステム構築の話と同じだった。

>>>続きを読む