データ分析とインテリジェンス

クラスター分析における初期値の違いによる影響を解決する方法を考える

分析手法の疑問点・・・クラスター分析についてにおいて「k-meansでの初期値の違いの影響はどうするのか」について触れたが、その解決方法についてアイデアとしては何回も実行して最も属するクラスターに分類すればいいのではないかと以前からあったのだが、具体的に定式化する方法が思いついたので、まとめることにした。

下の図はk-meansでk=3としてクラスター分析を実行した結果である。1回だけの結果であればこれで良いのだが、初期値を変更して複数回実行した場合に各クラスタにどのように分類されるかを判別する際にどうするか問題になる。結果を重ね合わせていけばぼんやりと見えてきそうであるが、それだと意味がないのできちんと根拠のある分け方にしたい。

>>>続きを読む

分析手法の疑問点・・・クラスター分析について

データ分析を行う際、データを用意してツールにかければ答えはでるけれども、その手法の背景を理解していなければその結果が正しいのかがわからない。報告を受ける側としても手法の理解があるに越したことはない。報告書を読んだ際に鵜呑みにするのではなく、正しい分析を行っているかについて検証できる能力があれば、でたらめな結論に惑わされることもなくなる。

そこで、その手法を使うに当たって気になることや、レポートを受け取った際に質問したい点について手法別にまとめてみることにした。手法の説明は書籍やサイトがたくさんあるので、そこにあまり書かれていないけれども気になることが中心となる。疑問が解決したら都度追記する。

>>>続きを読む

メルマガの効果測定

さて、1万人にメルマガを送って100人購入した場合、その100人全てがメルマガの効果であると考えるのは、明らかに間違っている。なぜかと言えば、メルマガを送ったとしても必ずしも読まれているわけではないからだ。それどころか、読まれもしない場合の方が遥かに多い。そして、読まれたとしてもそれが本当に来店や購入に影響があったかというとそうとも限らない。メルマガを読まなくても来店していたかもしれないからだ。では、どこからどこまでをメルマガの効果とするべきか。

まずは上の図を見てほしい。100の効果があったと報告のあったメルマガは、きちんと検証してみたところ実は5の効果しかなかったという例である。100の効果があると思ってメルマガを続けていたのだが、実はやればやるほど赤字であったということがわかったため、この企業は即座に見直しを行い、有効なセグメントに絞ることで赤字にならないように修正を行った。

>>>続きを読む

データ分析で稼ぐ戦略を考える・・・データアナリストの場合

データ分析に限らないが、幅は広く知っていても個別のテーマで見れば専門家の足元にも及ばない、というのではデータアナリストとしての生き残りは難しい。高度な専門知識を持っているわけではないので参入障壁が非常に低いため、何かしらのアドバンテージでもなければ後から参入した人に簡単に追いつかれてしまう。極端な例だと、アナリストと言いながら簡単な集計とコメントを書いた報告書を作成しているだけのレベルの人は、1年もたたずに能力のある新卒に追い抜かれるだろう。営業力や経験である程度カバーすることは可能であろうが、長期的に考えると無策でいるわけにはいかない。

そこで、専門性のあるデータアナリストとして特定分野に特化する方法が考えられる。例えばマーケティングリサーチャーやWebアナリストあたりがまさにそれだし、マーケティング分析と一言でいってもIDPOS分析と商圏分析では大分話が違う。特化した分野での経験と詳細な知識とであれば参入障壁になりえるし、情報発信してその分野での第一人者として名声を得られれば、執筆やセミナーといった別の方法での稼ぎ口も出てくる。とはいえ他分野の知識が全くないのも視野が狭くなるので、特定分野に特化した企業や部署にいるような場合は特に注意して自分の幅を広げておいた方が好い。

>>>続きを読む

データ分析で稼ぐ戦略を考える・・・データサイエンティストの場合

データ分析を成功させる方法を考える(1)分析者に実行権限も与えたらどうかは主にデータ分析を使う側である経営者・マネージャーがデータ分析を成功させるにはどうすればよいのか、という視点であったが、今度は現場のデータ分析者や企業がデータ分析を武器にして稼いでいくためにはどうするべきかについて、データサイエンティスト(データ分析の専門家)、データアナリスト(データ分析のできる人)、データ分析をビジネスにする企業(コンサルティングや技術派遣)に分けて考察する。今回は第1回として、データ分析の専門家の場合である。

ここでのデータサイエンティストとは、高度な統計学や機械学習を使うデータ分析の専門家という意味である。どこからが高度かは議論の分かれるところだとは思うが、データサイエンティストというかデータ分析職に就くための最低限のスキル要件とはでいう最低限ラインは超えていることは必要だろう。

>>>続きを読む

データ分析を成功させる方法を考える(1)分析者に実行権限も与えたらどうか

データ分析の失敗の責任は経営者・マネージャーにあるで、データ分析の失敗の原因としていくつか挙げたが、その中でも

のあたり、つまりせっかくデータ分析を行ったがそれが意思決定や行動に繋がらず、すべてが無駄になることがよくある。もちろんデータ分析のアウトプットの質の問題もあるだろうが、この場合は改善を要求できる一方で、聞く側の問題の場合は経営者・マネージャー(あるいはクライアント)に対して問題点を指摘することになるために簡単ではない。データ分析が失敗することの責任が聞く側の問題であることの自覚がない場合なおさらである。これはデータ分析者側にはどうにもできないので、データ分析を成功させたいと考えている経営者・マネージャー側はどうしたらいいかについて提案をしたい。

>>>続きを読む

日本企業でデータ分析がまともに機能しないのも当然・・・『大本営参謀の情報戦記』に学ぶデータ分析(5)

スターリングラードでの戦いが始まる頃、ドイツにいた大島浩からの電報についての著者の評価である。電報には「~べきを以て」「~というべく」など、仮定がさも事実のように書かれていることに注意を促している。

昭和17年4月に第六課が米、英担当課となったことについて。情報は戦略に先行しており、その情報を元に戦略を立てると考えるのが自然であるが、どうもそうでもなかったらしい。国家の命運をかけた戦争ですらこのありさまなのだから、現在の日本企業でデータ分析がまともに機能しないのも当然だろう。

>>>続きを読む

レポート・報告書を読む際に気を付けること

世の中ではマーケティングリサーチ、効果測定、いろいろな分析など毎日大量の報告書が作成されているが、本当に役に立つ報告書に出会うのは残念ながらまれである。なぜこのようなことになるかと言えば、結局のところはクライアント側の求める質が低いため、それに見合った報告書が作成されているというのが現状だ。

金と時間を無駄にしないためにも質の高い報告書を求めることが必要であり、それは自分だけではなくクライアントあるいは部下にとっても報告の質を高めることにも繋がるので、質の低い報告書を見破る能力を身に着けることはとても有益だと考える。また、報告書を作成する側の人にとっても参考になるのではないだろうか。

>>>続きを読む

データ分析の失敗の責任は経営者・マネージャーにある

などである。これらはすべてデータ分析を使う側、すなわち経営者・マネージャー側の問題であり、データ分析が失敗する理由のほどんとはこれらのうちのどれかである。もしデータサイエンティスト側の能力の問題であれば、これもまたやはり採用した人の責任、他でもなく経営者・マネージャーである。

ではなぜ経営者・マネージャー側の問題を指摘しないかと言えば、「社長、データ分析の失敗は社長の責任です。まずは社長の考え方を改めなければうまくいきません」と言うよりも、「社長、データ分析の失敗はデータサイエンティストの能力が足りないからです。彼らが勉強不足であって社長のせいではありません」という方が大抵の場合受けが良いからである。都合の悪い情報というのはなかなか上がりづらい。

>>>続きを読む

データ分析の始め方

ここ数年のデータ分析ブーム(?)でことさらに取り上げらているのはビックデータとデータサイエンティストであるが、流行につられてシステムやツールを導入したり、専門家を雇い入れたところでまともに使うこともできずに失敗するのがオチである。実際のところ、ここ最近になって急にデータ分析を始めた企業で成功している話をほとんど聞いたことがない。

だからと言ってデータ分析を行わなくて良いかと言えば、それは間違いである。データ分析に基づいた意思決定を日本企業全体が行って来なかったのが異常であり、異常な世界の中にいる人はその異常さに気が付かないというだけの話である。

>>>続きを読む