データ分析とインテリジェンス

データハンドリングや前処理はもっと注目と評価をされるべき

データマエショリストなどという呼び方が一部されているが、少々自虐的な言い方でもあり、そこには分析が主であり前処理はあくまでも従に過ぎないという意識があると思われる。しかし、本来単に与えられたデータを分析のために加工することのみをさすのではなく、もっと幅広い概念であるはず。すなわちデータ分析プロセスの全体像「インテリジェンスサイクル」とはで言う「要求」「収集」のフェーズを情報分析サイドとして速やかに正確に行うことである。その内容をざっと上げれば以下のようになるだろう。

少々説明を加えておくと、まず問題が正しく理解できていなければ正しい答えなど出てくるわけがない(問題を理解せずにただデータと取り組んでいる人の何と多いことか!)。そしてその問題を解決するためにどのような情報・データが必要であるかを考え、何を課題とするかに落とし込む。そして課題に基づいて情報収集を行い、前処理をするのだがこの際にも分析のためにどのような加工が必要かを考えるためには分析スキルが必要であるのは明白だろうし、知識があっても実務能力がなければこれも意味が無い。つまりこれらのうちどこかが大きく欠けてしまえば、誰かの指示の下で言われたことを作業するだけになるか、誰もマネジメントしていない環境であれば役に立たない分析が出来上がる。

>>>続きを読む

アンサンブル学習のブースティングとバギングの違いについて

バギングとブースティングの区別がようやくつくようになってきた(気がする)がさらにそれぞれのアルゴリズムになるとまだ混乱する。というわけで、今のところの自分の認識を書いてみる。

アンサンブル学習とはようするに「1回で決めるよりたくさんやって平均取った方がいいんじゃね?」というアプローチということであると理解している。たしかにその方がより正しそうな結論がでそうだし、異常値などに引っ張られることも少なくなったりするだろうと想像はつく。細かいやり方は違うけどやっていることは至極自然な発想。

>>>続きを読む

手戻りをなくして時間を作る

速さは正義だ。しかし、どんなに頑張ったところでキーボードを打つ速さが10倍にはならない。システム化による効率化という方法もあるが、これには投資が必要であるしできるまでに時間がかかる。

その点手戻りについてはちょっとしたことで改善でき費用対効果も高い。こんな程度か!と思う人もいるだろうが、こんな程度でもやっておけばそれなりの結果につながるものだ。データ分析を例に出してはいるが、もちろんどんなことにも当てはまる話であろう。

>>>続きを読む

データ分析自動化ツールの未来

最近話題のツールと言えばやはりDataRobotだろう。まだ直接見てはいないが、どうも聞いているとすごくてやばいと絶賛の声が聞こえてくる。今後もDataRobotに限らず、データ分析・機械学習の自動化ツールが登場してくるだろうことは予想がつくが、ではそれらのツールはどうなっていくのだろうか。

よくよく考えてみれば、用意されたデータを使い、すでに決まったアルゴリズム(手順)にしたがって、様々なパターンを試して最も良い結果を返すという作業はそれこそコンピュータの得意分野であり、SASやSPSSのような分析ツールを筆頭に様々な種類が出ているし、DataRobotはその進化系ではないかと考えられる。とすれば、処理できるデータ量が増えれば、指定された1つの方法を処理するだけではなく自動でたくさんの処理を行うツールが出てくるのは必然だったともいえるし、今後も様々なツールが登場しては消えていくことだろう。

>>>続きを読む

現場を無視したシステムやツールはなぜ失敗するのか

CRM・BI・DMP・DWH・マーケティングオートメーションにアクセス解析ツール、分析のためのシステムやツールは様々あるが、「導入したが誰にも使われず毎月金だけがかかる」という声は後を絶たない。そして、この声を発しているのは現場ではない。現場の声は「それみたことか」である。使い手を無視して知らないところで話を進め、ある突然「導入を決定しました」と通達が来るのがお決まりのパターンで、最初から無駄になることはこの時点で確定している。

どういうわけかシステムやツールの導入を主導する人達(経営者やシステム関連)は、コンサルやベンダーと話はしても、ツールが導入された際にそれを実際に使う現場は一切無視して話を進めるというのが当たり前のようで、現場が何を求めているか、何に困っているかをきちんと把握しているケースはまれである。

>>>続きを読む

TAO(twitter Algorithm Optimization)サービス始めました

2016年2月、Twitterがタイムラインを変更し、アルゴリズムによる表示を行うようになりました。このアルゴリズムの導入により、以前のようにツイートすれば届くとは限らず、実際のフォロワーよりも遥かに少ない人にしかツイートが見られていない可能性があり、大きな機会損失を招いているかもしれません。

弊社のTAO(twitter Algorithm Optimization)を導入することで、同じツイートでもより多くの人に届くようになり、御社のプロモーションはより成果を上げることができるようになるでしょう。

>>>続きを読む

データ分析における困った依頼の原因とその対策

アナリストの役目として営業やコンサルタントの依頼で必要なデータを出したり、分析を行ったりすることがある。ところがこの依頼が曲者で、依頼を出している側が必ずしも問題を正しく認識し、そのためにどのような情報が必要かを理解し、その上で実現可能な依頼を行っているとは限らない。

というか、そんな完璧な依頼というのはまずありえない。なので「こんなデータが欲しい」と依頼されて注文通りのアウトプットを出したところで、後になってあれを追加これも追加、やっぱりこっちのデータも見たいからと出し直し、揚句に納期に間に合わないから今日中にと言われて残業する羽目になり、出来たのはただの棒グラフと作文だった、などという事態になる。

>>>続きを読む

仕事ができない人の行動パターン

どういう事情なのかよくわからないのだが、「この人仕事ができないなー」と思う人というのは大体似たようなことをするらしい。その中でも特に目につく行動について挙げてみる。

朝送ったメールの返事が夕方になっても来ないので聞いてみたらまだ読んでいないなんてことはざら。返信するのは大抵夜も遅くなってからで、余裕がないからなのか内容に間違いや抜けもれが多い。結局ああでもないこうでもないとドタバタ劇が繰り広げられて本人だけではなく周りの仕事も影響がでる。一方できる人は返信は無くても見てはいるので、急ぎで対応しなければならないことについては非常に反応が早い。

>>>続きを読む

相手のレベルと好みに合わせたアウトプットを作る

データ分析に限らず専門家は、「こちらは十分に説明した、理解できないのは向こうが悪い。後のことは知ったことではない」という態度を取りがち。よくよく聞いてみるとたしかに説明はしているのだが、専門用語が随所に含まれておりとてもではないが初心者には理解できる内容ではなかったりする。

聞き手が上司など立場が上であれば聞き直すこともできるし、クライアントであればそのような態度はそもそも許されない。しかし立場が弱いと聞き直したくてもとっつきにくく聞きづらいし、なんだか嫌な顔をされそうで(実際にされること多し)だんだん足が遠のく。中途半端な理解のままだと意思決定に影響を及ぼすし、ツールだとそのうち適当なことをやってうまく動かなくなったり、無駄だらけで本来の何倍もの工数をかけてしまったり、という事態になり収拾がつかなくなっていく。

>>>続きを読む

分析の目的は意思決定と行動の質の向上である

「分析は目的ではなく、それだけでは成立しえない」という認識を持てるかどうかで、データサイエンティスト・データアナリストとしての価値は大きく変わると断言できる。

もしこの認識がなく分析だけが目的だと考えていると、要求に答えることや分析を使ってもらうことよりも、自己満足を優先してしまう。高度な理論や技術を使うことに夢中になって、自分やごく一部の専門家以外に誰にも理解できない結果を出したり、簡単な集計で済むところを膨大な時間を使って複雑な計算を行うということが起きる。個人の活動であれば問題なくとも、ビジネスに限らず多くの人との関わりがある中で行われれば良くて無駄、悪ければ厄災である。

>>>続きを読む