データ分析とインテリジェンス

データサイエンティストはSEであるべき・・・か?

最近簡単なツールを作って人に渡す機会が増え、どうしたらうまくできるかを考えることがあったり(よくよく考えてみればそれまさにSE兼プログラマの役目)、システム・ツールの導入に失敗して炎上する様子を横目で見ていて、なぜだろう?と疑問がわき、システム構築関連の書籍をいくらか読んでいたところ、「これはデータ分析も同じではないか?」と感じたのがきっかけである。

ツールの作成は、コミュニケーションやユーザーのレベルに合わせたアウトプットの作成、業務フローの確認といった分析やプログラミングとはまったくかけ離れた業務を行わないと、ユーザーにとって使いにくかったり最悪の場合は誰にも使われないという事態になるのは正しく使えば正しく動くだけのツールは不良品であるに書いたが、これはそのままシステム構築の話と同じだった。

>>>続きを読む

正しく使えば正しく動くだけのツールは不良品である

システム担当は単にツールを作ったら後は知らんぷり、マーケターはスキルが低くてどうしたらいいかわからない、仕事は遅れに遅れて営業はクライアントに怒られ平謝り、苦情は社内を駆け巡り、かくしてシステム担当と営業とマーケターはさらに対立を深めてコミュニケーションが取れずにいろんな作業が非効率になって・・・。どこという話ではなく、どこでも見る景色である。実に馬鹿げた話であるが、コミュニケーションがうまくいっていないと誰が悪いということでもなく自然に起きるようだ。

そんな中、システム担当ではないがデータアナリストとしていろいろな人にツールを作ってきたが、ただツールを作るためのプログラムスキルやDBの知識だけでなくもっと対人間という広い視点からとらえなおす必要があると考え、まとめることにした。

>>>続きを読む

データハンドリングや前処理はもっと注目と評価をされるべき

データマエショリストなどという呼び方が一部されているが、少々自虐的な言い方でもあり、そこには分析が主であり前処理はあくまでも従に過ぎないという意識があると思われる。しかし、本来単に与えられたデータを分析のために加工することのみをさすのではなく、もっと幅広い概念であるはず。すなわちデータ分析プロセスの全体像「インテリジェンスサイクル」とはで言う「要求」「収集」のフェーズを情報分析サイドとして速やかに正確に行うことである。その内容をざっと上げれば以下のようになるだろう。

少々説明を加えておくと、まず問題が正しく理解できていなければ正しい答えなど出てくるわけがない(問題を理解せずにただデータと取り組んでいる人の何と多いことか!)。そしてその問題を解決するためにどのような情報・データが必要であるかを考え、何を課題とするかに落とし込む。そして課題に基づいて情報収集を行い、前処理をするのだがこの際にも分析のためにどのような加工が必要かを考えるためには分析スキルが必要であるのは明白だろうし、知識があっても実務能力がなければこれも意味が無い。つまりこれらのうちどこかが大きく欠けてしまえば、誰かの指示の下で言われたことを作業するだけになるか、誰もマネジメントしていない環境であれば役に立たない分析が出来上がる。

>>>続きを読む

アンサンブル学習のブースティングとバギングの違いについて

バギングとブースティングの区別がようやくつくようになってきた(気がする)がさらにそれぞれのアルゴリズムになるとまだ混乱する。というわけで、今のところの自分の認識を書いてみる。

アンサンブル学習とはようするに「1回で決めるよりたくさんやって平均取った方がいいんじゃね?」というアプローチということであると理解している。たしかにその方がより正しそうな結論がでそうだし、異常値などに引っ張られることも少なくなったりするだろうと想像はつく。細かいやり方は違うけどやっていることは至極自然な発想。

>>>続きを読む

業務を効率化して時間を作るために手戻りをなくす

速さは正義だ。しかし、どんなに頑張ったところでキーボードを打つ速さが10倍にはならないし、考える時間を作るためにできる仕事は早くしようとしているのに、重要なことまで即決即断では本末転倒である。システム化による効率化という方法もあるが、これには投資が必要であるしできるまでに時間がかかる。

10数年いろいろな失敗を繰り返した産物として、効率化について何度かに分けて考える。こんな程度か!と思う人もいるだろうが、こんな程度でもやっておけばそれなりの結果につながるものだ。データ分析を例に出してはいるが、もちろんどんなことにも当てはまる話であろう。

>>>続きを読む

データ分析自動化ツールの未来

最近話題のツールと言えばやはりDataRobotだろう。まだ直接見てはいないが、どうも聞いているとすごくてやばいと絶賛の声が聞こえてくる。今後もDataRobotに限らず、データ分析・機械学習の自動化ツールが登場してくるだろうことは予想がつくが、ではそれらのツールはどうなっていくのだろうか。

よくよく考えてみれば、用意されたデータを使い、すでに決まったアルゴリズム(手順)にしたがって、様々なパターンを試して最も良い結果を返すという作業はそれこそコンピュータの得意分野であり、SASやSPSSのような分析ツールを筆頭に様々な種類が出ているし、DataRobotはその進化系ではないかと考えられる。とすれば、処理できるデータ量が増えれば、指定された1つの方法を処理するだけではなく自動でたくさんの処理を行うツールが出てくるのは必然だったともいえるし、今後も様々なツールが登場しては消えていくことだろう。

>>>続きを読む

現場を無視したシステムやツールはなぜ失敗するのか

CRM・BI・DMP・DWH・マーケティングオートメーションにアクセス解析ツール、分析のためのシステムやツールは様々あるが、「導入したが誰にも使われず毎月金だけがかかる」という声は後を絶たない。そして、この声を発しているのは現場ではない。現場の声は「それみたことか」である。使い手を無視して知らないところで話を進め、ある突然「導入を決定しました」と通達が来るのがお決まりのパターンで、最初から無駄になることはこの時点で確定している。

どういうわけかシステムやツールの導入を主導する人達(経営者やシステム関連)は、コンサルやベンダーと話はしても、ツールが導入された際にそれを実際に使う現場は一切無視して話を進めるというのが当たり前のようで、現場が何を求めているか、何に困っているかをきちんと把握しているケースはまれである。

>>>続きを読む

TAO(twitter Algorithm Optimization)サービス始めました

2016年2月、Twitterがタイムラインを変更し、アルゴリズムによる表示を行うようになりました。このアルゴリズムの導入により、以前のようにツイートすれば届くとは限らず、実際のフォロワーよりも遥かに少ない人にしかツイートが見られていない可能性があり、大きな機会損失を招いているかもしれません。

弊社のTAO(twitter Algorithm Optimization)を導入することで、同じツイートでもより多くの人に届くようになり、御社のプロモーションはより成果を上げることができるようになるでしょう。

>>>続きを読む

データ分析における困った依頼の原因とその対策

アナリストの役目として営業やコンサルタントの依頼で必要なデータを出したり、分析を行ったりすることがある。ところがこの依頼が曲者で、依頼を出している側が必ずしも問題を正しく認識し、そのためにどのような情報が必要かを理解し、その上で実現可能な依頼を行っているとは限らない。

というか、そんな完璧な依頼というのはまずありえない。なので「こんなデータが欲しい」と依頼されて注文通りのアウトプットを出したところで、後になってあれを追加これも追加、やっぱりこっちのデータも見たいからと出し直し、揚句に納期に間に合わないから今日中にと言われて残業する羽目になり、出来たのはただの棒グラフと作文だった、などという事態になる。

>>>続きを読む

仕事ができない人の行動パターン

どういう事情なのかよくわからないのだが、「この人仕事ができないなー」と思う人というのは大体似たようなことをするらしい。その中でも特に目につく行動について挙げてみる。

朝送ったメールの返事が夕方になっても来ないので聞いてみたらまだ読んでいないなんてことはざら。返信するのは大抵夜も遅くなってからで、余裕がないからなのか内容に間違いや抜けもれが多い。結局ああでもないこうでもないとドタバタ劇が繰り広げられて本人だけではなく周りの仕事も影響がでる。一方できる人は返信は無くても見てはいるので、急ぎで対応しなければならないことについては非常に反応が早い。

>>>続きを読む