【データサイエンティスト026】PYTHON PYTHON PYTHON!!!

2017年2月、データサイエンティストにのっかってみてサービスでも出しながら勉強しようかと模索を始めた。

やべぇ、残り二日。

下記のサイトでコツコツPythonの勉強に取り組んでいます。

www.udemy.com

無駄の無い動画と説明で非常に快適。

全くプログラミング噛んだことが無い人はちょっと辛いかも。

一方マクロでも何でもやったことがある人はとりあえずやってることはできるようになるレベルの適切な講義。

うーん、面白いけれど時間が追いつかん。

残り、２日！

【データサイエンティスト025】サービスを検討③

タブローTableauさんに打ちのめされる、、

2017年2月、バズワードのデータサイエンティストにのっかってみて何か出ないかと模索を始めた 。

25日、タブローTableauさんの完成度に改めて衝撃を受けております、、、さすがすぎる。

背景からいくと、下記の本を読んでみたけどぜーんぜん頭に入らず。それでも、今の自分に必要そうだという感覚を得たので、一念発起、このブログでサービス化をやるぞと、そういうことで、スタートしました。

改訂2版 データサイエンティスト養成読本 [プロになるためのデータ分析力が身につく! ] (Software Design plus)

お勉強してプログラムも自分で書いてみて多少見通しが良くなってきた今日この頃。

いよいよこの業界を席巻しているタブローTableauさんを少しかじってみました。

www.tableau.com

まず導入事例を見てみるとリクルートさんやPepsiCoさんなどわらわら出てくる出てくる。

何をするソフトかというと、大量のデータをサクサクとビジュアライズして分析できるもの。

エクセルではちょっと、、、という量、項目数も一項目あたりのデータ数もいずれも、そんなデータと向き合うなら導入すべき！かなと。

会社の行動原理もさすが良く掴んでいてミニマムスタンドアローン1パッケージ保守費混み24万円という稟議などいらない絶妙な価格設定。

大企業ならこの金額を出しても十分ペイするでしょうと。

地図プロットとかもしてくれるしね。

ここでは、タブローさんを最高位としてベンチマークしつつ、中小とか、大企業でも上司がぐちゃぐちゃ言ってくるような人に向けた簡易版を設計して進めていこう。

エクセルではつらい、数十万出すほどでもない。

うん、ニーズはありそうだ(つか今俺が欲しい)。

今僕がぶち当たってるのは過去五年分の月次データ、項目数が二万以上。

欠測値とか異常値もばんばん入ってるし目でどうこうするのは時間的、モチベーション的に無理がある、、、。

したいことは

• 欠測値、異常値の可視化と修正
• トレンドの図示と把握
• 絶対量、変化率それぞれの観点から特徴的な項目を抽出。

この3つ。

これらをPythonさんで何とかやっていこう。

やべぇ、あと３日！

【データサイエンティスト024】サービスを検討②

だんだん追い込まれてきた・・・！

データサイエンティストの本を参考に勉強しつつ２月中に何らかのサービスを出そうと奮闘？している連載。

これがその本。

改訂2版 データサイエンティスト養成読本 [プロになるためのデータ分析力が身につく! ] (Software Design plus)

この本を皮切りにRも含めて今月プログラミングで色々と遊んだ。

やっぱ計算が超早いな。エクセルとは比べ物にならない。

ただエクセルがいいのはRやPythonに比べ計算の過程が残りやすいこと（気がしている。方法はあるんやろうけど）。

物の本でも「いくらRと仲良くなってもエクセルとは離れられない」という記述をみたことがあるし。

一長一短やろうから適宜ツールに惑わされないようにやっていこう。

ということでサービス。

データぶち込んでグラフ化するというやつにしようと思って今はPythonゴリゴリやっているところ。

実際にやるとあちらこちらでひっかかるいつものやつ。

負けずにコツコツやっていこう。

手を動かすので時間切れになりなかなかTableauまで届かない。

明日は土曜日、なんとかなるかしら。

ほぼ雑談になってしまった今日の記事。

あと４日！

【データサイエンティスト023】サービスを検討

データサイエンティストの本を参考に勉強しつつ２月中に何らかのサービスを出そうと格闘？している連載。

これがその本。

改訂2版 データサイエンティスト養成読本 [プロになるためのデータ分析力が身につく! ] (Software Design plus)

 そして昨日と同じくUdemyのサイトでもお勉強ちぅです。

www.udemy.com

お勉強はお勉強として。

今日はtableauまで届かなかったので（すみません、、、）特に書くことはないのですが、、。

ないならないか。

明日はTableauをやりつつ新たなサービスの種を模索する、ということで。

あと５日！

【データサイエンティスト022】サービスを絵にする④

データサイエンティストの本を参考に勉強しつつ２月中に何らかのサービスを出そうと奮闘？している連載。

本はこれ。  

改訂2版 データサイエンティスト養成読本 [プロになるためのデータ分析力が身につく! ] (Software Design plus)

 あとUdemyでも勉強開始ちぅ。超いい感じ。あんなに苦戦したnumpyもすいすい。

www.udemy.com

動画にして良かったことの一つ（しょぼい版）は、読み方がわかること。

numpyなんてどうやって読むか本ではわからなかったもんね。

ということで本筋のこのブログ。

数日前にサービスを絵にしてさっそくコードにしてデバッグして、、、と息巻いていたけれど、しかしながら、の現状。

さてさて。

昨日は下記３つのアイデアを少し深掘りした。

• • データベースの形を綺麗にして投げ返す
  • 時系列／層別／主成分分析　などなど無数にある手法でグラフ化し、意味付きで投げ返す
  • 今後のデータを予測して精度とともに投げ返す

この中で２つ目を昨日は自動分析ツールかなぁという話までいった。

自動分析ツールで一回考えてみようか。

そのまますると月並み感が満載。

ターゲットはエクセルしか手元にない人、でいこうか。

いったんTableau使ってみなわからんかな。それは明日やってみるとして。

大量のデータ（〜１０万）を集約して時系列にまとめてクラスター分析できるようにする程度のツールから入ろうか。

ほぼRの基本そのままやな。

付加価値は何があるか。どこが嬉しい？

ざっくりした（欠測値の多い）データでも判断してくれる。

最速で答えが出る（これは今のパソコンでこの情報量なら問題ないか・・・）。

xlsxファイルからボタン一つでグラフ化してくれる。

入出力周りの簡素化が差別化、か。

まずはシンプルイズベストで作ってみよう。

ここまでシンプルになったら絵はいらんな。

明日Tableauで遊んでみて、あとはUdemyを進めて、サンプルソフトでも作りにかかってみよう。

方針決定！

あと６日！

【データサイエンティスト021】サービスを絵にする③

データサイエンティストの本を参考に勉強しつつ２月中に何らかのサービスを出そうと奮闘？している連載。

本はこれ。 

改訂2版 データサイエンティスト養成読本 [プロになるためのデータ分析力が身につく! ] (Software Design plus)

 あとUdemyでも勉強開始しました。

www.udemy.com

非常に懇切丁寧で良い。よすぎる。

とはいえちょっと詰まったので今からやる人のためにも少しメモ。

できる人にとっては、フン！という感じだと思うので読み飛ばしてください。

・あれ、ターミナルのコマンドってなんやったっけ・・・？

→ターミナルとはパソコンのフォルダ（ディレクトリ）やファイルをコマンドでいじくるやつですね。詳細は下記にゆずろう。

今さら聞けない！ターミナルの使い方【初心者向け】 | TechAcademyマガジン

・そもそもAnacondaでちょっとけつまづいた、、、

→下をみてなんとかしてみました。

Anaconda で Python 環境をインストールする - Qiita

さて、もう３日目に突入したサービスを絵にするやつ。

昨日達したレベルはここ。

• データベースの形を綺麗にして投げ返す
• 時系列／層別／主成分分析　などなど無数にある手法でグラフ化し、意味付きで投げ返す
• 今後のデータを予測して精度とともに投げ返す

ここでだれにどんな価値になるのか考えてみようか。

一つ目は、データサイエンティスト見習いくらいか。

教育は素人向けが一番いい（対象者が多い）という話もあるしナイスかな。
具体的にどんなサービスにするかが見えん。
定量的か定性的か、時系列か同時期の別要素比較か。。

二つ目は、自動分析ツールね。これは欲しい。ピボットテーブルさえ面倒な時があるし。ボタン一つで、的な。

ここの課題は知りたいことに突き刺さる分析をどう自動判別するかやな。

データセットの形から見極めるとナイス。でも変化が見えやすいようにしたいしな。

ピボットテーブルの下の表になる形式からあらゆるグラフがかけるマクロ的なのがあればいいのか。

三つ目は、外挿して試算するツールか。恐ろしいな。伸び率一定とかCAGRでいくとか方法はあるけど精度は神のみぞ知る世界。。ちょっと二の足を踏むところ。

うーん、今日はここまで。

あと７日！

【データサイエンティスト020】サービスを絵にする②

データサイエンティストの本を参考に勉強しつつ２月中に何らかのサービスを出そうと模索している連載。

本はこれね。

改訂2版 データサイエンティスト養成読本 [プロになるためのデータ分析力が身につく! ] (Software Design plus)

 さらにUdemy（ユーデミー）の下記サービスも取り組み始めた。

www.udemy.com

Pythonを使うための環境構築と使うとは？をやっているなう。

動画でわかりやすい。まだ最初やけど現時点でめちゃオススメ。

ということでそちらはそちらで進めるとしてサービスを何か絵にしてみる。

先日考えたのは下記の３つ

「データをファイルで受け渡ししなければならない場合の対応」

「データ分析上での間違いを判別」

「データ分析で適切な手法を選択」

これらはデータサイエンティスト（本物）の人のブログで困りごとを抽出したものやった。

本物が困っている内容をかじりたてフレッシュ！のサービスでなんとかしようということがおこがましすぎましたね。

できるならちゃっちゃと片付けてるでしょう、そのクラスの人なら。

はずかしい目標を立ててしまった。

ということでかじりたてでも、誰かの何かに貢献できるサービスを。

ターゲット層は「生データをゲットできる環境にあり、アウトプットイメージももてるが、工数上／ITスキル上自分の手で具現化できない」というところに定めてみよう。

ターゲット層の困りごとは「時間がない／エクセルでちまちまやるには時間がかかってしゃーない」ということだとする。

それをデータサイエンティスト的に解決するには、

・データベースの形を綺麗にして投げ返す

・時系列／層別／主成分分析　などなど無数にある手法でグラフ化し、意味付きで投げ返す

・今後のデータを予測して精度とともに投げ返す

の３つくらいか。

どれもまずは多少具体的になった。

反面、個別のデータじゃないと参考事例にならないね（特に１つ目の項目）。

図示までいたらず、、、。引き続きひねり出そう。

だんだん面白くなってきた！

残り８日！