GCPUG in Osaka で sakura.io と GCPの連携について発表しました

Pocket

6/13(水) に行われた GCPUG in Osaka #7 で、 sakura.io と GCP の連携について発表してきました。

公開用資料は、 Speaker Deck に上がっています。

当日のDataflowのコードなどは、GitHub に置いてあります。

発表内容について

今回の発表では、 sakura.io の機能を使って、 GCP Pub/Subにデータを送信し、 Pub/Sub → Dataflow → BigQuery とデータを保存、Data Studio で可視化する、ということを行いました。
IoTをテーマに2つ発表があるということもあり、前半にサービス紹介を入れざるを得なかったことと、すでにDataflowなどを触っている方が多いという想定で資料を準備していたので、あまり細かなGCPのチュートリアルは入れていません。
今回、鯖江市と協力して行っている水位計測データを利用しました。デバイス側も開発・改善しつつのデータということもあり、プロダクション環境で扱うデータよりもはるかに除外値が多いのですが、実データ使ってDataflowが便利に使えることはお見せでき、連携した場合のイメージは何となく示すことができたと考えています。

最後に

今回、 Pub/Sub, Dataflow, BigQuery, Data Studio という4つを使ったのですが、他にもいくつか良く利用されるであろうソリューションがあります。
その1つがデータ分析のためのCloud MLです。
IoTでデータを収集する目的として、やはりデータを分析したい、というモチベーションがある場合が多く、今回Dataflowを中心に話すつもりではなく、Cloud MLを使ったデータ分析の話を中心に話すべく準備していました。
ただ、データの収集・保存の準備をしている中で、私自身が初めて実証実験のデータを見て、想定以上の異常データがあることに気づき前処理に時間を取られたということがあり、だったらこの知見をお話しておいた方が、参加者が(sakura.io に限らず、)IoTプロダクトを作るときに参考になるのでは、と思い、Dataflow を使った前処理のお話をさせていただきました。

また機会があれば、 sakura.io から Cloud MLまでの連携をする場合の紹介ができればと思います。

Pocket

Close Menu