TatsuyaのテクTechブログ

IT技術を中心に勉強したことを書くブログ

Google Cloud Next'19 Tokyoに行ってきた

f:id:dolphin-jump1011:20190803210817j:plain


昨年に引き続き、Google Cloud Next'19 Tokyoに参加してきました。

参加したのは7/31(水)の午後で、セッション4つに施設内を色々散策してきたでの、

その内容を書いておきます。

 

cloud.withgoogle.com

 基調講演と一部セッションの動画が公式サイトの「Next OnAir」から視聴できますね。

 

アジェンダ

 

セッション

 去年と違うのは18時以降も2枠のセッションが追加されていて、18時40分開始枠では「Google幕の内弁当」が配られていました。

f:id:dolphin-jump1011:20190803211151j:plain

Google幕の内弁当

 

Google Cloudでデジタル変革を成功させるためにすべき3つのこと

Google Cloud Next ’19 in Tokyo | 7 月 30 日 - 8 月 1日

 株式会社永和システムマネジメントの方によるアジャイルとベンダーとの共創による社内のDX推進の考え方と方法のお話です。

 私(SIer)から見て、ユーザー企業向けのセッションだと聴講前から分かっていたのですが、故郷の企業がアジャイルをどのように取り組んでいるのか知りたく聴講しました。

大手ベンダーが諸々の理由でできていなかったDXやアジャイルの取り組みを、小回りがきく中小ベンダーが先に取り組むことで、貯めた経験とそのための施設を使ってDXビジネスをどんどん受注しようという狙いが見えました。

自分の認識範囲で内容をまとめておきます。

 

 ○DXのサービス企画は内製化。「発注・受託」→「共創・共育」へ。

従来のウォーターフォール開発だとモノができてビジネスを始めるまでに時間がかかるため、ビジネスを始めた時点で企画したときと市場が変わって無意味になる可能性ある。そのため、アジャイルの開発方法を用いる。また、ユーザー企業とベンダーの関係は「発注・受託」→「共創・共育」へと変わる。

 ○ベンダーに鍛えてもらう

  業務を知ってもらう人がコードを書くのが最強だと考えている。そのため、ベンダーはプログラミングを教える。ユーザーは業務を教えて、共通理解を深める。

  一緒に汗を書くことで、ベンダーの技術者の創発性を促す。今まで(ウォーターフォール)では工程で分かれていたため、技術者の創発性を活かすことができなかった。むしろ、設計した通りに製造をしてほしかったため活かせないようにしていた面もある。

 ○DX≒新規事業

  DXは身近にあるところからでもよい。GCPが必ず必要でもなく、GSuiteでもDXツールになる。→事例としてGSuiteによる作業の見える化ツール

 ○技術者の技術点転換

  レガシーな技術者でもDXの過程でGoogle App Script(GAS)から触り始めて、GAS→GAS+js(ライブラリ)→GCP+javaと約7カ月かけてモダンな技術転換ができる。

 ○質疑応答

  詳細は書けないけど、大手SierはDXでは儲けられないから拡がらないのではないかと懐疑的な質問があった。

 

 最後に、東京から遠いけど、Agile Studio Fukuiは見学者募集中!

www.asf.esm.co.jp

 

データウェアハウスのあるべき姿とBigQueryの新機能 

Google Cloud Next ’19 in Tokyo | 7 月 30 日 - 8 月 1日

 従来のDWHが持つ要素をBigQueryではどの機能により解決できるのか、またBigQueryが目指すDWHの姿と独自の機能の紹介がありました。内容としては既にあった機能の国内初発表もあれば、世界初発表の機能もあったと思います。

 これからのコンセプトとしてBigQueryをオープンデータウェアハウスと位置付けるようです。様々な外部のデータ処理からBigQueryへデータを連携し、処理して、アウトプットできるように機能強化をしていくイメージを持ちました。

 

○500slotで$10,000/月の定額料金

BigQuery pricing  |  BigQuery  |  Google Cloud

○処理速度改善

 2018年に2分かかっていたペタバイトクエリが、2019年では数秒に向上。

○Persistant UDFs beta

 ユーザーがJavaScriptで独自に開発した関数を保存して、SQLで呼び出して使うことができる機能。

New in BigQuery: Persistent UDFs - Felipe Hoffa - Medium

○自動再クラスタリング

 クラスタ化したテーブルを無料で自動で再クラスタリングしてくれる機能

○Parquet&ORCの取り込み beta

 Hadoopのファイル形式であるParquetとORCの取り込みをサポート

Cloud Storage からの Parquet データの読み込み  |  BigQuery  |  Google Cloud

Cloud Storage からの ORC データの読み込み  |  BigQuery  |  Google Cloud

○Cloud SQL Federation beta

 BigQueryからCloudSQLへのクエリを発行できる。join可能で、CloudSQLにあるマスタデータとBigQueryにあるトランザクションデータをjoinさせてデータ分析が可能になうようです。今まで自前でCloudSQL→BigQueryへデータ移行していたユーザにとっては簡略化できるので良いかなと思います。発表時点では数日後にbetaになると言っていましたが、現時点ではまだのようです。

f:id:dolphin-jump1011:20190803210907j:plain

Cloud SQL Federation デモ

 画像が粗くて分かりにくいですが、クエリを発行するデモがありました。

画面左下にある「External connections」がBigQueryと接続しているCloud SQLのデータベースです。先にこの設定をする必要があるようです。

クエリ発行部分では以下のクエリをたたいてCloud SQLからデータを取得していました。画像がないですが、JOINを使ったデモもあり。

SELECT * FROM EXTERNAL_QUERY("bigquery-federation-*****.us.demo_mysql_connection","SELECT * FROM ****_TABLES;");

○BigQuery Storage API

 他のデータ処理技術と接続するためのAPI

BigQuery Storage API Overview  |  BigQuery  |  Google Cloud

○BigQueryストリーミング

 リアルタイムにデータを処理する機能で機能改善を行っていることを言っていた。

○BigQueryのデータ共有方法

 メンバーとデータを共有したり可視化するための方法

 ・DataPortal

 ・スプレッドシート

 ・パートナーツール(Tableau,Lookerなど)

 ・BigQueryのクエリ保存機能

○BI Engine

 (さらっと話していて聞き逃す)

○BigQuery ML

 近日GAになるMLモデルがあるようです。詳細は画像を貼っておきます。

 
f:id:dolphin-jump1011:20190804232115j:image


 

 

TwitterでのGCP事例:オンプレミスとクラウドで構成されたハイブリッドなデータ処理プラットフォーム

Google Cloud Next ’19 in Tokyo | 7 月 30 日 - 8 月 1日

 TwitterGCPに移行したお話です。50万core、12,500nodeあるHadoop基盤の一部をGCEとProcに移行しており、移行アプローチの話が良かったです。

内容については、実況した私のツイートを貼っておきます。

Twitterの移行事例のページも紹介されていました。 

Twitter  |  Google Cloud

Google Cloud Healthcare APIやGKEを活用した新世代の診療支援 

Google Cloud Next ’19 in Tokyo | 7 月 30 日 - 8 月 1日

 医療・ヘルスケアのDXで求められる条件とGCPのサービスと事例の紹介です。

 ヘルスケアに関する認証(HIPPA)も取得しており、サポートする専用のAPIである「Healthcare API」と「Genomics API」の話をしていました。また、実際にGCPで医療サービスを運営している株式会社エムネスさんのサービス内容と今後の展望を紹介しており、面白いことをやっているなと感じました。

ただ、タイトルにあったGKEの話は出てこなかったですね。

Healthcare API - Powering Health Insights  |  Google Cloud

Google Genomics - Store, process, explore and share  |  Cloud Genomics  |  Google Cloud

施設の散策

認定者ラウンジ

 昨年はなかったGoogle Cloud認定を持っている人だけがはいれるラウンジができたので行ってきました。また、限定バックパックもあったのですが数が少なかったみたいで品切れでゲットできなかったです。ホテルの一部屋を使っているのと、人も少なかったのもあり、静かでのんびりできる場所で良かったです。

f:id:dolphin-jump1011:20190803211138j:plain

認定者ラウンジでのお菓子とコーヒー

Cloud Square

 増上寺にあった展示と休憩エリアです。暑いのもあってかかき氷とレモネードが配られていました。また、Googleの社員が選ぶ本が展示されていて誰でも読める状態になっていました。暑いので見るだけで、読む気にはなれなかったですが。

f:id:dolphin-jump1011:20190804190807j:plain

かき氷

f:id:dolphin-jump1011:20190803211117j:plain

f:id:dolphin-jump1011:20190803211038j:plain

f:id:dolphin-jump1011:20190803211032j:plain

f:id:dolphin-jump1011:20190803211007j:plain

GCPや技術の本だけでなく、マネジメントの本もあり多様でした。

 

以上、来年はいつするんでしょう?