2017年09月27日

Googleの誕生日を祝う

今日、2017年9月27日はGoogleの19歳の誕生日だそうです。もう19年も経ったのですね。

Googleの誕生前後は私は大学院生で、大学の計算機室に置いてあるUNIXだったかマッキントッシュだったかを使って「Googleの検索結果が凄い!」と盛り上がった記憶があります。

Google以前、1995年頃はまだ検索サービスというものは無くて、手動で集めて分類されたインデックスサービスがメインでした。海外だとYahoo!、日本だとCSJインデックスをよく使っていた記憶があります。分類されたディレクトリを一つずつ辿っていって、望ましいリンクを見つけて飛ぶ、というもので、辞書で文字を引くのに似ていました。もちろん、インデックスに載っていないサイトにはたどり着けず、有用だけれどメジャーじゃないなURLは人づてに伝達されていました。

日本のインデックスサービスの検索はディレクトリに整理された情報しか出てこなかったのに対し、Yahoo!はディレクトリに整理された情報だけでなく、沢山のインターネット上のウェブサイトを自動的に集めてきて、それを引っかけてくれた点で、画期的だったと思います。おそらくちょうどその頃、Windows95が発売され、パソコンをインターネットに繋ぐことのハードルが一気に下がった時期でしたので、ウェブサイトが飛躍的に増加した時期でもあったと思います。それより以前にはそもそもインターネット上に情報が無く、ほとんどのウェブサイトは大学のサイトだったものが、95年頃から企業がインターネットに顔を出してくるようになりました。

そんなYahoo!の検索は、今までなら絶対にたどり着けなかった情報にたどり着けるようになったという点で素晴らしかったのですが、検索結果はまだまだユーザーフレンドリーではなく、玉石混淆というか、何でもかんでも引っかかって、それが無造作に並べられていたため、目的の情報にたどり着くにはかなりのテクニックを要する状況。そして、96年、97年とインターネットの一般普及に従ってサイト数が爆発的に増加し、Yahoo!での検索が困難になっていきます。

Googleの噂がきこえてきたのはそんな頃だったと思います。スタンフォードになにか凄い検索があるらしい、という触れ込みでURLが伝わってきて、検索をしてみると、まさに「I'm feeling lucky」な検索結果が返ってきたことを憶えています。1997年だったと思っていたのですが、創立は1998年ということで、どこかで記憶が一年飛んでしまったようです。I'm feeling luckyのボタンはその当時からありました。

1998年11月のGoogleトップページを、internet archiveで見ることができます。このトップページのシンプルさも当時画期的でした。Yahoo!もCSJもイエローページも、トップはディレクトリでごちゃごちゃしていたのに対し、Googleは検索窓一つ。全てを検索窓からという思想は既にこのときにあったんですね。

Pagerankの論文も当時触れた記憶があります。最新の数学が一般社会に役立つことはあまりなく、当時は暗号理論に整数論が使われてホットだったくらいでしたが、pagerankの論文は簡単な線形代数でありつつも、目の前でその理論が新しいサービスに結びついて展開されたのは非常にインパクトがありました。

そんな頃からもう19年経ったというのは感慨深いですね。いまや世界中の情報がGoogleにあつまり、Googleを通って世界が動いています。50年前にフレドリック・ブラウンやアイザック・アシモフが預言した世界に一歩ずつ近づいていっている気がしますね。

Answer (Fredric Brown)

The Last Question (Isaac Asimov)

Analyisis of "The Last Question" by Isaac Asimov and "Answer" by Fredric Brown


ちなみに。

フレドリック・ブラウンの「Answer」、実はずっと探し続けていた本でした。おそらく小学生の頃に読んで、そのシーンがすごく印象に残っていたのですが、googleのことを考えるといつもこの話が思い浮かびます。ただ、誰の何という小説だったかさっぱり憶えていませんでした。

科学者は世界中のコンピューターを繋いで、聞いた。
「神はいるか」
「Yes, 今こそ神は存在する」


今回googleのことを書くにあたって、これまで曖昧だった記憶を辿って、そして「Google」の能力を駆使して(!)やっと探し当てました。大人になるまでずっと、このコンピューターってのは2001年宇宙の旅に出てくるHALだと思っていたのですが、大人になってから映画を見直してみてもどこにもそんなシーンが存在しない。星新一のショートショートだったかなとおもって調べても、似ているけれど違う。(「神」という作品があります。)しかし、これを世界中のテキストの中から探し出すことを可能にしたgoogleという仕組みは素晴らしいですね。今は当たり前に存在していますけれど、20年前にはまったくあり得ませんでした。その意味で、確かに「神」は私達の手の中に存在しているのかもしれません。


posted by jinya at 18:54| Comment(0) | 日記 | このブログの読者になる | 更新情報をチェックする

2017年09月10日

googleクラウドにたてた Web Server をセキュアに使う

一つ前の記事「クラウドでのデータ分析を推奨する理由」で予告した話題です。ウェブブラウザ経由で利用する分析ツールを想定していて、それに対して簡単かつ安全にローカルからアクセスする方法です。この方法はエンジニアにとっては当たり前のことを繋げただけなのですが、データ分析者にとってはなかなか敷居が高い話題なので、ご紹介したいと思います。

やりたいこと


最近はブラウザベースの分析ツールが増えてきました。JupyterやRStudioなどがその最大手だと思いますが、これに限りません。分析者は主に、ローカルにウェブサーバーをたてて利用していると思います。

一方で、最近はクラウドでデータ分析をすることが増えてきました。上で参照した記事でも書きましたが、データセキュリティの面で安全であること、ビッグデータに対応しやすいこと、計算機リソースを調達しやすいこと、作業を一元管理できることなど、様々なメリットがあります。

この二つを併せて、クラウドでたてたウェブベースの分析環境を利用したい、しかも安全に、というのが今回のモチベーションです。

悩み


しかしそのためには悩みがありました。データや分析ツールはクラウドにあって、ローカルからはブラウザでそのリソースにアクセスしたい。このとき、データセキュリティを保つためには、@通信経路が適切に暗号化されること、A認証が適切に処理されていること。Aは特に、どこからでもID/PWだけでログインできるのはよくない、必ず二段階認証や、公開鍵認証などの方法で本人確認がなされてほしいです。

ここで、ITエンジニアであればこれらを満たす環境を容易に作ることが可能ですが、データ分析者にとってはなかなかハードルが高いです。

例えば一つの案として、クラウドに立てた分析マシンにグローバルのIPアドレスをつけてやって、そのポートに対してhttpで直接アクセスできるようにしてしまうと、通信経路が暗号化されませんから、機密のデータが全て漏れてしまいます。では、https化しようと思っても、SSLの認証が、ポートが、などなど、分析者はあまり得意ではありません。もう一つ、SSHトンネルを使ってローカルマシンのポートをクラウドに転送する方法もありますが、これも多くの分析者にとってハードル高めです。

もう一つ、これは小さな悩みとして。ローカルマシンから計算サーバーへSSHトンネルを掘ってその中を通す手段を確立するところまではできたとしましょう。SSHの通信元はローカルマシン、通信先は計算サーバーのグローバルIPです。さて、計算サーバーは計算をしている間だけ動いていればいいので、使い終わったらいちいち停止します。すると、次に立ち上げたときに、IPが替わってしまうんです。IPは共有資源ですから、使っていない間は占有しない方がいい。よって毎回返すのですけれど、そのために毎回IPが替わって、SSHトンネルを掘る宛先も毎回変えなければならない。この些細な手間が悩みです。(プロキシサーバーをたてるとか、IPでなく名前でアクセスすればとか、もちろんいろいろ方法ありますが、それはそれで事前にいろいろセッティングしなければならないので。計算サーバーというのはある種使い捨てなので、毎回小さな手間がかかるのはデータ分析に差し障りがあるのです。)

GCPでの解決方法


全体図を示します。以下でこれを解説します。ここではブラウザベースの分析ツールということで、RStudio Serverに出演していただきますが、これに限らず何でもよいです。
tunnel.png

google cloud shellはブラウザからアクセスできる小さな仮想マシンで、google側にあります。GCPのコンソールの右上にあるボタンを押せばすぐ、ブラウザでコンソールが立ち上がります。そしてこのマシンは、ローカルとはブラウザで繋がっており、リモートではGCEと繋がっています。このマシンをシエルさんと呼びましょう。また、以下ではGoogle Cloudにある計算サーバーをサブさん、ローカルで操作するマシンをロカさんと呼びます。

ロカさんとシエルさんとの通信はブラウザで行います。シエルにアクセスするにはまずGCPの管理コンソールにアクセスしますから、この時点でロカさんとシエルさんの通信はGoogle Accountで認証されています。Google Accountはほとんどの場合ID/PWと携帯電話などによる認証コード確認の二段階認証されているので、これは安全だと思いましょう。そして、ロカさんのブラウザとシエルさんとの通信はこの認証と、Gooleさんへのhttpsアクセスの中を通っていますので、安全です。つまり、シエルさんのシェル画面が、Google Accountで認証されたhttpsのトンネルの中を通って、ロカさんのブラウザに転送されています。

次に、シエルさんとサブさんとの通信を確保します。ここはSSHでトンネルを掘るのですが、シエルさんには素晴らしい機能が搭載されていて、Google Cloudとの間にアクセス承認がビルトインされています。つまり、シエルさんはGCPで作ったプロジェクトへのアクセス権が、プロジェクトのアクセス権と同等に既に与えられています。ですから、自分が参加しているプロジェクトに対してシエルさんはSSHでアクセスすることができ、逆に参加していないプロジェクトのリソースにはアクセスできないようになっています。さらに、cloud shellは初めて利用する際にシエルさんのインスタンスで鍵ペアを生成して、これを使って自分のアクセス権が設定されたプロジェクトとの認証を行いますので、その鍵を使うときにパスフレーズを入力する(これは、その鍵を開けるための鍵で、初期設定の際に決めます。確かブランクでもよかったと思いますが、何か入れましょう)だけで、あとは公開鍵認証でさくっと認証してくれます。これは便利!

さて、では、シエルさんからサブさんへSSHのトンネルを掘りましょう。GCPコンソールからgoogle cloud shellのボタンを押すと、シェル画面が立ち上がります。これはシエルさんのコンソールです。ここで、

gcloud compute ssh sabusan --project projectSabusan-123456 \\
--zone asia-northeast1-a --ssh-flag="-L" --ssh-flag="8080:localhost:8787"
を実行します。ここで、「sabusan」はサブさんのインスタンス名、「projectSabusan-123456」はサブさんが立っているプロジェクトの名前(フルネーム)、「asia-northeast1-a」はサブさんの立っているゾーン、「8080」はそのままで、「8787」はサブさんに立てたRstudio Serverへのアクセスポートです。なお、8787はRStudioのデフォルトポート、つまり、なにも指定しなければ8787番で立ち上がりますが、普通のhttpでサブさんのツールを立ち上げた場合は80番になります。ここはサブさんのなかで何を使うかによって適宜変更してください。

「gloud compute ssh」はgoogle cloud用のsshで、これを使うとGCPの中での用語を使ってsshアクセスできます。つまり、「sabusan」や「projectSabusan-123456」という名前をうまくIPに変換してくれて、その認証なども考えてくれて、正しくアクセス先に導いてくれます。上で、IPアドレスが毎回変わるのが面倒ということを書きましたが、ここではプロジェクト名とインスタンス名で通信経路を確保できるので、その悩みはなくなります。最後に、もしシエルさんのキーペアにパスフレーズを設定している場合はそれを入力すれば、無事、SSHの接続が完了します。

これで全ての通信経路が確保されました。最後に、ロカさんのブラウザ上に開かれたシェル画面の右上にある「ウェブでプレビュー」ボタンを押し、「ポート上でプレビュー8080」を選択すると、ブラウザで新しい画面が立ち上がって、サブさんでサービスしている画面、この例ではRstudio Serverの画面に繋がります。

ロカさんとgoogle cloud platformはインターネットで繋がっていて、ここが一番危険な場所ですが、そこを守っているのがSSL, Google Account認証です。そしてここはGoogle Accountでログインしていれば既に守られています。つまり、Google Accountの取り扱いさえ気をつけていれば大丈夫で、それは普段から気をつけている場所なので、問題ありません。特に、会社のメールにGSuiteを使っているところは普段からしっかり対処しています。そしてそのSSLのトンネルはシエルさんまで繋がっていて、シエルさんとサブさんは先ほどの「gcloud compute ssh 〜」でsshのトンネルを作りました。最後に、サブさんに組み込まれたRStudio Serverで作られたRStudioの画面は、SSHのトンネルとSSLのトンネルを通ってロカさんのブラウザ上に表示されます。

便利なところ


この方法の便利なところは、使うまでのアクションが三つだけだということです。(サブさんでのサーバーのインストール等の時ではなくて、すべて設定が終わって、普段分析用に利用するときです。)

@インスタンスを立ち上げる


まずは計算サーバーを立ち上げる必要があります。通常、分析するインスタンスは大きなリソースを割り当てるのが普通なので、作業が終わったら落とて、使うときに立ち上げます。これはGCPコンソールのGCEから、停止状態にあるインスタンスをクリックして「開始」すればOK。なお、RStudio Serverは自動起動するように、RStudioをインストールする際に設定しておいてください。

AGoogle Cloud ShellでSSHを指示する


上に記した、「gcloud compute ssh 〜」を実行します。このフレーズはマシン名が変わらないため毎回同じなので、cloud shellの中にメモを残しておくか、そのままスクリプトにしておいてもいいとおもいます。cloud shellはGoogle Accountが存在する限りずっとなくならないはずなので、ブラウザでGCP〜cloud shellにアクセスすればいつでもそのメモはそこにあります。

Bポート上でプレビュー


最後に、「ウェブでプレビュー」から「ポート上でプレビュー8080」を選択すれば、サブさんで立ち上がっているRStudio Serverに接続して、RStudioが使える状態になります。

安全なところ


経路は全てSSLまたはSSHで暗号化され、インターネットを通る認証はGoogle Accountによる認証だけです。Google Account認証は通常二段階認証で、普段よく使うアカウントですから、リスクが低いです。SSHもGoogle Cloudの中だけですし、認証は公開鍵認証がデフォルト、かつ、自身が割り当てられたプロジェクトにしかアクセスできないようになっています。そして特にこの方法では、プロジェクトにアクセスできるのはブラウザでGoogle Account経由、もしくはSSHでの接続だけで、httpやhttpsのポートを開けているわけではありません。プロジェクトに侵入する経路が少なければ少ないほどよく、SSHはデフォルトで開いていますが、公開鍵認証が必須なので問題ありません。サブさんのグローバルIPも立ち上げなおす度に変わるので、リスクは非常に小さいと言えます。

おわりに


以上、googleクラウドにたてたブラウザベースの分析ツールをセキュアに使う方法でした。

このように、クラウドを安全に使う方法がどんどん便利になってきていて、便利になるからこそまた安全性が増します。不便だったり、様々な知識が必要だったりすると、手抜きや知識不足のためにセキュリティが下がる可能性があるので、便利になることはいいことですし、将来的にはもっともっと便利になると思います。
posted by jinya at 11:49| Comment(0) | 日記 | このブログの読者になる | 更新情報をチェックする

2017年09月08日

クラウドでのデータ分析を推奨する理由

私の仕事では日頃からデータ分析を仕事としているのですが、普段の行動で最も気をつけているのが、「データのセキュリティ」です。

【現状のデータ分析におけるリスク】

データ分析という仕事はお客さんのデータを預かり、これを様々な切り口で切って観察し、仮説をたてて検証する、というプロセスを何度も繰り返すのですけれど、ほとんどの場合でその預かるデータの機密性が非常に高い。それは当然で、ビジネスにおける様々な課題について、その意思決定を左右するような力をそのデータが持っているわけですから、これが軽々しく流出してよいわけがありません。

さて、そういう「虎の子」のデータを普段どうやって取り扱っているかというと、すべての局面で様々な対策をとっています。

*受け渡しから結果報告まで

まずは受け渡し。データを預からないことには始まりませんので、お客さんからデータを預かります。最近でこそ暗号化してメール添付やウェブストレージで受け渡しということが多くなってきましたが、まだまだポータブルハードディスクで現物渡し(もちろん、内部のデータは暗号化済み)とか、USBメモリに入れて郵送(これも暗号化、送付はトラッキング可能な方法で)というケースがあります。

そして実際の加工や分析の場面。預かったデータを取り扱うマシンはディスク暗号化、ログインのポリシーも強め(これを書くとセキュリティが下がるので書けません)、どのマシンに入っているかとか、誰が取り扱えるかなど、ちゃんと管理します。基本的には担当者のみがそのデータを扱うことができて、同じ社内でも担当の違うデータは扱えません。PCやポータブルハードディスクは施錠管理ですし、すべて暗号化してあるので、万が一盗難があった場合でも大丈夫にしてあります。

分析の結果をお客さんと共有する際も、昔は分析報告書を紙に印刷して現物納品というのが多かったのですが、最近はほとんどが電子ファイルでの納品で、ワードやエクセル、パワーポイントなどのドキュメントの他、分析コードや簡易ツールのコードなども電子媒体で納めることが多く、これらも暗号化してメール添付や暗号化して現物送付など、受け渡し方法に応じて対策をとっています。

*本当のリスクはどこにあるのか

さて、このように、どうしてもデータやそれに関する資料が動くものですから、それが行き来する度にリスクは発生します。「絶対安全」であることを目標としてもちろん対策をとっているのですけれど、理論的にはリスクに「絶対」はあり得ませんので、必ずリスクが存在します。

そして実は、このデータのリスクというのは私達のように外部でデータ分析の仕事を実施している会社にとどまりません。むしろ、私達はそれが本業ですから様々な対策をとっていますけれども、本当のリスクはお客さんの側にあると感じています。たとえば、データが暗号化されていない状態でPCに入っていないでしょうか。もしくは、会社内の計算サーバーがハダカの状態で足下に転がっていたりしないでしょうか。近年はSIにおけるデータのセキュリティというのは非常にうるさく言われていて、情報漏洩の事故が起きる度にセキュリティ投資が行われ、どんどん堅牢に(その一方で使いにくく)なっていますが、データ分析はアドホックに実施されることが多いので、堅牢なシステムからデータを一時的に吸い出して、手元のPCで操作するというケースが非常に多いです。堅牢すぎるシステムの中では、それが堅牢すぎるために、分析ができる環境を作る余地がありません。その結果、リスクが手元に集中します。

【クラウドの方が安全】

さて、そういう環境の中で最近にわかにクローズアップされてきたのが、クラウドです。Amazon Web Service、Google Cloud Platform、Microsoft Azureなど。2003年頃からビッグデータの時代に入り、今ではビッグデータの取り扱いはクラウドの力無しでは非常に難しい。しかし、プライベートクラウドならばまだしも、これらのオープンなクラウドでデータを取り扱うのは危険なんじゃないか。自社のデータが、その他大勢のデータと混在して置かれているのはリスクが高いんじゃないか。

数年前まではそういう話もよく聞きましたし、実際にクラウド事業者のセキュリティに関する関心度やレベル感もまちまちでしたので、そう言われても仕方がない面はありましたが、ビッグデータの波が一段落して、つまり、「ビッグデータ」がバズワードから本当に意味のあるものが選別されてきた頃から徐々に、ビジネスで使えるクラウドとは何かという部分でコンセンサスが取れてきて、各社、セキュリティの担保に非常に力を入れてきています。ですから、五年前まではまだ言えませんでしたが、今は確実に、「データはクラウドにある方が安全」です。受け渡しのリスク、盗難のリスク、暗号化してないリスクなど様々なリスクが、クラウドを利用することで解消されます。

*クラウドデータ分析のワークフロー

ここではGoogleのクラウドサービスであるGoogle Cloud Platformを例に挙げますが、他のクラウドでも、使いやすさや構築のしやすさが少し異なるだけで大体同じように使えます。

Google Cloud Platform、以下GCPと略しますが、ここではまず「プロジェクト」という単位で全てのデータが管理されます。この概念がデータ分析では好都合で、あるデータ分析プロジェクトが始まったら「プロジェクト」を作り、その中で全ての作業を行います。セキュリティもプロジェクト単位で設定できるので、誰がこのプロジェクトに参加するのか、それぞれどのデータをどのように扱えるのかなどを決めることができます。

次に、データ元はデータをそのプロジェクトにアップロードします。GCPでは様々なデータベースが備え付けられていますが、特別な操作をしない限りそれらのデータはプロジェクト以外からは参照できず、プロジェクトの参加者、さらに、参加者のうちでもデータを閲覧する権限を付与されたアカウントのみが、そのデータを見ることができます。

データを加工するのは、そのプロジェクトの中で利用される様々なサービスです。最近ではgoogleが用意している人工知能APIなどが強力で、テキスト解析や画像解析の前処理などは学習済み人工知能を用いて前処理ができます。また、bigqueryやdataprepなど、データをアドホックに操作加工できるツールもあり、さらには備え付けられていない処理はCompute Engineというサービスで計算サーバーを立ち上げ、それがプロジェクト内でデータを受け取り、加工し、またプロジェクト内のデータベースに返すことで処理することができます。

そのようにして加工されたデータを実際に分析するのも、Compute Engineで立ち上げた計算サーバーを利用したり、最近では機械学習のAPIを利用したりします。機械学習をAPI化したサービスはいま大流行していますから、google, amazon, microsoftの大手三社もこれからリリース合戦になりそうです。人工知能の花形である深層学習、googleではTensorflowもAPIで利用できますし、予測系でよく利用されているXGBoostなどもそのうちAPI化されるでしょう。APIになっているものはそれを利用し、そうでないものだけ計算サーバーをたててプログラミングする、そういう時代になってきました。

*クラウドが安全な一番の理由

そして、ここに述べた一連の作業において一番のポイントは、全ての作業が「プロジェクト」の中で完結するということです。データをローカルにコピーしないポリシーにすれば、全てのデータはクラウドのプロジェクト内に収まっており、そこから外に出ることはありません。ローカルにコピーする必要がなくなることは、データセキュリティ的にもリスクが小さくなり、機密情報の漏洩に怯える必要がなくなるため、精神衛生上も非常に良い効果をもたらします。ログインに二段階認証を義務づければ、第三者がアカウントを乗っ取って入ってくるリスクも非常に小さくなります。そして最後に、プロジェクトを削除することで、すべてのデータが無事に消えます。私達の側では、どのマシンでどのデータを扱っているかというトラッキングをする必要がなくなり、データを観察することに集中できますし、お客さん側ではプロジェクトが消えたことをもって全てのデータが安全に消去されたことを確認できるわけですから、安心です。

*特に、GCPの特徴

また、これはGCPの特徴なのですが、アカウント管理が非常に分析者向けにうまくできています。GCPにおけるプロジェクトへの参加は基本的に自身のGoogle Accountを用います。Google Accountというのはメールやカレンダー、ウェブストレージなどを束ねたそれらのすべてを使うためのもので、エンタープライズ向けにはGSuite(旧google for work)というサービス名で提供されています。エンタープライズ向けなので企業向けにしっかり管理されていて、これを導入している企業では毎日のようにメールやカレンダーツールとして利用しています。その毎日利用しているアカウントを用いて、GCPにログインすることができるのが、セキュリティを大きく向上させます。

その理由。エンタープライズ向けメールというビジネスの基幹とも言うべきツールですから、皆さんかなりセキュリティに気をつけています。多くの会社は二段階認証を用いていると思います。Google側も不審なログインには目を光らせています。そして、毎日使うものですから、アカウントに異常があったときに気付きやすい。気がつくのが早ければ早いほど、なにかあっても被害は小さくできます。

プロジェクト毎にアカウントを作ったりすると、どのプロジェクトでどのアカウント、どのパスワードだったかを管理しなければならず、そこにリスクが生じますが、毎日基幹で使うものは皆さん堅牢に使っても慣れますよね。

プロジェクトへの利用権の追加は基本的にはこのGoogle Accountを抜き差しするだけです。最近のデータ分析者はもちろんある程度こういう情報インフラの扱いに慣れているのですが、セキュリティ管理をするのが仕事ではなく、仕事はあくまでもデータの分析ですから、「google accountを入れるだけ」という簡単さでセキュリティが保たれることが非常に大事です。これが難しいと、専門のシステム担当者をつけなければならず、コストが高く付いてしまいますが、そういう面倒だけど大切な部分をGCPが肩代わりしてくれるのは、データ分析者にとっては非常にありがたいことです。

このように、データ分析プロジェクトとクラウドは非常に相性がいいんです。実は、これによって私はAWSでデータ分析を行うことのストレスから解放されました。AWSでは基本的にはことあるごとにIAMを作りますが、これはシステム開発的視点なんだと思います。作ったシステムが長期にわたって使われて、開発者はある段階でそこから抜けるので、特定のアカウントだけ消したい。でも、データ分析プロジェクトでは逆で、分析者は居続けるのだけれど、プロジェクトの方が完結すると消えてくれます。だから、GCPはデータ分析と非常に相性がいい。おそらくそのうち、私の会社のようなデータ分析をする企業は、ほとんどがGSuiteを利用して、GCPでデータ分析をするようになるのではないかなと思えるくらいです。

【分析クラウドの弱点】

しかし、このように万能に見えるクラウドデータ分析ですが、弱点もあります。

*グラフィカルツールの導入が遅れている

データ分析は、データを様々な形で観察し、そこからヒント(=仮説)を得て、検証するというプロセスを何度も何度も繰り返しますが、そこで非常に大切なのはビジュアリゼーション、可視化です。手元にデータがある場合には、ExcelやRstudio、Jupyterや、SPSS、Amosなど、視覚に訴えるツールが沢山ありました。これが、クラウドに移行したらコンソール作業しかできない、なんて状況になってしまったら、浮かぶアイデアも浮かばなくなってしまいます。データ分析に可視化の便利さは必要不可欠です。データをぱっと入れたらぱっと出てきてほしい。そこに、いちいち画像をダウンロードしたり、データをダウンロードして手元で可視化したりなどしていたら、クラウドで作業している意味がなくなってしまいます。

もっとも、これまでもグラフィカルツールが全く利用できないわけではありませんでした。昔はX-Serverなどがありましたが、最近ではウェブベースで画面が提供されます。Jupyterはそうですし、RstudioもRStudio Serverはウェブベースでの分析環境を提供してくれます。しかし、それをクラウドに仕込んで、遠隔からアクセスするにはhttpやhttpsのポートをあけるか、sshでトンネルするか・・・そういう作業は多くの分析者は苦手とするところなので、簡単に、セキュアに、ウェブの画面をこちらに飛ばしてくれるような環境が望まれます。

実はその動きは既に始まっており、GCPでは、Jypyterはcloud datalabというサービス名で最近提供され、簡単にウェブベースのクラウド分析プラットホームとして利用できるようになりました。一回だけコマンドラインで命令を入れる必要があるのですが、あとはブラウザに出てきたボタンを押してJupyterを利用することができます。

RStudioも、ローカルのRStudioを利用して、クラウドのRStudio Serverの仮想マシンを立ち上げ、アクセスすることを簡単にする試みが始まっています。(GoogleComputingEngineRからRのDockerで立ち上げる試み)このケースではまだ簡単にウェブアクセスができる部分が抜けているのですが、これも時間の問題でしょう。もちろん、ネットワークやクラウドを理解している人はセキュアなトンネルを掘ってその中を通してセキュアにアクセスすることは可能です。(私も次の記事でその方法について書く予定です。)

*プロジェクト管理ツールがない

大手三社のサービスをデータ分析プロジェクトの視点で眺めていると、プロジェクト管理ツールがないことに気付きます。ドキュメント管理やタスク管理、チャット、スケジューラーなどは、そのプロジェクトのために使えるツールが付いていると嬉しい。なぜなら、データ分析プロジェクトにおいてはドキュメント自体が機密情報満載ですし、タスクも詳細に記すと機密情報に触れざるをえなくなります。多くのプロジェクトでは外部のプロジェクト管理サービスを利用したり(その場合、機密情報は別で管理しなければならなかったり、セキュアであっても情報がプロジェクトの外に出てしまう)、Google Docsなど、同じアカウントで管理されているけれども、プロジェクトの外にあるリソースを利用しなければならなくなってしまう。これでは、「プロジェクト内で完結」の理想から外れてしまいます。

ですから、これらのツールがプロジェクトに紐付いて提供されることは、データ分析プロジェクトのセキュリティをさらに向上させ、分析者を分析以外のことで悩ませる時間が減ります。

なお、仮想マシンを立ち上げて、そこにプロジェクト管理ツールをインストールして利用するという手はもちろんあります。しかしその場合、管理ツールを管理するエンジニアを別にアサインする必要が出てきて、コスト高になります。繰り返しますが、データ分析者はそういったツールのセッティングやセキュリティに精通しているわけではないので、SaaSで提供されればそれに越したことはなく、それがプロジェクトに紐付いていてくれれば、「プロジェクト内で完結」します。

*遅いか、高いか

これはデータ分析のワークフローの特徴なのですが、データ分析にはデータをあれこれ眺めながらう〜んう〜んと考えている時間と、考えがある程度まとまって、分析の方針が決まって、えいやっと巨大なデータを加工したり、大量のCPUやメモリを使って大規模な計算を実施する時間があります。それが間欠的にやってきます。すると、考えている時間は計算リソースをほとんど使わず、計算している時間は大量に計算リソースを使うので、大きい方にあわせて計算機を動かしておくと、使っていないのにどんどん費用が嵩んでいきます。かといって、使っていない時間が勿体ないからと小さいリソースしか割り当てないと、いざ計算したいときには全然計算が終わらない、などというクラウドらしからぬ時間が勿体ない状況になってしまいます。

ですから、データ分析は仮想マシンを立ち上げて実施するのではなく、本当はSaaSで実施できるのが嬉しい。例えばR ServerのAPIが提供されていて、それにデータとリソース規模を入れてあげれば、裏で巨大なリソースが動いて、数時間後に答えが返ってくる、など。RStudio Serverの裏で自由にRのAPIが利用できるような環境になったらいいですね。TensorflowはAPI化されましたから、要望が多ければその可能性もあるでしょうし、そういう汎用分析APIがもっと多種多様にできてくると、クラウドデータ分析の利用価値がもっと高まります。


【最後に】

現状ではもちろん、お客さんの了解がなければデータをクラウドで分析することは許されませんので、ローカル環境を使うことがまだまだ多いです。しかし早晩、クラウドに置き換わっていくでしょう。クラウドのセキュリティがちゃんと認識され、ローカルに受け渡ししたりすることのリスクと同じ天秤に掛けられるようになってくれば、自然とデータはクラウドで取り扱われるようになっていきますし、ローカルで取り扱うリスクやコストが何倍にもなることが意識されていきます。その環境をgoogleが作るのか、AWSか、Azureか、はたまたアリババクラウドのような新興勢力が市場を根こそぎ持っていってしまうのか、ここから5年くらいが最も激動の時期になるんじゃないかなと、思っています。
posted by jinya at 21:45| Comment(0) | 日記 | このブログの読者になる | 更新情報をチェックする
×

この広告は180日以上新しい記事の投稿がないブログに表示されております。