【マルチクラウド対応】GCPを使ったゼロから始めるAI活用（前編）

「AIを活用」するまでの流れ

さて、AIによって解決したい課題を整理したところで、ここからは「AIを活用」するまでの過程を説明いたします。
一般的には以下の流れで進行します。

それぞれのステップは基本的に大きな矢印の方向に進んでいきますが、前のステップに戻ったり、スキップしたりということはよく起こります。サイクルを常に回しながら、ビジネス活用における効果をより大きくしていくイメージです。

各プロセスをまとめると、

• データ収集 - 販売データなど社内で存在するデータ、天気や地理情報データなど外部から取得できるデータ、そして新しく集めたいデータを整理し、集約化していくプロセス
• 前処理 - 収集したデータを、機械学習と予測に適した形に加工するプロセス
• 学習 - 前処理したデータを実際にコンピュータ側で学習するプロセス
• 予測 - 学習によって生成される「モデル（推論のパターン）」に、予測用データを与えて結果を出力するプロセス
• ビジネス活用 - 需要数を正確に予測することで、売れ残りを削減したり、実際のビジネスに予測の結果を活用するプロセス

となります。

「可視化・分析」は、データを収集する際にも行いますし、もちろん前処理でも、そして予測結果を確認する際にも行います。すべてのプロセスに付随する内容のため、上記のような図で表現しています。データの可視化では、数字や文字の羅列であるデータを、グラフで表現したり、人間の目から見てデータの理解を効果的にすることを指します。

この他、データ活用のためのフレームワークはさまざまなものが存在します。
有名なものとして、CRISP-DM（CRoss-Industry Standard Process for Data Mining）と呼ばれるフレームワークでは、「ビジネス課題の理解」→「データの理解」→「データの準備」→「モデリング」→「評価」→「実装」というサイクルを回します。大きな枠組みは先述の内容と共通しているかと思います。

全体の進め方を確認したところで、いよいよ上記のプロセスに対応するクラウドサービスとその利用方法を紹介していきます。「マルチクラウド対応」とタイトルにありますが、基本的にはGoogle のクラウドサービスであるGoogle Cloud Platform （GCP）の機能を中心として紹介し、後編にてAmazonのクラウドサービスであるAmazon Web Service（AWS）と、MicrosoftのAzureとの統合に言及します。

データの格納と前処理 - Google Cloud Storage とDataprep

今回はデータの例として、データ分析の界隈では有名なTitanic号の生存者データを使用します。また、予測するのは「生き残れそうかどうか」という、0か1の分類問題となります。
こちらのリンクから、train.csvとtest.csvのファイルをそれぞれダウンロードします。（右上のダウンロードマークをクリックします。）

ダウンロード後、Excelなどのツールで開くと、表形式のデータが確認できます。

導入支援においては、お客さまからサンプルのデータをお預かりして、中身を確認することも多いですが、このように何らかのcsvデータまたはxlsxデータをいただく場合が多いです。

このデータの簡単な説明は以下となります。

• PassengerId - 乗客ID
• Survived - 0は死亡、1は生存
• Pclass - 乗船チケットのクラス。1~3でそれぞれ◯等クラス
• Name - 乗客名
• Sex - 性別
• Age - 年齢
• SibSp - 同時に乗船していた兄弟・配偶者の数
• Parch - 同時に乗船していた親・子供の数
• Ticket - チケット番号
• Fare - 乗船料金
• Cabin - キャビン番号
• Embarked - 乗船した港。C = Cherbourg、Q = Queenstown、S = Southampton

では、まず「データ収集」と「前処理」のプロセスを進めていきます。
なお、以降の操作ではGoogle Cloud Platform の利用が可能であることが前提となります。
新規アカウントの取得は無料かつ300USD分の無料枠が付与されていますので、本稿でご案内の内容をすぐにお試しいただくことが可能です。（公式スタートガイド）

操作にあたって想定しているレベルとしては、以下の内容をクリアしていれば、問題ありません。

• Excelなど、表形式のデータの一般的な取り扱い方を理解している。（例：四則演算、行と列の追加、削除、フィルターなど）
• Excelなどで基本的な関数が使える。例：SUM、AVERAGE、VLOOKUPなど

今回の場合、「データ収集」はこのダウンロードで完了しているものとします。実際の業務では、さまざまな部門と調整して必要なデータを集めたり、気象庁や国交省のオープンデータを整理したり、有償のデータを購入したりなどして、それらを統合していきます。

「前処理」で用いるのはGoogle Cloud Platform のDataprep という機能です。
このDataprep のメリットとしては、

• プログラミング不要、直感的な操作でデータの前処理が可能
• 利用料金が非常に廉価
• 加工手順の記録、出力、再現が容易にできるので、データの管理コストを削減できる
• 機械学習用の前処理が標準で用意されており、簡単にデータの準備ができる
• Google Cloud Platform のGoogle Cloud Storage やBigQuery といったストレージ機能とシームレスに連携でき、加工自体のスケジュール実行や自動化も可能

などが上げられます。

Google Cloud Platform のコンソールにログイン後、左上のナビゲーションメニューから、Dataprep を探します。初回起動時は、利用規約への合意や、データの保存先を指定する画面が出ますので、それぞれ確認してください。（基本的にデフォルトの設定で問題有りません）

設定が完了すると、以下のスタート画面が表示されます。

画面右上の「Import Data」より、先程ダウンロードしたファイルをアップロードします。
なお、Dataprep ではcsvファイルだけでなく、いわゆるExcelファイル（xlsxやxls）もそのままアップロードすることが可能です。Excelファイルの場合、アップロード時にファイル内のどのシートを読み込むか指定ができます。

画面左の「Library」より、アップロードしたデータを確認できます。

それでは、train.csvをクリックしてみましょう。データの詳細が確認できます。
続いて、画面右上に「Wrangle in new Flow」というボタンがあるので、クリックします。

データの読み込みが完了すると、棒グラフとともにデータの中身が表示されます。

この画面で実際にデータの加工を行っていきます。Dataprep の優れている特徴として、データをアップロードした段階で、中身の傾向をおおまかに把握することができます。今回の場合、乗客の性別割合や、年齢分布などが一目で分かります。それぞれの棒グラフにカーソルをかざすと、細かなパーセントなどが表示されます。また、データの中身と列名から、自動でデータの型（種類）を判別し、不適な値を赤色でマークしてくれます。赤色部分をクリックすると、実際のデータの中で該当する箇所がハイライトされ、対象にどのような操作をするかヒントが画面右側に表示されます。

（Ageは整数の値として認識されており、小数点以下を含む値が「mismatched value」としてハイライトされています。右側の「Suggestion」から、対象行を削除したり、置換する処理がすぐに追加できます。）

機械学習における前処理にはさまざまな手順がありますが、一般的なものとして、

• 欠損値の補完・削除
• 異常値の補完・削除
• 不要行・列の削除
• データ型の変換
• データの変換

などがあります。一つずつ、train.csvのデータを用いて実施します。

まず、欠損値です。欠損値とは、何かしらの原因でデータが含まれていない箇所を指します。今回だと、Age列やCabin列にいくつかの欠損が認められます。
最もシンプルな対応方法は、欠損を含む行を削除してしまうことですが、貴重な学習データを減らしてしまうことも意味します。また、欠損値は必ずしも削除する必要はなく、採用する機械学習の手法（アルゴリズムと一般的に呼ばれます）によって、対応が変わります。
今回はより多くのアルゴリズムを検討するために、Age列の欠損値を平均値で補完し、Cabin列は列そのものを削除してみます。

Dataprep 上でAge列の灰色の箇所をクリックすると、欠損値に対する推薦処理が画面右側に表示されます。英語のみの表記ではありますが、

• Delete - 選択行の削除
• Keep - 行を固定し、選択対象から除外
• Create - 値を参照して新しい列を作成
• Set - 設定したルールに従って値を変換

といった操作が可能です。
今回は、Setを選択し、Editをクリックします。

Age列に対する変換ルールを設定する画面が出てきます。

Formulaで変換ルールを設定します。Excelの関数とほぼ同様です。今回の場合、欠損値に対して、Age列の平均を代入し、小数点以下を切り捨てています。

Addをクリックすることで、Recipeと呼ばれる部分に操作が記録されました。Excelでもマクロといった手段で操作手順の記録はできますが、Dataprep ではこれらの操作を前処理に特化して分かりやすく管理できる点が強みです。

つづいて、Ageの小数点以下を含む行も同様に修正します。

Previewでは、追加しようとしている操作によってデータがどのように変化するかすぐに確認ができます。
以上の操作によって、Age列の欠損値は0個になりました。

Dataprep では、こうした基本的なデータ操作の他にも、複数の表を結合する機能や、操作に関するコメント機能、柔軟なフィルター等、前処理に便利な機能が多く揃っています。

さて、上記のRecipeを完了すると、欠損値のないデータが完成します。
削除する列をどのように決定するかはいくつか観点がありますが、基本的な考え方として、「これから予測したい対象に関係があるか？」という視点が出発点となります。

この際実施するのが、データの分析であり、より専門的には探索的データ分析、EDA（Exploratory Data Analysis）とも呼ばれます。

今回の場合、PassengerIdはお客さま一人一人に固有ですし、特定のIDで生存率が高い、という傾向は見られませんでした。これはNameやTicketでも同様です。
また、Cabin列はデータの欠損値が70%以上と多く、補完が難しいため、列ごと削除をしています。Embarkedでは、2行のみ、欠損値がありましたが、どこの港から乗船したかを正確に補完するのは既存の情報からは難しいですし、行数も少ないため、思いきって削除をしています。

それでは、続いてデータの変換を行います。なお、今回のデータでは異常値は存在しませんでしたが、例えば、何らかのエラーで誤って年齢が999歳の方が数名存在し、いずれも生存していた、というデータが入っていたとします。この場合、「年齢が高い方が生存している可能性が高くなる」という誤った傾向を生み出してしまう可能性があります。このように、データの全体から見ると少数かつ際立った値を異常値と呼び、修正の対象となります。異常値は上記のように、何らかのエラーから発生する場合もありますが、たまたまという場合もあります。考え方としては、生じる確率が著しく低いような、一般的な傾向を表現するには乖離があるデータは異常値として取り扱うケースが多いです。

ここまで、

• 欠損値の補完・削除
• 異常値の補完・削除
• 不要行・列の削除

は完了していますので、残る確認点は、

• データ型の変換
• データの変換

です。

データ型とは、プログラミングのご経験がある方はとっつきやすいかもしれませんが、端的に言うとデータの種類を表します。整数であったり、小数点を含む数字であったり、文字列といったものが代表例です。

Dataprep では、各列名の左側にアイコンが有り、データ型を示しています。
例えば、Fare列はDecimalという小数点以下を含む数字であり、EmbarkedはStirng（文字列）です。Dataprep ではデータ型をデータの中身から自動で判別してくれますが、意図した型として認識してくれない場合があります。よくある例としては、数字として入力されているが、文字列として認識してほしい場合です。

数字と文字列（カテゴリ）ですが、大きな違いは他の値との関係性です。
数字の場合、1は10より小さく、100は10より大きいものとして認識します。
今回のデータでは、AgeやPclassが数字として認識されていますが、10歳は60歳より若く、1等乗船チケットは3等乗船チケットよりも上等なチケットです。
一方で、StringであるEmbarkedは、あくまで乗船地点を示すものであり、上下の関係はありません。

さて、Survived列を見てみると、Integer（整数）としてデータ型が認識されているかと思います。「生存」「死亡」は大小の関係ではなく、あくまで分類としての違いを表しています。このように、数字で入力している分類を整数として認識するケースはよくあるので修正します。

Survived列の#マークをクリックすると、データ型の変換メニューが出てきます。Stringでも可能ではあるのですが、今回のように「0が生存していない（=死亡）」「1が生存」といった「なし・あり」で表現をするデータをBoolean型のデータと呼びます。したがって、今回はBooleanを選択します。
Booleanを選択すると、Recipeにデータ型の変換操作が追加されます。
以上で、今回利用するAutoML Tables での機械学習前の処理は完了です。

選択するアルゴリズムによって、上記の文字列（カテゴリ）データを、さらに細分化（One-Hot Encodingなど）したり、より特徴を表す数値にまとめ上げたりすることもあります。
ここで初めて「特徴」というキーワードを用いましたが、予測したい対象に関係を持つ（表現できる）ことを機械学習において「特徴」という言葉で表します。
そして、「特徴」を測定可能な形で表したものを「特徴量」と呼び、関係するデータを必要な形に加工したり、新しいデータを作り出す工程を「特徴量エンジニアリング（Feature Engineering）」と呼びます。
これまでの操作がまさしく特徴量エンジニアリングということになります。

実際のビジネスにおいては、複数のバラバラなデータから形式を整えた学習データに統合する必要があったり、必要なデータを探索的データ分析を通して選択していったりと、このデータ前処理および特徴量エンジニアリングの過程でかなりの手間を要するケースが多いです。

データの分析については、後編で詳しく解説していきます。
これまでの処理を行ったデータを出力して、このステップは完了です。

画面左上の、「train Flow」という箇所をクリックすると、以下のような画面に遷移します。

一番左側が、最初にアップロードしたファイルを示しています。右側のtrainが、これまでの加工、つまりRecipeです。Dataprep では、このようにアップロードやRecipe自体を一つのまとまりとして、データの流れを制御することができます。
では、trainの右上にある出力ボタンをクリックします。

出力に関する詳細画面が表示されます。「Edit」より、出力先の設定やスケジュール実行の設定ができます。
出力先はGoogle Cloud Storage というストレージサービス上にCSVやJSONでの出力もできますし、後編にてご紹介するデータウェアハウスであるBigQuery への登録も可能です。（BigQuery の場合は事前にデータセットと呼ばれる出力先を作成する必要があります。）

今回は、CSVファイルの出力を行います。
先ほど表示した出力に関する詳細画面（Details）にて、「Edit」をクリックするとPublishing settingsという出力先設定の画面に遷移します。

さらに「Edit」をクリックすることで、出力先の指定画面に遷移します。

画面左側にてGCSを選択することで、すでに存在するフォルダーを選択したり、「Create Folder」より新規作成が可能です。
画面右側ではファイル名と、出力フォーマットが選択できます。
また、ファイル生成時のオプションとして以下が用意されています。

• Create new file every run - ファイル出力のたびに新規作成を行います。ファイル名に番号が振られ、出力した順番を確認できます。
• Append to this file every run - ファイル出力のたびにファイルの末尾にデータを追加していきます。ファイルが存在しない場合は新規作成をします。
• Replace this file every run - 同名のファイルがすでに存在している場合は削除し、常に最新のファイルを出力します。ファイルが存在しない場合は新規作成をします。

More optionsをクリックすると、以下の設定が可能です。

• Include headers as first row on creation - ファイルを出力した際に、列名を1行目として一緒に出力します。このチェックが無い場合、列名を除いたデータのみが出力されます。
• Include quotes - 出力したCSVの値がクォーテーションマークで囲まれます。
• Delimiter - CSVは標準的にはそれぞれの値がコンマで区切られますが、それ以外の記号を設定することができます。

今回は、出力フォーマットをCSV、出力方法はReplaceを選択し、Include headersのチェックボックスを有効化します。また、Include quotesのチェックが外れていることを確認してください。Delimiterはコンマのままとします。
「Update」をクリックすることで設定が保存されます。

Dataflow Execution Settingsでは、今回の前処理をどのサーバで実施するかを選択できます。Google は全世界にデータセンターを有しており、Region・Zone・Machine Typeの3つが選択可能ですが、Regionにasia-northeast1を選択することで、東京のデータセンターが使用できます。Zoneとはさらに細分化された単位で、それぞれRegion内の独立したデータセンターを指します。また、Machine Typeでは前処理で用いるサーバの性能を選択できます。一般的には高性能なサーバほど処理は早く完了しますが、利用時間単位の価格も高くなります。
今回は特にこだわりが無ければ、デフォルトの値のままで問題ありません。

クラウドにおけるデータの取扱いについては後述のコラムにて詳述しましたので、ご興味のある方はご一読ください。

以上の設定が完了し、画面左下の「Save settings」をクリックすることで準備完了です。
先ほどのDetails画面が再度表示されますので、「Run Job」をクリックすることで確認画面に遷移し、もう一度「Run Job」をクリックすると処理が開始します。

実行中の処理はJobと呼ばれ、Detailsの画面及びDataprep の画面左側にある「Jobs」から進行状況の確認が可能です。完了すると、設定で指定したフォルダーにCSVファイルが格納されます。
「Jobs」より、詳細画面にて出力されたCSVのダウンロードや統計情報を確認することができます。

以上、細かな説明も含めると長くなってしまいましたが、データ前処理を便利に実施できるDataprep の操作をご紹介させていただきました。特別な知識は不要で、一度操作に慣れればさまざまなデータの前処理が簡易にできるようになります。また、料金面においては、Dataprep は処理を実行する際のサーバ利用料のみが発生しますが、今回の設定と処理に要した時間では、10円以下の利用料しか発生しません。非常に安価に利用ができ、強力にデータの処理過程を管理できる点は魅力的かと思われます。
(注意事項：料金に関しての正式な情報は公式ページをご確認ください。）

今回ご紹介した機能以外にも、前処理にあたって便利な多くの機能が日々アップデートされている点も注目です。深い知識を要することなく、少しの慣れで簡単に使うことができますので、ぜひご利用してみてください！

Dataprep 公式ドキュメント（英語）

前編ではAI活用に取り組むにあたっての心構えと、実際のデータを前処理する過程をご案内いたしました。後編では、前処理したデータを用いて、データの分析・機械学習・予測・可視化を行っていきます。
【マルチクラウド対応】GCPを使ったゼロから始めるAI活用（後編）