CHAPTER 3-2
データの接続・準備
豊富なコネクターとETLツールで意思決定に必要なデータを準備する
さまざまなデータソースに対応し、データを加工する機能も備えるDomoは、自社に存在するあらゆるデータの集約・統合を可能にする。Domo導入のプロジェクトにおける、データの取得について見ていこう。
画像素材:123RF
本コンテンツは、インプレスの書籍『最強のデータ経営 個人と組織の力を引き出す究極のイノベーション「Domo」』を、著者の許諾のもとに無料公開したものです。記事一覧(目次)や「はじめに」「おわりに」は以下のリンクからご覧ください。
最強のデータ経営 - 全文Web公開の記事一覧
社内に散在するデータをDomoに集約する
Domoの実際の画面を見ると、カードやダッシュボードといった可視化の機能に目を奪われがちだ。しかし、その前段階であるデータソースへの接続や、データの加工・変換といった準備の機能も優れており、使いやすさには定評がある。DomoがDWHやETLツールの役割も兼ねるとともに、さまざまなコネクターも備えていることは、CHAPTER 1-4で述べたとおりだ。
ビジネスの意思決定を行う上で必要なデータは、社員各自のPC、ファイルサーバーにあるExcelファイルをはじめ、オンプレミスの基幹システム、クラウドサービスのCRMやMAのツール、Web解析やデジタル広告のツール、その他のデータベースなど、さまざまな場所に散在している。それらをどのようにしてDomoに集約するのか、具体的な画面を見ながらイメージをつかんでいこう。
なお、Domo導入の初期プロジェクトにおいて、社内におけるデータの接続・準備を主導する実務担当者としては、情報システム部門のメンバーを割り当てるのが適当だ。プロジェクトのチーム体制について、詳細はCHAPTER 4-3で解説する。ここでの説明は、その担当者が持っておくべき知識と作業内容を大まかに示したものと思って読んでほしい。
クラウドサービスから直接データを取得できる
まず、Domoから接続できるデータソースの種類は、以下の5つのカテゴリーに大別できる。1〜3については代表的なコネクターを下図に挙げた。
- クラウドAPP
- ファイル
- データベース
- オンプレミス
- API
Domoから接続できる主なデータソースの例
「クラウドAPP」のカテゴリーでは、AmazonやGoogle、Microsoft、Salesforceといったメジャーなクラウドプロバイダーのほか、Web解析のAdobeアナリティクス、オンラインストレージのDropbox やBox、MAツールのMarketo など、とにかく豊富なサービスに対応している。コネクターの一覧画面を見ると、その数の多さに驚くはずだ。
オンラインストレージサービスの草分けとして知られる。法人向けのプランも提供している。
「マルケト」と読む。同名のベンダー企業は2014年に日本法人を設立。
クラウドAPPコネクターの一覧(一部)
DomoではTwitterやFacebook、InstagramといったSNSへの接続もサポートしている。これらを利用すれば、SNSの自社アカウントにおける各種データを取り込むことが可能だ。マーケティング活動の一環としてSNSを運用しているのであれば、ユーザーのエンゲージメント
をDomo上で把握できるようになる。近年、これらのSNSはデジタル広告の媒体としても勢力を伸ばしており、従来の検索広告やディスプレイ広告と目線をそろえた上での効果測定が急務だ。Facebook広告、Google広告(旧AdWords)、Yahoo!プロモーション広告などのデータをDomo上で統合すれば、それぞれの成果を比較しながら施策を検討したり、予算のバランスを調整したりできるだろう。
SNSにおいては「いいね」やフォローなどがエンゲージメントを表す行為となる。
汎用性の高いファイルからの取り込み
「ファイル」のカテゴリーでは、手動によるアップロード、または外部のクラウドサービスやメールの添付ファイルからDomoにデータをインポートするためのコネクターが用意されている。手元のExcelファイルを基にDomo上でグラフを作成して社内で共有する、といった用途で利用できる。
また、「SFTP」コネクターでは、SFTP
に対応したファイルサーバーに保管されたCSVファイルをセキュアな方法でDomoに転送し、そのデータを定期的に取り込む設定が行える。社内でデータの保存場所を決めておき、そこに担当者がファイルを置くようにすれば、Domo上でデータが更新される仕組みを簡単に作れるだろう。自社で独自開発したシステムがあり、標準のコネクターでは直接接続できない場合でも心配はいらない。CSVファイルとしてデータを出力できさえすれば、Domoに簡単に取り込めるからだ。独自システム側で定期的にファイルサーバーに出力する、またはRPA
でデータを取得してDropboxに保存するなどの仕組みを構築できれば、Domoへの取り込みを全自動化することも可能だ。
「SSH File Transfer Protocol」の略。暗号化されたファイル転送プロトコルのこと。
「Robotic Process Automation」の略。AI・機械学習を活用したホワイトカラー業務の自動化・効率化技術のこと。2017年ごろから急速に注目を集めている。
データベースからの取得やオンプレミスにも対応
顧客や製品のリストを記録したデータベース、Webサイトやデジタル広告のオーディエンスデータを保管するDWHを運用している場合は、Domoの「データベース」カテゴリーのコネクターを使って接続する。対応するデータベースには、Oracle DatabaseやMicrosoft SQL Server、SAP Sybase Adaptive Server Enterprise、オープンソースのMySQLやPostgreSQLなどがある。
また、クラウド上のDWHとして提供されているAmazon RedshiftやArm Treasure Dataに対応したコネクターも用意されている。これらはデータ活用に先進的な企業でも満足できるだろう。
社内で運用しているシステムやツールは、「オンプレミス」カテゴリーの接続方法として提供される「WorkBench」というツールを使ってDomoにデータをインポートできる。ODBC
ドライバーを使ってデータベースに接続し、必要なデータを取得した上でDomoにアップロードできるほか、XMLやExcelファイルの転送にも対応する。さらに専門的なものでは、オンプレミスで運用されているJIRA(プロジェクト管理ツール)や、クラウド型の経費精算・管理システムのConcurからのデータの取り込みにも対応している。
「Open Database Connectivity」の略。リレーショナルデータベース管理システムにアクセスするための共通化されたインターフェースのこと。
API連携もサポートしあらゆるデータに接続可能
「API」カテゴリーでは、標準でコネクターが用意されていない外部システムとの連携をサポートする。APIとは、あるプログラムから別のプログラムを操作するための仕組みであり、例えば自社が独自開発したWebアプリケーションのデータをDomoに直接取り込みたいときに利用する。CSVファイルなどを介したエクスポート/インポートの操作が不要になり、迅速なデータ活用を実現できるだろう。
このように、Domoからデータソースに接続する方法は実に多種多様であり、標準のコネクターが対応していなくても、独自に開発・設定を行うことでデータを取り込めるようになっている。「自社にどのようなデータがあろうとも、おおむね対応できる」と思っておいて間違いない。
Excelの取り込みはドラッグだけで完了
実際にDomoの画面で、データソースに接続する流れを見てみよう。まずはメニューから[DATA CENTER]を表示する。
Domoの各種機能が並ぶメニュー。データの接続・準備は[DATA CENTER]を選択して行う。
もっとも基本的な例として、ExcelファイルをDomoにアップロードする操作は下図のとおりだ。元ファイルは表のタイトルや説明などを含まない、データそのものだけがシートに存在する形にあらかじめ整えておくと取り込みがスムーズになる。ほぼマウス操作で完結するため、情報システム部門に頼らず、現場のメンバーでも十分対応できることがわかるはずだ。
こうして取得したデータは、Domoにおけるデータのまとまりを表す「データセット」としてDomo上に保存され、以降で行うデータの準備や可視化で利用できるようになる。
DATA CENTERの[データを接続]にある[ファイル]からExcelのコネクターを選択し、ファイルをドラッグする。
DomoにExcelファイルがアップロードされ、シート内にあるデータのプレビューが表示された。
データセットに名前を付けて保存すると、可視化のためのデータして使えるようになる。
クラウドサービスでは認証情報を入力して接続
次にクラウドAPPのコネクターの例として、Googleアナリティクスへの接続方法を紹介する。Webサイトにおけるユーザー行動の分析のため導入している企業が多く、Domoでも人気があるコネクターの1つだ。
クラウドサービスへの接続では、対象となるサービスの認証情報(ID/パスワードなど)をDomo上で入力し、取得したいデータや形式を選択していく流れとなる。Googleアナリティクスの場合、Domoからのアクセスを許可するだけでよい。
Googleアナリティクスにサインイン済みのブラウザーなら、アカウントを選択してアクセスを許可するだけで認証できる。
認証後の操作は下図のとおりだ。[Data Selection]では、最初にデータを取得する「ビュー」を選択する。Googleアナリティクスの環境は一般に、Webサイトごとの「プロパティ」と分析目的ごとの「ビュー」に分かれている。Domoで可視化したいビューを選択することで、それに含まれるデータが取り込まれる。
続けて[Report]を選択し、取得するディメンション(分析の軸)と指標を確認する。例えば[Base Metrics]では、ディメンションとして「Date」(日付)、指標として「Pageviews」(ページビュー数)、「Bounces」(直帰数)などを取得できる。ほかにも期間やセグメントの設定が用意されている。
さらに[Scheduling]では、データの取得間隔を指定できる。毎日深夜にデータを取得するようにしておけば、翌朝Domoにアクセスしたときには最新のデータに更新済みというわけだ。より頻繁にするなら1時間に1回、最短で15分間隔での更新も行える。
ここではGoogleアナリティクスを例にしたが、多くのクラウドサービスでは同様の操作でDomoへの接続が可能になっている。
Domoに取り込みたいビューとレポートを選択する。[Base Metrics]では、日付やページビュー数などの主要な指標が対象になる。
[Scheduling]では、DomoがGoogleアナリティクスからデータを取得する間隔を指定する。
Googleアナリティクスへの接続が完了した。この画面から可視化の作成を始めることもできる。
データの準備工程も標準のETLツールで対応
Domoをデータソースに接続できたら、可視化しやすい形にデータを準備する工程に入る。ここで利用するのがETLツールだ。Domoには「Magic ETL」と呼ばれるツールが内包されており、別途用意する必要なくデータの加工・変換が行える。
Magic ETLでまず目を引くのは、わかりやすく視覚化されたUIだ。データセットや加工・変換の機能が割り当てられたアイコンを画面上に配置し、実行したい順序でアイコン同士をつなぐことで、具体的な処理内容を指定できるようになっている。操作の流れは下図のとおりだ。
加工・変換の機能としては、複数のデータの結合、データに対する行や列の追加、テキストの置換や値の計算、重複行の削除などがある。必要な機能が網羅されていると言ってよく、不足を感じることはまずないはずだ。また、ETLによる処理のスケジューリングも可能で、データが更新されたタイミングで再度データを加工するといった設定も行える。
DATA CENTERにある[MAGIC 変換]から[ETL]を選択すると、DomoのETLツールが起動する。
[入力DataSet]を右側にドラッグし、取得済みのデータセットを選択する。
データを加工する機能のアイコンと[出力DataSet]をドラッグし、それぞれを矢印でつなぐと、加工済みのデータが入った新しいデータセットが作成される。
異なるデータを結合して分析をしやすくする
ETLはさまざまな用途で使われるが、よくある例として挙げられるのが、データの結合である。例えば、顧客の業種別の売上額を可視化したい場面で、顧客の詳細な情報を含むリストと、売上額などを記録したデータが別々に存在しているケースは多い。これらを「顧客ID」などの共通する項目をキーとして結合すれば、顧客リストに記載された業種を用いて、それぞれの売上額を可視化することが可能になる。
また、部門によって異なる顧客IDを一元化するなど、データの差異を吸収することを目的にETLを使うケースもある。同じ顧客であっても、営業部門とマーケティング部門でIDが異なっていると、同じ顧客だと認識できない。そこで部門ごとの顧客IDをマッピングするデータを作成し、それを利用して変換することにより、部門によって異なる顧客IDを一元化するわけだ。
ビジネスユーザーでも使えることが最大の利点
従来、データの加工・変換は企業が個別にSQLを使ったプログラムを開発して行うことが多く、大きな負担となっていた。また、通常のETLツールには相応のノウハウが求められ、可視化などの別のツールにデータを受け渡す必要があるのも難点だった。
Domoであれば一般のビジネスユーザーでも容易にETLを利用でき、ツールが内包されているため加工・変換後のデータをすぐに可視化に生かせる。このメリットは非常に大きいので、ぜひ実際に体験してみてほしい。