ブログ

2010年頃からバズワードのように広がった「ビッグデータ」というワード。耳にしたことがあるという方は多いでしょうが、日ごろからデータベースやデータ分析に携わっているわけでもない限り、意味や活用法を正しく理解できている方は少ないでしょう。

ここでは、ビッグデータの定義や意味、歴史といった基礎知識から活用方法、メリット・デメリットまで、ビッグデータの概要をまとめてご紹介します。

まずは、ビッグデータの基礎知識を押さえておきましょう。ビッグデータの定義と意味、歴史についてご紹介します。

ビッグデータ（big data）と聞くと、なんとなく「膨大なデータ」というイメージが沸くのではないでしょうか。たしかに、それもビッグデータの意味に含まれますが、それだけではありません。ビッグデータは、データの「量（Volume）」「種類（Variety）」「発生頻度・更新頻度（Velocity）」の3つのVから成ります。つまり、日々、膨大に生成・蓄積されるさまざまな種類・形式のデータを指します。

「平成29年版　情報通信白書」によれば、

デジタル化の更なる進展やネットワークの高度化、またスマートフォンやセンサー等IoT関連機器の小型化・低コスト化によるIoTの進展により、スマートフォン等を通じた位置情報や行動履歴、インターネットやテレビでの視聴・消費行動等に関する情報、また小型化したセンサー等から得られる膨大なデータ、すなわちビッグデータを効率的に収集・共有できる環境が実現されつつある。

とあり、先述の定義と同範囲を指していることがわかります。
また、ビッグデータには、多量性、多種性、リアルタイム性という特徴があるといいます。
（出典：「平成25年版　情報通信白書」「平成29年版　情報通信白書」総務省）

データの種類は、分類の仕方によって「定量データ/定性データ」「フローデータ/ストックデータ」などいくつかの方法で表現できますが、ビッグデータにおいては「構造化データ/非構造化データ（半構造化データ）」と区分します。

■構造化データ
ExcelファイルやCSVファイル、固定長ファイルなどで表現できる「列」と「行」の概念を持つデータを構造化データとよびます。
SCMやERP、CRMといった業務ソフトウェアのデータベースで利用される売上データ、顧客データなどが挙げられます。

■非構造化データ（半構造化データ）
非構造化データとは、構造化データのように「列」と「行」では定義できないデータをいいます。
具体的には、文書データや電子メール、デザインデータ、音声データや動画データ、電子書籍、Webページ（HTML）、SNS、GPSやセンサーから得られるデータなどが挙げられます。

ITの進歩に伴い、企業が扱う非構造化データは増加し、構造化データに対する比率も上がっています。

日本で「ビッグデータ」という言葉が広がり始めたのは2010年頃からですが、ビッグデータという概念が生まれる以前から、ビジネスや自然現象において測定した数値をデータとして活用されてきました。これを効率化してくれたのが、コンピュータです。

計算機を起源に持ち、おも主に演算処理に使われていたコンピュータが扱っていたデータベースは構造化データのみでしたが、パソコンの登場やプログラムの進化により数値以外にも文書、画像、音声、動画といった非構造化データを扱うようになりました。

ただし、最初から「構造化データ/非構造化データ」という言葉があったわけではなく、まずリレーショナルデータベース（RDB）ができ、後からRDBのテーブルに合うものを構造化データ、それ以外を非構造化データと呼ぶようになったという経緯があります。

この非構造化データはRDBでは扱うことができません。RDBの後、データベースは時代の要求に応えながら変遷していき、現在はGoogleやAmazonで実装されているNoSQLを採用する企業が増えています。

NoSQLはNot only SQLの略で、RDB系統以外のデータベース管理システムの総称で、キーバリュー型、ワイドカラムストア型、ドキュメント型、グラフ型の大きく四つに分類でき、非構造化データを扱えるデータベースです。NoSQLという言葉は1998年に現れ、2009年に開催されたオープンソースの分散データベースについての会合で脚光を浴びました。

2010年には日本で「ビッグデータ」という言葉が普及しはじめ、2011年がビッグデータ元年ともいわれています。
インメモリデータベースの登場によりデータベースの処理速度が高速化したこともビッグデータ普及を後押ししました。

ビッグデータを活用するには、データの生成・収集・蓄積・分析が必要です。上記のデータベースの変遷は、そのうちの「蓄積」部分に当たります。
ここへ、「生成・収集」を担うICTの進歩やハードウェアの低価格化、「分析」のための膨大なデータ処理を担うクラウドの普及といった条件が重なり、ビッグデータ活用が進んだといえます。

※関連記事：ビッグデータの5Vとは

日本で「ビッグデータ」という言葉が広がり始めたのは2010年頃からですが、ビッグデータという概念が生まれる以前から、ビジネスや自然現象において測定した数値をデータとして活用されてきました。これを効率化してくれたのが、コンピュータです。

計算機を起源に持ち、主に演算処理に使われていたコンピュータが扱っていたデータベースは構造化データのみでしたが、パソコンの登場やプログラムの進化により数値以外にも文書、画像、音声、動画といった非構造化データを扱うようになりました。

ただし、最初から「構造化データ/非構造化データ」という言葉があったわけではなく、まずリレーショナルデータベース（RDB）ができ、後からRDBのテーブルに合うものを構造化データ、それ以外を非構造化データと呼ぶようになったという経緯があります。

この非構造化データはRDBでは扱うことができません。RDBの後、データベースは時代の要求に応えながら変遷していき、現在はGoogleやAmazonで実装されているNoSQLを採用する企業が増えています。

NoSQLはNot only SQLの略で、RDB系統以外のデータベース管理システムの総称で、キーバリュー型、ワイドカラムストア型、ドキュメント型、グラフ型の大きく四つに分類でき、非構造化データを扱えるデータベースです。NoSQLという言葉は1998年に現れ、2009年に開催されたオープンソースの分散データベースについての会合で脚光を浴びました。

2010年には日本で「ビッグデータ」という言葉が普及しはじめ、2011年がビッグデータ元年ともいわれています。
インメモリデータベースの登場によりデータベースの処理速度が高速化したこともビッグデータ普及を後押ししました。

ビッグデータを活用するには、データの生成・収集・蓄積・分析が必要です。上記のデータベースの変遷は、そのうちの「蓄積」部分に当たります。
ここへ、「生成・収集」を担うICTの進歩やハードウェアの低価格化、「分析」のための膨大なデータ処理を担うクラウドの普及といった条件が重なり、ビッグデータ活用が進んだといえます。

※関連記事：ビッグデータのある未来とは

ビッグデータを活用することで、どのような課題を解決できるようになるでしょうか？少し抽象的な表現になりますが、「欲しい情報を利用しやすい形で取り出せない」「未知のことについて高精度な予測ができない」「余剰や不足が発生してしまう」の大きく三つに集約できます。以下で、具体的例とともにご説明します。

ビジネスなどにおいて意思決定が求められる場面は多々出てきます。その際に、判断材料となる情報があれば、より的確な決定を下せるようになるでしょう。
膨大なデータを生成・収集・蓄積し、そのなかから判断に必要十分なデータを、理解しやすく利用しやすいかたちでアウトプット（可視化）してくれれば、経験やノウハウのない人材でも一定レベル以上の結果を出すことが可能になります。

また、表面上のデータだけでなく深層を可視化するデータマイニングを活用することで、未知の状況、これまで見たことのない角度からもデータを捉えることができ、新規ビジネスの企画などにつなげることもできます。

例）
・患者のデータから病気の原因究明や副作用の少ない薬の開発
・畑の土壌にセンサーやカメラを設置し、農作物の生産性・品質の向上に活用
・商品棚での消費者の視線の動きを分析し、よく見られる位置に主力商品を配置
・修理依頼内容と過去の修理履歴と機器の型番データを照合し、修理に必要な部品を自動で判別
・店舗の売上データと従業員の行動データ、商品の陳列データから顧客単価の高いエリアに従業員を重点配置

 明日の天気や需要予測など、未来のことを予測できれば、好ましくないできごとを回避したり、予想を上回る成果を上げたりと、より良い結果を求めてあらかじめ備えることができます。これがうまくいけば、ビジネスにおいては競合に対する優位性が得られ、公共分野では安全な社会や健康な暮らしなどが実現できるでしょう。

例）
・検索エンジンでの検索候補語の自動表示
・過去の購買データから消費者の好みを予測してプロモーション
・店舗に備え付けたカメラから来店者の過去の購買履歴を紐づけ、接客に活用。
・機器や設備にセンサーを取り付けて稼働状況データを収集し、事故や故障を未然に防ぐ
・橋梁にセンサーを取り付けて振動やひずみを計測し、劣化を早期に検知する
・アクセルの踏み間違い事故のデータと照合して異常なアクセル操作を検知し事故を防ぐ
・過去の犯罪データから、その日その時に危険な場所をマップ表示

課題2の予測にも関連する話ですが、ビッグデータを活用することで過不足を解消し、最適化することが可能になります。需要と供給の最適化や在庫の適正量の維持を実現して、ロスやコストを削減することができます。

例）
・携帯電話基地局の混み具合とスマホの位置・接続率を分析し、つながりやすい基地局の配置をプランニング
・回転ずしの皿に取り付けたICチップからデータを収集し、鮮度管理に活用
・顧客ごとの過去の注文履歴と返品データから、顧客に合った商品をレコメンド
・顧客を売上貢献・嗜好の二軸でクラスタリングし、商品の仕入れを最適化
・GPSデータから過去のタクシー乗車位置・時間などを取得し、効率的に配車
・自社商品の同時複数購入データを分析して配置を工夫し、売上向上につなげる

ビッグデータの活用シーンについては、この後、事例の章でもご紹介します

※関連記事：ビッグデータとAI　～関係性、その課題～

前章では、ビッグデータ活用の長所に焦点を当て、具体的な活用例にも簡単に触れましたが、ここでは、ビッグデータが持つ特性からビッグデータ活用のメリットとデメリットをご紹介します。

生成・取得場所ごと、また利用部署ごとに形式もバラバラに散らばっていた膨大なデータをビッグデータとして集約、迅速に処理することで、従来のデータは、単一のデータであっても収集してから分析を行うという手順を踏むため、リアルタイム性は低く、複数データを統合するとなれば、さらに時間も手間もかかりました。
ビッグデータはオンラインで複数個所のさまざまな種類のデータを収集して瞬時にデータの更新・分析が行われ、リアルタイム性が高いというメリットがあります。

BIツールなどを用い、膨大なデータの中から有益な情報を発掘するデータマイニングを行うことにより、データ同士の関係性が発見され、思いもよらなかった示唆を得ることが期待できます。
抱えていた課題を解決したり、新しいビジネスや手法、施策などを導き出すヒントにつながる発見が可能になります。

データマイニングによって示唆を得られたら、これを元に新たな施策を企画することになるでしょう。
この施策を実行した後は、効果測定（検証）を行う必要がありますが、これもビッグデータを分析することで可能です。つまり、仮説を検証する分析も、仮説から示唆を発見するデータマイニングも、ともにビッグデータを活用すれば可能になるということです。

一方、ビッグデータ活用にはメリットだけではなく、デメリットも存在します。それは、膨大なデータから関連性のある情報を突き合わせることで、匿名データから個人を特定できてしまうという点です。
たとえば、「東京都内在住の23歳の女性」というだけでは、誰だか特定することは難しいですが、ここに「14歳の時に盲腸の手術を受けたことがある」といったデータを組み合わせると、ある程度、特定できてしまう可能性が出てきます。
組み合わせる情報の数が増えれば、当然ながら特定の精度も上がります。英国とベルギーの研究チームが発表した論文では、匿名データと公開情報を照らし合わせることで個人が特的できたとされています。
これは、ビッグデータを活用してマーケティングなどの精度を高めようとする企業側というより消費者にとってのデメリットですが、こうした問題が広がり、法規制が厳しくなることで、活用幅が狭まりかねません。
ビッグデータを利活用する企業には、個人情報保護法を始め政府から示されるガイドライン等に沿い、データを慎重に取り扱う心構えが求められます。

ここで、実際にビッグデータを活用して効果をあげている国内外の事例をご紹介します。

建設機械・鉱山機械などを製造する株式会社小松製作所では、自社製品の建設機械の情報を沿革から確認できるシステム「KOMTRAX（コムトラックス）」を開発し、建設機械に取り付けたGPSや通信システムを通じて集めたビッグデータを保守管理や省エネ対策に活用しています。
KOMTRAXは、2001年から標準装備され、2011年1月時点で国内に約6万2,000台のKOMTRAX装備車両が稼働しているといいます。
KOMTRAXで得られた情報は、同社内で共有されるだけでなく顧客にも提供されており、インターネット接続すれば閲覧可能で、稼働時間や稼働状況、作業者データなどがリアルタイムに把握できるようになっています。
これにより、建設機械の盗難防止を始め、故障原因推定の容易化や修理の迅速化が実現したほか、製品の需要動向を予測したり、顧客に対して適切な点検時期や部品の交換時期、効率的な配車計画や作業計画の作成支援、燃費改善方法などコスト削減につながる提案を行えるようになりました。

広島市中区に本社を置く製パン会社の株式会社アンデルセンは、製販一体体制で全国に81店舗（2019年4月時点）を展開しています。
在庫リスクを抱えず、かつ売り切れが発生して機会損失しないための精度の高い販売計画のためにANS（アンデルセンシステム）という販売管理システムを導入しました。同システムでは、POSシステムから得たビッグデータにより、時間別の来店客数を予測。また、POSシステムデータと来店客数を関連づけることで商品の売れ行きパターンを予測可能になりました。
ANSの導入店舗で売り上げが1.1％上昇したのに対し、未導入店舗では0.9％下降したといいます。

石川県羽咋市では、スイカ、リンゴや天然岩牡蠣、神子原米などが特産品として知られています。特に、神子原米はローマ法王に献上されたことで有名になりました。
同市では、地元の民間企業と連携して、農業に人工衛星の画像データを活用するための「羽咋市方式人工衛星測定業務」を開発。
近赤外線デジタルカメラを使用して刈り取り前の圃場を撮影し、画像の分析により米のタンパク質含有量を割り出し、地図情報への展開を行っているといいます。
一般的においしいとされている米のタンパク質含有量は6.5％以下が目安といわれていることから、タンパク質の含有量で収穫米を仕分け、低タンパク米をブランド化しての販売に成功。
ブランド米販売による生産者の収益向上の以外に、ほかの地域振興施策との相乗効果により移住者の増加、限界集落の環境改善といった効果も生まれており、同システムをほかの地方自治体等へ販売することでも収益を得ているそうです。

米国の自動車保険会社であるProgressive社では、自動車にM2M（マシンツーマシン…コンピュータネットワークにつながれた機械同士が人間を介在せずに相互に情報交換し、自動的に最適な制御が行われるシステム）を搭載し、利用者の運転状況を常にチェックすることで保険料を割引する「スナップショット」というサービスを展開しています。
設置端末からは、運転日時と場所、速度のほか急ブレーキの頻度が送信され、契約者の自己リスクを分析することで、運転特性に合った自動車保険が提供されるというもので、安全運転を行っている利用者の保険料が割安になるという仕組み。
自動車保険業界では、インターネットで販売される安価な保険の登場で競争が激化しており差別化が求められていたが、同社のような利用ベースの保険タイプは珍しく、競合他社の参入が遅れていることも影響して一人勝ちの状態になっているといいます。

米国の事務用品販売最大手であるStaples（ステープル）社では、米国内でAmazonに次ぐ規模のオンラインショップを展開しています。同社では、2013年にビッグデータ解析企業を買収し、ビッグデータ活用を本格化させました。
ビッグデータをオンラインショップで活用するだけでなく、実店舗出店の際に既存店舗の過去の販売実績と立地属性を関連づけて解析することで最適な立地条件を予測した結果、数百万ドル規模の閉店コスト削減に成功したといいます。

ここからは、海外でのビッグデータ活用事例をご紹介します。
デンマークのVestas Wind Systems社は、風力発電機の設計・製造・販売において世界最大手です。同社では、顧客である風力発電事業者の収益最大化のためにビッグデータを活用しています。具体的には、天候、地形、潮の満ち引きといったデータを始め、衛星写真、森林地図、気象モデルなどから発電量の予測、設置面積や環境・景観上の影響を考慮した最適な設置場所の解析を行うほか、稼働後の発電量の推移から発電所の最適なメンテナンススケジュールの策定を行っているといいます。ビッグデータ活用に伴い、スーパーコンピュータに加え、並列処理ソフトウェアを導入したことで処理スピードが向上し、解析作業が約3週間から15分まで圧縮でき、顧客に対し、的確な提案をタイムリーに提供できるようになりました。

ビッグデータは、そのままの状態からは示唆を得ることはできませんので、まずは分析して利活用できる状態にする必要があります。
セルフBIなどを用いればデータ分析に関する知識は特に必要ありませんが、知っていれば課題解決につながることもあります。
ここでは、データを分析する方法として、代表的な6つの方法をご紹介いたします。

クロス集計とは、データを属性ごとに分け、複数の属性で掛け合わせて分析する手法で、アンケート調査の集計や世論調査などに活用される手法です。最も基本的なデータ分析手法といわれており、Excelにも標準機能として搭載されています。

たとえば、「アンケート項目」と「回答者の年代」の2つの分析軸で分析します。
掛け合わせる分析軸をさらに増やして細分化することも可能で、たとえば、3つの分析軸を使う場合は「3重クロス集計」とよばれます。

クロス集計を行うことで、異なる属性での傾向を比較することができます。

決定木分析とは、クロス集計を繰り返し行うことで、ある結果の複数の要因を見出し、より強い根拠を明らかにする手法です。分析により、樹形のモデルが形成されるため、決定木分析とよばれます。

決定木分析を行うことで、予測や判別、分類が可能になるため、自社商材の購入見込みが高い人の特徴や、顧客満足度が高い層の属性を知りたい時などに活用されます。

ロジスティック回帰分析とは、複数の変数から分析を行う「多変量解析」の一種で、分析結果は「確率」です。そのため、0～1の数値となります。

すでに判明している変数からまだ判明していない変数を予測したり、すでに判明した結果を説明するために関係式を示したりするもので、商品の売れる確率や、病気の発症率などを予測するなどに活用される手法です。

ロジスティック回帰分析を行うことで、要因からの結果予測や結果に対する要因を調べることができます。

クラスター分析とは、データの類似性からグループ分けを行い、それぞれのグループの特徴を分析する手法です。グループ分けされた集団は「クラスター」とよばれます。クラスター分析は計算量が少なく済むことから、ビッグデータ解析に向いた手法です。

年齢や性別といったデモグラフィック属性ではデータの分類が上手くいかない場合に用いられる手法で、顧客のセグメントやブランドのポジショニングなどに活用されます。

ただ、いくつのクラスターに分けるかをあらかじめ決めた上で、何種類かを試す必要があり、試行錯誤することになります。

アソシエーション分析とは、主に購買データを対象として関連性を見つけ出し、「もしこうだったら、こうなるだろう」といった予測が可能になる分析手法で、ビッグデータのデータマイニングに最適です。商品分析などに活用されています。

データからパターンや関連性を引き出す「マシーンラーニング（機械学習）モデル」を使って分析が行われます。

アソシエーション分析を行うことで、「商品Aを購入する顧客は、商品Bも購入する傾向がある」といったデータの相関性を調べることができます。

主成分分析とは、さまざまな要因を持った複雑なデータを、一部の要因を排除して単純化することで、理解しやすくする手法です。
簡単にいうと、複数の要素をまとめてわかりやすくするということです。
たとえば、売れている商品のカラーを「暖色系」「寒色系」に分けて売上を分析するといったことです。

わかりやすくなる反面、一部の情報を捨ててしまうため、それらの中に重要な意味を持つ情報が含まれているかもしれないという疑いを持ちながら活用したい手法です。

ビッグデータを分析・活用することで、精度の高い効果測定が行え、新規ビジネスの発掘なども可能になります。
ただ、ビッグデータを分析・活用するに当たり、以下の3点に注意しましょう。

前章でご紹介した主な分析手法だけでも6つの種類があるように、ビッグデータを活用して何を達成したいかによって、採用すべき分析手法も変わってきます。もっといえば、目的によってデータ収集の方法やどんなデータ を収集するかも変わってきます。

また、ビッグデータ活用の中で出てくる、課題を解決したり、判断したり しなければならない場面において、当初の目的に立ち返る必要も出てきます。
ビッグデータ活用に当たり、まず、目的を明確にし、できれば目標も設置してから取り組みましょう。

明確化した目的を達成するために実際にビッグデータを分析・活用することになりますが、一度の分析で示唆が得られないケースも少なくありません。分析手法を変えたり、データの収集方法を変えたりしながら、中長期的な視点をもって継続的に取り組む必要があるでしょう。

前項2点とも関連しますが、ビッグデータは活用の目的によっては経営戦略とも深く関わってくるものです。また、ビッグデータ活用で効果を出すまでには時間かかり、その間のコスト負担もあることから、ボトムアップでビッグデータ活用を推進する場合は、マネジメント層の理解と同意が欠かせません。
ビッグデータ活用の意義をマネジメント層へ浸透させ、できればマネジメント層にも実際にダッシュボードなどを通してデータに触れてもらうことが大切です。

最後に、ビッグデータを活用して実現しているサービスをご紹介します。

世界的に圧倒的なシェアを誇る検索エンジンサイトであるGoogle検索では、CMも公開されていましたが、たとえば飲食店を探す際に「肉々しい料理のお店」「いい感じのカフェ」といったあいまいなキーワードを打ち込んでも、近隣の肉料理がおいしそうなレストランやおしゃれなカフェがヒットします。
このCMはGoogleマイビジネスのプロモーションでもありますが、Google検索の利便性をわかりやすくPRしているといえます。
こうした検索を可能にしているのが、日々、ユーザーが行う検索のビッグデータです。これをもとにAIが検索結果を最適化しています。
また、検索窓に複数キーワードを入力しようとすると、途中で検索候補のキーワード群が表示されるサジェストにもビッグデータとAIが活用されています。

世界的に圧倒的なアクティブユーザー数を誇るSNSであるFacebookでは、ビッグデータを巡り、個人情報の流出や政策コンサルティング会社への提供など、不祥事が重なっていますが、サービス向上のためにビッグデータを活用しています。
たとえば、不適切な写真の投稿の検知。2012年に買収したInstagramを活用し、投稿された膨大な写真をタグとの関連性を含めAIに学習させ、これを別のタスクに応用する「移転学習」を用いることで、ポルノや暴力、犯罪に関連する写真のフィルタリングに利用しています。

米国発の映像ストリーミング配信サービス「Netflix」は、定額（月額性）でレンタルや視聴し放題の料金体系を取っており、ユーザーに利用を継続してもらうためには、精度の高いレコメンドを行い、気に入ってもらう必要があります。そこで、同サービスではレコメンデーションにビッグデータを活用しています。
特に、ストリーミング配信というサービス提供形態では、オンラインでのユーザーの行動が把握できるため、細かくデータを取ることができます。コンテンツをいつ視聴したか、一時停止したのはどこか、どのデバイスから視聴しているかといった情報をもとに、顧客を数万ものクラスター（集合体）に分類し、数万ものマイクロジャンルからレコメンドしているといいます。

ご紹介してきたように、ビッグデータを活用することで、単体データの分析からではわからなかったさまざまな示唆が得られ、ビジネスや社会における課題解決の大きな糸口が見つかる可能性が高まります。
ただ、デメリットの項でお伝えした通り、匿名データを公開データなどと突き合わせることで個人が特定できてしまう恐れがあるなど、デリケートな側面も併せ持っており、扱いには細心の注意が求められます。
ビッグデータの活用はまだ黎明期から成長期にあるといえ、今後、AIの発展とともに進化を遂げ、私たちに新しい世界を見せてくれるでしょう。