データマイニングを使った分析手法

2020.10.27 ヤマトクレジットファイナンス株式会社

競合他社よりもビジネスを有利に進めるためには、企業が日々蓄積する膨大なビッグデータを解析し、ビジネスに有用な情報をどんどん生み出していく必要があります。そのための基盤やデータセット、ツールなどは多種多様に提供されており、企業はそれらの中から適切なものを取捨選択しなければいけません。本記事でご紹介するのは、データマイニングと呼ばれるデータ解析手法です。データ解析の基本を知るためにもぜひ参考にしてください。

データマイニングとは？

マイニング（Mining）は「発掘」という意味で、文字通りデータマイニングは膨大なビッグデータの中からビジネスに有用な情報（規則性や相関性など）を発掘するための手法および技術です。

ビッグデータはデータの量が膨大であり、種類が豊富で、かつデータの更新頻度が高速です。近年の飛躍的なマシンパワーの増大やネットワーク拡大、オープンなデータセットの増加や情報収集・維持コストが低下したことで、企業がビッグデータ収集・保持するのが簡単になっています。そうしたビッグデータに対してデータマイニングを実施し、通常は発見できない有用な情報を見つけ出します。

データマイニングの手法

データマイニングはビッグデータ解析のための大枠であり、細かい分析手法がいくつもあります。ここでは、「バスケット分析」「クラスター分析」「ロジスティック回帰分析」という主な分析手法をご紹介します。

バスケット分析

顧客がバスケット（買い物かご）に何を入れているか？を分析することで、顧客が今求めている商品・サービスを予測する分析手法です。ECサイトのレコメンドシステムに利用されており、一定の関連性や規則性をもとに顧客の行動パターンを分析し、顧客ごとに最適化された広告や宣伝を実施できます。

クラスター分析

教師なし学習の一種であり、類似したデータ同士をクラスターと呼ばれる集団に分類します。クラスター分析を使用すると、Webサイト閲覧履歴の分析によって今までにないカテゴリを発見でき、新しい顧客創造などに貢献する可能性が高くなります。また、新しい市場、新しい分野の発見も可能です。

ロジスティック回帰分析

教師あり学習の一種です。ユーザー数や売上高などの数値の予測によく利用されています。回帰分析を用いて自社の商品・サービスをよく購入・利用する顧客（優良顧客）とそうでない顧客を分析することで、将来の売上予測が経ちます。

データマイニングに欠かせないデータクレンジング

ビッグデータ解析に使われるデータは量が膨大であり、さまざまなビジネス価値を導き出すことができます。しかしながら、データ量が膨大ということはデータのノイズや欠損も膨大なので、解析に前にデータクレンジングという前処理を実施しなければいけません。

データクレンジング

データクレンジングとは文字通り、「データを綺麗にする（クレンジングする）」ための前処理です。前述のように、収集したばかりのデータにはエラーやノイズ、欠損値などが含まれています。データによっては継続的に蓄積されなかったものもあるでしょう。これらのデータを分析できるよう整えるのがデータクレンジングです。言葉で説明するのは簡単ですが、データの一部を取り除いたり、中央値を取ったりと作業は複雑です。データクレンジングの精度によってデータ分析に与える影響が非常に大きいことから、ビッグデータ解析中で最も重要だとされています。

データクレンジングが完了したら、次にデータを統合します。多くのデータはさまざまなデータソースから収集されているため、一貫性がありません。データの粒度が異なるケースが多く、データを整える必要があります。そして最後に、分析手法に応じてデータを指定のフォーマットに変換します。数値データを決められた範囲の値に変換したり、特定の細かい分野ではなく一般化したりと、データを変換します。