データクレンジング(AIとビッグデータ)

AI の学習に必要なデータには、正確な情報が必要になります。ノイズの除去や欠損値の補完などのデータの整形が重要です。時に膨大になるデータから特徴量を抜き出すことも必要です。

また、 BigQuery で使うテーブルは容量がある程度限られているため、 事前に不要データの削除、データを圧縮するための変換、欠損値の補完などを含むデータの整形が重要です。

データの事前処理(クレンジング)により、Deep Learning の学習効果の向上や、BigQuery を実際に走らせる時間の短縮が可能になります。

データの事前処理は Python, Perl, Ruby 等に加え速度が要求される処理には C/C++ で各言語用のライブラリを作成して、呼び出せるようにします。

Deep Learning

Deep Learning での学習には様々なノウハウが必要です。データの特性を見極め、どのような特徴を捉えていくのか、検証をしながら進めていきます。

BigQuery

BigQuery ではたった一行で多くの処理ができますが、それだけに一つの行を生み出すのはノウハウが必要です。

また、連続した処理を行うために、Python による script 処理を行います。

解析結果(Big Data)

解析結果は Excel や R言語によってグラフ化を行います。