ビッグデータの落とし穴

データとは仮説を支持するものである。
しかし、最先端のビッグデータ研究では、データから法則性を見つけようとしている。
例えば、異常検知技術。
行動データの中に珍しいデータが現れた時にそれを異常とする。
しかし、異常とは、ある原理や法則性があり、それに当てはまらないデータが出た時に異常と定義される。
統計的に重心から外れたとしても、それは異常ではないのである。
民間企業ではサービス偏重のあまり、科学を逸脱した説明のもとにサービスが組み立てられる場合がある。
公的研究機関はビッグデータの科学的に正しい取り扱い方を産業界に示してほしいが、企業と似たような方向に行きかねない危うさも見え隠れしている。

これだけは覚えておこう。ビッグデータから過去の仮説はみえても、未来は見えない。科学的にあり得ない。