ITの能力に関する技術競争は、常に、容量・速度といった能力とデータ量のいたちごっこです。いつの時代も、入手可能なITの能力をはるかに超えた処理をすることが技術者の挑戦であり、それを実現することが新しい革新を呼びます。特にこの数年は、一般社会のデータ量が爆発的に増えた時代でもあります。街角にあるカメラや、道路、家庭などに備え付けられたセンサーが一般消費者の知らないところでも激増しています。ソーシャル・ネットワークやスマートフォンの急激な普及によって一般消費者がITシステムに気軽にアクセスし、生活の一部としてデータを生成するようになりました。企業の一部のスタッフにのみ活用されていたITシステムは、今や一般市民の生活に欠かせない仕組みとして定着しました。クレジットカードやネット販売などがグローバル市場化されたことによって、会員数が数十億人にも上る企業が登場しています。旧来のオンライン取引システムとはけたが違います。こうしてデータが爆発的に増加した現在、そのデータのほとんどは、旧来型のストレージに、旧来の目的で蓄積されたままになり、特に活用もされていない「死蔵」状態になっています。そして、このデータを活用することがビジネスの勝敗を決めるケースも増えています。こうしたデータは、毎日膨れ上がるため、蓄積するにも、処理のために一時的に保存するにも、単一のストレージやプロセッサーでは間に合いません。加えて、こうしたデータには人の言葉で書かれた「テキスト」のほか、写真、映像、音声といった、これまで集計の対象にしなかったものが大量に含まれており、データの処理は非常に複雑になります。また、データ量が膨大だからといって処理に時間がかかっていると、活用するタイミングを逃してしまうなど、処理速度も重要なファクターとなります。今号では、処理に困るほどの複雑かつ大量のこれらのデータを、現在のIT技術を組み合わせた工夫によって、妥当なコストと時間で処理できるようにするために実用化されているさまざまなビッグデータ・ソリューションとそのアプローチを総括します。
2012年2月 PROVISION 72号 コンテンツ・リーダー 米持 幸寿