目次:
2000年代初頭には、データに関してイノベーションが非常に必要であることが明らかでした。 企業がデータを使用してできることに対する制限は、経営者を苛立たせ、効率を大幅に低下させました。 多くの企業は膨大な量の情報を保存していましたが、それらを有利に管理、分析、または操作することができませんでした。 ビッグデータのフロンティアに道を譲ったのは、この圧力の高まりです。
2003年、GoogleはMapReduceを作成しました。MapReduceは、数千台のサーバーで検索クエリに関する情報を短時間で処理および分析できるデータアプリケーションです。 拡張性と適応性の両方を備えたこのプログラムは、Googleが数分で数千のデータタスクを実行できるようにし、生産性を向上させ、データでできることについて認識されている境界を再定義しました。 ほぼ10年後、ビッグデータは情報技術の中心的な教義になりました。 その広範囲にわたる範囲と能力により、職場のデータ管理が根本的に変わりました。 しかし、この進化のきっかけは何でしたか？また、ビッグデータが将来にどのような影響を与えるのでしょうか？ 私たちはあなたが決して尋ねないと思った。 （ビッグデータの背景を読むには、ビッグデータ：キャプチャー、クランチ、およびビジネス上の意思決定の使用方法を確認してください。）
ビッグデータの質問への回答を求める
MapReduceの美しさは、非常に複雑なタスクを簡素化する方法でした。 マシン間の通信を管理し、システム障害に対処し、入力データを自動的に整理することができます。これは、高度な技術スキルを必要としなくなった個人が監視できるプロセスです。 データ処理を可能にするだけでなく、親しみやすいものにすることで、Googleはデータ管理の文化的変化を促しました。 数千の大手企業がデータにMapReduceを使用するようになるのはそう長くはかかりませんでした。
しかし、1つの問題がありました。MapReduceは単なるプログラミングモデルでした。 データ処理の基本を容易にしましたが、それ自体が既存のデータの欠点に対する答えではありませんでした。 それは正しい方向への非常に必要な一歩に過ぎませんでした。 企業は依然として、独自のデータニーズに対応し、データ管理の最低限の要件を超えたシステムを必要としていました。 要するに、テクノロジーは進化する必要がありました。
Hadoopに入る
Doug Cuttingを含む複数のプログラマーによって作成されたオープンソースのフレームワークソフトウェアであるHadoopをご覧ください。 MapReduceが基本的で幅広い場合、Hadoopは爽快な特異性を提供しました。 企業は、他のソフトウェアでは不可能な方法でデータのニーズに応える独自のアプリケーションを設計でき、一般に他のファイルシステムと互換性がありました。 才能のあるプログラマーがいる企業は、以前は到達できなかったデータを使用して独自のタスクを達成するファイルシステムを設計できました。 おそらくそれについての最良の部分は、開発者がアプリケーションとプログラムをお互いに共有し、それらを説明し、完成させることができることでした。
このような重要なリソースを民主化することで、Hadoopはトレンドになりました。 結局のところ、その多くの大企業、特に検索エンジン会社は、彼らが何十年もそれを必要としていたと感じていました！ ヤフーなどの検索エンジンの巨人がWeb検索クエリで使用されるデータを生成する大規模なHadoopアプリケーションの実装を発表するのは、間もなくでした。 波のように思えたが、Facebook、Amazon、Fox、Apple、eBay、FourSquareなど、いくつかの著名な企業が、このテクノロジーを大規模データベースに採用することを発表しました。 Hadoopは、データ処理の新しい標準を設定しました。
ビッグデータ、大きな問題
データテクノロジーの進歩により、企業のデータ処理方法が再構築されましたが、多くの幹部は、必要なタスクの全範囲に対応していないことに気付いています。 オラクルは2012年7月に300人以上のCレベルの幹部を対象とした調査をリリースしました。データの管理と分析にITに依存している企業は36％ですが、29％ニーズ。 おそらく、この調査で最も印象的な結果は、回答者の93％が、収集したデータを使用できないために、会社が収益の最大14％を失っていると考えていることです。 それは、より良い製品の製造とより多くの労働者の雇用に費やすことができる収入です。 企業が収益性を維持するのに苦労している時代には、企業が収益性を高めることができるようにデータを改善することが必要です。 調査では、ビッグデータの商業への影響はすでに過ぎていると信じている人たちにもかかわらず、それが保持する成長と進歩の機会はまだ十分に実現されていないことが示されています。ビッグデータの未来
良いニュースは、HadoopとMapReduceが他の多くのデータ管理ツールに影響を与えたことです。 多くの新しい企業は、Hadoop上で動作する広範なデータプラットフォームを作成していますが、幅広い分析機能と簡単なシステム統合を提供しています。 企業はデータの懸念に対処するために多くのリソースを投資しているようであり、データ会社の経済的成功はこれを証明しています。 2010年、データ企業は推定32億ドルの小売売上高を達成しました。 多くの専門家は、この数が2015年だけでなんと170億ドルに達すると予測しています。 これは、一部の大手テクノロジー企業で失われていない事実です。 IBMとOracleの両方は、過去数か月にわたってデータ企業の買収に数十億ドルを費やしてきました。 他の多くの企業は、競争力のある市場シェアを求めて争い続けているため、今後数年間で同様の動きをするでしょう。ビッグデータのフロンティア
収集されるデータの量は指数関数的に増加し続けており、心配する人もいれば興奮する人もいます。 利点は、データの分析を通じて私たちの世界について新しいことを学ぶにつれて、人間の生産性と適応性が向上し続けることです。 欠点は、非常に膨大な量のデータがあるため、多くの人がすべてを適切に保存できず、それを必要とするすべての人が使用できるように適切に管理できないことです。
そうは言っても、ビッグデータの進歩は、データに関する緊急の問題を解決する前例のない機会を提供します。 たとえば、専門家は、効率と品質に重点を置いてビッグデータを適切に実装すれば、医療費だけで年間約3, 000億ドルを節約できる可能性があると示唆しています。 小売業者は営業利益率を改善でき、公共部門はより良いサービスを提供でき、大企業は何十億ドルも節約できます。 したがって、データの問題を解決することは、会社の役員室だけでなく、あらゆる場所で必要であるようです。 それはビッグデータの未来について良いことを言っている-そしておそらく私たちもそうだ。
