オーディオ hadoopのSQLはビッグデータ分析にどのように役立ちますか?

hadoopのSQLはビッグデータ分析にどのように役立ちますか?

目次:

Anonim

SQL on Hadoopは、SQLスタイルのクエリとデータの処理を最新のHadoopデータフレームワーク要素と組み合わせる分析アプリケーションツールのグループです。 HadoopでのSQLの出現は、Hadoopが処理する膨大な量のビッグデータでSQLクエリを実行することで、より多くの人々がHadoopデータ処理フレームワークを正常に操作できるため、ビッグデータ処理の重要な開発です。 明らかに、Hadoopフレームワークは、特にクエリ機能に関して、以前は人々がアクセスできませんでした。 開発に基づいて、品質と速度でビッグデータを処理および分析することに関して、企業の生産性の向上を約束するいくつかのツールが開発中です。 また、SQLの従来の知識が行うように、ツールの学習に多くを投資する必要もありません。

HadoopでのSQLの定義

Hadoop上のSQLは、Hadoopデータ処理フレームワークによってホストされるビッグデータに対してSQLスタイルのクエリを実行できるアプリケーションのグループです。 明らかに、HadoopにSQLを追加することで、データのクエリ、取得、分析が容易になりました。 SQLはもともとリレーショナルデータベース用に設計されていたため、MapReduceとHadoop分散ファイルシステム(HDFS)で構成されるHadoop 1モデル、およびMapReduceとHDFSを持たないHadoop 2モデルに従って変更する必要がありました。

SQLとHadoopを組み合わせた最初の取り組みの1つは、SQLスタイルのクエリをMapReduceジョブに変換できるHiveQLソフトウェアでHiveデータウェアハウスを作成することでした。 その後、同様のジョブを実行できるいくつかのアプリケーションが開発されました。 後のツールの中でも顕著なものは、Drill、BigSQL、HAWQ、Impala、Hadapt、Stinger、H-SQL、Splice Machine、Presto、PolyBase、Spark、JethroData、Shark(Hive on Spark)、およびTez(Hive on Tez)です。

hadoopのSQLはビッグデータ分析にどのように役立ちますか?