ジョブトラッカーとは何ですか？ -techopediaからの定義

定義-JobTrackerの意味？

JobTrackerは、Apache HadoopのMapReduceエンジンで実行されるデーモンです。 JobTrackerは、すべてのMapReduceタスクをクラスター内の異なるノード、理想的には既にデータを含むノード、または少なくともデータを含むノードと同じラックに配置されているノードにファームアウトする重要なサービスです。

TechopediaはJobTrackerについて説明します

JobTrackerは、クライアントのリクエストを処理するHadoop内のサービスです。 必要なデータがローカルに存在するDataNodeのTaskTrackersにそれらを割り当てます。 それが不可能な場合、JobTrackerは、データがローカルに存在する同じラック内のTaskTrackerにタスクを割り当てようとします。 何らかの理由でこれも失敗した場合、JobTrackerはデータのレプリカが存在するTaskTrackerにタスクを割り当てます。 Hadoopでは、冗長性を確保するためにデータブロックがデータノード間で複製されるため、クラスター内の1つのノードに障害が発生しても、ジョブは失敗しません。

JobTrackerプロセス：

1. クライアントアプリケーションからのジョブリクエストはJobTrackerによって受信され、
2. JobTrackerは、必要なデータの場所を決定するためにNameNodeを調べます。
3. JobTrackerは、データを含む、または少なくともデータの近くにあるTaskTrackerノードを見つけます。
4. 選択したTaskTrackerにジョブが送信されます。
5. TaskTrackerは、JobTrackerによって厳密に監視されながらタスクを実行します。 ジョブが失敗した場合、JobTrackerは単にジョブを別のTaskTrackerに再送信します。 ただし、JobTracker自体は単一障害点です。つまり、障害が発生するとシステム全体がダウンします。
6. JobTrackerは、ジョブが完了するとステータスを更新します。
7. クライアントリクエスターは、JobTrackerから情報をポーリングできるようになりました。