目次:
定義-Webクローラーとはどういう意味ですか？
Webクローラーは、Webインデックス作成を支援するインターネットボットです。 すべてのページのインデックスが作成されるまで、Webサイトを一度に1ページずつクロールします。 Webクローラーは、Webサイトおよびそれらに関連するリンクに関する情報の収集に役立ち、HTMLコードとハイパーリンクの検証にも役立ちます。
Webクローラーは、Webスパイダー、自動インデクサー、または単にクローラーとも呼ばれます。
TechopediaはWebクローラーを説明します
Webクローラーは、WebサイトのURL、メタタグ情報、Webページのコンテンツ、Webページ内のリンク、およびそれらのリンクからのリンク先、Webページのタイトル、その他の関連情報などの情報を収集します。 同じページを再度ダウンロードしないように、すでにダウンロードされているURLを追跡します。 再訪問ポリシー、選択ポリシー、並列化ポリシー、ポライトネスポリシーなどのポリシーの組み合わせにより、Webクローラーの動作が決まります。 Webクローラーには多くの課題があります。すなわち、大きくて継続的に進化するWorld Wide Web、コンテンツ選択のトレードオフ、社会的義務、および敵との対処です。
Webクローラーは、Webページを調べるWeb検索エンジンおよびシステムの主要なコンポーネントです。 Webエントリのインデックス作成に役立ち、ユーザーがインデックスに対してクエリを送信し、クエリに一致するWebページを提供できるようにします。 Webクローラーのもう1つの用途はWebアーカイブです。これには、定期的に収集およびアーカイブされるWebページの大規模なセットが含まれます。 Webクローラーは、データマイニングでも使用され、統計などのさまざまなプロパティについてページが分析され、データ分析が実行されます。
