目次:
定義-Spiderの意味？
インターネットの文脈では、スパイダーは、ユーザー検索クエリの検索結果としてWebページを提供するために、通常、Webページのインデックス作成を目的としてWorld Wide Webを体系的にクロールおよび閲覧するように設計された特殊なソフトウェアです。 このようなスパイダーの中で最も有名なのは、Googlebotであり、Googleのメインクローラーです。これにより、検索クエリに対して関連する結果が確実に返されます。
スパイダーは、Webクローラー、検索ボット、または単にボットとも呼ばれます。
TechopediaはSpiderについて説明します
クモは本質的に、World Wide Webから情報を収集するために使用されるプログラムです。 Webサイトのページをクロールして、情報を抽出し、後で使用するために、通常は検索エンジンの結果のためにインデックスを作成します。 クモはページへのさまざまなリンクを介してWebサイトとそのページにアクセスするため、リンクが1つもないページはインデックス付けが難しく、検索結果ページで非常に低いランクになります。 また、ページを指すリンクが多数ある場合、そのページは人気があり、検索結果の上位に表示されることを意味します。
Webクロールに関連する手順：
- クモはサイトを見つけ、そのページのクロールを開始します。
- クモは、サイトの単語とコンテンツにインデックスを付けます。
- クモはサイトにあるリンクにアクセスします。
スパイダーまたはウェブクローラーは単なるプログラムであり、プログラマーによって設定された体系的なルールに従います。 ウェブサイトの所有者は、サイトのどの部分をインデックスに登録し、どの部分をインデックスに登録しないかをスパイダーに伝えることで、これにアクセスすることもできます。 これは、スパイダーがインデックスを作成する部分とリンクする部分、および無視する部分に関する指示を含む「robots.txt」ファイルを作成することによって行われます。 そこにある最も重要なスパイダーは、Google、Bing、Yahooなどの主要な検索エンジンが所有するスパイダーや、データマイニングや研究を目的としたスパイダーですが、ユーザーが企業に販売するメールを見つけて収集するために作成された悪意のあるスパイダーもありますまたは、Webセキュリティの脆弱性を見つけます。
