Semalt Islamabad Expert : 가장 인기있는 10 개의 웹 크롤러 및 봇

인터넷에는 두 가지 유형의 봇이 있으며이를 좋은 봇과 나쁜 봇이라고합니다. 나쁜 봇은 DDN 대역폭을 즉시 사용할 수 있으므로 나쁜 봇에 대해 심각한 조치를 취해야합니다. 또한 부정적이거나 나쁜 봇은 웹 컨텐츠를 훔치고 서버 자원을 차지합니다. 반면, 좋은 봇 (웹 크롤러라고도 함)은 Bing, Google 및 Yahoo와 같은 검색 엔진 결과 에서 웹 사이트를 색인화하는 데 도움이되므로 신중하게 처리해야합니다.

Semalt의 선임 전문가 인 Michael Brown은 인터넷을 수색하는 수십에서 수천 개의 봇과 웹 크롤러가 있지만 다음 중 가장 인기있는 것으로 확인했습니다.

1. GoogleBot

Googlebot은 현재까지 가장 유명하고 가장 유명한 웹 크롤러 중 하나입니다. Google 검색 결과를위한 웹 컨텐츠 및 기사를 색인화하는 데 널리 사용됩니다. Googlebot의 가장 큰 특징은 사용자에게 많은 도구와 옵션을 제공한다는 것입니다. 보다 구체적으로, Googlebot은 색인을 생성 할 페이지와 남겨 둘 페이지를 Google에 알려줍니다.

2. 빙봇

Googlebot과 마찬가지로 Bingbot은 Microsoft에서 많이 사용하는 웹 크롤러입니다. 수년 전부터 사용되었으며 Bing 검색 결과에서 웹 사이트를 색인화합니다. Bingbot은 MSN 봇을 대체하는 이상적인 제품입니다. 가장 눈에 띄는 옵션은 Fing as Bingbot이라고하며 Bing 웹 마스터 도구에 있습니다. 이 옵션을 사용하면 페이지의 색인 생성 및 Bing 결과 표시를 요청할 수 있습니다.

3. 슬러 프 봇

Slurp Bot은 Yahoo의 웹 크롤러이지만 Bing에서 제공합니다. 웹 사이트는 Yahoo Slurp가 Yahoo Mobile Search 결과에 나타나기 위해 자신의 페이지에 액세스 할 수 있도록해야합니다. 이 웹 크롤러는 Yahoo News, Yahoo Sports 및 Yahoo Finance에 포함시키기 위해 파트너 웹 사이트에서 컨텐츠를 수집하는 데 사용됩니다.

4. 오리 덕봇

DuckDuckBot은 DuckDuckGo의 유명하고 최고의 웹 크롤러입니다. 이 검색 엔진 은 개인 정보 보호로 유명하며 사용자의 허락없이 사용자를 추적하지 않습니다. 평균적으로 매일 천만 건의 쿼리를 처리합니다. DuckDuckGo는 Instant Answers, Wikipedia 및 DuckDuckBot과 관련된 답변을 제공하는 여러 가지 수직 소스를 포함하여 400 개 이상의 소스에서 결과를 얻습니다. 또한 Yandex, Bing 및 Yahoo와 같은 소스에서 나오는 쿼리도 처리합니다.

5. 바이두 스파이더

Baiduspider는 중국 검색 엔진의 웹 크롤러 또는 스파이더의 공식 이름입니다. 매일 많은 웹 페이지를 색인화하고 업데이트를 Baidu 색인으로 리턴합니다. Baidu는 최고의 중국 검색 엔진 중 하나입니다. 중국 본토의 전체 검색 시장에서 80 % 이상의 지분을 보유하고 있습니다.

6. Yandex 봇

YandexBot은 러시아 검색 엔진 인 Yandex의 특정 웹 크롤러입니다. 언론들은이 봇이 2015 년 러시아에서 모든 검색 엔진 트래픽의 57 % 이상을 생성했다고 주장합니다.

7. 소구 거 거미

Sogou Spider는 Sogou.com의 유명한 웹 크롤러입니다. 이 선도적 인 중국 검색 엔진은 2004 년에 출시되었으며 Alexa에서 103 위를 차지했습니다. Sogou 웹 스파이더는 robot.txt 인터넷 표준을 절대 존중하지 않으며 과도한 크롤링으로 인해 여러 사이트에서 금지됩니다.

8. 엑 사봇

이 웹 크롤러는 프랑스어 검색 엔진 인 Exalead에서 운영합니다. 몇 년 전에 설립되었으며 검색 결과에 160 억 개가 넘는 웹 페이지가 색인되어 있습니다.

9. Facebook 외부 조회

소셜 미디어 대기업 인 Facebook은 사용자가 다른 Facebook 사용자와 흥미로운 링크를 공유 할 수 있도록합니다. Facebook External Hit는 여러 이미지, 흥미로운 비디오 및 웹 페이지 표시를 포함하여 다양한 기능을 수행합니다. 주요 크롤링 봇 중 하나는 광고 성능을 향상시키는 Facebot입니다.

10. 알렉사 크롤러

Alexa Crawler는 Amazon의 Alexa에서 운영하며 수십 개의 웹 페이지를 인덱싱하는 데 사용됩니다. 웹 사이트에 대한 정보를 수집하고 지역 및 국제 환경 설정에 따라 순위를 매 깁니다.

최종 노트

다양한 웹 크롤러와 봇이 있으므로 의심스러운 웹 사이트를 차단할 때 검색 엔진 결과에서 웹 페이지를 색인하는 좋은 봇을 차단하지 마십시오.