제이큐샵 - 홈페이지제작, 쇼핑몰제작, 솔루션제작 전문

1. robots 란? 

robots란 사이트에 담긴 txt 파일인데, 그 작용은 각 검색엔진에게 사이트 중의 어떤 웹 페이지는 또는 카테고리는 방문 가능하고, 어떤 것은 방문 불가한다는 것을 알려 주는 작용을 합니다.

스티커 이미지

2. robots 파일은 어디에 있는가?  

robots 파일은 "robots.txt"형식으로 사이트 첫 목록에 저장해야 합니다.  

예를 들어 사이트 "uniqueway.com"의 robots 파일은 "uniqueway.com/robots.txt"에서 확인할 수 있습니다. 

스티커 이미지

사이트 "uniqueway.com/robots.txt"의 robots를 살펴보겠습니다. 

'User-agent:'뒤에는 각 검색엔진의(바이두, 구글 등) "스파이더" 이름을 쓰고, 

'User-agent: *'뜻은 모든 검색엔진을 상대로 한다는 뜻이고, 

'Disallow:'뒤에는 수록 금지된 페이지나 카테고리를 입력하면 됩니다. 

'Disallow:'뒤에 아무것도 쓰지 않으면 검색엔진이 사이트의 모든 내용을 방문할 수 있다는 것을 말합니다. 

3. 각 검색엔진 "스파이더" 이름

검색엔진 이름 스파이더 이름

바이두 / baidu.com Baiduspider

구글 / google.com Googlebot

sogou / sogou.com Sogou web spider

360 / so.com 360Spider

MSN / msn.com MSNBot

youdao / youdao.com YoudaoBot

soso / soso.com Sosospider

yahoo / yahoo.com Inktomi Slurp

yandex / yandex.com YandexBot

bing / bing.com Bingbot

4. robots 작성하는 방법  

직접 제작한 뒤 ".txt"형식으로 저장한 뒤 서버에 올리면 되고, 전문적인 도구를 사용해도 됩니다. 

http://tool.chinaz.com/robots/ 

5. robots를 바이두에게 제출하는 방법  

robots를 사이트 서버에 올린 뒤 바이두 검색엔진이 오기를 기다리도 되는데, 주동적으로 바이두에게 제출하는 것을 추천합니다.