Robots.txt 설정 방법 (작성 방법)
User-agent 하나의 로봇의 지정함
User-agent: * 모든 로봇을 허용험
User-agent: Mediapartners-Google 검색 로봇이 모든 URL 방문, 모든 디렉터리에 수집 접근 하는것을 허용함
Disallow: 모두 허단함, 봇에 의한 수집을 거부할 디렉토리
Disallow: / 모두 차단함, 봇에게 몇 가지 디렉토리 수집을 거부
Allow: 모두 허용함, 봇에 의한 수집을 허용할 디렉토리를 입력
Allow: / 모두 차단함, 모든 디렉토리에의 자료 수집 허용을 의미
Disallow
Disallow, Allow 경우 뒤에 폴더나 파일의 경로를 표시하며, 폴더는 반드시 슬래시(/) 기호로 끝나야 함.
Crawl-delay: 크롤링 주기. (초단위 사용) 서버부하 방지에 도움. ( Googlebot은 무시함 )
봇에 의한 수집이 너무 자주 발생하지 않게 딜레이를 둘 수 있으며, 1~30의 값이 입력
Sitemap: https://your-blog-url/sitemap.xml 이뜻은 검색 엔진 로봇이 웹 사이트의 사이트맵을 참조하도록 하는 명령어
사이트맵은 웹 사이트의 모든 페이지를 검색 엔진에게 알려주는 역할함.
**모든 검색엔진 허용.
User-agent: *
Allow: /
또는,
User-agent: *
Disallow:
예시
------------------------------------
# 모두 차단
User-agent: *
Disallow: /
------------------------------------
# 단, 아래 검색봇들은 허용
------------------------------------
# 구글 (Google)
User-agent: Googlebot
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
# 네이버 (Naver)
User-agent: AdsBot-Naver
Allow: /
User-agent: NaverBot
Allow: /
User-agent: Yeti
Allow: /
# 다음 (Daum)
User-agent: Daum
Allow: /
User-agent: Daumoa
Allow: /
# 빙 (Bing)
User-agent: bingbot
Crawl-delay: 10
# 야후 (yahoo)
User-agent: Slurp
Crawl-delay: 10
User-agent: Yahoo-Slurp
Crawl-delay: 10
User-agent: Yahoo! Slurp
Crawl-delay: 10
# 줌 (zum)
User-agent: ZumBot
Crawl-delay: 10
# 사이트맵
Sitemap: https://자신의 블로그 주소/sitemap.xml
모든 크롤링은 허용하지 않지만 구글봇에게는 허용합니다.
User-agent: Googlebot
Disallow:
User-agent:*
Allow: /
Sitemap: https://자신의 블로그 주소/sitemap.xml
모든 크롤링은 허용하지 않지만 구글봇에게는 허용합니다.
User-agent: Mediapartners-Google
Disallow:
User-agent:*
Allow: /
Sitemap: https://자신의 블로그 주소/sitemap.xml
1. 모든 검색봇 차단
| User-agent: * Disallow: / |
2. 모든 검색봇 허용
| User-agent: * Allow: / |
3. 구글봇 차단 (구글봇, 구글봇이미지, 구글봇모바일)
| User-agent: Googlebot Disallow: / User-agent: Googlebot-Image Disallow: / User-agent: Googlebot-Mobile Disallow: / |
4. 네이버봇 차단
| User-agent: Yeti Disallow: / |
댓글 없음:
댓글 쓰기