로봇 검색 설정 - robots.txt

* 모든 문서에 접근을 허락

User-agent: *
Allow: /

* 모든 문서에 접근을 금지

User-agent: *
Disallow: /

* 특정 폴더만 접근

User-agent: *
Disallow: /폴더명/ 

* 메타 태그를 이용한 검색엔진 차단

<meta name="robots" content="noindex">