제가 관심있는 부분만 따왔습니다.
각각의 페이지 삭제
모든 검색 로봇을 막으시려면 다음의 메타 테그(meta tag)를 HTML페이지에 포함하세요:
<meta name=”ROBOTS” content=”NOINDEX, NOFOLLOW” />
저장된 페이지의 제거
구글은 수집한 모든 문서들을 저장해둡니다. 구글은 저장된 문서를 사용자들을 위해 제공하고, 무슨 이유로 사이트에 접속이 불가능하면 구글의 저장된 페이지를 사용하여 구글이 수집했던 당시의 모습 그대로 볼 수 있습니다. 저장된 페이지는 위 부분에 원본이 아닌 복사된 내용임을 설명하는 메시지가 있습니다.
만약 로봇이 귀하의 사이트에서 내용을 수집 못하게 하고 싶다면, NOARCHIVE 메타 태그를 사용하세요. 이 태그는 문서의 부분에 다음과 같이 배치 하세요.
<meta name=”ROBOTS” content=”NOARCHIVE” />
* 이것은 물론 표준약관같은 거니까, 표준을 지키지 않는 검색로봇의 경우에는 해당되지 않을수도 있다고 하네요.