우리가 사용하는 포털사이트들이 많은데요..
일반적으로 찾고자 하는 검색어에 관련된 문서나 웹페이지를 검색하는 경우에
관련된 내용이 포함된 까페의 글들도 다 검색이 되지 않습니까?
그렇지만 그런 자료들의 대부분은 분명히
로그인이 필요한, 접근이 1차적으로 제한되어 있는 경우가 꽤 많습니다.
대부분 그 이외의 자료들을 열람하려고 할 경우에는
로그인을 요청하게 되는데...
포털사이트에서 검색에 사용하는 봇(bot)들은 그런 부분을 어떻게 뚫고 들어가는건가요?
아니면 애초부터 bot이 우회해서 들어갈 수 있도록 뭔가 시스템적으로 만들어 져 있는건가요..?
문득 궁금해져서 관련 부분을 조금 찾아봤는데,,, 찾을수록 더 모르겠네요 -ㅁ-;
좋은 답변 미리 감사드립니다(?) ㅋㅋ
검색용 봇을 차단하는 국제규약 코드가 있다고 알고 있습니다.