우리가 사용하는 포털사이트들이 많은데요..

일반적으로 찾고자 하는 검색어에 관련된 문서나 웹페이지를 검색하는 경우에

관련된 내용이 포함된 까페의 글들도 다 검색이 되지 않습니까?

그렇지만 그런 자료들의 대부분은 분명히

로그인이 필요한, 접근이 1차적으로 제한되어 있는 경우가 꽤 많습니다.

대부분 그 이외의 자료들을 열람하려고 할 경우에는

로그인을 요청하게 되는데...


포털사이트에서 검색에 사용하는 봇(bot)들은 그런 부분을 어떻게 뚫고 들어가는건가요?

아니면 애초부터 bot이 우회해서 들어갈 수 있도록 뭔가 시스템적으로 만들어 져 있는건가요..?

문득 궁금해져서 관련 부분을 조금 찾아봤는데,,, 찾을수록 더 모르겠네요 -ㅁ-;


좋은 답변 미리 감사드립니다(?) ㅋㅋ


이 게시물을...