창구 문답 들머리
웹을 돌며 페이지를 읽어 가는 자동 프로그램을 말한다. 구글의 구글봇과 네이버의 예티가 대표적이며, 검색엔진마다 이름과 방문 습성이 조금씩 다르다. 견적 항목에 오를 때는 Crawler, Googlebot, Yeti, 수집 로봇 쪽 표기도 함께 쓰인다.1 크롤러·봇은 이 사이트가 받는 백링크 구축 일을 맡으며 쓰이는 말이다.
작업 이름 적어 둔 말: 크롤러·봇
묶음 자리: SEO 기본 용어2
말뜻이 어떤지 묻는 물음
이 말은 짧은 뜻으로 무엇인가?
작업 담당이 뜻이 어떤지 받는 물음에 답하는 대로 옮기면 다음과 같은 답이 된다. 검색의 눈 역할을 하는 자동 프로그램이며, 다닐 길과 범위를 운영자가 어느 정도 정할 수 있다. 링크를 심은 자리도 이들이 와 봐야 뜻이 생긴다.
어떤 까닭으로 생겼는지 자주 듣는 물음
이 말은 어쩌다 의뢰서에 자리 잡았는가?
작업 담당이 어떤 까닭으로 쓰이는지 자주 받는 물음에 답하는 대로 옮기면 다음 답으로 적힌다. 검색엔진마다 수집 프로그램을 따로 운영하고 자신을 알리는 이름을 공개하면서, 운영자가 접근 범위를 지정할 수 있게 됐다. 이름이 공개된 덕에 접속 기록에서 구분해 세는 일도 가능해졌다.
어떤 얼개로 돌아가는지 자주 받는 물음
이 개념은 접수 뒤에 어느 차례로 맞물려 돌아가는가?
담당이 안내 문서에 어떻게 돌아가는지 들어오는 물음에 답하는 대로 옮기면 다음 답이 된다. 요청 정보에 자기 이름을 담아 페이지를 가져가고, robots 파일의 허용과 차단 규칙, 서버 응답 상태를 보며 방문 빈도를 조절한다. 오류가 잦은 주소는 방문이 점점 뜸해진다.
어느 자리에서 살피는지 들어오는 물음
이 대목은 어느 대목에서 짚을 수 있는가?
작업 담당이 어디서 확인하는지 들어오는 문의에 답하는 대로 옮기면 다음 답으로 적힌다. 서버 접속 기록에서 사용자 에이전트 값으로 어떤 쪽이 어느 주소를 가져갔는지 본다. 이름을 흉내 낸 가짜는 역방향 조회로 가리고, 서치 콘솔의 수집 통계와 맞춰 본다.
무엇이 어긋나는지 듣는 물음
이 대목과 맞물려 손해로 이어지는 자리는 어디인가?
담당이 점검 자리에서 어느 대목이 틀어지는지 받는 말에 답하는 대로 옮기면 아래 답으로 적힌다. 접근을 넓게 막아 두면 수집 자체가 끊기고, 반대로 쓸모없는 주소를 열어 두면 요청이 낭비된다. 차단 규칙을 고친 뒤에는 중요한 주소가 함께 막히지 않았는지 살펴야 한다.
가정 상황이 어떤지 묻는 문의
이 말은 상정한 장면으로 보면 어떤 모습인가?
아래 답은 설명을 위해 지은 가정이다 손대지 않고 옮겨 적는다. 예를 들어 검색 결과 주소에 끝없이 조건이 붙는 사이트라면, 같은 내용의 주소를 계속 가져가며 중요한 페이지를 늦게 보는 일이 생긴다. 새로 올린 글이 며칠씩 묻히기도 한다.
어떤 오해가 떠도는지 받는 말
이 말을 놓고 문의에서 어떤 착각이 나오는가?
담당이 점검 자리에서 어떤 오해가 되풀이되는지 묻는 말에 답하는 대로 옮기면 다음과 같은 답이 된다. 돌아다니는 프로그램이 모두 검색엔진 것이라고 보기 쉽지만, 광고 검증이나 자료 수집용 프로그램도 같은 방식으로 움직인다. 이름만 보고 전부 검색용으로 세면 통계가 부풀려진다.
헷갈리는 말과 어떻게 다른지 받는 물음
크롤러·봇과 나란히 오르는 말은 무엇이 다른가?
담당이 점검 자리에서 섞이는 말과 어떻게 다른지 받는 말에 답하는 대로 옮기면 다음 답으로 적힌다. 사람 방문자는 화면과 스크립트를 함께 보는 데 반해, 이쪽은 문서와 링크 구조를 중심으로 읽어 가며 처리 여력에도 한계가 있다. 화면에서만 드러나는 글자는 읽히지 않을 수 있다.
받은 쪽이 무엇을 하는지 받는 말
이 대목을 두고 맡은 쪽이 다루는 일은 무엇인가?
담당이 점검 자리에서 맡은 쪽이 어떤 일을 하는지 자주 받는 물음에 답하는 대로 옮기면 다음 답이 된다. 외부에 백링크를 심은 뒤에는 그 페이지가 차단 설정에 걸려 있지 않은지, 접속 기록에 수집 방문이 남는지 확인한다. 방문 흔적이 없는 자리는 전달이 끊긴 것으로 보고 뺀다. 위쪽 메뉴에는 백링크란 자리가 별도로 걸려 있어 찾아갈 수 있다.
짝을 이루는 낱말
이들이 수행하는 작업이 크롤링이고, 가져간 내용은 인덱싱 단계로 넘어간다. 방문 몫을 어디에 쓰게 할지 정하는 일은 테크니컬 SEO에서 다루는 주제와 맞닿는다. 함께 볼 사이트 안 문서로 크롤링과 인덱싱이 각자 문서로 실려 있다.
옆에 둘 글
옆에 둘 사이트 안 항목으로는 테크니컬 SEO와 페이드 트래픽이 따로 떼어 실려 있다. 문서 묶음이 바탕으로 기대는 작업은 백링크 구축과 그 안내를 맡는 일이다.