공들여 쓴 글이 검색 결과에 전혀 보이지 않아 속상했던 적, 한두 번이 아니시죠? 내 홈페이지가 검색 로봇의 선택을 받지 못하는 이유는 대단한 기술적 결함보다는 작은 문지기 설정 하나 때문인 경우가 훨씬 많답니다. 우리가 오늘 알아볼 이야기는 바로 내 소중한 콘텐츠가 검색 엔진의 길을 잃지 않도록 이정표를 세워주는 방법이에요.
- robots.txt는 검색 로봇의 출입을 허가하거나 제한하는 첫 번째 관문이에요.
- XML 사이트맵은 내 사이트의 모든 페이지를 보여주는 지도 역할을 해요.
- 크롤링 예산을 아껴야 중요한 페이지가 더 빨리 노출될 수 있어요.
검색 로봇이 왜 우리 집에는 안 올까요?
제 지인 중 한 분이 쇼핑몰을 시작하셨는데, 상품을 수천 개 올려도 네이버나 구글에서 검색이 안 된다며 하소연하신 적이 있어요. 알고 보니 검색 로봇이 들어오지 못하게 문을 꽉 잠가둔 상태였더라고요. robots.txt라는 작은 파일 하나가 그 거대한 쇼핑몰의 입구를 막고 있었던 셈이죠.
검색 로봇은 아주 부지런하지만, 동시에 아주 바쁜 존재랍니다. 전 세계 수억 개의 사이트를 돌아다녀야 하거든요. 그래서 수집 효율이라는 게 정말 중요해요. 로봇이 쓸데없는 페이지에서 시간을 허비하지 않게 길을 잘 닦아주는 것이 우리가 해야 할 첫 번째 일이에요.
이것만은 꼭! robots.txt의 올바른 문법 살펴보기
검색 로봇에게 어떤 방은 들어와도 되고, 어떤 방은 비밀번호가 걸려 있으니 오지 말라고 말해주어야 해요. 예를 들어 관리자 페이지나 중복된 필터 페이지는 굳이 로봇이 읽을 필요가 없겠죠? 이런 곳을 Disallow로 설정해두면 로봇은 그만큼의 에너지를 아껴서 우리 이웃님의 진짜 알짜배기 포스팅을 읽는 데 집중하게 돼요.
간혹 모든 접근을 막아버리는 실수를 하시는 분들도 계세요. User-agent: * Disallow: / 라고 한 줄만 적어두면, 전 세계 모든 검색 로봇에게 내 사이트를 무시하라고 선언하는 것과 같으니 주의가 필요하답니다. 반대로 Allow: /는 모든 문을 활짝 열어두겠다는 뜻이지요.
길을 잃지 않게 지도를 쥐여주는 사이트맵 기술
로봇이 대문에 들어왔다면, 이제 어디에 무엇이 있는지 알려줄 차례예요. 여기서 필요한 게 바로 XML 사이트맵이랍니다. 제 친구는 블로그 카테고리를 너무 복잡하게 나눠놓아서 로봇이 깊숙한 곳에 숨겨진 글을 찾아내지 못한 적이 있었어요. 하지만 사이트맵을 제출하고 나니 며칠 만에 수집이 원활해지는 걸 직접 확인했죠.
사이트맵은 단순히 주소 목록만 나열하는 게 아니에요. 이 글이 언제 마지막으로 수정되었는지, 얼마나 중요한 페이지인지를 로봇에게 귓속말해 주는 역할을 해요. 특히 새 글을 올렸을 때 검색 엔진이 더 빨리 알아채길 원하신다면 이 사이트맵을 최신 상태로 유지하는 게 핵심이랍니다.
1. 크롤링 예산 확보: 무의미한 태그(Tag) 페이지나 검색 필터 URL은 robots.txt에서 차단하여 수집 효율을 극대화하세요.
2. 사이트맵 주소 명시: robots.txt 파일 맨 하단에 사이트맵 경로(Sitemap: http://yourdomain.com/sitemap.xml)를 꼭 적어주세요.
3. 우선순위 설정: XML 사이트맵 내에서 주요 랜딩 페이지와 최신 포스트의 priority를 높게 설정하여 로봇의 관심을 유도하세요.
네이버와 구글의 수집 스타일이 다르다는 점 알고 계셨나요?
예전에 건너 들은 이야기인데, 어떤 분은 구글에는 노출이 잘 되는데 네이버에만 유독 글이 안 뜬다고 고민하시더라고요. 이건 각 검색 엔진마다 로봇이 선호하는 방식이 조금씩 다르기 때문이에요. 네이버는 네이버 서치어드바이저를 통해 명시적으로 사이트맵과 RSS를 제출해주는 걸 무척 좋아해요.
반면 구글은 서치 콘솔을 통해 사이트의 건강 상태를 수시로 체크해주길 바라죠. 두 곳 모두 공통적으로 원하는 건 명확한 구조예요. 로봇이 한 번 방문했을 때 막힘없이 슥슥 긁어갈 수 있는 환경을 만들어주면, 검색 결과의 상단에 우리 이웃님의 소중한 글이 배치될 확률이 비약적으로 높아진답니다.
수집 효율을 가로막는 의외의 복병들
혹시 사이트가 너무 무겁지는 않나요? 로봇은 인내심이 그렇게 많지 않아요. 페이지가 뜨는 데 시간이 너무 오래 걸리면 로봇은 그 집에서 그냥 나가버린답니다. 이미지 용량을 줄이고, 불필요한 스크립트를 정리하는 것도 결국 수집 효율을 높이는 과정의 일부라고 보시면 돼요.
또한 중복 콘텐츠도 조심해야 해요. 똑같은 내용의 글이 다른 주소로 여러 개 존재하면 로봇은 혼란에 빠져요. 이럴 때는 대표 주소(Canonical)를 설정해주어 로봇이 어떤 페이지가 원본인지 확실히 알게 해주는 지혜가 필요합니다. 이런 작은 디테일이 모여서 강력한 검색 노출의 기반이 된답니다.
- 내 사이트 주소 뒤에
/robots.txt를 입력했을 때 제대로 화면이 나오나요?- 사이트맵에 깨진 링크(404 에러)가 포함되어 있지는 않나요?
- 모바일 사용자 경험(UX) 점수가 낮아 로봇이 수집을 꺼리고 있지는 않은지 들여다보세요.
이제 로봇과 더 친해질 준비가 되셨을까요?
결국 이 모든 과정은 검색 엔진이라는 기계와 우리 이웃님이라는 창작자 사이의 대화라고 생각해요. 기계가 알아들을 수 있는 언어로 조금만 친절하게 설명해주면, 기계는 보답으로 더 많은 독자님을 우리 사이트로 안내해 줄 거예요.
어렵게만 느껴졌던 기술적인 설정들도 하나씩 뜯어보면 참 합리적이고 재미있는 구석이 많죠? 오늘 제가 살펴본 내용들을 하나씩 적용해 보시면서, 내 소중한 글들이 검색의 바다에서 당당하게 빛나는 모습을 꼭 보셨으면 좋겠습니다. 혹시 진행하시다가 궁금한 점이 생기면 언제든 편하게 말씀해 주세요!