정성껏 작성한 포스팅이 100개를 넘어갔음에도 방문자 수가 제자리걸음이라면, 검색 엔진 로봇이 내 블로그 안에서 길을 잃고 헤매고 있다는 명백한 증거입니다. 매일 밤낮없이 고민하며 글을 발행하는데도 아무도 찾아오지 않는 텅 빈 방문자 통계를 마주하는 것은 정말 진 빠지는 일이지요.
제 가까운 지인 중 한 명은 최근 큰 맘 먹고 1인 창업을 시작하면서, 홍보를 위해 자사몰에 매일같이 장문의 칼럼을 올렸습니다. 제품에 대한 깊은 철학과 고객의 후기를 진정성 있게 담아냈기에 금방 반응이 올 것이라 기대했었죠. 하지만 세 달이 지나도록 자연 검색 유입은 숫자 0에 머물러 있었습니다.
답답한 마음에 저를 찾아온 지인의 사이트를 찬찬히 들여다보니, 글의 내용이나 품질은 전혀 문제가 없었습니다. 진짜 문제는 구글과 네이버의 검색 로봇이 어떤 글을 읽어야 할지 몰라 엉뚱한 곳에서 맴돌고 있었다는 사실이었습니다. 곁에서 그 뼈아픈 실패 과정을 지켜보며, 길을 제대로 터주는 것이 얼마나 중요한지 뼈저리게 느끼게 되었습니다.
1. 여기가 진짜 원본입니다: 선호 URL (Canonical) 지정하기
2. 이 방은 들어오지 마세요: 로봇 메타 태그 (Robots Meta)로 문 닫아두기
아무리 좋은 글을 써도 노출이 안 되던 진짜 이유
지인은 하나의 좋은 글을 작성하면, 이를 더 많은 사람에게 보여주고 싶은 마음에 사이트 내의 '이벤트' 게시판에도 올리고 '공지사항' 게시판에도 똑같이 복사해서 올려두었습니다. 사람의 눈으로 볼 때는 그저 카테고리만 다를 뿐이지만, 검색 로봇의 입장에서는 완전히 똑같은 문서가 여러 주소에 존재하는 것으로 인식하게 됩니다.
이렇게 동일한 콘텐츠가 여러 개의 주소로 흩어져 있으면, 똑똑한 줄로만 알았던 검색 엔진은 깊은 혼란에 빠지게 됩니다. "도대체 어떤 주소가 진짜 원본이지?" 하고 고민하다가, 결국 모든 글의 품질 점수를 깎아버리거나 유사 문서로 분류하여 검색 결과에서 통째로 누락시켜 버리는 무서운 결과를 낳습니다.
게다가 지인의 사이트에는 관리자만 보려고 만들어둔 테스트 페이지, 결제를 위한 빈 장바구니 페이지 등 검색 결과에 나오면 안 되는 자잘한 문서들이 활짝 열려 있었습니다. 검색 로봇은 하루에 읽어갈 수 있는 문서의 양이 정해져 있는데, 이런 쓸모없는 빈 페이지들을 읽느라 귀중한 시간을 다 써버리고 정작 공들여 쓴 메인 칼럼은 쳐다보지도 못하고 돌아가버렸던 것입니다.
첫째, 내용이 같은 페이지가 여러 개라면 오직 단 하나의 대표 주소를 로봇에게 명확히 짚어주어야 합니다.
둘째, 사이트 내의 불필요한 페이지는 로봇이 아예 접근하지 못하도록 진입 금지 팻말을 걸어두어야 문서 수집 효율이 극대화됩니다.
진품 인증 마크를 달아주는 선호 URL 설정법
동일한 내용의 글이 여러 주소로 존재할 때, 검색 로봇에게 "다른 건 다 무시하고 이 주소가 진짜 오리지널입니다"라고 알려주는 기능이 바로 선호 URL입니다. head 태그 영역 안에 link 태그를 사용하여 지정하게 되는데, 이를 통해 흩어져 있던 글의 가치가 하나의 진짜 주소로 온전히 모이게 됩니다.
지인에게 이 설정을 적용해 주면서 가장 강조했던 부분은 주소를 적는 방식이었습니다. 단순히 페이지 이름만 적는 상대 경로가 아니라, 'http' 혹은 'https'로 시작하는 완벽한 전체 주소, 즉 절대 경로를 사용해야만 로봇이 헷갈리지 않고 정확하게 원본을 찾아갈 수 있습니다.
URL 주소를 표현하실 때는 줄여 쓰지 마시고 반드시 절대 경로를 사용해 주세요. 또한, 사이트의 메인 페이지라면 태그를 쓰기보다는 HTTP 리다이렉트를 활용하여 방문자가 혼동하지 않게끔 깔끔하게 넘겨주시는 것이 훨씬 안전합니다.
쓸데없는 방은 과감히 닫아두는 메타 명령어
진품 인증 마크를 달았다면, 그다음은 쓸데없는 곳으로 로봇이 새어나가지 않도록 문을 닫아줄 차례입니다. 이때 사용하는 것이 바로 로봇 메타 태그입니다. 이 태그를 활용하면 페이지별로 로봇이 정보를 수집해 갈지 말지, 또 페이지 안의 링크를 따라갈지 말지를 아주 세밀하게 통제할 수 있습니다.
사용할 수 있는 명령어의 조합은 생각보다 직관적이고 간단하게 구성되어 있습니다.
· index, follow : 기본 상태로, 검색 결과에 글을 노출하고 내부 링크도 모두 따라가게 둡니다.
· noindex, follow : 글 자체는 검색에서 빼주되, 페이지 안의 링크들은 로봇이 따라가서 읽게 해줍니다.
· noindex, nofollow : 아예 검색에 노출도 하지 말고, 링크도 타지 말고 그냥 나가라고 지시합니다.
· nosourceinfo : AI가 이 페이지를 요약해서 자동 출처 설명으로 쓰는 것을 막아줍니다.
제 지인의 경우, 장바구니나 개인정보 취급 방침 같은 페이지에는 모조리 세 번째 명령어인 noindex, nofollow를 걸어버렸습니다. 로봇이 이런 무의미한 방을 서성이는 시간을 완전히 차단해 버린 것이죠.
더 상세한 기술적 구현 방법이 궁금하시다면 구글이 제공하는 검색엔진 최적화 가이드를 참고해 보시는 것도 시야를 넓히는 데 큰 도움이 되실 겁니다.
내 블로그 안에서 로봇이 다니는 길을 '선택과 집중'으로 재설계하세요. 퀄리티 높은 본문에는 선호 URL을 달아주고, 굳이 검색에 뜰 필요 없는 자잘한 페이지들은 noindex 명령어로 닫아버리는 것만으로도 내 사이트 전체의 전문성 점수가 확연하게 올라갑니다.
이제 잃어버린 방문자를 쑥쑥 되찾아올 시간입니다
이 두 가지 설정을 마치고 딱 한 달 뒤, 지인에게서 떨리는 목소리로 연락이 왔습니다. 그토록 꿈쩍도 안 하던 방문자 그래프가 드디어 우상향 곡선을 그리며 치솟기 시작했다는 소식이었습니다. 좋은 글이 검색 로봇이라는 든든한 날개를 달고 마침내 진짜 독자들과 만나게 된 것입니다.
글을 쓰는 능력과 사이트를 기술적으로 정돈하는 능력은 수레의 양바퀴와 같습니다. 아무리 화려한 마차를 만들었어도 바퀴 하나가 빠져 있으면 앞으로 나아가지 못하는 것처럼 말이지요. 오늘 살펴본 원리를 여러분의 공간에도 하나씩 천천히 적용해 보시기를 권해드립니다.
지인의 텅 비었던 방문자 그래프가 솟구치던 그 짜릿한 순간의 감동을 아직도 잊을 수 없습니다. 정성 들여 쓰신 이웃님들의 소중한 글들이 검색 로봇이라는 정확한 나침반을 만나 더 많은 사람들의 마음속에 가닿기를 진심으로 응원하겠습니다.