밤새워 쓴 글이 검색결과에서 감쪽같이 사라지고 방문자 그래프가 절벽처럼 꺾이는 현상. 네이버 웹마스터도구 사이트 진단 탭에 들어갔을 때 보이는 붉은색 수집제한 경고창은 그 자체로 거대한 공포입니다.
웹마스터도구 진단 리포트의 핵심은 딱 세 가지 상태로 압축됩니다. 로봇이 아예 들어오지 못하는 수집제한, 들어왔지만 스팸으로 오해받은 색인제외, 그리고 검색엔진 최적화가 덜 된 SEO 문제입니다. 원인을 명확히 알면 죽어가는 사이트도 충분히 다시 살릴 수 있습니다.
어느 날 갑자기 방문자가 반토막 났습니다
제 가까운 지인이 몇일 전 사색이 되어 연락을 해왔습니다. 매일 꾸준히 오르던 일간 조회수가 주말을 기점으로 갑자기 삼분의 일 토막이 났다는 겁니다. 글의 퀄리티가 하루아침에 떨어진 것도 아니고 다루는 주제를 바꾼 것도 아니었죠. 같이 노트북을 켜고 네이버 서치어드바이저에 접속해 현재 상태를 조심스럽게 들여다봤습니다.
상황은 생각했던 것보다 훨씬 참혹했습니다. 정상적으로 수집하여 처리된 문서의 개수를 의미하는 색인 그래프는 바닥에 납작 엎드려 있었습니다. 반면에 문제가 단단히 생겼다는 뜻의 수집제한 막대그래프만 하늘 높은줄 모르고 붉게 치솟아 있었거든요. 진짜 망한 줄 알았습니다. 그동안 쏟아부은 수백 시간이 한순간에 증발하는 기분이었을 겁니다.
수집제한은 검색로봇이 내 글을 가져가려고 방문했다가 문이 잠겨서 그냥 돌아간 뼈아픈 상태를 말합니다. 보통 리다이렉트나 HTTP 프로토콜 문제이거나, 로봇의 접근을 원천적으로 막는 파일 설정 오류가 원인의 대부분을 차지합니다.
아무리 좋은 글을 써도 기계는 문전박대를 당하고 있었습니다
지인의 사이트를 찬찬히 뜯어보니 웹페이지 동작 자체가 검색로봇에게 전혀 친절하지 않은 구조로 심하게 꼬여 있었습니다. 억울할 만도 하죠. 사람은 마우스 휠을 내리며 매끄럽게 잘만 읽고 넘어가는데, 데이터를 긁어가는 기계 입장에서는 텍스트 한 줄 읽을 수 없는 거대한 벽에 막힌 기분이었을 테니까요.
뭐랄까. 아주 정성껏 차린 최고급 식당에 VIP 손님을 초대해 놓고 정작 현관문 비밀번호를 안 알려준 꼴이었습니다. 근데 여기서 끝이 아니었습니다. 어렵게 문을 열고 들어간 로봇조차 일부 문서를 색인제외 처리하며 차갑게 뱉어내고 있었거든요. 수집은 분명히 정상으로 처리되었는데 최종 검색 반영 대상에서 허무하게 탈락해버린 겁니다.
대부분 본문 HTML 마크업에 구조적인 문제가 있거나, 의도치 않게 내용이 텅 빈 페이지로 인식된 경우가 많습니다. 가끔은 내부 알고리즘의 오해로 인해 멀쩡한 글이 스팸 문서나 불용문서로 필터링되는 억울한 일도 발생합니다.
해결은 생각보다 거창한 코딩이 아니었습니다
결국 페이지 전체가 내부 알고리즘에서 소리 없는 불이익을 받고 있었던 상황이었습니다. 심지어 제목과 설명문이 누락된 SEO 문제까지 겹치면서 그야말로 총체적 난국이었죠. 당장 개별 URL 단위로 제공되는 세부 진단 정보를 확인했습니다. 다행히 최신일 기준으로 최대 이천 개까지 문제의 목록을 다운로드할 수 있더라고요.
· 수집 문서 수가 이전 시점 대비 급격하게 감소했는지 체크
· 웹 페이지 마크업에 로봇 메타태그 수집 차단이 숨어있는지 확인
· 대표 주소 설정이 잘못되어 내 문서가 중복으로 인식되는지 점검
엑셀 파일을 듀얼 모니터에 띄워놓고 하나씩 뜯어고치기 시작했습니다. 엄청나게 복잡한 서버 개발 지식이 필요한 과정이 아니었습니다. 그저 가이드라인이 가리키는 대로 꼬인 주소를 하나씩 바로잡고, 텅 비어있는 설명문 태그를 꼼꼼하게 채워 넣는 식의 단순 반복 작업이 이어졌습니다. 솔직히 작업 내내 눈도 아프고 지루했습니다. 그래도 사이트를 살리려면 무조건 해야만 했죠.
기다리는 동안 불안한 마음에 네이버 검색창을 켰습니다. 사이트 도메인 앞에 검색 명령어를 붙여서 직접 조회를 해본 거죠. 현재 색인된 결과가 도대체 얼마나 살아남아 있는지 두 눈으로 직접 확인하고 싶었습니다. 참담하게도 예전에는 끝도 없이 쏟아지던 노출 문서들이 고작 몇 십 개 단위로 초라하게 쪼그라들어 있었습니다. 단순 검색으로 노출되는 문서는 딱 지금 현재의 결과만 덩그러니 보여주기 때문에 내 사이트가 얼마나 망가지고 있는지 기간별 흐름을 알 수 없다는 치명적인 단점이 있습니다.
기다림의 시간, 결국 데이터는 정직하게 움직입니다
그래서 진단 이력 그래프가 그토록 중요한 겁니다. 제한된 수집량이 정상적인 색인량을 무섭게 덮쳐버리는 그 골든타임을 절대 놓치면 안 되니까요. 어떤 분들은 가이드라인에 따라 완벽하게 사이트를 정비했는데도 왜 내일 당장 그래프가 변하지 않냐고 답답해하십니다.
수정 버튼을 누른다고 마법처럼 그래프가 즉시 솟구치는 건 아닙니다. 검색엔진은 보통 최근 구십 일간 수집된 페이지를 바탕으로 주기적인 스냅샷을 찍어 통계를 냅니다. 로봇이 그 먼 길을 다시 돌아와 내 사이트의 변경 사항을 읽어갈 때까지 최소 일주일 이상의 지독한 인내심이 필요합니다. 당장 트래픽 복구가 시급한 핵심 포스팅들만 골라 수동으로 수집요청을 조심스럽게 밀어 넣고 묵묵히 기다렸습니다.
지인 역시 매일 아침 눈을 뜨자마자 모바일로 접속해 새로고침을 누르다 지쳐갈 때쯤. 마침내 멈춰있던 진단 이력의 선 그래프가 꿈틀거리며 위를 향해 요동치기 시작했습니다. 다시 방문을 시작한 검색로봇이 오류가 해결된 페이지들을 긍정적으로 평가하며, 차곡차곡 쌓인 문서들이 정상적인 노출 궤도에 오르기 시작한 겁니다. 막혀있던 숨통이 트이는 기분이었습니다.
원인을 모르는 트래픽 추락은 뼈아픈 공포지만, 데이터를 기반으로 한 진단은 언제나 명확한 해답의 실마리를 던져줍니다. 내 정성스러운 글이 검색 로봇과 올바르게 소통하고 있는지, 혹시 나도 모르게 굳건한 방어벽을 치고 손님을 내쫓고 있었던 건 아닌지 지금 당장 리포트를 열어 점검해 보는 것. 잃어버린 방문자를 가장 빠르고 확실하게 되찾는 유일한 지름길입니다.