블로그 글을 썼다고 해서, 무조건 구글에 색인이 생성되고 구글검색에 노출되는 것은 아니겠습니다.
여러가지 이유로 구글에 색인이 생성되지 않게 되는데, 해결해야 하는 문제들도 있고, 그냥 무시해도 되는 문제들도 있겠는데, 구체적인 오류상황을 보고 판단을 해야 하겠습니다.
이 글에서는 “크롤링됨 – 현재 색인이 생성되지 않음” 문제가 발생하는 여러가지 이유에 대해 알아보고 해결방법에 대해 정리해보았습니다.
1. “크롤링됨 – 현재 색인이 생성되지 않음”의 문제유형
구글 서치 콘솔->페이지->페이지 색인이 생성되지 않는 이유에서 “크롤링됨 – 현재 색인이 생성되지 않음” 문제가 나타나는 페이지들을 확인할 수 있겠습니다.
위 캡쳐는 이 블로그가 실제로 부딪힌 문제들이 되겠고, 3가지 유형이 있겠습니다.
1-1. 표준 페이지 색인 생성 안됨
표준 페이지 즉 응당 색인이 되어야 하는 블로그 글의 URL 주소를 말하는 것인데, 필자는 PostID를 고유주소로 설정했기에, 위 캡쳐에서 나타난 아래 페이지들이 되겠습니다.
- https://hahakuku.com/497/
- https://hahakuku.com/540/
- https://hahakuku.com/181/
1-2. 피드 페이지 색인 생성 안됨
피드 페이지 즉 구글 서치 콘솔에 피드 사이트맵을 제출하게 되면서, 검색로봇이 크롤링하게 되는 페이지들이 되겠습니다.
- https://hahakuku.com/540/feed/
- https://hahakuku.com/comments/feed/
- https://hahakuku.com/111/feed/atom/
feed/는 RSS 피드가 되겠고, feed/atom/는 Atom 피드가 되겠습니다. 이 블로그는 RSS 피드와 Atom 피드 두가지 다 제출한 상태이기에, 두가지 상황이 다 나타나겠습니다.
1-3. 카테고리 페이지 색인 생성 안됨
카테고리 및 태그 페이지는 기본적으로 블로그 글들이 모여있는 것뿐이어서, 구글에서 색인을 잘 생성해주지 않겠습니다.
- https://hahakuku.com/category/japan-life/
이 외에도 다른 유형들의 문제들도 있을 수 있겠으며, 앞으로 겪게되면 다시 업데이트해보도록 하겠습니다.
2. 구글의 페이지 색인 생성 보고서 내용확인
블로그를 운영함에 있어, 구글에 관한 문제가 발생하면은 가장 먼저 구글문서를 찾아보는 것이 좋겠습니다. “크롤링됨 – 현재 색인이 생성되지 않음“의 문제에 대해 구글은 페이지 색인 생성 보고서에서 아래와 같이 언급하고 있습니다.
크롤링됨 – 현재 색인이 생성되지 않음
Google에서 페이지를 크롤링했지만 색인은 생성되지 않았습니다. 이후에 색인이 생성될 수도 있고 생성되지 않을 수도 있습니다. 크롤링을 위해 이 URL을 다시 제출할 필요는 없습니다.
출처 페이지 색인 생성 보고서
구글의 내용을 간단하게 이해해보면은 색인을 생성할 가치가 없는 페이지로 판단했다는 것이겠습니다.
색인을 생성할 가치가 있냐없냐에서 가장 중요한 포인트가, 바로 페이지 내용이 사용자들에게 도움이 되느냐 되지 않느냐가 되겠는데, 페이지 내용이 사용자들에게 도움이 된다면은 나중에 색인이 생성될 수도 있고, 사용자들에게 도움이 별로 안된다면은 나중에도 색인이 생성되지 않을 수 있다는 것이겠습니다.
그래서, “크롤링됨 – 현재 색인이 생성되지 않음“의 문제로 나타난 페이지들이 어떤 내용들인지 확인하는 것이 중요하겠으며, 그에 따라 해결방안을 결정할 수 있다는 것이겠습니다.
3. “크롤링됨 – 현재 색인이 생성되지 않음”의 문제해결
“크롤링됨 – 현재 색인이 생성되지 않음” 페이지에 대해 대다수는 그냥 무시해도 되는 것들이고, 표준 페이지에 대해 색인이 생성되지 않은 것들만 중점적으로 체크해보면 되겠습니다.
3-1. 표준 페이지 색인 생성 안됨
표준 페이지에 대해 색인이 생성되지 않았다는 것은 두가지 이유가 있겠습니다.
3-1-1. 사용자들에게 도움이 되지 못한 내용
즉 내용이 너무 빈약한 것이 원인이 되겠습니다. 이러한 경우, 내용을 보충해주어야 하겠고, 보충할 내용이 딱히 없다면은 그냥 글을 삭제 또는 비공개처리도 생각해볼 수 있겠습니다.
예전에는 내용이 너무 짧아 빈약한 경우, 구글에 색인이 되지 않는 문제가 자주 발생했지만, 구글 검색로봇이 점점 정확도가 올라가게 되면서, 내용이 짧다하더라도 사용자에게 도움이 될 경우, 색인을 생성해주고 있다고 합니다.
3-1-2. 검색로봇이 일시적으로 색인을 생성해주지 않은 것
내용도 충분하고 구성도 전혀 문제가 없지만, 색인을 생성해주지 않을 경우도 자주 있겠습니다. 검색로봇도 실수할 수도 있다는 것이겠습니다.
이 경우에는 별도로 글을 수정 또는 보충해야 할 필요는 없고, 색인요청을 하고 색인이 생성되도록 기다리면 되겠습니다.
3-2. 피드 페이지 색인 생성 안됨
색인이 생성되느냐 되지 않느냐는 것은 사용자들에게 도움이 되는 페이지인지 아닌지가 판단기준이 되겠는데, 피드 페이지는 사용자가 보는 페이지가 아니기에, 색인이 생성되지 않는 것이 당연한 것이겠습니다.
위 캡쳐가 실제로 피드 페이지가 되겠는데, 일반 사용자가 보는 페이지가 아니라는 것을 알 수 있겠습니다.
그래서 “크롤링됨 – 현재 색인이 생성되지 않음” 문제에서 피드 페이지가 색인이 생성되지 않는 것은 해결해야 할 필요가 없고, 그냥 무시하면 되겠는데, 눈에 거슬려서 못견디겠다 또는 방대한 웹페이지의 사이트를 운영하고 있다면은 아래 링크를 통해 피드 페이지를 제거할 수 있겠습니다.
3-3. 카테고리 페이지 색인 생성 안됨
구글에 색인이 생성된다는 것은 구글검색에 노출된다는 것이어서, 일반적인 카테고리 및 태그 페이지에 대해서는 구글검색에 노출되어야 할 필요는 없겠습니다.
기본적인 카테고리와 태그 페이지는 글 제목과 내용의 일부가 나열된 페이지들뿐이어서, 전혀 다른 키워들과 내용들로 짬뽕되어 있어, 구글 검색로봇이 해당 페이지의 중점을 파악하지 못하는 경우가 있겠습니다. 그래서 카테고리와 태그 페이지는 자주 색인이 생성되지 않는 문제가 발생하겠습니다.
해결방법으로는 두가지가 있겠습니다.
3-3-1. 카테고리 페이지 제작
카테고리 페이지를 사용자가 직접 만든다는 것인데, 만든 카테고리 페이지에 글 제목과 내용의 일부만 나열하는 것이 아닌, 블로그 글 작성하는 것처럼 만드는 것이며, 이렇게 만든 카테고리 페이지는 구글에서 도움이 되는 페이지로 인식하여 색인을 생성해줄수 있겠습니다.
3-3-2. 카테고리 페이지에 대해 NOINDEX처리
카테고리에 NOINDEX처리를 통해 구글 검색로봇이 크롤링하지 않도록 하는 것입니다. 크롤링되지 않으면은, 색인 생성여부의 문제도 없어지겠습니다.
3-3-3. 무시
모든 페이지에 대해 색인이 꼭 필요한 것이 아니고, 어차피 카테고리 페이지의 색인은 큰 의미가 없기에, 그냥 무시하는 것도 하나의 방법이 되겠습니다.
4. 마무리
“크롤링됨 – 현재 색인이 생성되지 않음“에는 여러가지 이유가 있겠으며, 대부분은 그냥 무시해도 되는 문제들이 되겠습니다.
주의깊게 봐야 할 것은 표준 페이지에 대해 색인이 생성되지 않는 것들이고, 표준 페이지에 대해 딱히 보충해야 할 내용이 없고, 작성한 내용이 충분히 괜찮다고 생각하면은, “새로운 유효성 검사 시작“을 클릭하고, 색인생성을 요청 후 구글이 색인을 생성해줄 때까지 기다려보면 되겠습니다.
몇개월동안 지나도 페이지 색인이 생성되지 않는다면은, 글 내용을 다시 보충하여 새로 작성하는 것이 좋으며, 보충할 내용이 딱히 없다면은 도움이 되는 페이지가 아닐 가능성이 높기에, 비공개 또는 삭제처리도 생각해볼 수 있겠습니다.
그리고 블로그를 갓 시작했을 경우, 구글에서 새로운 도메인을 인식하는데 최소 1개월이상 소요되기에, 천천히 지켜보는 것도 중요하겠습니다.
댓글