블로그 페이지들이 구글검색에 노출되기 위해 두가지 과정이 필요하겠습니다.
하나는 블로그 페이지들이 구글검색로봇에 의해 크롤링되어야 하고,
또 하나는 해당 페이지들이 구글에 색인이 생성되어야 합니다.
구글검색로봇에 크롤링되도록 도움을 주는 것이 사이트맵이 되겠고, 사이트맵에 기록된 블로그 페이지 URL 주소들이 구글에 색인이 생성되면서, 구글검색에 노출되는 것이겠습니다.
사이트맵에 기록된 페이지들에 문제가 없다면은 색인이 제대로 생성이 되겠지만, 각종 이유로 색인이 생성되지 않기도 하는데, 이 글에서는 “‘NOINDEX’ 태그에 의해 제외되었습니다.”의 문제에 대해 정리해봅니다.
결론부터 얘기하자면은 “‘NOINDEX’ 태그에 의해 제외되었습니다.”의 이유로 색인이 생성되지 않은 것은 대부분 큰 문제들이 아니기에, 그냥 무시해도 되고, 블로그 운영에 대해 조금 더 깊이 공부를 하고자 하면은 이 글을 읽어보시고, 처리작업을 해주셔도 좋겠습니다.
우선 “‘NOINDEX’ 태그에 의해 제외되었습니다.”의 이유로 색인이 생성되지 않은 로직에 대해 이해해보고, 해결책을 정리해보도록 하겠습니다.
1. ‘NOINDEX’ 태그란?
NOINDEX란 말 그대로 인덱스를 하지 않겠다는 뜻으로 즉 색인생성을 하지 않겠다는 것이겠습니다.
더 쉽게 설명하면은 구글검색로봇이 사이트맵에 기록된 URL에 따라 페이지들에 대해 크롤링하면서, 색인을 생성해주는 작업을 하고 있는데, ‘NOINDEX’ 태그가 삽입되어 있는 페이지에 대해서는 색인을 생성해주지 않고, “‘NOINDEX’ 태그에 의해 제외되었습니다.”라는 메시지를 띄워주는 것이겠습니다.
1-1. ‘NOINDEX’ 태그의 역할
구글에 색인이 생성되지 않은 페이지는 구글검색에서 노출되지 않기에, 구글검색에 노출하고 싶지 않은 페이지에 대해서는 ‘NOINDEX’ 태그를 삽입해주면 된다는 것이겠습니다.
기본적으로 일반적인 웹페이지에 대해서는 ‘NOINDEX’ 태그는 삽입되어 있지 않고, ‘NOINDEX’ 태그를 삽입하고자 하면 사용자가 별도로 페이지별로 작업을 해야 하는데, 페이지에 아래와 같은 메타태그를 삽입하는 것이겠습니다.
‘NOINDEX’ 태그
<meta name=”robots” content=”noindex” />
1-2. ‘NOINDEX’ 태그의 삽입
워드프레스에서는 굳이 페이지별로 ‘NOINDEX’ 태그를 직접 삽입할 필요 없고, 설정화면 또는 플러그인의 설정으로 ‘NOINDEX’ 태그를 쉽게 삽입 또는 삭제처리를 할 수 있습니다.
2. ‘NOINDEX’ 태그에 의해 제외 이유 알아보기
‘NOINDEX’ 태그는 구글에 색인이 생성되지 않도록 하는 역할을 하고, 사이트맵은 구글에 색인생성이 잘 되도록 하는 역할로 서로 상반되는 작용을 하고 있습니다.
구글검색로봇은 사이트맵에 기록된 URL 주소를 참고하여 블로그의 페이지들을 크롤링하게 되며, 사이트맵에 기록된 페이지에 대해서는 기본적으로 색인생성을 원하는 페이지들로 인식하고 색인생성을 하려고 합니다.
그런데, 사이트맵에 기록된 페이지에 ‘NOINDEX’ 태그가 삽입되어 있으면, 결국 ‘NOINDEX’ 태그가 결정적인 역할을 하기에, 색인생성을 하지 않게 됩니다.
즉, 사이트맵에는 페이지 URL 주소가 기록되어 있는데, ‘NOINDEX’ 태그가 삽입되어 있다는 것은 서로 모순이 되는 상황이라는 것이겠습니다.
그래서 이러한 상황에 구글 서치 콘솔에서는 “‘NOINDEX’ 태그에 의해 제외되었습니다.”의 메시지를 띄워주면서, 사이트맵에 기록된 페이지에 ‘NOINDEX’ 태그가 삽입되어 있다고 알려주고 있습니다.
결론적으로 페이지에 삽입된 ‘NOINDEX’ 태그가 결정적인 역할을 하기에, 구글에 색인이 생성되지 않기에, 우리가 고의적으로 색인생성을 원하지 않는 페이지일 경우, 이 메시지는 그냥 무시해도 전혀 문제가 없다는 것이겠습니다.
다만, 보다 올바른 방법으로는 ‘NOINDEX’ 처리된 페이지는 사이트맵에서도 제외해주는 것이 좋다는 것이겠습니다. 그래서 “‘NOINDEX’ 태그에 의해 제외되었습니다.” 문제의 해결책도 사이트맵에서 ‘NOINDEX’ 처리된 페이지를 제외해주면 되는 것이겠습니다.
3. “‘NOINDEX’ 태그에 의해 제외되었습니다.” 문제 해결방법
구글 서치 콘솔->페이지에서 페이지 색인이 생성되지 않는 이유들을 확인할 수 있으며, “‘NOINDEX’ 태그에 의해 제외되었습니다.” 이유를 클릭하면은 어떠한 페이지들이 색인생성에서 제외되었는지 확인할 수 있겠습니다.
이번에 문제가 되는 두 페이지는 각각 아래와 같습니다.
https://hahakuku.com/category/japan-life/ -> 카테고리 페이지
https://hahakuku.com/sitemap.html -> 사이트맵 페이지
하나는 카테고리 페이지가 되겠고, 하나는 사이트맵 페이지가 되겠는데, 해결방법은 워드프레스에서 사용하고 있는 사이트맵을 작성한 플러그인에 따라 다를 수 있겠지만, 로직만 이해하면은 자체적으로 해결이 가능하겠습니다.
3-1. ‘NOINDEX’ 태그에 의해 제외 -> 카테고리 페이지
이 블로그는 XML Sitemap Generator for Google 플러그인을 통하여 사이트맵을 작성하였기에, XML-Sitemap 설정에서 ‘NOINDEX’ 태그에 의해 제외에 관한 문제를 해결할 수 있었습니다.
워드프레스의 설정->XML-Sitemap->Sitemap Content 항목에 Include categories가 있습니다.
이 부분에 체크를 하게 되면 카테고리 URL 주소들이 구글 서치 콘솔에 제출하는 사이트맵에 추가된다는 것이고, 체크를 해제하게 되면은 사이트맵에서 제외한다는 것이겠습니다.
카테고리에 대해 NOINDEX 처리를 했다면은, 사이트맵에서도 꼭 제외를 해주는 것이 좋겠으며, 사이트맵에서 제외를 하게 되면, 구글 서치 콘솔에서 더 이상 “‘NOINDEX’ 태그에 의해 제외되었습니다.” 문제가 발생하지 않겠습니다.
3-2. ‘NOINDEX’ 태그에 의해 제외 -> 사이트맵 페이지
사이트맵을 만들어주는 XML Sitemap Generator for Google 플러그인을 사용하게 될 경우, Include sitemap in HTML format에 체크하면, 아래와 같은 HTML형식의 사이트맵이 생성됩니다.
https://example.com/sitemap.html이 HTML사이트맵에는 ‘NOINDEX’ 태그가 설정되어 있으면서, XML사이트맵에도 포함되어 있습니다.
그래서 구글 서치 콘솔에서 해당 HTML사이트맵에 대해 “‘NOINDEX’ 태그에 의해 제외되었습니다.”의 이유로 색인을 생성해주지 않게 됩니다.
해결방법으로는 Include sitemap in HTML format의 체크를 해제해주고, 구글 서치 콘솔에서 새로운 유효성 검사 시작을 클릭해주고, 기다리기만 하면 되겠습니다.
4. 마무리
“‘NOINDEX’ 태그에 의해 제외되었습니다.”의 이유로 발생한 문제는 대부분 그냥 무시해도 되는 것들이며, 혹시나 NOINDEX 처리하면 안될 페이지를 NOINDEX 처리하여 발생한 문제들일 경우, ‘NOINDEX’ 태그를 삭제해주면 되겠습니다.
이해해야 하는 것은, 사이트맵과 ‘NOINDEX’ 태그의 역할이 되는 것이겠으며, 사이트맵에 기록된 URL 주소들은 기본적으로 구글에 색인생성을 원하는 페이지들이 되겠고, ‘NOINDEX’ 태그는 구글에 색인생성을 하지 않으려는 페이지에 삽입하는 메타태그가 되겠습니다.
결정적으로 ‘NOINDEX’ 태그가 적용이 되어, 구글에 색인이 생성되지 않기에, 사이트맵의 설정을 바꿀 수 있으면 바꾸고, 바꿀 수 없다면은 그냥 무시해도 전혀 문제가 없겠습니다.
지금까지 겪은 상황은 사이트맵 페이지와 카테고리 페이지 두가지 뿐이지만, 다른 페이지에서 ‘NOINDEX’ 태그에 의해 제외되었다는 메시지가 발생했다면은, 사이트맵의 설정화면을 잘 찾아보면은 답이 보일 수 있겠습니다.
댓글