구글 서치 콘솔 “크롤링됨 – 현재 색인이 생성되지 않음” feed/ 피드 페이지 없애는 방법

워드프레스를 운영하다보면은 글이 늘어남에 따라, 구글 서치 콘솔 “크롤링됨 – 현재 색인이 생성되지 않음“에 색인이 생성되지 않은 페이지가 대량으로 증가하게 되겠습니다.

그 중 대부분이 feed 피드 페이지가 되겠는데, 피드 페이지는 딱히 조치할 필요가 없고, 그냥 무시하면 되겠지만, 글 내용이 빈약하거나 사용자에게 도움이 안되는 저품질 페이지들에 대해서는 계속 방치하게 되면, 블로그에 대한 구글의 평가가 저하될 가능성이 있겠습니다.

그런데, “크롤링됨 – 현재 색인이 생성되지 않음“에 피드 페이지가 수십개~수천개로 늘어나다보면, 응당 조치를 취해야 할 저품질 페이지들이 눈에 잘 띄지 않게 되는 경우가 있겠습니다. 그래서 피드 페이지는 직접적인 영향을 주지 않지만, 사람들에게 실수를 범하게 하는 잠재요소가 될 수 있기에, 피드 페이지가 보이지 않도록 설정해볼 수 있겠습니다.

이 글에서는 워드프레스에서 생성되는 피드 페이지를 구글 서치 콘솔 “크롤링됨 – 현재 색인이 생성되지 않음”에 나타나지 않도록 하는 설정방법을 정리해보았습니다.

1. 구글 서치 콘솔에서 피드 페이지 확인

구글 서치 콘솔->페이지->”크롤링됨 – 현재 색인이 생성되지 않음”에서 색인이 생성되지 않은 페이지 리스트를 확인할 수 있겠습니다.

글 100개정도 작성했을 당시 생성된 피드 페이지가 27개이었으며, 그래프를 보면 아시겠지만, 꾸준히 증가하는 추세가 되겠습니다.

실제 URL 테스트를 통해, 피드 페이지의 상태를 확인할 수 있는데, 위 캡쳐를 보면은 크롤링 및 색인 생성이 모두 허용되어 있는 상태이지만, 색인이 생성되지 않은 상황이겠습니다.

그 이유는 오른쪽 피드 페이지의 내용을 보면 알 수 있겠는데, 사용자들에게 도움이 되는 페이지가 아니어서, 구글이 색인생성을 해주지 않는 것이겠습니다.

“크롤링됨 – 현재 색인이 생성되지 않음“에 피드 페이지가 증가됨에 따라, 실질적으로 블로그에 영향을 주는 것은 없겠습니다만, 수천수만개의 웹페이지가 있는 사이트일 경우 피드 페이지의 양도 방대해지기에, “크롤링됨 – 현재 색인이 생성되지 않음”에 나타나는 다른 저품질 페이지를 확인하는 것이 어려질 수 있겠습니다.

워드프레스 구글 서치 콘솔 "크롤링됨 - 현재 색인이 생성되지 않음" 문제해결

블로그 글을 썼다고 해서, 무조건 구글에 색인이 생성되고 구글검색에 노출되는 것은 아니겠습니다.여러가지 이유로 구글에 색인이 생성되지 않게 되는데, 해결해야 하는 문제들도 있고, 그냥 무시해도 되는 문제들도 있겠는데...

anotherark.com

2024.11.24

그래서, 잠재적인 위험요소 또는 단순히 눈에 거슬리는 이유로, 피드 페이지가 “크롤링됨 – 현재 색인이 생성되지 않음”에 나타나지 않도록 설정할 수 있는데, 그 방법이 바로 피드 페이지에 대해 색인생성을 허용하지 않는 방법이 되겠습니다.

2. 피드 페이지 색인생성 제외방법

피드 페이지를 “크롤링됨 – 현재 색인이 생성되지 않음“에서 나타나지 않게끔 즉 색인생성을 허용하지 않게 하는 방법이 다음 두가지가 있겠습니다. 하나는 플러그인을 통해 색인생성 제외하는 방법, 또 하나는 function.php에 색인생성 제외 코드를 삽입하는 것이겠습니다.

robots.txt에서 피드 페이지의 크롤링자체를 거부하는 방법도 있는데, 피드 페이지는 구글에 색인생성이 필요없는 존재이지만, 크롤링은 꼭 해야 하는 존재이기에, 크롤링자체를 막는 것은 적합하지 않겠습니다.

2-1. 플러그인으로 피드 페이지 색인생성 제외방법

워드프레스를 운영함에 있어 플러그인은 가능한 적게 설치하는 것이 좋기에, 설치된 플러그인에 피드 페이지 색인생성을 제외하는 기능이 있다면은 사용하셔도 좋고, 굳이 피드 페이지의 색인생성을 제외하고자 플러그인을 설치하는 것은 추천하지 않겠습니다.

가장 많이 사용되고 있는 All In One SEO Pack 플러그인에 피드 페이지 색인생성을 제외하는 기능이 있으니, 상세한 방법은 링크를 클릭하여 확인하시면 되겠습니다.

Setting Noindex for RSS Feeds

플러그인을 고집할 필요없고, 아래 테마편집기를 통해서도 간단하게 처리할 수 있으니, 아래 방법을 참고하시면 되겠습니다.

2-2. 테마편집기 function.php에 코드 삽입

외모->테마 파일 편집기에서 function.php를 찾아 피드 페이지에 대해 색인생성 제외 즉 noindex 설정을 할 수 있는데, 설치한 테마에 따라 편집해야 할 function.php이 다르겠습니다.

테마가 하나뿐이라면, function.php도 하나이겠는데, 부모테마와 자식테마로 나뉘어져 있을 경우, 자식테마의 function.php에 설정해야 하겠습니다. 부모테마와 자식테마로 나뉘어져 있을 경우, 테마의 업데이트가 이루어지게 되면은 부모테마에 설정한 내용들이 초기화되고, 자식테마의 설정은 초기화되지 않기에, 자식테마에 코드를 삽입하는 것이 좋겠습니다.

현재 이 블로그에서 사용하는 것이 부모테마와 자식테마 두가지가 있는 Cocoon 테마인데, 위 캡쳐에서처럼 자식테마의 function.php를 편집했습니다.

//X-Robots-Tag noindex feed
add_action('template_redirect', function(){
    if ( is_feed() && headers_sent() === false ) {
        header( 'X-Robots-Tag: noindex, follow', true );
    }
});

피드 페이지의 색인생성을 제외하는 코드는 위와 같으며, 복사하여 사용하셔도 되겠습니다.

참고로 피드 페이지는 xml로 만들어진 것이어서, html의 <header>…</header>에 아래 noindex 코드를 삽입하는 방법으로는 제어할 수 없겠습니다.

<meta name="robots" content="noindex" />

3. 피드 페이지 색인생성 제외설정 확인

피드 페이지의 색인생성 제외를 설정하고, 구글 서치 콘솔에서 바로 설정이 제대로 되었는지 확인이 가능하겠습니다.

URL검사에서 피드 페이지의 실제 URL 테스트를 클릭하면, 위 캡쳐에서처럼 크롤링 허용이 되지만, 색인생성이 허용되지 않는 것으로 나타나겠습니다.

위 처럼 메시지가 나타나면은 피드 페이지의 색인생성 제외설정이 제대로 된 것이고, “크롤링됨 – 현재 색인이 생성되지 않음“에서 피드 페이지가 줄어드는 것을 기다리면 되겠는데, 반영이 바로 되는 것이 아닌 수개월정도 걸리게 되겠습니다.

4. 마무리

“크롤링됨 – 현재 색인이 생성되지 않음“에 나타나는 저품질 페이지를 방치할 경우, 블로그에 대한 구글의 평가가 저하되겠습니다.

피드 페이지는 실질적으로 블로그 평가에 아무런 영향이 없지만, 눈에 거슬려 보기 싫다면은 또는 방대한 웹페이지의 사이트를 운영한다면은 피드 페이지를 색인생성에서 제외시키는 것을 시도해볼 수 있겠습니다.

robots.txt는 검색엔진의 크롤링자체를 거부할 때 사용하는 설정인데, 피드 페이지는 색인생성이 필요없는 것이지, 크롤링이 필요없는 존재는 아니겠습니다. 그래서 robots.txt에서 피드 페이지에 대해 크롤링을 거부하는 것은 적절하지 않겠습니다.

플러그인을 사용하지 않고 피드 페이지를 색인생성에서 제외하고자 하면은, 테마 파일 편집기에서 function.php에 제외 코드를 삽입해야 하겠습니다. 혹시나 잘못 건들 수 있으니, 코드를 삽입하기 전에 기존 function.php 내용을 꼭 백업하는 것이 좋겠습니다.