AI 기술이 발전하면서 블로그 콘텐츠를 무단으로 수집하는 크롤러가 늘어나고 있습니다. 블로그 콘텐츠뿐만 아니라 인터넷 상의 모든 정보를 수집하고 있습니다.
특히 AI 기반 검색 엔진, 데이터 수집 봇, 자동화된 콘텐츠 생성 도구 등이 웹을 탐색하면서 유용한 정보를 가져갑니다.
AI를 이용하여 블로그 콘텐츠를 만들어달라고 할 수 있는 것으로 알 수 있는데, 블로그 운영자에게는 이러한 AI 크롤링이 무단 도용과 콘텐츠 중복 등의 문제를 야기할 수도 있습니다.
결국 블로그를 통한 애드센스 수익에도 영향을 줄수 있기에, 우리는 블로그 콘텐츠를 보호하기 최소한의 조치를 취할 필요가 있다고 봅니다.
이 글에서는 AI 크롤러를 차단하는 방법들을 정리해보았습니다.
1. AI 기술이 검색시장에 주는 영향
AI 기술의 발전은 반가운 면도 있지만, 블로그 운영자 입장에서는 치명적일 수도 있겠습니다.
1-1. 전통검색에서 AI 검색
AI 기반 검색 엔진이 활용되기 전에, 사람들은 구글/네이버/다음과 같은 검색사이트를 이용하여, 필요한 정보들을 사이트나 블로그에서 얻었습니다.
그러다, ChatGPT나 DeepSeek처럼 강력한 AI 기술이 발전되면서, 전통적인 검색방법에서 AI 검색으로 전환되어가고 있습니다.
AI 검색은 미리 학습한 인터넷 상의 정보들을 통해 사용자들의 요구에 따라 답변을 제공하고 있는데, 결국 우리가 창작한 블로그 콘텐츠가 기반이 되겠습니다.
그러나, AI 검색은 답변을 제공하는 것뿐, 우리의 블로그에 유입을 만들어주지 않고 있습니다.
1-2. 블로그 애드센스 수익 감소
블로그로의 유입이 감소된다는 것은, 블로그 운영자가 얻어갈 수 있는 애드센스 수익도 감소하게 된다는 것이고, 수익이 감소하게 되면서 블로그 운영의 의미도 조금씩 사라져가게 되겠습니다.
또한, AI를 통해 블로그 콘텐츠를 제작할 수 있는데, 이는 또한 인터넷 상의 사이트 및 블로그의 정보를 토대로 만드는 것이어서, 블로그 콘텐츠를 창작한 운영자에게 경쟁상대를 만들어내는 것으로, 역시 애드센스 수익의 감소가 될 수 있겠습니다.
AI 기술의 발전을 막을 수 있는 것은 아니지만, 블로그 콘텐츠 저작권을 보호해주는 제도가 나올 때까지, AI 크롤러가 우리의 블로그 콘텐츠를 함부로 이용하지 못하도록 제한을 해주는 것이 필요하다는 것이겠습니다.
2. 블로그 콘텐츠 보호를 위한 실질적인 방법
AI로부터 블로그 콘텐츠를 보호하는 방법이란, AI 크롤러가 우리의 블로그 콘텐츠를 크롤링하지 못하도록 제한 또는 차단하는 것이 되겠는데, 콘텐츠를 인터넷에 공개한 이상 100% 막을 수 있는 방법은 없고, 최소한의 노력정도가 되겠습니다.
AI 크롤러를 통제하는 방법은 아래 몇가지가 있습니다.
2-1. 플러그인
플로그인으로 AI 크롤러를 통제하는 것은, 비록 가장 간단한 방법이긴 하지만, 불필요한 플러그인의 설치가 필요하고, 서버 차원에서 AI 크롤러를 차단하는 것이 아니기에, 그닥 추천하지는 않습니다.
✅ 장점
- 워드프레스 환경에서 쉽게 설정 가능 (코딩 지식 불필요)
❌ 단점
- 워드프레스에 플러그인 설치가 많아짐
- JavaScript 기반의 차단이 많아 AI 크롤러가 무시할 가능성이 있음
- 서버 차원에서 차단하지 않기 때문에 크롤러가 여전히 데이터를 가져갈 수도 있음
2-2. robots.txt 파일
robots.txt 파일은 검색 엔진 크롤러 및 AI 크롤러가 블로그 콘텐츠를 크롤링할 수 있도록 허용하거나 차단하는 역할을 합니다.
다만, robots.txt는 검색 엔진 및 크롤러가 “자발적으로” 따르는 규칙으로, “요청”하는 수준이라서 악성 봇이나 AI 크롤러가 이를 무시할 가능성이 높습니다.
즉 특정 AI 크롤러에게 크롤링을 하지 말라고 요청을 했더라도, 해당 AI 크롤러가 규정을 무시하고 콘텐츠를 크롤링할 수 있다는 것입니다.
robots.txt 파일에 관한 상세한 내용은 아래 글에서 확인할 수 있습니다.
2-3 .htaccess 파일
.htaccess는 서버 차원에서 직접 크롤러를 차단하는 강제적인 방식으로, 해당 크롤러가 아예 웹 서버에 접근할 수 없도록 만듭니다.
그렇다고 완벽한 것이 아니고 아래와 같은 장점과 단점이 있겠습니다.
✅ 장점
- 웹 서버 차원에서 특정 AI 크롤러(User-Agent) 차단 가능
- 성능에 미치는 영향이 적음
❌ 단점
- Apache 서버에서만 적용 가능 (Nginx의 경우 다른 설정 필요)
- 설정 실수 시 사이트에 접근 문제가 발생할 수 있음
- IP 기반 차단이 아닌 경우, 크롤러가 User-Agent를 변경하면 우회 가능
User-Agent는 크롤러의 이름으로, .htaccess에서 해당 크롤러의 이름으로 차단하는 경우가 많은데, 해당 크롤러의 이름이 변경되면 차단이 안된다는 것입니다.
또한 JavaScript를 실행하지 않는 AI 크롤러일 경우에도 차단이 안될 수 있습니다.
2-4. JavaScript 코드
일부 AI 크롤러는 JavaScript를 실행하지 않기 때문에 .htaccess로 차단할 수 없는데 JavaScript를 활용하면 콘텐츠 보호가 가능해집니다.
웹사이트는 기본적으로 HTML, CSS, JavaScript로 구성되고, HTML은 웹 페이지의 뼈대를 담당, CSS는 디자인을, JavaScript는 동적인 기능(예: 애니메이션, 버튼 클릭 이벤트, 팝업 창 등)을 추가합니다.
우리가 웹브라우저를 이용해 웹사이트에 접속할 때, JavaScript까지 실행된 최종 결과를 보게 됩니다.
하지만 일부 AI 크롤러는 JavaScript를 실행하지 않고 HTML 코드만 읽고 지나가는데, 이때 .htaccess로 차단에는 한계가 있다는 것입니다.
그래서 JavaScript 코드를 삽입하는 것을 통해, AI 크롤러를 차단할 수 있다는 것입니다.
3. robots.txt 파일 설정방법
특정 AI 크롤러뿐 아니라 구글/네이버/다음 등의 크롤러로부터도 블로그 콘텐츠를 수집하는 것을 막기 위해 robots.txt 파일에서 설정할 수 있는데, 방법은 다음과 같습니다.
User-agent: GPTBot
Disallow: /
User-agent: DeepSeekBot
Disallow: /위 코드를 robots.txt 파일에 삽입하면, ChatGPT와 DeepSeek의 크롤러가 블로그를 크롤링하지 못하도록 차단하는 것이 되겠습니다.
다만, 위에서 언급했듯이 robots.txt 파일의 설정은 요청하는 수준이고, 크롤러가 해당 규정을 무시할 수도 있기에, 완벽한 차단방법은 아니겠습니다.
차단해야 할 AI 크롤러들이 어떤 것이 있는지는 아래 글에서 확인할 수 있습니다.
4. .htaccess 파일 설정방법
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|CCBot|DeepSeekBot) [NC]
RewriteRule .* - [F,L]위 코드는 OpenAI, Common Crawl, DeepSeek 크롤러가 블로그 콘텐츠에 접근하지 못하도록 막아주는 코드가 되겠습니다.
.htaccess 파일의 설정은 Apache 서버를 사용하고 있을 때 가능하고, 타 서버일 경우는 다른 방법을 찾아봐야 하겠습니다.
5. JavaScript 코드 설정방법
워드프레스에서 아래 코드를 테마 편집기의 header.php 파일의 <head>태그에 추가하면 JavaScript 보호기능을을 설정할 수 있습니다.
<script>
document.addEventListener('DOMContentLoaded', function () {
let protectedText = document.getElementById('content');
protectedText.innerHTML = "이 콘텐츠는 JavaScript를 실행하는 브라우저에서만 볼 수 있습니다.";
});
</script>
이렇게 하면, 모든 페이지에서 JavaScript를 실행하지 않는 크롤러는 빈 콘텐츠만 가져가게 됩니다.
6. 마무리
AI 기술의 발전으로 도움을 많이 얻게 되겠지만, 위협도 병존하고 있겠습니다.
과거의 정보들은 이미 AI가 습득했을 것으로, 어쩔 수 없는 것이지만, 지금부터라도 우리가 창작한 콘텐츠라도 보호해 나아가야 하지 않나 싶습니다.
정리를 하면, 현재 AI 크롤러로부터 우리의 블로그 콘텐츠를 보호하는 가장 유효한 방법으로 robots.txt + .htaccess + JavaScript 조합이 되겠습니다.
블로그 내용에 아직 부족한 부분이 많겠지만, 조금조금씩 개선해나가도록 하겠습니다.
댓글