AI 봇에 크롤링 비용을 부과하면 어떤 에이전트가 당신을 인용할 수 있는지가 결정된다

Search Engine Journal이 Cloudflare와 AWS의 AI 크롤러 과금 기능을 심층 분석하는 기사를 게재했다. 핵심 논지는 크롤러 과금이 수익 수단이 아니라, 어떤 AI 에이전트가 자신의 콘텐츠를 읽고 인용할 수 있는지를 결정하는 가시성 전략이라는 점이다.

무엇이 새로운가

1997년 HTTP 스펙에 정의되었으나 거의 사용되지 않던 402 상태 코드가 AI 크롤러 과금의 핵심 메커니즘으로 부상했다. Cloudflare는 2025년 7월 프라이빗 베타로 도메인별 요청당 고정 가격을 설정하는 기능을 출시했고, AWS는 2026년 6월 15일 WAF Bot Control에 같은 기능을 추가했다. AWS 쪽은 x402 프로토콜을 통해 가격·결제 정보를 기계 판독 가능한 매니페스트로 전달하며, 스테이블코인으로 정산된다. TollBit, Akamai(TollBit·Skyfire 통합) 등도 유사한 에지 레벨 과금을 제공 중이다. 원문은 Cloudflare 자체 데이터를 인용해 AI 봇 활동의 약 80%가 모델 학습 목적이며, 실제 검색·인용 목적 크롤은 소수에 불과하다고 지적한다.

설정 파일에 어떤 의미인가

이 기사는 SEO·콘텐츠 전략 관점의 분석이지, 특정 개발 도구의 설정 파일 변경을 다루는 내용이 아니다. 다만 개발자 인프라 관점에서 짚을 부분이 있다. Cloudflare 대시보드와 AWS WAF 규칙이 이제 접근 제어와 과금을 하나의 레이어에서 처리하게 되었다는 점이다. 기존에 robots.txt나 WAF 룰로 “허용/차단”만 하던 설정이, 봇 유형별·경로별 가격 정책이라는 새 차원을 갖게 된 셈이다. 구체적인 WAF 규칙 문법이나 Cloudflare 설정 옵션은 원문에서 상세히 다루지 않았으므로, 실제 적용 시에는 각 플랫폼의 공식 문서를 직접 확인해야 한다. 특히 x402 프로토콜 기반 익명 봇 결제가 아직 실질적으로 작동하는 단계인지는 원문도 미해결 질문으로 남겨두고 있다.

다음 단계 제안

원문이 권장하는 첫 번째 행동은 “과금 전에 관찰”이다. 자사 사이트에 어떤 AI 봇이 실제로 접근하고 있는지, 그 중 어떤 봇이 AI 답변에서 자사를 인용·추천하는 파이프라인에 연결돼 있는지를 먼저 파악해야 한다. 한 봇, 한 경로에 대해 과금을 시범 적용하고 크롤 볼륨과 AI 답변 내 노출 변화를 측정한 뒤 정책을 결정하라는 것이 원문의 조언이다. Cloudflare나 AWS 환경을 쓰고 있다면, 현재 봇 트래픽 로그부터 분류해보는 것이 가장 현실적인 출발점이다.

---

원문 전체 보기: Charging AI Bots Decides Which Agents Can Still Cite You (Search Engine Journal)