AI Crawler Control: 許可、制限、課金をどう判断するか

AI crawlerの扱いは、単なる技術設定ではありません。公開の製品説明は発見される価値がありますが、有料レポート、会員コミュニティ、社内ナレッジは同じルールにできません。

ページ種別	初期方針
SaaSブログ	許可し、引用と流入を監視
製品ドキュメント	重要なcrawlerを許可し、回答の正確性を確認
有料アーカイブ	制限、ライセンス、または課金
コミュニティ投稿	同意、権利、個人情報を先に確認
社内ナレッジ	robots.txtではなくアクセス制御

robots.txtは協力的なcrawlerへの意思表示であり、アクセス制御ではありません。GooglebotとGoogle-Extendedも別の目的を持つため、user-agentを区別して設定する必要があります。

先にコンテンツ資産を分類する

ドメイン全体に一つのルールを置くのは、ほとんどの場合で粗すぎます。公開のSaaS記事は見つけてもらう資産です。製品ドキュメントは正確な回答を支える資産です。有料レポートは内容そのものが商品です。コミュニティ投稿には、同意や個人情報の問題が加わります。

ページ群	最初の方針	理由
公開ブログ、比較、用語解説	許可し、引用を観察する	需要創出、ブランド、情報源としての可視性に役立つ
製品ドキュメント	重要なdiscovery crawlerを許可し、回答の正確性を確認する	正確ならsupport負荷を下げ、誤りなら製品リスクになる
価格とプラン	検索は許可し、要約を慎重に確認する	古い料金説明は購入の障害になる
有料レポート、データ、テンプレート	制限、ライセンス、または課金を検討する	内容自体が販売価値である
コミュニティ、UGC	権利、モデレーション、privacyを先に確認する	運営者が再利用権を持たないことがある
社内ナレッジ	アプリケーションのアクセス制御で守る	robotsの設定はアクセス制御ではない

問いは「AI botを好きか嫌いか」ではありません。どのページが顧客獲得の資産で、どのページが守るべき資産か。そして、どの証拠が方針変更を正当化するかです。

robots.txtは意思表示であり、鍵ではない

RFC 9309のrobots.txtは、協力的なcrawlerにcrawlの希望を伝える仕組みです。botの身元を認証せず、規則を無視するscraperを止めず、有料コンテンツを守らず、モデルが過去に使わなかったことも証明しません。守る必要がある情報には、ログイン、paywall、署名付きアクセス、rate limit、WAFやBot管理が必要です。

ここには複数の担当が関わります。SEOは発見可能性への影響を、Engineeringは実際の制御を、編集・法務は権利を、Product Marketingはクリックなしの露出が価値になるかを判断します。一つの設定ファイルだけでは、これらの判断はできません。

変更前の判断マトリクス

質問	はいの場合	いいえの場合
読者や顧客を獲得するページか	主要なdiscovery crawlerを許可し、引用を測る	非検索系AI crawlerを限定する
有料、非公開、ライセンス、コミュニティの内容か	robots以外の層で守る	公開crawl方針で十分な場合がある
クリックがなくてもAI回答の露出が事業に役立つか	言及と引用も測る	referralとconversionをより重視する
どのbotかを特定できるか	botごとの狭いルールを書く	まずブロックせずログを取る
負荷やコストが大きいか	rate limitやchallengeを検討する	早すぎる遮断をしない
ライセンスや価格の道があるか	対価と許可のモデルを試す	価値が分かるまで観察する

GooglebotはSearchのindex用であり、Google-Extendedは特定の生成AI製品に関する別のコントロールです。同じものとして扱うと、守りたいものではなく通常の検索可視性を傷つける可能性があります。変更前に、user-agent、公式の役割、対象パスを記録してください。

30日テスト

ページ種別ごとのcrawl量、引用URL、ブランド言及、流入、問い合わせを記録します。その後、一つのページ群だけに狭いルールを適用し、変化を比較します。全体を一度に閉じるより、証拠に基づく判断になります。

週	作業	得るもの
1	ページ群を整理し、パスごとのbot活動を記録する	コンテンツ種別ごとのcrawl基準値
2	固定したAI searchの質問を確認する	引用とブランド言及の時点記録
3	一つのページ群だけに狭いルールを適用する	比較できる方針変更
4	crawl、エラー、流入、問い合わせ、conversion、引用を比べる	維持、調整、元に戻す判断

日本のSaaSなら、日本語と英語の製品説明は顧客獲得のために公開し、API docsは回答の正確性を監視し、有料テンプレートや顧客領域はアクセス制御で守る、と分けられます。AI回答が日本語ページではなく古い英語ページを使うなら、単にcrawlerを閉じるより、公開情報と導線を更新する方が問題を解くことがあります。

高くつく失敗

広くブロックすると通常のSearch crawlerまで巻き込むことがあります。弱い保護は有料コンテンツやcommunity dataを漏らします。clickだけを見るとブランド言及や補助的な需要を見落とし、言及だけを見るとコストとconversionを見落とします。市場が動く中で恒久ルールを作るより、担当者、測定期間、戻す手順を持つ実験として扱う方が安全です。

更新と責任者を決める

AI crawlerの方針は一度決めて終わりではありません。新しい有料コンテンツ、docs、community、価格ページ、botの挙動が変われば、ページ群ごとの価値とリスクも変わります。各ルールに対象パス、理由、owner、観察する指標、元に戻す条件を残してください。

記録すること	例
対象	有料レポート、公開docs、日本語の製品説明
方針	Allow、monitor、rate limit、block、license
理由	顧客獲得、正確な回答、著作物保護、privacy
Owner	Engineering、SEO、編集、Legalの責任者
再確認	crawl量、引用、support誤解、conversionを30日後に見る

この記録があれば、「AI botを全部閉じるか」という感情的な議論を避けられます。公開の説明ページを見つけてもらう価値と、顧客領域や有料資産を守る必要を、同じ表の中で比較できます。