Created To Create

AIスクレイピング対策を調べていたら、気づけばAIシステムの地図を描いていた話

見出し画像

一本のニュース記事からの出発

今回のnote記事を執筆するきっかけは、一本のニュース記事でした。
広告・メディア業界のニュースサイトであるDigidayの「WTF is LLM honeypotting?」。

出版社やEC事業者が、AIスクレイピング対策として"LLMハニーポッティング"という手法を使い始めている、という内容です。ボットを無意味なコンテンツへ誘導し、取得や解析にかかる計算コストを増やすことで、無断スクレイピングの経済合理性そのものを崩そうとする。理屈としては面白いけれど、実際にやってみると副作用も多い、という話でした。
正直に言うと、最初は「へえ、そんな対策があるのか」くらいの軽い気持ちで読んでいました。でも読み終えたとき、なぜか引っかかりが残りました。
出版社・EC事業者(コンテンツ提供者側)と、AIモデル提供者・AIクローラー運営者・AIスクレイピング実施者(コンテンツ2次利用者側)。この両者の間に横たわる利害の衝突。片方を守ろうとすれば、もう片方が窮屈になる。この「どちらか一方を守っても、根本解決にはならない」という構図に、妙に惹かれたためです。

「なぜ対策が必要なのか」から辿り始めた

引っかかりの正体を確かめたくて、少しずつ言葉を追いかけ始めました。
そもそも、AIスクレイピングのコストとは何なのか。単にページを取得するだけではなく、本文抽出、重複排除、品質判定、チャンク分割、Embedding生成、索引化という工程を経て、はじめてAIが使えるデータになる。無意味なページであっても、この工程を通せばCPU、GPU、ストレージ、電力を消費する。LLMハニーポッティングは、この構造を逆手に取っているわけです。
では、なぜそもそも「対策」が必要になったのか。従来の検索エンジンは、Webページを索引化し、検索結果から元サイトへ利用者を送ることで、コンテンツ提供者と一定の共生関係を築いてきました。ところが生成AIは、取得した情報をもとにその場で回答や要約を完結させてしまう。利用者が元サイトを訪れなくても目的を達成できてしまうため、出版社にとってはPVや広告収益、購読が、EC事業者にとってはブランド接点や商品購入の機会が、静かに目減りしていく可能性があるということでした。
整理していく中で、そもそも何が変わったのかを一度表にしてみました。

従来の検索エンジンとAI検索との比較

問題は「AIがWebを読むこと」そのものではなく、コンテンツの生成コストを負担する側と、その価値を2次利用する側との間で、送客・対価・許諾・責任の仕組みがまだ十分に整っていないことにあるのだと、ここで腑に落ちました。
ここまでは、まだ「対策技術の話」として読んでいました。

軍拡競争という構図と、ふと浮かんだ言葉

ただ、LLMハニーポッティングの機能と限界を追っているうちに、少し違う角度が見えてきました。
ハニーポットを用意する側もサーバや運用コストを負担する。正当なクローラーや研究用途を誤って巻き込むこともある。ボット判定回避(コンテンツ2次利用者側)と罠の高度化(コンテンツ提供者側)がイタチごっこのように続いていく。これは、セキュリティの世界でよく言われる「軍拡競争」そのものだと感じました。ゲーム理論でいう、互いが最適な一手を打ち続けても、全体としては誰も得をしない構図に近い。

出版社・EC事業者側だけを守れば、

  • AIの学習や検索の質が落ちる。

  • 地球の貴重なエネルギー資源を無駄に浪費する。

AI側の自由な取得だけを優先すれば、

  • 良質な記事や商品情報、新たな商品を持続的に生み出す経済的基盤が痩せていく。

  • 長期的にはAI自身が使う情報源まで貧しくなる。

どちらに寄せても、どこかに歪みが残る構図でした。
このとき、頭の片隅にふと浮かんだのが、歴史学者ユヴァル・ノア・ハラリ氏の言葉でした。彼は「人間の愚かさを決して過小評価してはならない」と警鐘を鳴らしています。
これは人類を否定する言葉ではなく、謙虚であれという言葉だと、私は受け取っています。自戒を込めて言えば、立場や状況によっては、生き延びることに必死にならざるを得なかったり、利益を得たい・よい思いをしたいという性(さが)に抗えなかったりすることも、人にはあるのだと思います。
一方で、きれいごとでしかないのですが、世界の前提が性善説で成り立つなら、そもそもこうした問題は起きず、イタチごっこにもならないのに、と思ってしまう自分もいます。
やや脱線してしまったので、話を戻します。
今回のAIスクレイピング対策のように、技術で解決できると思った瞬間に、また別の抜け穴や副作用が生まれる。それを繰り返しながらも、苛立ちや諦めではなく、謙虚に、粘り強く向き合い続けることしかできないのだと思います。今回の一件は、技術の話でありながら、その姿勢そのものを問われている気がしました。

Identityという地図にたどり着く

「AIスクレイピング対策」の話は、気づけば「誰が、誰に対して、何を、どの条件で許可されるのか」という、もっと広い問いに変わっていました。
最終的に、この一連の探究は一枚の地図として整理できました。

AI時代のIdentity・アクセス制御を7層で捉えた全体地図
  • Identityは、主体が誰・何であるかを識別する概念です。人間だけでなく、AIエージェント、API、サーバ、Botも主体になり得ます。

  • Authentication(認証)は、名乗っているIdentityが本物であることを確認する仕組みで、SAMLやOpenID Connect(OIDC)が代表例です。

  • Authorization(認可)は、認証された主体にどの操作を許可するかを決める仕組みで、OAuth 2.0による権限委譲や、RBAC・ABACによる判断がこれにあたります。

  • IAM(Identity & Access Management)は、これら人間・非人間のIdentityのライフサイクル、認証、認可、監査を統合的に管理する基盤です。

RBAC(役割に基づく制御)とABAC(属性に基づく制御)は対立するものではなく、Roleで基礎的な権限を与え、時刻や端末、目的といった属性で追加の制約をかける組み合わせが実務では一般的です。近年はこれらを包含する形で、ポリシー全体を継続的に評価するPBAC(ポリシーに基づく制御)・Zero Trust(何も信頼しない)という考え方が主流になりつつあります。
さらに、AIエージェントの時代には、Bot・API・ワークロードを「Non-Human Identity」として扱う必要が出てきます。GPTBotのようなUser-Agentは、いわば自己申告に近いもので、それだけでは本物である証明にはなりません。「誰の代理として動いているのか、どのツールとデータを使えるのか、結果を誰が承認するのか」、MCPやA2A、RAGといった接続の仕組みも、結局はこのIdentityと認可の設計があって、はじめて安全に機能します。
robots.txt(ロボットテキスト)がWebページ管理者側で設置されていたとしても、それは「立入禁止の掲示」のようなもので、正当なクローラーやスクレイパーは読んで従いますが、技術的に強制する力は持ちません。WAF(Web Application Firewall)や認証・認可は「鍵・ゲート・警備」に近いです。つまり、意思表示と技術的強制は別物である、ということも、調べていく中で腑に落ちた感覚のひとつでした。
役割分担も、表にすると輪郭がはっきりします。

用語と役割

robots.txtだけでは強制できず、WAFだけでは正当・不当な利用目的を完全には判定できない。アクセス量、挙動、Identity、契約、データ機密性に応じて、複数の制御を重ねる多層防御が必要になる、という考え方でした。
一つひとつはバラバラに知っているつもりだった言葉が、Identity → Authentication → Authorization → IAM → AIエージェント → Webアクセス制御という一本の線でつながったとき、一枚の地図が広がるような感覚がありました。
恥ずかしげもなく振り返ると、今回の地図は数日や数ヶ月だけで描けたものでは全くありません。電気電子工学のバックグラウンドを活かしながら、AI・システム・ロボティクスの技術者として本格的に修行を積み重ねてきた数年間を経て描けたものです。自分の内側ベースですが「景色が変わった」手応えとして、ここに記しておきたいと思います。

手応えとは

ここまで整理して、正直に書いておきたいことがあります。
この「景色が変わった」という手応えは、自分の内側で自分が感じただけのことです。知識体系として、足りないことや不正確なこともあるかもしれませんし、当たり前の内容かもしれません。また、人に正確に伝えられるだけの言葉や図を、まだ十分には持てていない気もしています。
そして、このような一連の探究が、実務やビジネスの価値にどれだけ繋がるのかも、正直わかりません。
主観・客観・俯瞰は、自分の意識の上ではできる限り区別しておきたいと思っています。それでも根源的には、このような手応えはどこまでいっても自分自身の主観の域を出ません。内面の中でなら、自分なりの自信を少しずつ育てていくことはできるかもしれない。けれど、それを人に伝え、届けるという段になると、何事についても自信を持つことが本当に難しいと感じます。
技術に限らず、絶えず変化し続ける人や社会を少しでも理解しようとすることは、結局のところ「無知の知」の無限の連鎖の中で、ほんのちょっとずつ自分なりに景色を広げていく営みなのだろうなと思っています。自分のインプット・思考・選択・判断・アウトプットを問い続け、向き合い続けることでしかないのだと思います。
そのような中で、技術の構造や動作原理を探究し続けること自体に、静かな意味がある気がしています。AI時代のビジネスの圧倒的スピードの時間軸の中では、植物や果実そのものではなく、直接的か間接的かさえ不確かながらも経済的価値に繋がる可能性をそっと高める土や肥料づくりに近い営みなのかもしれません。
技術と向き合い続ける行為は、一度味がなくなったガムを、それでも噛み続けていたら、ある時また味が出てくる体験を何度もさせてもらっている感じに思っています(笑)
具体と抽象、収束と発散、深化と探索。行ったり来たりに終わりはなく、その終わりのなさこそが、この営みの正体な気がしています。
25年以上関わってきた電気電子工学の分野でも、基礎的なことを最近になって改めて理解できることがあります。40年以上続けているアイスホッケーでも、いまだに苦手なプレーに気づいては向き合う日々です。技術も、体も、簡単には「わかった」で終わらないから、面白いのだと思います。

結びに

今回のnote記事は、何かの結論や解決策を示すものではありません。
一本のニュース記事から始まり、AIスクレイピング対策、robots.txt、Identity、認証・認可、IAM、そしてAIエージェント時代のNon-Human Identityへと、点と点が繋がっていった、その過程の記録です。出版社・EC事業者とAI企業の利害衝突に、唯一の正解はまだありません。それでも、「誰(何)が、誰に対して、何を、どの条件で許可されるのか」、この問いを起点に、技術・契約・経済・ガバナンスを組み合わせて、少しずつ健全な形を探っていくしかないのだと思います。
謙虚に、粘り強く。もしこの記録が、誰かの中で同じように点と点が繋がる瞬間の、小さなきっかけになれたら嬉しいです。


弊社では、クライアントさまの「今」の業務に携わりながら、

  • 「人を採用すべき領域」と「効率化すべき業務」の見極め

  • 「何を人に残し、何をAIや仕組みに渡すのか」の判断

という業務の根幹から丁寧に伴走・支援するサービスをご提供しています。

「人は足りないが採用費は高い」 
「特定の人に業務が集中している」

など、お悩みがございましたら、どんな小さなご相談からでも構いません。
ぜひお気軽にお問い合わせください。

▶︎ 弊社サービスページ:https://mmol.co.jp/pages/mmol-sync
▶︎ 資料請求・お問い合わせ:https://mmol.co.jp/pages/contact-1


関連記事

見出し画像
2026.10.16 AIとできたこと

パッケージの裏面で、議論が止まった ― 商品コード二次元化の設計

見出し画像
2026.10.08 AI

「作れる」の先に、「守り続けられる」はあるか。2026年のサイバー攻撃を、生存戦略として考える

見出し画像
2026.10.01 AI

機械学習におけるメモリゼーションと複製権の射程 ── ミュンヘン地裁Suno判決における情報抽出と内容取り込みの峻別

Created To Createの記事一覧へ

Contact

Brand OSで、貴社のポテンシャルを最大限に

インターナルブランディングからエクスターナルブランディングへの流れを継続的に最適化し、ブランドとビジネスがともに進化する未来へ。

無料相談に申し込む