کلودفلر، غول دنیای اینترنت، بالاخره تصمیم گرفت در مقابل خزنده‌های پرخورِ هوش مصنوعی بایستد. این شرکت اعلام کرده از این به بعد خزنده‌های هوش مصنوعی شناخته‌شده، دیگر نمی‌توانند به‌راحتی در سایت‌ها پرسه بزنند و داده جمع کنند — چون به‌صورت پیش‌فرض مسدود می‌شوند.
در کنار این تصمیم جدی، کلودفلر یک برنامه تازه هم معرفی کرده به نام Pay per Crawl. طبق این طرح، صاحبان وب‌سایت می‌توانند قیمت مشخصی برای دسترسی خزنده‌ها به محتوای خود تعیین کنند. از آن‌سو، شرکت‌های هوش مصنوعی باید انتخاب کنند: یا هزینه را می‌پردازند یا دست از سر سایت‌ها برمی‌دارند.
گزارش‌ها حاکی‌ست که هدف کلودفلر از این کار، بازگرداندن کنترل محتوا به دستان صاحبان آن است؛ نه ربات‌ها. این برنامه فعلاً در مرحله‌ی آزمایشی (بتای خصوصی) و فقط برای گروه محدودی از ناشران فعال شده. اما پیام روشن است: دوران استخراج بی‌اجازه محتوا توسط هوش مصنوعی رو به پایان است.
تصمیم کلودفلر یک گام مهم و دیرهنگام در مسیر دفاع از حقوق ناشران و تولیدکنندگان محتواست. در دنیایی که مدل‌های هوش مصنوعی بی‌وقفه از منابع اینترنتی تغذیه می‌کنند، بدون اینکه تولیدکنندگان محتوا سهمی از این چرخه داشته باشند، ایجاد چنین سیستم‌هایی ضروری است. اگرچه هنوز راه زیادی مانده تا تعادلی عادلانه بین تولیدکننده و مصرف‌کننده‌ی هوش مصنوعی برقرار شود، اما این حرکت کلودفلر نشان می‌دهد که شرکت‌ها می‌توانند در شکل‌گیری این نظم نوین نقش تعیین‌کننده‌ای داشته باشند.
کلودفلر در خط مقدم جنگ با خزنده‌های حریص هوش مصنوعی
کلودفلر از مدت‌ها پیش در حال سنگرسازی در برابر خزنده‌های بی‌اجازه‌ی هوش مصنوعی بوده. از سال ۲۰۲۳، این شرکت ابزارهایی برای جلوگیری از فعالیت خزنده‌هایی ارائه داد که فقط به قوانین فایل robots.txt پایبند بودند. اما حالا بازی تغییر کرده؛ کلودفلر می‌تواند تمام خزنده‌ها را، حتی آن‌هایی که بی‌توجه به robots.txt کار می‌کنند، مسدود کند — و این قابلیت از حالا به‌صورت پیش‌فرض برای کاربران جدید فعال است.
در این میان، ناشران بزرگ و سرشناس مثل Associated Press ، تایم، آتلانتیک، فورچون، Stack Overflow، Quora و Conde Nast از رویکرد جدید کلودفلر حمایت کرده‌اند. در دورانی که کاربران بیشتر از چت‌بات‌ها اطلاعات می‌گیرند تا موتورهای جست‌وجو، ترافیک سایت‌های خبری و علمی کاهش یافته و به‌تبع آن درآمد تبلیغاتی آن‌ها هم لطمه دیده است.
آمار کلودفلر حرف‌های زیادی برای گفتن دارد: خزنده‌ی گوگل در ماه ژوئن به‌ازای هر ۱۴ بار خزیدن، یک کلیک به وب‌سایت‌ها هدیه داده، اما خزنده‌های OpenAI و Anthropic به‌ترتیب فقط یک بازدید در ازای ۱۷ هزار و ۷۳ هزار خزیدن ایجاد کرده‌اند — عددهایی که به‌وضوح نشان می‌دهد چقدر این فناوری‌ها بیشتر مصرف می‌کنند تا بازدهی داشته باشند.
حالا در این سیستم جدید، ناشران و شرکت‌های هوش مصنوعی باید در کلودفلر حساب باز کنند، نرخ مشخصی برای خزیدن تعیین شود، و بعد از تأیید، پول از شرکت هوش مصنوعی گرفته شده و به حساب ناشر واریز شود. کلودفلر هم نقش واسطه‌ای شفاف و قابل اعتماد را ایفا می‌کند.
اقدام کلودفلر یک چرخش جدی در روند استفاده از محتوای آنلاین توسط هوش مصنوعی است. برای سال‌ها، مدل‌های هوش مصنوعی بدون پرداخت، داده‌ها را از سایت‌ها استخراج می‌کردند — نوعی بهره‌کشی دیجیتال. این تصمیم نه‌تنها به ناشران قدرت چانه‌زنی بازمی‌گرداند، بلکه نخستین قدم واقعی برای شکل‌گیری اقتصاد محتوا در عصر هوش مصنوعی است. اگر این روند توسط سایر شرکت‌ها هم دنبال شود، شاید بتوان شاهد توازن دوباره‌ای میان تولید و مصرف محتوا در فضای وب بود.