หมดยุคนั่งเขียน Scraper เอง! Cloudflare เปิดตัว /crawl API ยิงคำสั่งเดียว... ดูดข้อมูลได้ทั้งเว็บ

Cloudflare เปิดตัว /crawl API เครื่องมือดูดข้อมูลทั้งเว็บไซต์ด้วย API เดียวจบ เรนเดอร์ JS และคืนค่าเป็น JSON/Markdown ได้ทันที เอาไปทำ RAG หรือเทรน AI ต่อได้เลย

หากเพื่อน ๆ กำลังทำโปรเจกต์ AI ที่ต้องใช้ข้อมูลจากเว็บไซต์ (เช่น การทำ RAG - Retrieval-Augmented Generation) จะรู้ว่าการดึงข้อมูล (Scraping) จากเว็บยุคใหม่ที่เต็มไปด้วย JavaScript และระบบป้องกันบอทนั้น เป็นฝันร้ายของ Developer แค่ไหน

แต่ปัญหาเหล่านี้กำลังจะหมดไปครับเมื่อ Cloudflare ได้ประกาศเปิดตัว /crawl endpoint เครื่องมือใหม่ที่รันบน Browser Rendering ซึ่งอนุญาตให้เราสามารถ Crawl ทั้งเว็บไซต์ ได้ด้วย API เพียง Call เดียว

Documentation ของ Cloudflare Crawl API

การมาของ API ตัวนี้ ถือเป็นการท้าทายเครื่องมือ Scraper หลาย ๆ เจ้าในตลาด ด้วยฟีเจอร์ที่เกิดมาเพื่อนักพัฒนา AI โดยเฉพาะ

ฟีเจอร์

ทำงานครบวงจรใน Call เดียว
เพียงเราส่ง URL เริ่มต้น (Starting URL) เข้าไป ระบบจะทำการค้นหาหน้าเว็บอัตโนมัติ (ผ่าน Sitemaps และ Links) เรนเดอร์หน้าเว็บด้วย Headless Chrome (หมดปัญหาเว็บรันด้วย React/Vue) และคืนค่ากลับมา

curl -X POST 'https://api.cloudflare.com/client/v4/accounts/{account_id}/browser-rendering/crawl' \
  -H 'Authorization: Bearer <apiToken>' \
  -H 'Content-Type: application/json' \
  -d '{
    "url": "https://blog.cloudflare.com/"
  }'
curl -X GET 'https://api.cloudflare.com/client/v4/accounts/{account_id}/browser-rendering/crawl/{job_id}' \
  -H 'Authorization: Bearer <apiToken>'

ยิง POST request ส่ง URL เป้าหมายเข้าไป (รองรับ Workers Free plan ด้วย) ระบบจะตอบกลับมาเป็น job_id ทันที

curl -X POST '[https://api.cloudflare.com/client/v4/accounts/](https://api.cloudflare.com/client/v4/accounts/){account_id}/browser-rendering/crawl' \
  -H 'Authorization: Bearer <apiToken>' \
  -H 'Content-Type: application/json' \
  -d '{
    "url": "[https://developers.cloudflare.com/workers/](https://developers.cloudflare.com/workers/)"
  }'

Request Results (เช็กสถานะและดึงผลลัพธ์) นำ job_id ที่ได้มายิง GET request เพื่อดึงข้อมูล (ระบบรัน Job ได้สูงสุด 7 วัน และเก็บผลลัพธ์ไว้ให้ 14 วันหลังทำงานเสร็จ)

curl -X GET '[https://api.cloudflare.com/client/v4/accounts/](https://api.cloudflare.com/client/v4/accounts/){account_id}/browser-rendering/crawl/{job_id}' \
  -H 'Authorization: Bearer YOUR_API_TOKEN'

Output ที่ AI ชอบ
ไม่ต้องเสียเวลาเขียน Regex เพื่อคลีน HTML อีกต่อไป เพราะเราสามารถสั่งให้ API คืนค่ามาเป็น Markdown หรือ Structured Data (JSON) ที่ AI สามารถนำไปอ่านและประมวลผลต่อได้ทันที

{
  "result": {
    "id": "c7f8s2d9-a8e7-4b6e-8e4d-3d4a1b2c3f4e",
    "status": "completed",
    "browserSecondsUsed": 134.7,
    "total": 50,
    "finished": 50,
    "records": [
      {
        "url": "https://developers.cloudflare.com/workers/",
        "status": "completed",
        "markdown": "# Cloudflare Workers\nBuild and deploy serverless applications...",
        "metadata": {
          "status": 200,
          "title": "Cloudflare Workers · Cloudflare Workers docs",
          "url": "https://developers.cloudflare.com/workers/"
        }
      },
      {
        "url": "https://developers.cloudflare.com/workers/get-started/quickstarts/",
        "status": "completed",
        "markdown": "## Quickstarts\nGet up and running with a simple Hello World...",
        "metadata": {
          "status": 200,
          "title": "Quickstarts · Cloudflare Workers docs",
          "url": "https://developers.cloudflare.com/workers/get-started/quickstarts/"
        }
      }
      // ... 48 more entries omitted for brevity
    ],
    "cursor": 10
  },
  "success": true
}

ประหยัดค่าใช้จ่ายด้วย Incremental Crawl
มีระบบเช็ค modifiedSince และ maxAge เพื่อข้ามหน้าเว็บที่ไม่มีการอัปเดต ทำให้ไม่ต้องโหลดข้อมูลซ้ำซาก

Cloudflare ยืนยันว่าระบบนี้จะเคารพกฎของไฟล์ robots.txt อย่างเคร่งครัด รวมถึงคำสั่ง crawl-delay เพื่อไม่ให้เซิร์ฟเวอร์ปลายทางทำงานหนักเกินไป

และนี่อาจจะส่งแรงกระเพื่อมต่อวงการ Startup สาย Scraping

Firecrawl

เพราะเครื่องมืออย่าง Firecrawl หรือ Puppeteer-as-a-service อาจจะต้องหนาว ๆ ร้อน ๆ เพราะ Cloudflare มีแต้มต่อเรื่อง Infrastructure ที่ใหญ่และราคาถูกกว่ามาก (ใช้งานผ่านแพ็กเกจ Workers Paid Plan)

ความเห็นจากชาว Hacker News

อันนี้ก็อาจจะมี Conflict of Interest (ความย้อนแย้ง) อยู่ครับ เพราะ Cloudflare ให้บริการระบบป้องกันบอท และ DDoS ที่ใหญ่ที่สุดในโลก
แต่การปล่อยเครื่องมือสำหรับ crawl เว็บไซต์เนี่ยะ ทำให้ผู้ใช้หลายคนรู้สึกเหมือนโดนหักหลัง ชาว dev (ใน hacker news) บางคนยังเปรียบเปรยประมาณว่า "พวกเขากำลังขายยารักษาพิษ (ระบบป้องกันเว็บ) ในขณะเดียวกันก็เริ่มขายยาพิษ (ระบบเจาะเว็บ) ให้กับฝั่ง AI" ^-^