Crawl4AINedir?
OtomasyonWeb sayfalarını yapay zekaya uygun temiz markdown ve JSON'a çeviren açık kaynak tarayıcı kütüphanesi. Kendin kurarsan Apache-2.0 lisansıyla bedava; bulut sürümünde ayda 1.000 ücretsiz kredi var.

* Bu bağlantılar seni aracın kendi sitesine ya da uygulama mağazasına götürür. mindilot bu araçların sahibi, satıcısı veya temsilcisi değildir; ürünün işleyişi, fiyatı, ödemeler, iadeler ve verilerin nasıl işlendiği aracın sağlayıcısının sorumluluğundadır. Lütfen kayıt ya da satın alma işlemi yapmadan önce hizmeti tam olarak incelediğinden emin ol.
Mindi Ne Düşünüyor?✅ Kütüphanesi Apache-2.0 ve bedava; temiz markdown, menü ve reklam ayıklama, CSS şemasıyla LLM'siz veri çıkarma kendi bilgisayarında çalışıyor. Bulutta ayda 1.000 ücretsiz kredi var, kart istemiyor.
⚠️ Kendi kurulumda proxy ve bot engelleriyle sen uğraşıyorsun. Bulut fiyatları "ön lansman" etiketiyle duruyor, değişebilir.
🔀 Firecrawl daha olgun bir bulut altyapısı sunuyor ama kodu AGPL-3.0; ticari üründe kendi sunucunda kullanacaksan Crawl4AI'nin lisansı daha rahat.
Crawl4AI Hakkında
✓ Crawl4AI Kimler İçin?
✕ Crawl4AI Kimler İçin Uygun Değil?
Crawl4AI Detaylı İnceleme
Crawl4AI, bir web sayfasını yapay zekanın okuyabileceği hale getirmek için yazılmış açık kaynak bir tarayıcı kütüphanesi. Bir adres veriyorsun; Crawl4AI sayfayı gerçek bir tarayıcıda açıyor, başlıkları, listeleri, tabloları ve kod bloklarını koruyarak temiz bir markdown metni üretiyor. Menü, alt bilgi ve reklam gibi gereksiz kısımları filtreleyebiliyor, sayfadaki linkleri numaralı bir kaynak listesine çeviriyor.
Projeyi kendini "unclecode" olarak tanıtan geliştirici başlattı. README'deki hikâyeye göre 2023'te web sayfasını markdown'a çevirecek bir araca ihtiyaç duymuş, "açık kaynak" diye bulduğu seçenek hesap, API anahtarı ve ücret isteyince birkaç günde kendi aracını yazmış; proje kısa sürede yayılmış. Bugün bulut sürümünü Singapur'da kayıtlı Context4AI Pte. Ltd. işletiyor. Kütüphanenin son sürümü 14 Ekim 2026'da çıkan v0.9.5.
Crawl4AI'nin en büyük farkı lisansı ve "her şeyi kendin çalıştırabilme" özgürlüğü. Kod Apache-2.0 lisanslı; değiştirip kapalı bir ürünün içinde kullanabiliyorsun, kodunu paylaşma zorunluluğu yok. Bulut sürümü ise aynı motoru tarayıcı ve proxy yönetimini üstlenerek sunuyor.
Temel Özellikler
Temiz markdown: Sayfayı başlık, liste, tablo ve kod yapısıyla markdown'a çeviriyor. "Fit Markdown" filtreleri menü ve tekrar eden kalıpları atıyor; bir soruya göre en ilgili kısımları da seçebiliyor.
LLM'siz veri çıkarma: CSS ya da XPath şemasıyla ürün adı, fiyat, tarih gibi alanları yapay zeka kullanmadan, hızlı ve bedavaya çekiyorsun. Şemayı bir kere tarif edip generate_schema ile otomatik ürettirebiliyorsun.
LLM ile çıkarma: Karmaşık sayfalarda istediğin herhangi bir modeli (açık ya da kapalı) bağlayıp veriyi belirlediğin JSON şemasına döktürebiliyorsun.
Oturum ve tarayıcı kontrolü: Çerez, proxy, oturum ve sayfaya özel JavaScript çalıştırma gibi ayarları sen yönetiyorsun.
MCP desteği: Kendi kurduğun Docker sunucusu MCP uç noktasıyla geliyor; bulut sürümünün de Claude Code ve Cursor'a bağlanan hazır bir MCP sunucusu var.
Kullanım Senaryoları
Bir haber takip botu kuran geliştirici, belirli sitelerin yeni yazılarını her saat Crawl4AI ile çekip markdown olarak bir veritabanına koyabilir. Bir e-ticaret analisti, rakip ürün sayfalarındaki fiyat ve stok bilgisini CSS şemasıyla, model ücreti ödemeden toplayabilir. RAG sistemi kuran bir ekip, şirketin dokümantasyon sitesini tarayıp parçalara bölünmeye hazır metin elde edebilir. Bütçesi kısıtlı bir öğrenci ise her şeyi kendi bilgisayarında, hiçbir servise ödeme yapmadan çalıştırabilir.
Fiyatlandırma
Kütüphane ve kendi Docker sunucun ücretsiz, Apache-2.0 lisanslı; altyapı maliyeti sana ait. Bulut sürümü Crawl4AI Cloud kredi ile çalışıyor (1 kredi = 0,001 dolar):
| Plan | Aylık | Yıllık | Kredi / ay | Dakikada istek |
|---|---|---|---|---|
| Free | $0 | – | 1.000 | 10 |
| Starter | $10 | $100 | 10.000 | 120 |
| Builder | $99 | $990 | 125.000 | 600 |
| Scale | $499 | $4.990 | 750.000 | 1.500 |
| Enterprise | Teklif usulü | – | Özel | Özel |
Ücretsiz plan her ay 1.000 kredi veriyor ve kredi kartı istemiyor. Sade bir sayfa 0,1 kredi, gerçek tarayıcı gereken sayfa 0,5 kredi, zor (bot korumalı) site 2 kredi, bir arama 1 kredi tutuyor. Başarısız istek ücretlendirilmiyor. Sitede fiyatların "ön lansman" (soft launch) döneminde olduğu ve değişebileceği yazıyor.
Nasıl Başlanır?
Kendi bilgisayarında denemek için pip install -U crawl4ai ve ardından tarayıcıyı bir kerelik kuran crawl4ai-setup komutunu çalıştırıyorsun. Birkaç satır Python ile AsyncWebCrawler kullanarak ilk sayfayı markdown olarak alıyorsun. Kendi sunucunda API olarak çalıştırmak istersen resmi Docker imajını bir erişim anahtarıyla (CRAWL4AI_API_TOKEN) başlatıyorsun. Bulut sürümünü denemek için crawl4ai.com'da e-postanı doğrulayarak ücretsiz anahtar alıyorsun.
Dikkat Edilecekler
- Kendi kurulumda zor kısımlar sende. JavaScript ağırlıklı ya da bot korumalı sitelerde proxy, bekleme süresi ve tarayıcı ayarlarını sen yapıyorsun. Bulut sürümü bunları üstleniyor ama ücretli.
- Docker sunucusunu anahtarsız açma. Kendi sunucunu erişim anahtarı vermeden başlatırsan sadece yerelden erişilebilir kalıyor; internete açacaksan anahtarı mutlaka tanımla.
- Benzer isimli sitelere dikkat. crawl4ai.com, crawl4ai.org ile bağlantılı olmadığını özellikle belirtiyor. Resmi depo
unclecode/crawl4ai. - Sürüm henüz 1.0 değil. v0.9.x serisinde; sürümler arasında kodunda değişiklik gerekebilir.
- Sitelerin kurallarına sen uyuyorsun. Taradığın sitenin kullanım şartlarına ve kişisel veri kurallarına uymak senin sorumluluğun.
- Türkçe arayüz ve doküman yok. Türkçe sayfaları sorunsuz okuyor; arayüz ve dokümanlar İngilizce.