الوضع
Crawl4AI أداة مفتوحة المصدر لزحف المواقع واستخراج البيانات، وتُستخدم على نطاق واسع لتزويد أنظمة الذكاء الاصطناعي بمحتوى الويب. كثير من المطوّرين يريدون تشغيلها كخادم داخل حاوية Docker واستدعاءها عبر API بدلًا من استخدامها كمكتبة Python. هذا الجانب كان يحتاج إلى إمكانات إضافية، وكانت هناك أخطاء تؤثر على سلوك الزحف.
ما ساهمت به
- نقطة بث مباشر (Streaming) لتصل النتائج مع كل صفحة بدلًا من انتظار انتهاء المهمة كاملة.
- نقطة لمراقبة الاستهلاك لمعرفة مدى انشغال الخادم.
- إصلاح أخطاء في كود Docker والخادم كانت تؤثر على سلوك الزحف.
- توحيد الـ SDK مع الـ API ليقدّم الـ API الخيارات نفسها الموجودة في مكتبة Python.
- اختبارات تغطي السلوك الجديد.
لماذا هذا مهم
معظم عملي مع العملاء خاص ولا يمكنني عرض الكود. هنا الأمر مختلف: الكود علني، وراجعه القائمون على المشروع، ودُمج في أداة يعتمد عليها مطوّرون آخرون.
يمكنك التحقق بنفسك: مساهماتي في Crawl4AI ومستودع Crawl4AI.
ماذا يعني هذا لك
إذا كنت تحتاج بيانات من مواقع الويب — أسعار، إعلانات، مستندات، أدلة — يمكنني بناء أداة زحف تعمل تلقائيًا وتتيح النتائج عبر API خاص بك.