ماذا يمكنك أن تفعل مع هذا البرنامج المساعد؟

يعد Crawlomatic Multisite Scraper Post Generator Plugin for WordPress أحد أحدث الزحف على مواقع الويب والكشط، وهو مكون إضافي للتدوين التلقائي لمنشئ النشر يستخدم الزحف إلى مواقع الويب والكشط لتحويل موقع الويب الخاص بك إلى تدوين تلقائي أو حتى آلة لكسب المال!
احصل على المحتوى من أي صفحة ويب تقريبًا! لم تعد بحاجة إلى واجهة برمجة التطبيقات (API) التي تتطلب التسجيل وتوفر وصولاً محدودًا، كما يمكنك استرداد البيانات من مواقع الويب التي لا توفر واجهة برمجة التطبيقات (API). قم بجدولة ذلك لمرة واحدة ودعه يقوم بتشغيل منشوراتك تلقائيًا 7/24 لك مثل المعلم!

كيف يعمل؟

سيقوم هذا المكون الإضافي بالزحف إلى عنوان URL الأساسي الذي قدمته له (يعني الزحف أنه سيبحث في جميع الروابط التي تحتوي عليها صفحة الويب) وسيقوم بزيارة المحتوى واستخراجه من كل عنوان URL تم الزحف إليه. عملية الزحف قابلة للتخصيص: يمكنك تعيين عمق الزحف، ومعدل الزحف، والحد الأقصى لعدد المقالات التي تم الزحف إليها، والزحف فقط إلى الروابط ذات فئة أو معرف معين والعديد من التخصيصات الأخرى.

تحديث Cralolomatic v2.0

في تحديث الإصدار 2.0، تمت إضافة رمز قصير جديد للمكشطة المباشرة إلى البرنامج الإضافي: [crawlomatic-scraper]. هذه الميزة الجديدة تجعل هذا البرنامج المساعد وسيلة سهلة لتنفيذ مستخرج بيانات الويب لـ WordPress. ونتيجة لذلك، يمكن استخدامه لعرض البيانات في الوقت الفعلي من أي مواقع ويب مباشرة في منشوراتك أو صفحاتك أو الشريط الجانبي. كما أنه يقوم أيضًا بتخزين المحتوى المسروق مؤقتًا، لذلك لن يتم الإفراط في استخدام الموارد على موقع الويب الخاص بك. يمكنك استخدام هذا البرنامج الإضافي لتضمين أسعار الأسهم في الوقت الفعلي أو نتائج مباريات الكريكيت أو كرة القدم أو أي محتوى عام آخر من النطاقات العامة!الميزات الجديدة المضمنة في هذا التحديث:

• يمكن عرض المخرجات المسروقة من خلال علامة القالب المخصصة والرمز القصير في الصفحة والمقال والشريط الجانبي (من خلال عنصر واجهة المستخدم النصي).
• التخزين المؤقت شكلي للبيانات كشط. يمكن تحديد مهلة ذاكرة التخزين المؤقت بالدقائق لكل بيانات مسروقة.
• يمكن تعيين وكيل المستخدم القابل للتكوين لمكشطتك لكل كشط.
• الإعدادات الافتراضية القابلة للتكوين مثل التمكين ووكيل المستخدم والمهلة والتخزين المؤقت ومعالجة الأخطاء.
• طرق متعددة للاستعلام عن المحتوى – CSS Selector، أو XPath أو Regex، والكشف التلقائي.
• مجموعة واسعة من الحجج لتحليل المحتوى.
• خيار لتمرير وسيطات النشر إلى عنوان URL المراد استخلاصه.
• التحويل الديناميكي للمحتوى المسروق إلى ترميز أحرف محدد لاستخراج البيانات من موقع باستخدام مجموعة أحرف مختلفة.
• أنشئ صفحات مسروقة بسرعة باستخدام الإنشاء الديناميكي لعناوين URL لاستخراج الوسائط أو نشرها استنادًا إلى وسيطات الحصول على الصفحة أو نشرها.
• وظيفة رد الاتصال للتحليل المتقدم للبيانات المسروقة.

تحقق من الوثائق الرسمية لتحديث الإصدار الثاني ، وتصفح الأمثلة وتحقق من الأسئلة الشائعة لإنشاء أداة استخراج ويب محسّنة بشكل مثالي.

المزيد عن البرنامج المساعد

يمكنك استخراج المحتوى من كل موقع ويب تفتحه في متصفحك تقريبًا. إذا تم تحميل المحتوى باستخدام JavaScript، فيمكن دمج المكون الإضافي مع PhantomJS لاستخراج المحتوى الذي تم إنشاؤه بواسطة JavaScript أيضًا.
يمكنك أيضًا إنشاء عدد غير محدود من عمليات الزحف والتقطيع المخصصة لموقع الويب تلقائيًا.

ميزات البرنامج المساعد الأخرى:

• تحديث الإصدار 2.5.5: تحديث المنشورات/الصفحات/المنتجات المسروقة تلقائيًا إذا تغير الموقع المصدر + إلغاء النشر (تعيين كمسودة) المنشور/الصفحة/المنتج إذا لم يعد عنوان URL المسروق متاحًا على الموقع المصدر (يمكن تمكين الميزات الاختيارية /عاجز)
• تحديث الإصدار 2.5.1: يمكنك استخراج متغيرات منتجات WooCommerce من متاجر WooCommerce/Shopify الأخرى
• تحديث الإصدار 2.5.0: يمكنك استخراج نتائج محرك البحث لعمليات البحث عن الكلمات الرئيسية المخصصة، من Google أو من Bing. تحقق من الفيديو التعليمي لهذه الميزة الجديدة .
• تحديث الإصدار 2.4.1: معارض صور منتجات Scrape لمنتجات WooCommerce (بالنسبة لأنواع المنشورات غير المتعلقة بالمنتج، سيتم إنشاء مرفقات المنشورات من الصور المحذوفة)
• تحديث الإصدار 2.3.5: قم بتنفيذ تعليمات JavaScript البرمجية الخاصة بك على ملف HTML المسروق واستخرج النتائج – تتوفر هذه الميزة فقط عند استخدام المتصفحات مقطوعة الرأس لاستخراج البيانات (Puppeteer/Tor/PhantomJS) أو HeadlessBrowserAPI
• تحديث الإصدار 2.2.1: الزحف إلى خلاصات RSS للروابط ومقالات الكشط المدرجة فيها
• تحديث الإصدار 2.2.0: استخدم HeadlessBrowserAPI لاستخراج محتوى HTML الذي تم إنشاؤه بواسطة JavaScript من أي موقع ويب على الإنترنت دون الحاجة إلى تثبيت أي شيء (إلى جانب هذا البرنامج الإضافي) على الخادم الخاص بك – فيديو تعليمي
• تحديث الإصدار 2.1.0: قم باستخراج مواقع الويب .onion من الويب المظلم باستخدام متصفح Tor ومحرك الدمى! – فيديو تعليمي
• تحديث الإصدار 2.0.0: تمت إضافة الرمز القصير Live Scraper لمزيد من التحكم في الزحف وقوة الكشط: [crawlomatic-scraper]
• تحديث الإصدار 1.7.1: دعم الزحف إلى خريطة الموقع – فيديو تعليمي
• تحديث الإصدار 1.6.5: تمت إضافة دعم محدد المحتوى المرئي – فيديو تعليمي
• تحديث الإصدار 1.6.0: تمت إضافة القدرة على عمل لقطات شاشة للصفحات التي تم الزحف إليها واستخدامها في محتوى المنشور الذي تم إنشاؤه – فيديو تعليمي
• التحديث v1.5.2: القدرة على اختصار الروابط الصادرة (مصدر النشر) (واستثمارها)، باستخدام Shorte.st خدمة لاختصار الروابط – مثال على الرابط المختصر
• تحديث الإصدار 1.4.8: تمت إضافة دعم تنفيذ JavaScript للصفحات التي تم الزحف إليها – يتطلب تثبيت PhantomJS على الخادم – كيفية تثبيت PhantomJs؟ – فيديو تعليمي
• تحديث الإصدار 1.4.4: تمت إضافة القدرة على تعيين وكلاء متعددين للزحف إلى الصفحات. سيختار البرنامج المساعد واحدًا عشوائيًا عند كل وصول إلى الصفحة
• تحديث الإصدار 1.4.0: تمت إضافة القدرة على ترقيم الصفحات (سيستمر الزحف للمقالات في الصفحة التالية من الصفحة الأولية).
• تحديث الإصدار 1.4.0: تمت إضافة القدرة على استيراد أسعار المنتجات التي تم الزحف إليها (متوافقة مع WooCommerce) + التعديل التلقائي لسعر دروبشيبينغ – فيديو تعليمي
• تحديث الإصدار 1.4.0: تمت إضافة القدرة على زيادة سعر المنتج المستورد برقم ثابت أو ضربه برقم محدد مسبقًا (قيمة رائعة لدروبشيبينغ!)
• تحديث الإصدار 1.2.8: تمت إضافة دعم استيراد منشور مرقّم (في منشور واحد تم الزحف إليه) تحقق من: VIDEO .
• تحديث الإصدار 1.2.4: تمت إضافة القدرة على تعيين وكلاء للزحف إلى الصفحات
• تحديث الإصدار 1.2.3: تمت إضافة خيار للزحف إلى الصفحة من ذاكرة التخزين المؤقت لـ Google عند فشل الزحف المباشر (محظور)
• دعم ترجمة Google – حدد اللغة التي تريد نشر مقالاتك بها
• دعم Text Spinner – تعديل النص الذي تم إنشاؤه تلقائيًا، وتغيير الكلمات بمرادفاتها – مدمج، The Best Spinner، SpinRewriter، WordAI، TurkceSpin وغيرها – قيمة رائعة لتحسين محركات البحث!
• حالة النشر التي تم إنشاؤها قابلة للتخصيص (منشور، مسودة، معلق، خاص، مهملات)
• رمز قصير لسرد جميع المنشورات التي تم إنشاؤها بواسطة هذا البرنامج الإضافي: [crawlomatic-list-posts type => ‘any’, order => ‘ASC’, ‘orderby’ => ‘date’, ‘posts’ => 50, ‘category’ = > ”, ‘روليد’ => ”]
• يمكن ضبط الزحف والاستخراج بحيث يحترم ملفات robots.txt الخاصة بمواقع الويب ورؤوس HTML الخاصة ببرامج الروبوت للصفحات المسروقة
• إنشاء فئات منشورات أو علامات تلقائيًا من عناصر السوق
• إضافة فئات النشر أو العلامات يدويًا إلى العناصر
• اختر ما إذا كنت تريد تحديث المنشور إذا تم نشره بالفعل
• إرسال ملفات تعريف الارتباط المخصصة مع الطلب إلى صفحة الويب التي تم الزحف إليها (المصادقة)
• إنشاء منشور أو صفحة أو أي نوع منشور مخصص
• يقوم بتضمين مقاطع فيديو من YouTube وVimeo وFlickr وIGN وUstream.tv وDailyMotion باستخدام الزحف إلى مواقع الويب واستخراجها
• تحديد قيود النشر: لا تنشر منشورات لا تحتوي على صور، أو منشورات ذات عنوان/محتوى قصير/طويل
• إنشاء صورة مميزة للمنشور تلقائيًا
• تمكين/تعطيل التعليقات أو pingbacks أو Trackbacks للمنشور الذي تم إنشاؤه
• تخصيص عنوان المنشور ومحتواه (مع مجموعة واسعة من الرموز المختصرة للنشر ذات الصلة)
• “أداة استبدال الكلمات الرئيسية” – الغرض منها هو تحديد الكلمات الرئيسية التي يتم استبدالها تلقائيًا بروابط الشركاء التابعين لك، في أي مكان تظهر فيه في محتوى موقعك. على سبيل المثال، يمكنك تعريف الكلمة الأساسية “codecanyon” واستبدالها برابط إلى http://www.codecanyon.net/?ref=user_name في أي مكان تظهر فيه في محتوى موقعك.
• “أداة إنشاء الجمل العشوائية” (الجمل ذات الصلة – كما تحددها)
• خيار حذف المشاركات التي تم إنشاؤها تلقائيًا بعد فترة من الوقت
• تسجيل نشاط البرنامج المساعد التفصيلي
• يتم تشغيل القاعدة المجدولة
• الدعم الميداني المخصص للمشاركات التي تم إنشاؤها
• دعم التصنيفات المخصصة للمشاركات التي تم إنشاؤها
• استيراد غير محدود للمتغيرات التي تم الزحف إليها (أجزاء مستوردة غير محدودة من الصفحات التي تم الزحف إليها)
• خيار نسخ أو عدم نسخ الصور محليا
• القدرة على تحليل بيانات JSON باستخدام Regex
• خيار لإضافة علامة تعريفية أساسية إلى المشاركات التي تم إنشاؤها
• الحد الأقصى/الحد الأدنى لطول العنوان بعد النشر
• الحد الأقصى/الحد الأدنى لطول المحتوى بعد التحديد
• أضف منشورًا فقط إذا تم العثور على الكلمات الرئيسية المطلوبة المحددة مسبقًا في العنوان/المحتوى
• أضف منشورًا فقط إذا لم يتم العثور على الكلمات الرئيسية المحظورة المحددة مسبقًا في العنوان/المحتوى
• حفظ واستعادة قائمة قواعد البرنامج المساعد من الملف

اختبار هذا البرنامج المساعد

• يمكنك اختبار وظيفة المكون الإضافي باستخدام ” مولد موقع الاختبار “. هنا يمكنك تجربة الوظائف الكاملة للمكون الإضافي. لاحظ أنه سيتم حذف مدونة الاختبار التي تم إنشاؤها تلقائيًا بعد 24 ساعة.

متطلبات البرنامج المساعد

• PHP DOM -> كيفية تثبيته (إذا لم يكن لديك، ولكن من المحتمل أن يكون لديك بالفعل): http://php.net/manual/en/dom.setup.php
• PHP 5.0 أو أعلى
• ملحقات dom وmbstring وiconv وjson (ممكّنة افتراضيًا)