टाइमआउट नीति
यूनिवर्सल स्क्रैपिंग API टाइमआउट के लिए एक दो-स्तरीय टाइमआउट नीति का उपयोग करता है, जिसे नियंत्रणीय अनुरोध निष्पादन, सिस्टम स्थिरता और कुशल संसाधन प्रबंधन सुनिश्चित करने के लिए डिज़ाइन किया गया है। दो स्वतंत्र टाइमआउट रणनीतियों को डिज़ाइन करके, API जटिल नेटवर्क वातावरण और गतिशील पृष्ठ पार्सिंग परिदृश्यों में मजबूत प्रदर्शन प्रदान कर सकता है, जबकि संसाधन की कमी या लंबे इंतजार के कारण होने वाली सिस्टम विफलताओं से प्रभावी ढंग से बच सकता है।
1. वैश्विक निष्पादन टाइमआउट
परिभाषा: वैश्विक निष्पादन टाइमआउट एक नीति है जो API अनुरोध में सभी निर्देशों के संचयी निष्पादन समय को सीमित करती है।
टाइमआउट थ्रेशोल्ड: 180 सेकंड
क्षेत्र:
instructionsनिर्देश सेट में सभीwaitXxxश्रृंखला संचालन (जैसेwaitForSelectorयाwaitForEvent)।- यह थ्रेशोल्ड निर्देश निष्पादन के दौरान संभावित प्रतीक्षा समय को कवर करता है, यह सुनिश्चित करता है कि लंबे समय तक चलने वाले कार्य सिस्टम संसाधनों पर अनिश्चित काल तक कब्जा न करें।
टाइमआउट व्यवहार:
- जब संचयी निष्पादन समय 180 सेकंड तक पहुँच जाता है, तो सिस्टम पूरे API अनुरोध प्रक्रिया को जबरदस्ती समाप्त कर देगा और एक टाइमआउट त्रुटि प्रतिक्रिया लौटाएगा।
- यह नीति API के लिए एक रनटाइम सीमा सुनिश्चित करती है, जटिल निर्देशों या गलत कॉन्फ़िगरेशन के कारण संसाधन दुरुपयोग को रोकती है।
2. पृष्ठ लोड टाइमआउट
परिभाषा: पृष्ठ लोड टाइमआउट ब्राउज़र इनिशियलाइज़ेशन और पृष्ठ संसाधन लोडिंग चरणों के लिए समय सीमा पर केंद्रित है।
टाइमआउट थ्रेशोल्ड: 30 सेकंड (निश्चित मान)
क्षेत्र:
- ब्राउज़र इंस्टेंस (जैसे पुपेटियर या अन्य ब्राउज़र ड्राइवर) की इनिशियलाइज़ेशन प्रक्रिया।
- पृष्ठ संसाधन लोडिंग, जिसमें HTML, CSS, जावास्क्रिप्ट और अन्य नेटवर्क संसाधन शामिल हैं।
टाइमआउट व्यवहार:
- यदि URL एक्सेस विफल हो जाता है या पृष्ठ संसाधन लोडिंग समय 30 सेकंड से अधिक हो जाता है, तो सिस्टम वैश्विक टाइमआउट की प्रतीक्षा किए बिना तुरंत एक त्रुटि प्रतिक्रिया लौटाएगा।
- इस नीति का उद्देश्य दुर्गम लक्षित पृष्ठों की शीघ्र पहचान करना और अमान्य संसाधनों के लिए लंबे इंतजार से बचना है।
3. टाइमआउट प्राथमिकता नियम
- पृष्ठ लोड टाइमआउट की प्राथमिकता अधिक होती है और वैश्विक टाइमआउट से पहले अनुरोध निष्पादन को बाधित कर सकता है।
- जब पृष्ठ लोड चरण के दौरान टाइमआउट होता है, तो सिस्टम बाद के निर्देश निष्पादन चरण में प्रवेश किए बिना अनुरोध प्रक्रिया को तुरंत समाप्त कर देगा।