हमारे क्रॉलर के बारे में
अगर यह पता आपको अपने सर्वर लॉग में मिला है, तो यह पेज आपके लिए है।
हम क्या लाते हैं, और क्यों
Laddoo भारतीय खाद्य लेबलिंग विनियमों को सीधी भाषा में समझाकर प्रकाशित करता है, और हमारा हर नियम उस दस्तावेज़ का हवाला देता है जिससे वह आया है। वह हवाला सिर्फ़ कहा हुआ न रहे बल्कि जाँचा जा सके, इसके लिए हम हवाले में दिए हर दस्तावेज़ की अपनी कॉपी रखते हैं और प्रकाशक ने जो बाइट्स भेजी थीं, ठीक उन्हीं का SHA-256 दर्ज करते हैं।
हम सिर्फ़ वे दस्तावेज़ लाते हैं जिनका हवाला हम नाम लेकर पहले ही दे चुके हैं - प्रकाशित विनियम, संशोधन और सलाह। हम कुछ ढूँढने के लिए किसी साइट पर क्रॉल नहीं करते, लिंक पकड़कर आगे नहीं जाते, और कुछ भी इंडेक्स नहीं करते। हर रिक्वेस्ट एक ऐसे दस्तावेज़ के लिए होती है जिसे हमारा कोई ऑपरेटर पहले से चुन चुका है।
हम तय समय पर दोबारा एक ही वजह से लाते हैं: जब कोई दस्तावेज़ बदले, तो किसी इंसान को पता चले और वह संशोधन जाँचे। क्रॉलर कोई नियम कभी नहीं बदलता। वह किसी इंसान के लिए काम खड़ा करता है।
हमें कैसे पहचानें
- User-Agent
- LaddooArtefactVerifier/0.1 (+https://laddoo.in/about/provenance)
- क्या माँगता है
- प्रकाशित विनियम के दस्तावेज़ - वे PDF जिनका हवाला हम नाम लेकर पहले ही दे चुके हैं
- कितनी बार
- डिफ़ॉल्ट रूप से हफ़्ते में एक बार, हर दस्तावेज़ के लिए
- रफ़्तार
- किसी एक होस्ट पर ज़्यादा से ज़्यादा हर 3 सेकंड में एक रिक्वेस्ट
- robots.txt
- पढ़ा और माना जाता है, Crawl-delay सहित
- कब पीछे हट जाता है
- 429 और 5xx पर, Retry-After मानते हुए
- ज़्यादा से ज़्यादा डाउनलोड
- हर दस्तावेज़ के लिए 100 MB
हमें रुकने या धीमा होने को कहना
आपके robots.txt में हमारे User-Agent के लिए Disallow हमें रोक देता है, और Crawl-delay हमें धीमा कर देता है। हर बार लाने से पहले हम दोनों पढ़ते हैं और दोनों मानते हैं।
आप crawler@laddoo.in पर लिख भी सकते हैं, कोई इंसान जवाब देगा। अगर हमारी ट्रैफ़िक से आपको दिक़्क़त हो रही है, तो बताइए - हम पहले रुकेंगे, बात बाद में करेंगे।
अगर हमारे पास का कोई दस्तावेज़ प्रकाशित ही नहीं होना चाहिए था, या उसमें कुछ ऐसा है जो नहीं होना चाहिए, तो उसी पते पर बताइए। हम अपनी कॉपियाँ इसलिए रखते हैं कि हवाला जाँचा जा सके, आपके हटाए किसी दस्तावेज़ को दोबारा छापने के लिए नहीं।
हम जो नियम प्रकाशित करते हैं, और उनमें से हर एक के पीछे के दस्तावेज़, /rules पर हैं। मशीन के पढ़ने लायक़ रूप /rules.json पर है।
