सीधे कॉन्टेंट पर जाएँ

हमारे क्रॉलर के बारे में

अगर यह पता आपको अपने सर्वर लॉग में मिला है, तो यह पेज आपके लिए है।

हम क्या लाते हैं, और क्यों

Laddoo भारतीय खाद्य लेबलिंग विनियमों को सीधी भाषा में समझाकर प्रकाशित करता है, और हमारा हर नियम उस दस्तावेज़ का हवाला देता है जिससे वह आया है। वह हवाला सिर्फ़ कहा हुआ न रहे बल्कि जाँचा जा सके, इसके लिए हम हवाले में दिए हर दस्तावेज़ की अपनी कॉपी रखते हैं और प्रकाशक ने जो बाइट्स भेजी थीं, ठीक उन्हीं का SHA-256 दर्ज करते हैं।

हम सिर्फ़ वे दस्तावेज़ लाते हैं जिनका हवाला हम नाम लेकर पहले ही दे चुके हैं - प्रकाशित विनियम, संशोधन और सलाह। हम कुछ ढूँढने के लिए किसी साइट पर क्रॉल नहीं करते, लिंक पकड़कर आगे नहीं जाते, और कुछ भी इंडेक्स नहीं करते। हर रिक्वेस्ट एक ऐसे दस्तावेज़ के लिए होती है जिसे हमारा कोई ऑपरेटर पहले से चुन चुका है।

हम तय समय पर दोबारा एक ही वजह से लाते हैं: जब कोई दस्तावेज़ बदले, तो किसी इंसान को पता चले और वह संशोधन जाँचे। क्रॉलर कोई नियम कभी नहीं बदलता। वह किसी इंसान के लिए काम खड़ा करता है।

हमें कैसे पहचानें

User-Agent
LaddooArtefactVerifier/0.1 (+https://laddoo.in/about/provenance)
क्या माँगता है
प्रकाशित विनियम के दस्तावेज़ - वे PDF जिनका हवाला हम नाम लेकर पहले ही दे चुके हैं
कितनी बार
डिफ़ॉल्ट रूप से हफ़्ते में एक बार, हर दस्तावेज़ के लिए
रफ़्तार
किसी एक होस्ट पर ज़्यादा से ज़्यादा हर 3 सेकंड में एक रिक्वेस्ट
robots.txt
पढ़ा और माना जाता है, Crawl-delay सहित
कब पीछे हट जाता है
429 और 5xx पर, Retry-After मानते हुए
ज़्यादा से ज़्यादा डाउनलोड
हर दस्तावेज़ के लिए 100 MB

हमें रुकने या धीमा होने को कहना

आपके robots.txt में हमारे User-Agent के लिए Disallow हमें रोक देता है, और Crawl-delay हमें धीमा कर देता है। हर बार लाने से पहले हम दोनों पढ़ते हैं और दोनों मानते हैं।

आप crawler@laddoo.in पर लिख भी सकते हैं, कोई इंसान जवाब देगा। अगर हमारी ट्रैफ़िक से आपको दिक़्क़त हो रही है, तो बताइए - हम पहले रुकेंगे, बात बाद में करेंगे।

अगर हमारे पास का कोई दस्तावेज़ प्रकाशित ही नहीं होना चाहिए था, या उसमें कुछ ऐसा है जो नहीं होना चाहिए, तो उसी पते पर बताइए। हम अपनी कॉपियाँ इसलिए रखते हैं कि हवाला जाँचा जा सके, आपके हटाए किसी दस्तावेज़ को दोबारा छापने के लिए नहीं।

हम जो नियम प्रकाशित करते हैं, और उनमें से हर एक के पीछे के दस्तावेज़, /rules पर हैं। मशीन के पढ़ने लायक़ रूप /rules.json पर है।

हमारे क्रॉलर के बारे में - Laddoo