आमच्या क्रॉलरबद्दल

भारतीय अन्न-लेबल नियमांचे सोप्या भाषेतले वाचन Laddoo प्रसिद्ध करते, आणि आम्ही प्रसिद्ध करणारा प्रत्येक नियम तो कोणत्या कायदेशीर दस्तऐवजातून आला त्याचा संदर्भ देतो. हा संदर्भ नुसता सांगितलेला न राहता तपासून पाहता यावा, म्हणून प्रत्येक संदर्भित दस्तऐवजाची स्वतःची प्रत आम्ही ठेवतो आणि प्रकाशकाने नेमके जे बाइट दिले त्यांचा SHA-256 नोंदवतो.

आम्ही आधीच नावानिशी संदर्भ दिलेलेच दस्तऐवज घेतो - प्रसिद्ध झालेले नियम, दुरुस्त्या आणि शिफारशी. काही शोधण्यासाठी आम्ही साइट क्रॉल करत नाही, लिंक पुढे उघडत नाही, आणि काहीही इंडेक्स करत नाही. प्रत्येक विनंती ही ऑपरेटरने आधीच निश्चित केलेल्या एका दस्तऐवजासाठी असते.

ठरलेल्या वेळापत्रकानुसार आम्ही पुन्हा घेतो, त्याचे एकच कारण आहे: दस्तऐवज बदलला की माणसाला ते कळावे आणि त्याने ती दुरुस्ती तपासावी. क्रॉलर कधीही नियम बदलत नाही. तो माणसासाठी एक काम तयार करतो.

तुमच्या robots.txt मध्ये आमच्या User-Agent साठी Disallow टाकले तर आम्ही थांबतो, आणि Crawl-delay टाकले तर आम्ही हळू होतो. प्रत्येक वेळी घेण्यापूर्वी आम्ही दोन्ही वाचतो आणि पाळतो.

तुम्ही crawler@laddoo.in वर लिहूही शकता, आणि एक माणूस उत्तर देईल. आमच्या ट्रॅफिकमुळे तुम्हाला अडचण होत असेल, तर आम्हाला सांगा - आम्ही आधी थांबतो आणि चर्चा नंतर करतो.

आमच्याकडे असलेला एखादा दस्तऐवज प्रसिद्ध व्हायला नको होता, किंवा त्यात नको ते काही असेल, तर त्याच पत्त्यावर आम्हाला सांगा. संदर्भ तपासून पाहता यावा म्हणून आम्ही आमच्या प्रती ठेवतो; तुम्ही मागे घेतलेले काही पुन्हा प्रसिद्ध करण्यासाठी नाही.