எங்கள் க்ராலர் பற்றி
ஒரு சர்வர் லாக்கில் இந்த முகவரியைப் பார்த்தீர்கள் என்றால், இந்தப் பக்கம் உங்களுக்கானது.
நாங்கள் எதை எடுக்கிறோம், எதற்காக
இந்திய உணவு லேபிளிங் விதிமுறைகளை எளிய வார்த்தைகளில் Laddoo வெளியிடுகிறது, நாங்கள் வெளியிடும் ஒவ்வொரு விதியும் அது வந்த ஆவணத்தைக் குறிப்பிடுகிறது. அந்தக் குறிப்பு வெறும் சொல்லாக இல்லாமல் சரிபார்க்கக்கூடியதாக இருக்க, குறிப்பிடப்பட்ட ஒவ்வொரு ஆவணத்தின் சொந்த நகலை வைத்துக்கொள்கிறோம், வெளியிட்டவர் அனுப்பிய அதே பைட்டுகளின் SHA-256-ஐப் பதிவு செய்கிறோம்.
பெயர் சொல்லி நாங்கள் ஏற்கெனவே குறிப்பிடும் ஆவணங்களை மட்டுமே எடுக்கிறோம் - வெளியிடப்பட்ட விதிமுறைகள், திருத்தங்கள், வழிகாட்டுதல்கள். ஏதோ தேடிக்கொண்டு ஒரு தளத்தை நாங்கள் க்ரால் செய்வதில்லை, இணைப்புகளைப் பின்தொடர்வதில்லை, எதையும் இன்டெக்ஸ் செய்வதில்லை. ஒவ்வொரு கோரிக்கையும், ஒரு நிர்வாகி ஏற்கெனவே அடையாளம் காட்டிய ஒரே ஒரு ஆவணத்திற்கானது.
ஒரே ஒரு காரணத்திற்காக, ஒரு கால அளவின்படி மீண்டும் எடுக்கிறோம்: ஒரு ஆவணம் மாறும்போது ஒரு நபருக்குத் தெரிவிக்கப்பட்டு, அவர் அந்தத் திருத்தத்தைப் பரிசீலிக்க வேண்டும். க்ராலர் ஒருபோதும் ஒரு விதியை மாற்றுவதில்லை. அது ஒரு மனிதருக்கு ஒரு வேலையை உருவாக்குகிறது.
எங்களை எப்படி அடையாளம் காண்பது
- User-Agent
- LaddooArtefactVerifier/0.1 (+https://laddoo.in/about/provenance)
- இது எதைக் கோருகிறது
- வெளியிடப்பட்ட விதிமுறை ஆவணங்கள் - பெயர் சொல்லி நாங்கள் ஏற்கெனவே குறிப்பிடும் PDF-கள்
- எவ்வளவு அடிக்கடி
- இயல்பாக, ஒரு ஆவணத்திற்கு வாரம் ஒருமுறை
- வேகம்
- ஒரு ஹோஸ்ட்டுக்கு அதிகபட்சம் 3 வினாடிகளுக்கு ஒரு கோரிக்கை
- robots.txt
- படிக்கப்படுகிறது, பின்பற்றப்படுகிறது - Crawl-delay உட்பட
- எப்போது பின்வாங்குகிறது
- 429 மற்றும் 5xx; Retry-After-ஐப் பின்பற்றுகிறது
- அதிகபட்சப் பதிவிறக்கம்
- ஒரு ஆவணத்திற்கு 100 MB
நிறுத்தச் சொல்வது, அல்லது வேகத்தைக் குறைக்கச் சொல்வது
உங்கள் robots.txt-இல் எங்கள் User-Agent-க்கு ஒரு Disallow இருந்தால் நாங்கள் நின்றுவிடுவோம், ஒரு Crawl-delay எங்கள் வேகத்தைக் குறைக்கும். ஒவ்வொரு முறை எடுப்பதற்கு முன்பும் இரண்டையும் படிக்கிறோம், அவற்றைப் பின்பற்றுகிறோம்.
crawler@laddoo.in என்ற முகவரிக்கும் எழுதலாம், ஒரு நபர் பதில் சொல்வார். எங்கள் ட்ராஃபிக் உங்களுக்குச் சிக்கலாக இருந்தால் சொல்லுங்கள் - முதலில் நிறுத்திவிடுவோம், அதற்குப் பிறகு பேசுவோம்.
நாங்கள் வைத்திருக்கும் ஒரு ஆவணம் வெளியிடப்பட்டிருக்கக் கூடாதது என்றால், அல்லது அதில் இருக்கக் கூடாத ஒன்று இருந்தால், அதே முகவரியில் சொல்லுங்கள். ஒரு குறிப்பைச் சரிபார்க்க முடியும் என்பதற்காகவே எங்கள் நகல்களை வைத்திருக்கிறோம், நீங்கள் திரும்பப் பெற்ற எதையும் மீண்டும் வெளியிடுவதற்கு அல்ல.
நாங்கள் வெளியிடும் விதிகளும், அவை ஒவ்வொன்றின் பின்னால் உள்ள ஆவணங்களும் /rules-இல் உள்ளன. இயந்திரம் படிக்கக்கூடிய பதிப்பு /rules.json-இல் உள்ளது.
