నేరుగా విషయానికి వెళ్లండి

మా క్రాలర్ గురించి

ఒక సర్వర్ లాగ్‌లో ఈ అడ్రస్ మీకు కనిపించిందంటే, ఈ పేజీ మీ కోసమే.

మేము ఏం తెచ్చుకుంటాం, ఎందుకు

భారతీయ ఆహార లేబులింగ్ నిబంధనలను సులభమైన మాటల్లో చదివి Laddoo ప్రచురిస్తుంది, మేము ప్రచురించే ప్రతి రూల్ అది ఏ పత్రం నుంచి వచ్చిందో ఉటంకిస్తుంది. ఆ ఉటంకింపు ఉత్తమాటగా మిగలకుండా సరిచూసుకోగలిగేలా ఉండాలంటే, ఉటంకించిన ప్రతి పత్రానికి మా సొంత కాపీ ఉంచుకుని, ప్రచురణకర్త ఇచ్చిన బైట్‌లకు సరిగ్గా SHA-256 నమోదు చేస్తాం.

పేరు పెట్టి మేము ఇప్పటికే ఉటంకించిన పత్రాలనే తెచ్చుకుంటాం - ప్రచురించిన నిబంధనలు, సవరణలు, సూచనలు. ఏదో వెతుక్కుంటూ ఒక సైట్‌ను క్రాల్ చేయము, లింక్‌ల వెంట వెళ్లము, ఏదీ ఇండెక్స్ చేయము. ప్రతి రిక్వెస్ట్ ఒక ఆపరేటర్ ఇప్పటికే గుర్తించిన ఒక్క పత్రం కోసమే.

ఒకే ఒక కారణానికి షెడ్యూల్ ప్రకారం మళ్లీ తెచ్చుకుంటాం: ఒక పత్రం మారినప్పుడు ఒక మనిషికి తెలియాలి, ఆ సవరణను ఆ మనిషి చూడాలి. క్రాలర్ ఏ రూల్‌నూ మార్చదు. అది ఒక మనిషికి పని పెడుతుంది.

మమ్మల్ని ఎలా గుర్తుపట్టాలి

User-Agent
LaddooArtefactVerifier/0.1 (+https://laddoo.in/about/provenance)
ఇది ఏం అడుగుతుంది
ప్రచురించిన నిబంధన పత్రాలు - పేరు పెట్టి మేము ఇప్పటికే ఉటంకించిన PDF లు
ఎంత తరచుగా
డిఫాల్ట్‌గా, ఒక్కో పత్రానికి వారానికి ఒకసారి
రేటు
ఏ ఒక్క హోస్ట్‌కైనా 3 సెకన్లకు ఒక రిక్వెస్ట్ కంటే ఎక్కువ కాదు
robots.txt
చదువుతాం, పాటిస్తాం, Crawl-delay తో సహా
వెనక్కి తగ్గేది
429, 5xx వచ్చినప్పుడు, Retry-After పాటిస్తూ
గరిష్ఠ డౌన్‌లోడ్
ఒక్కో పత్రానికి 100 MB

ఆపమని, లేదా నెమ్మదించమని అడగడం

మీ robots.txt లో మా User-Agent కు ఒక Disallow పెడితే మేము ఆగిపోతాం, ఒక Crawl-delay పెడితే నెమ్మదిస్తాం. ప్రతి ఫెచ్‌కు ముందు రెండూ చదువుతాం, రెండూ పాటిస్తాం.

crawler@laddoo.in కు కూడా రాయొచ్చు, ఒక మనిషి జవాబు ఇస్తారు. మా ట్రాఫిక్ మీకు ఇబ్బంది కలిగిస్తుంటే చెప్పండి, ముందు ఆపేసి తర్వాత మాట్లాడుకుంటాం.

మా దగ్గర ఉన్న పత్రం అసలు ప్రచురించకూడనిది అయితే, లేదా అందులో ఉండకూడనిది ఏదైనా ఉంటే, అదే అడ్రస్‌కు చెప్పండి. ఉటంకింపును సరిచూసుకోగలిగేలా చేయడానికే మా కాపీలు ఉంచుకుంటాం, మీరు వెనక్కి తీసుకున్న దాన్ని మళ్లీ ప్రచురించడానికి కాదు.

మేము ప్రచురించే రూల్స్, వాటి వెనుక ఉన్న పత్రాలు /rules లో ఉన్నాయి. మెషీన్ చదవగలిగే రూపం /rules.json లో ఉంది.

మా క్రాలర్ గురించి - Laddoo