ನಮ್ಮ ಕ್ರಾಲರ್ ಬಗ್ಗೆ
ಈ ವಿಳಾಸ ನಿಮ್ಮ ಸರ್ವರ್ ಲಾಗ್ನಲ್ಲಿ ಸಿಕ್ಕಿದ್ದರೆ, ಈ ಪುಟ ನಿಮಗಾಗಿ.
ನಾವು ಏನನ್ನು ತರುತ್ತೇವೆ, ಮತ್ತು ಏಕೆ
ಭಾರತದ ಆಹಾರ ಲೇಬಲ್ ನಿಬಂಧನೆಗಳ ಸರಳ ಮಾತಿನ ಓದನ್ನು Laddoo ಪ್ರಕಟಿಸುತ್ತದೆ, ಮತ್ತು ನಾವು ಪ್ರಕಟಿಸುವ ಪ್ರತಿ ನಿಯಮವೂ ತಾನು ಬಂದ ದಾಖಲೆಯನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತದೆ. ಆ ಉಲ್ಲೇಖ ಬರೀ ಹೇಳಿಕೆ ಆಗಿ ಉಳಿಯದೆ ತಾಳೆ ನೋಡಲು ಸಾಧ್ಯವಾಗಬೇಕು ಎಂದು, ಉಲ್ಲೇಖಿಸಿದ ಪ್ರತಿ ದಾಖಲೆಯ ನಮ್ಮದೇ ಪ್ರತಿಯನ್ನು ಇಟ್ಟುಕೊಂಡು, ಪ್ರಕಾಶಕರು ಕೊಟ್ಟ ಬೈಟ್ಗಳ SHA-256 ಅನ್ನು ದಾಖಲಿಸುತ್ತೇವೆ.
ನಾವು ಈಗಾಗಲೇ ಹೆಸರು ಹಿಡಿದು ಉಲ್ಲೇಖಿಸಿದ ದಾಖಲೆಗಳನ್ನು ಮಾತ್ರ ತರುತ್ತೇವೆ - ಪ್ರಕಟವಾದ ನಿಬಂಧನೆಗಳು, ತಿದ್ದುಪಡಿಗಳು ಮತ್ತು ಸಲಹೆಗಳು. ಏನಾದರೂ ಸಿಗುತ್ತದೆಯೇ ಎಂದು ನಾವು ಸೈಟ್ ಅನ್ನು ಜಾಲಾಡುವುದಿಲ್ಲ, ಲಿಂಕ್ಗಳ ಹಿಂದೆ ಹೋಗುವುದಿಲ್ಲ, ಮತ್ತು ಏನನ್ನೂ ಸೂಚಿ ಮಾಡುವುದಿಲ್ಲ. ಪ್ರತಿ ಕೋರಿಕೆಯೂ ನಮ್ಮ ಸಿಬ್ಬಂದಿ ಈಗಾಗಲೇ ಗುರುತಿಸಿದ ಒಂದೇ ದಾಖಲೆಗಾಗಿ.
ನಿಯಮಿತವಾಗಿ ಮತ್ತೆ ತರುವುದಕ್ಕೆ ಒಂದೇ ಕಾರಣ: ಒಂದು ದಾಖಲೆ ಬದಲಾದಾಗ ಒಬ್ಬ ವ್ಯಕ್ತಿಗೆ ತಿಳಿದು ಅವರು ಆ ತಿದ್ದುಪಡಿಯನ್ನು ಪರಿಶೀಲಿಸಬೇಕು. ಕ್ರಾಲರ್ ಯಾವ ನಿಯಮವನ್ನೂ ಬದಲಾಯಿಸುವುದಿಲ್ಲ. ಅದು ಒಬ್ಬ ವ್ಯಕ್ತಿಗೆ ಕೆಲಸ ಒಂದನ್ನು ಹಾಕುತ್ತದೆ.
ನಮ್ಮನ್ನು ಗುರುತಿಸುವುದು ಹೇಗೆ
- User-Agent
- LaddooArtefactVerifier/0.1 (+https://laddoo.in/about/provenance)
- ಅದು ಏನನ್ನು ಕೇಳುತ್ತದೆ
- ಪ್ರಕಟವಾದ ನಿಬಂಧನೆಗಳ ದಾಖಲೆಗಳು - ನಾವು ಈಗಾಗಲೇ ಹೆಸರು ಹಿಡಿದು ಉಲ್ಲೇಖಿಸಿದ PDF ಗಳು
- ಎಷ್ಟು ಬಾರಿ
- ಪೂರ್ವನಿಗದಿಯಂತೆ ದಾಖಲೆಗೆ ವಾರಕ್ಕೊಮ್ಮೆ
- ವೇಗ
- ಯಾವುದೇ ಒಂದು ಹೋಸ್ಟ್ಗೆ 3 ಸೆಕೆಂಡಿಗೆ ಹೆಚ್ಚೆಂದರೆ ಒಂದು ಕೋರಿಕೆ
- robots.txt
- ಓದುತ್ತೇವೆ ಮತ್ತು ಪಾಲಿಸುತ್ತೇವೆ, Crawl-delay ಅನ್ನೂ ಸೇರಿಸಿ
- ಯಾವಾಗ ಹಿಂದೆ ಸರಿಯುತ್ತದೆ
- 429 ಮತ್ತು 5xx ಬಂದಾಗ, Retry-After ಅನ್ನು ಪಾಲಿಸಿ
- ಗರಿಷ್ಠ ಡೌನ್ಲೋಡ್
- ದಾಖಲೆಗೆ 100 MB
ನಿಲ್ಲಿಸಲು ಅಥವಾ ನಿಧಾನ ಮಾಡಲು ಕೇಳುವುದು
ನಿಮ್ಮ robots.txt ನಲ್ಲಿ ನಮ್ಮ User-Agent ಗೆ ಒಂದು Disallow ಹಾಕಿದರೆ ನಾವು ನಿಲ್ಲುತ್ತೇವೆ, ಮತ್ತು ಒಂದು Crawl-delay ನಮ್ಮನ್ನು ನಿಧಾನ ಮಾಡುತ್ತದೆ. ಪ್ರತಿ ಬಾರಿ ತರುವ ಮೊದಲು ಎರಡನ್ನೂ ಓದುತ್ತೇವೆ ಮತ್ತು ಪಾಲಿಸುತ್ತೇವೆ.
crawler@laddoo.in ಗೆ ಬರೆದರೂ ಸಾಕು, ಒಬ್ಬ ವ್ಯಕ್ತಿ ಉತ್ತರಿಸುತ್ತಾರೆ. ನಮ್ಮ ಟ್ರಾಫಿಕ್ನಿಂದ ನಿಮಗೆ ತೊಂದರೆ ಆಗುತ್ತಿದ್ದರೆ ತಿಳಿಸಿ, ಮೊದಲು ನಿಲ್ಲಿಸುತ್ತೇವೆ, ಚರ್ಚೆ ಆಮೇಲೆ.
ನಮ್ಮ ಬಳಿ ಇರುವ ಒಂದು ದಾಖಲೆ ಪ್ರಕಟವಾಗಬಾರದಿತ್ತು ಎಂದಾದರೆ, ಅಥವಾ ಅದರಲ್ಲಿ ಇರಬಾರದ ಏನಾದರೂ ಇದ್ದರೆ, ಅದೇ ವಿಳಾಸಕ್ಕೆ ತಿಳಿಸಿ. ನಾವು ಪ್ರತಿಗಳನ್ನು ಇಟ್ಟುಕೊಳ್ಳುವುದು ಒಂದು ಉಲ್ಲೇಖವನ್ನು ತಾಳೆ ನೋಡಲು ಸಾಧ್ಯವಾಗಿಸಲು, ನೀವು ಹಿಂತೆಗೆದುಕೊಂಡದ್ದನ್ನು ಮತ್ತೆ ಪ್ರಕಟಿಸಲು ಅಲ್ಲ.
ನಾವು ಪ್ರಕಟಿಸುವ ನಿಯಮಗಳು ಮತ್ತು ಅವುಗಳ ಹಿಂದಿನ ದಾಖಲೆಗಳು /rules ನಲ್ಲಿ ಇವೆ. ಯಂತ್ರ ಓದುವ ರೂಪ /rules.json ನಲ್ಲಿ ಇದೆ.
