আমাদের ক্রলারের কথা

ভারতের খাবারের লেবেলিং রেগুলেশন সোজা কথায় পড়ে Laddoo সেটা প্রকাশ করে, আর আমরা যে নিয়মই প্রকাশ করি তার সঙ্গে যে দস্তাবেজ থেকে সেটা এসেছে তার উল্লেখ থাকে। ওই উল্লেখটা শুধু বলে দেওয়া নয়, যাচাই করাও যাতে যায়, তার জন্য উল্লেখ করা প্রতিটা ডকুমেন্টের নিজেদের একটা কপি আমরা রেখে দিই, আর প্রকাশক ঠিক যে বাইটগুলো দিয়েছিলেন তারই একটা SHA-256 লিখে রাখি।

আমরা শুধু সেই ডকুমেন্টগুলোই আনি যেগুলোর নাম আমরা আগেই উল্লেখ করেছি - প্রকাশিত রেগুলেশন, সংশোধনী আর নির্দেশিকা। কিছু খুঁজতে আমরা কোনও সাইট ক্রল করি না, লিঙ্ক ধরে এগোই না, আর কিছু ইনডেক্সও করি না। প্রতিটা রিকোয়েস্ট এমন একটা ডকুমেন্টের জন্য, যেটা একজন অপারেটর আগেই চিহ্নিত করে রেখেছেন।

আমরা একটাই কারণে সময় ধরে আবার ফেচ করি: কোনও ডকুমেন্ট বদলালে যাতে একজন মানুষ সেটা জানতে পারেন আর সংশোধনীটা দেখে নিতে পারেন। ক্রলার কখনও কোনও নিয়ম বদলায় না। এটা একজন মানুষের জন্য একটা কাজ তুলে দেয়।

আপনার robots.txt-এ আমাদের User-Agent-এর জন্য একটা Disallow দিলে আমরা থেমে যাই, আর একটা Crawl-delay দিলে ধীরে চলি। প্রতিটা ফেচের আগে আমরা দুটোই পড়ি, আর দুটোই মানি।

আপনি crawler@laddoo.in-এ লিখতেও পারেন, একজন মানুষ উত্তর দেবেন। আমাদের ট্রাফিকে আপনার অসুবিধা হলে আমাদের বলুন, আমরা আগে থামব, আলোচনা পরে করব।

আমাদের কাছে থাকা কোনও ডকুমেন্ট যদি প্রকাশ হওয়াই উচিত না হয়ে থাকে, বা তাতে এমন কিছু থাকে যা থাকা উচিত নয়, ওই একই ঠিকানায় জানান। উল্লেখটা যাচাই করা যায় বলেই আমরা আমাদের কপি রাখি, আপনি তুলে নিয়েছেন এমন কিছু আবার প্রকাশ করার জন্য নয়।