ওয়েব স্পিডিং এবং ওয়েব ক্রলারের সংজ্ঞা

মাকড়সা প্রোগ্রামগুলি (বা স্বয়ংক্রিয় স্ক্রিপ্ট) যা ওয়েবে অনুসন্ধানের জন্য ওয়েবের মাধ্যমে 'ক্রল' করে। মাকড়সা ওয়েবসাইট ইউআরএল মাধ্যমে ভ্রমণ এবং ইমেইল ঠিকানা মত ওয়েব পেজ থেকে তথ্য টানতে পারেন। মাকড়সা এছাড়াও সার্চ ইঞ্জিনে ওয়েবসাইটে পাওয়া তথ্য ফিড ব্যবহার করা হয়।

মাকড়সা, যা 'ওয়েব ক্রলার' হিসাবেও পরিচিত, ওয়েবে অনুসন্ধান করে এবং তাদের অভিপ্রায় সব বন্ধুত্বপূর্ণ নয়।

স্প্যামার স্পাইডার ওয়েবসাইট তথ্য সংগ্রহ

গুগল, ইয়াহু! এবং অন্যান্য সার্চ ইঞ্জিনগুলি শুধুমাত্র ওয়েবসাইটগুলি ক্রলিংয়ে আগ্রহী নয় - তাই স্ক্যামার এবং স্প্যামারগুলি রয়েছে।

মাকড়সা এবং অন্যান্য স্বয়ংক্রিয় সরঞ্জামগুলি স্প্যামারদের ওয়েবসাইটগুলিতে ইমেল ঠিকানাগুলি খুঁজতে (ইন্টারনেটে এই অনুশীলনটি প্রায়শই 'ফসল কাটার' হিসাবে উল্লেখ করা হয়) ব্যবহার করে এবং স্প্যাম তালিকা তৈরি করতে তাদের ব্যবহার করে।

মাকড়সা এছাড়াও আপনার ওয়েবসাইট সম্পর্কে আরও তথ্যের জন্য অনুসন্ধান ইঞ্জিন ব্যবহার করে একটি সরঞ্জাম ব্যবহার করা হয় তবে আপনার সাইটটি ক্রল করতে কীভাবে নির্দেশাবলী ছাড়াই একটি ওয়েবসাইট (বা 'অনুমতি') ছাড়াই ওয়েবসাইটটি গুরুত্বপূর্ণ তথ্য সুরক্ষা ঝুঁকিগুলি উপস্থাপন করতে পারে। মাকড়সা লিঙ্ক অনুসরণ করে ভ্রমণ, এবং তারা ডাটাবেস, প্রোগ্রাম ফাইল, এবং অন্যান্য তথ্য লিঙ্ক আপনি খুঁজে পেতে চান না, যা লিঙ্ক লিঙ্ক খুঁজে খুব অভিভূত।

ওয়েবমাস্টাররা কি স্পাইডার এবং অন্যান্য রোবট তাদের সাইট পরিদর্শন করেছেন তা দেখতে লগ দেখতে পারেন। এই তথ্য ওয়েবমাস্টারদের কে তাদের সাইটকে indexing হয় এবং কত ঘন ঘন হয় তা জানায়।

এই তথ্যটি দরকারী কারণ এটি ওয়েবমাস্টারগুলিকে তাদের এসইওকে সুরক্ষিত করতে এবং রোবট.txt ফাইলগুলিকে আপডেট করতে সহায়তা করে যাতে নির্দিষ্ট রোবটগুলি ভবিষ্যতে তাদের সাইটটিকে ক্রল করা থেকে নিষিদ্ধ করতে পারে।

অবাঞ্ছিত রোবট ক্রলার থেকে আপনার ওয়েবসাইট রক্ষা করার টিপস

আপনার ওয়েবসাইট থেকে অবাঞ্ছিত ক্রলারদের রাখা একটি মোটামুটি সহজ উপায়। এমনকি আপনি যদি আপনার সাইটের ক্রাউল করা দূষিত মাকড়সাগুলির বিষয়ে উদ্বিগ্ন না হন তবেও (আপনার ইমেল ঠিকানাটি সর্বাধিক ক্রলারদের থেকে রক্ষা করবে না), আপনাকে এখনও গুরুত্বপূর্ণ নির্দেশাবলীর সাথে অনুসন্ধান ইঞ্জিন সরবরাহ করতে হবে।

সমস্ত ওয়েবসাইটগুলিতে একটি ফাইল থাকতে হবে যা রুট ডিরেক্টরিতে অবস্থিত একটি robots.txt ফাইল নামে পরিচিত। এই ফাইলটি আপনাকে ওয়েব ক্রলারগুলিকে নির্দেশ দিতে দেয় যেখানে আপনি তাদের সূচী পৃষ্ঠাগুলিতে দেখতে চান (যদি না অন্য কোন নির্দিষ্ট পৃষ্ঠার মেটা ডেটা কোন সূচী না থাকে তবে) এটি কোনও সার্চ ইঞ্জিন হয়।

যেমন আপনি বলতে পারেন যে ক্রলারগুলি যেখানে আপনি ব্রাউজ করতে চান সেখানেই আপনি চান যে তারা কোথায় যাবে না এবং এমনকি আপনার সমগ্র ওয়েবসাইট থেকে নির্দিষ্ট ক্রলারকে ব্লক করতে পারে।

এটি মনে রাখা গুরুত্বপূর্ণ যে রোবট.txt ফাইলটি একসাথে রাখা অনুসন্ধান ইঞ্জিনের জন্য অসাধারণ মান পাবে এবং আপনার ওয়েবসাইটের কর্মক্ষমতা উন্নত করার ক্ষেত্রেও এটি একটি মূল উপাদান হতে পারে তবে কিছু রোবট ক্রলার এখনও আপনার নির্দেশাবলী উপেক্ষা করবে। এই কারণে, আপনার সমস্ত সফটওয়্যার, প্লাগইন এবং অ্যাপ্লিকেশনগুলি সর্বদা আপ টু ডেট রাখা গুরুত্বপূর্ণ।

সম্পর্কিত নিবন্ধ এবং তথ্য

তথ্য সংগ্রহের ব্যাপকতার কারণে অপ্রতিরোধ্য (স্প্যাম) উদ্দেশ্যে ব্যবহার করা হয়, ২003 সালে আইনটি কিছু অভ্যাস অবৈধ করার জন্য পাস করা হয়েছিল। এই ভোক্তা সুরক্ষা আইন ২003 সালের ক্যান-স্প্যাম আইনের অধীনে পড়ে।

আপনার ব্যবসা কোনও ভর মেলিং বা তথ্য সংগ্রহের সাথে জড়িত থাকলে আপনি CAN-SPAM আইনটি পড়তে সময় নিচ্ছেন।

আপনি এন্টি স্প্যাম আইন এবং স্প্যামারগুলির সাথে কীভাবে মোকাবিলা করতে পারেন এবং নিম্নলিখিত নিবন্ধগুলি পড়ার দ্বারা আপনি কীভাবে একজন ব্যবসায়ীর মালিক হিসাবে কাজ করতে পারেন তা সম্পর্কে আরো জানতে পারেন:

• ক্যান-স্প্যাম আইন ২003
• অলাভজনক জন্য ক্যান স্প্যাম আইন বিধি
• 5 ক্যান-স্প্যাম নিয়ম ছোট ব্যবসা মালিকদের বোঝার প্রয়োজন