free
Robots.txt Generator এই টুল আপনাকে আপনার ওয়েবসাইটের জন্য একটি robots.txt ফাইল তৈরি করতে সাহায্য করে। Robots.txt ফাইলটি সার্চ ইঞ্জিন বট এবং ওয়েব ক্রলারদের নির্দেশনা দেয় কোন পৃষ্ঠা ইনডেক্স করা উচিত এবং কোনটি এড়িয়ে যাওয়া উচিত। ToolHQ-এর এই জেনারেটর ব্যবহার করে আপনি সহজেই একটি কাস্টমাইজড robots.txt ফাইল তৈরি করতে পারেন। — free
ToolHQ দিয়ে একটি robots.txt ফাইল ভিজ্যুয়াল বিল্ডার দিয়ে তৈরি করুন।
Rule 1
User-agent: * Allow: / Disallow: /admin Sitemap: https://example.com/sitemap.xml
How to use Robots.txt Generator এই টুল আপনাকে আপনার ওয়েবসাইটের জন্য একটি robots.txt ফাইল তৈরি করতে সাহায্য করে। Robots.txt ফাইলটি সার্চ ইঞ্জিন বট এবং ওয়েব ক্রলারদের নির্দেশনা দেয় কোন পৃষ্ঠা ইনডেক্স করা উচিত এবং কোনটি এড়িয়ে যাওয়া উচিত। ToolHQ-এর এই জেনারেটর ব্যবহার করে আপনি সহজেই একটি কাস্টমাইজড robots.txt ফাইল তৈরি করতে পারেন।
1
আপনার crawl rules নির্বাচন করুন
সার্চ ইঞ্জিন ক্রলারদের জন্য আপনি যে URLs এবং crawl methods অনুমতি দিতে বা নিষিদ্ধ করতে চান তা নির্বাচন করুন
2
আপনার ফাইল কাস্টমাইজ করুন
আপনার ওয়েবসাইটের নির্দিষ্ট চাহিদা অনুযায়ী directives যোগ করুন বা সংশোধন করুন, যেমন নির্দিষ্ট পৃষ্ঠা বা user agents অনুমতি না দেওয়া।
3
আপনার robots.txt ফাইল ডাউনলোড করুন
আপনার custom robots.txt ফাইল পান এবং আপনার ওয়েবসাইটের root directory তে আপলোড করুন