কিভাবে ব্লগারে কাস্টম robots.txt ফাইল এড করতে হয় আপনি কি তা শিখতে চান? যদি আপনার উত্তর হ্যাঁ হয়, তবে আপনাকে এই আর্টিকেল স্বাগতম। কারণ আজকে আমরা আপনাদের দেখাবো যে কিভাবে ব্লগার সাইটে robots.txt ফাইল সঠিকভাবে অ্যাড করতে হয়।
এই পোস্টে, আমি Blogger Blogspot-এ একটি কাস্টম robots.txt ফাইল এড করার উপায়গুলি স্টেপ বাই স্টেপ শেয়ার করব৷ মেইন পোস্টে যাওয়ার আগে, আমি আপনাদের সাথে robot.txt ফাইল কী এবং কেন আপনার কাস্টম robot.txt ফাইল সাইটে যুক্ত করা উচিত সে সম্পর্কে কথা বলতে চাই৷
কাস্টম Robots.Txt ফাইল কি?
Robots.txt হল একটি টেক্সট ফাইল যাতে কয়েকটি লাইনের সাধারণ কোড থাকে। এটি ওয়েবসাইট বা সাইটের সার্ভারে সংরক্ষিত থাকে যা ওয়েব ক্রলারদের গাইড করে কিভাবে Google বা অন্যান্য সার্চ ইঞ্জিন তার সার্চ রেজাল্টে আপনার সাইটকে ইনডেক্স ও ক্রল করবে।
ব্লগারে কেন কাস্টম Robots.txt ফাইল যোগ করা উচিত?
ব্লগারে কাস্টম robot.txt ফাইল যোগ করার মাধ্যমে, আপনি ওয়েব ক্রলার থেকে আপনার সাইটের যেকোন ওয়েব পেজকে (যেমন: আপনার ব্লগ ট্যাগ ওয়েবপেজ, আপনার ডেমো পেজ বা অন্য যেকোন পেজ) হাইড করে রাখতে পারবেন যাতে এটি সার্চ ইঞ্জিনে ইনডেক্স করতে না পারে কারণ সেই পেজ গুলো ইনডেক্স করা অতটা গুরুত্বপূর্ণ নয়। এটি SEO এর জন্য খুবই সুবিধাজনক যা আপনাকে অর্গানিক ট্রাফিক বাড়াতে সাহায্য করে।
সর্বদা মনে রাখবেন সার্চ crawlers কোনো ওয়েব পেজ ক্রল করার আগে robots.txt ফাইলটি সার্চ করে। ব্লগারে হোস্ট করা প্রতিটি সাইটের নিজস্ব ডিফল্ট কাস্টম robots.txt ফাইল থাকে।
Robots.Txt ফাইলের উদাহরণ:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /b
Allow: /
Sitemap: https://www.youblogurll.blogspot.com/sitemap.xml
কিভাবে ব্লগার ব্লগস্পটে কাস্টম Robots.Txt ফাইল এড করবেন?
ব্লগার ব্লগস্পটে কাস্টম robots.txt ফাইল যোগ করার জন্য নিম্নলিখিত উপায়গুলি প্রয়োগ করুন।
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /b
Allow: /
Sitemap: https://www.yourblogurll.blogspot.com/feeds/posts/default?orderby=updated
ধাপ 1: প্রথমে আপনার ব্লগার ব্লগের ড্যাশবোর্ডে যান।
ধাপ 2: তারপর মেনু বারে ক্লিক করে Settings টিপুন ›› নিচে স্ক্রল করে Crawlers and indexing টি অন করে ›› Custom robots.txt এ ক্লিক করুন।
ধাপ 3: এখন প্রদত্ত ফাকা বক্সে আপনার robots.txt ফাইল কোডটি পেস্ট করুন।
আপনার সাইটের জন্য কাস্টম Robots.txt file তৈরি করতে এই টুলটি ব্যবহার করতে পারেন।
ধাপ 4: শেষে "Save" বাটনে ক্লিক করুন।
ধাপ 5: বাস এখন আপনার কাজ শেষ!
কাস্টম Robot.txt সম্পর্কে সবকিছু:
ব্লগারে হোস্ট করা প্রতিটি সাইটের নিজস্ব ডিফল্ট কাস্টম robots.txt ফাইল রয়েছে যা দেখতে কিছুটা এরকম:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /b
Allow: /
Sitemap: https://www.yourblogurll.blogspot.com/feeds/posts/default?orderby=updated
চলুন এবার কাস্টম Robot.txt সম্পূর্ণরূপে ব্যাখ্যা করি:
এই কোড বিভিন্ন segments এ বিভক্ত করা হয়েছে. আসুন আমরা প্রথমে তাদের প্রতিটি Study করি। তারপরে আমরা ব্লগার সাইটগুলিতে কাস্টম robots.txt ফাইলগুলি কীভাবে Discover করব তা খুঁজে বের করব।
User-agent: Mediapartners-Google
এই কোডটি Google Adsense রোবটের জন্য যা তাদের আপনার ব্লগে উচ্চতর বিজ্ঞাপন serve করতে সাহায্য করে।
User-agent:*
ডিফল্টভাবে, আমাদের ব্লগের ট্যাগ, হাইপারলিঙ্কগুলি সার্চ ক্রলারদের দ্বারা খুঁজে পাওয়ার সীমাবদ্ধতা রয়েছে যার অর্থ হল নীচের কোডের কারণে ওয়েবমাস্টার আমাদের ট্যাগ পেজগুলো এবং হাইপারলিঙ্কগুলিকে ইনডেক্স করবে না৷
Disallow: /search
অর্থাৎ হাইপারলিঙ্কে কীওয়ার্ড লুকআপ থাকলেই ডোমেইন নাম উপেক্ষা করা হবে। নীচের উদাহরণটি দেখুন এটি এসইও নামক ট্যাগ পেজের একটি লিঙ্ক।
যদি আমরা উপরের কোডে Disallow: /search বাদ দেই তাহলে ক্রলাররা আমাদের সম্পূর্ণ ব্লগটিকে ইনডেক্স করতে এবং এর সমস্ত আর্টিকেল এবং ওয়েবসাইট পেজগুলি ক্রল করতে পারবে।
এখানে Allow: / হোমপেজ বর্ণনা করে যার মানে ইন্টারনেট ক্রলাররা আমাদের ব্লগের হোমপেজ ক্রল এবং ইনডেক্স করতে পারে।
Disallow Particular Post
এখন ধরুন আমরা যদি একটি নির্দিষ্ট আর্টিকেল ইন্ডেক্সিং থেকে বাদ দিতে চাই তবে আমরা কোডে নীচের লাইনগুলি রাখতে পারি।
Disallow: /yyyy/mm/post-url.html
এখানে এই yyyy এবং mm যথাক্রমে পোস্টের প্রকাশের মাস এবং বছর নির্দেশ করে। উদাহরণস্বরূপ, যদি আমরা 2022 সালে October মাসে একটি পোস্ট প্রকাশ করি তবে আমাদের নীচের বিন্যাসটি ব্যবহার করতে হবে।
Disallow: /2022/10/post-url.html
Disallow Particular Page
যদি আমাদের একটি নির্দিষ্ট পেজ ইনডেক্সিং না করার প্রয়োজন হয় তবে আমরা আগের মতো ঠিক একই পদ্ধতি ব্যবহার করতে পারি। কেবল পৃষ্ঠার URL টি কপি করুন এবং এটি থেকে সাইটের address সরান যা দেখতে কিছুটা এরকম হবে:
Disallow: /p/page-url. html
Sitemap:http://yoururll.blogspot.com/feeds/posts/defaultorderby=UPDATED
এই কোডটি ওয়েবসাইটের পেজকে বোঝায়। আপনি যদি আপনার সাইটের পেজটি এখানে রাখেন তাহলে আপনি এই ব্লগের স্পিড সর্বাধিক করতে সক্ষম হবেন।
এর মানে হল যদি ক্রলাররা আপনার robots.txt ফাইলটি ক্রল করে তাহলে তারা আপনার সাইটের সাইট ক্রল করার জন্য একটি রুট site খুঁজে পেতে পারে।
আপনি যদি robots.txt ডকুমেন্টে আপনার সাইটের একটি সাইটম্যাপ তৈরি করেন তাহলে ক্রলাররা সহজে আপনার সাইটের সমস্ত পেজ এবং নিবন্ধগুলিকে ক্রল করবে একটিও মিস না করে৷
Sitemap: http://yourblourll.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
If you have more than 500 articles then utilize the 2 codes provided below:
Sitemap: http://yourblogurll.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://yourblogurl.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
কিভাবে আপনার কাস্টম Robot.txt ফাইল জেনারেট করবেন?
আপনি ওয়েব ব্রাউজারে আপনার ব্লগ URL এর শেষে /robots.txt যোগ করে আপনার ব্লগে আপনার robot.txt ফাইলটি Create করতে পারেন৷ উদাহরণ স্বরূপ:
কাস্টম রোবট txt এর ছবি দেখুন
আমি ব্লগার ব্লগস্পটে কাস্টম robots.txt ফাইল এড করার বিষয়ে একজন ব্লগারের জন্য যতটা সম্ভব কভার করার তা করতে চেষ্টা করেছি। শেষে, আমি উল্লেখ করতে চাই যে পোস্টটি আপনার ওয়েবসাইটের অর্গানিক ট্রাফিক বাড়াতে সাহায্য করবে।
আপনি যদি এই ব্লগ আর্টিকেলটি পছন্দ করেন তবে এটি আপনার বন্ধুদের সাথে শেয়ার করবেন যারা ব্লগারে কাস্টম robots.txt ফাইল যোগ করতে চায় এবং সাইটের ট্রাফিক উন্নত করতে চায়৷
এই আর্টিকালের কোন কিছু আপনার বুঝতে সমস্যা হলে নিচের কমেন্ট সেকশনে আপনি নির্দ্বিধায় কমেন্ট করতে পারেন।
ধন্যবাদ