What is robots txt | কেন নতুন ওয়েবসাইটের robots.txt খুব প্রয়োজন

robots.txt Indexing , একটি নতুন সাইট অনেক উপাদান উপর নির্ভর করে। এর মধ্যে একটি হ'ল রোবটস টেক্সট ফাইল ।. যে কোনও নতুন ওয়েবমাস্টার সঠিকভাবে  পরিচত হওয়া উচিত। নতুনদের জন্য আপডেট করা উপাদান। রবোটের পাঠ্য নিজেই কীভাবে রচনা করবেন" সম্পূর্ণ নির্দেশিকায় একটি ফাইল রচনার নিয়ম সম্পর্কে আরও জানুন।

আরো পড়ুনঃ 15GB ফ্রী গুগোল ড্রাইভ কিভাবে ব্যবহার করবেন বিস্তারিত এই পোস্ট

What is robots.txt

একটি robots.txt ফাইল। একটি পাঠ্য নথিতে সন্ধানের বটগুলির জন্য একটি নির্দিষ্ট সাইটকে সূচীকরণের জন্য নির্দেশাবলী রয়েছে। এটি সার্চ ইঞ্জিনগুলিকে বলে যে কোনও ওয়েব উত্সের কোন পৃষ্ঠাগুলিকে সূচিকাগ্রহণ করা উচিত এবং কোনটি সূচকের অনুমতি দেওয়া উচিত নয়।

আরো পড়ুনঃ গুগল কিভাবে কাজ করে বিস্তারিত এই পোস্ট

একটি অনুসন্ধান রোবট প্রথমে আপনার সাইটে আসে এবং  robots.txt .কে খুঁজতে চেষ্টা করে। যদি রোবট ফাইলটি খুঁজে না পায় বা এটি ভুলভাবে সংকলিত হয় তবে বটটি নিজের বিবেচনার ভিত্তিতে সাইটটি অন্বেষণ করবে। এটি সত্য নয় যে তিনি প্রথম পৃষ্ঠায় অনুসন্ধানের জন্য প্রবেশ করতে হবে এমন পৃষ্ঠাগুলি দিয়ে শুরু করবেন (নতুন নিবন্ধ, পর্যালোচনা, ফটো প্রতিবেদন এবং আরও অনেক কিছু)। এটি একটি নতুন সাইট নির্ধারণ করতে দীর্ঘ সময় নিতে পারে। অতএব, ওয়েবমাস্টারকে যথাসময়ে সঠিক  robots.txt ফাইল তৈরি করার জন্য যত্ন নেওয়া উচিত।   

আরো পড়ুনঃ গুগল এডসেন্স একাউন্ট খোলার নিয়ম এই পোস্টে বিস্তারিত

কিছু ওয়েবসাইট নির্মাতাদের মধ্যে ফাইলটি নিজেই উত্পন্ন হয়। উদাহরণস্বরূপ, সপ্তাহগুলি স্বয়ংক্রিয়ভাবে robots.txt  উত্পন্ন করে। ফাইলটি দেখতে, ডোমেনে "/robots.txt" যুক্ত করুন। আপনি যদি সেখানে "noflashTMTL" এবং "ব্যাকটিএমটিএল" এর মতো অদ্ভুত জিনিস দেখেন তবে অবাক হবেন না: এগুলি প্ল্যাটফর্মের সাইটগুলির কাঠামোর সাথে সম্পর্কিত এবং অনুসন্ধান ইঞ্জিনগুলির মনোভাবকে প্রভাবিত করে না।

নতুন ওয়েবসাইটের robots.txt খুব প্রয়োজন

আমার মনে হয়, কিছু সাইটের সামগ্রী নিষিদ্ধ কেন? সাইট দ্বারা নির্মিত সমস্ত সামগ্রী অনুসন্ধান রোবট দ্বারা প্রয়োজনীয় নয়। সিস্টেম ফাইল আছে, সদৃশ পৃষ্ঠাগুলি আছে, কীওয়ার্ড শিরোনাম রয়েছে এবং আরও অনেকগুলি বিষয় রয়েছে যা সূচকের প্রয়োজন হয় না। একটি জিনিস আছে:

Robots.txt ফাইলের বিষয়বস্তুগুলি বটগুলির জন্য নির্দেশিকা, কঠোর এবং দ্রুত নিয়ম নয়। বট সুপারিশ উপেক্ষা করতে পারে।

আরো পড়ুনঃ কিভাবে জিমেইল আইডি খোলা যায় বিস্তারিত এই পোস্ট

গুগল সতর্ক করে দিয়েছে যে আপনি robots.txt. মাধ্যমে গুগলে প্রদর্শিত পৃষ্ঠাগুলি ব্লক করতে পারবেন না। এমনকি যদি আপনি  robots.txt. এর  কোনও পৃষ্ঠায় অ্যাক্সেস অবরুদ্ধ করেন, অন্য পৃষ্ঠার যদি এই পৃষ্ঠায় কোনও লিঙ্ক থাকে, তবে এটি সূচীতে যেতে পারে। উভয় রোবট বিধিনিষেধ এবং অন্যান্য ব্লক পদ্ধতি ব্যবহার করা ভাল:

• সাইট সূচি নিষিদ্ধ, ইয়ানডেক্স
• ব্লকিং ইনডেক্সিং, গুগল

তবে,robots.txt  ব্যতীত যে তথ্য গোপন করা উচিত সেগুলি সম্ভবত অনুসন্ধানের ফলাফলগুলিতে শেষ হবে এবং এটি ব্যক্তিগত তথ্য এবং অন্যান্য ইস্যুর প্রকাশে পূর্ণ হতে পারে।

robots.txt কিসের সমন্বয়ে গঠিত

ফাইলটির নাম কেবল "  robots.txt " রাখা উচিত ছোট ক্ষেত্রে এবং অন্য কিছুই। এটি মূল ডিরেক্টরিতে স্থাপন করা হয়েছে - https://site.com/robots.txt এ একটি একক অনুলিপি। অনুরোধের প্রতিক্রিয়া হিসাবে, এটি 200 ঠিক আছে স্থিতি সহ একটি HTTP কোড ফেরত দেওয়া উচিত। ফাইলের আকার অবশ্যই 32 কেবি ছাড়িয়ে যাবে না। গুগল রোবোটগুলির জন্য এটি 500 কেবি অবধি ওজন করতে পারে, এটি ইয়্যান্ডেক্স সর্বোচ্চ হিসাবে গ্রহণ করবে।

আরো পড়ুনঃ আনলিমিটেড ফ্রি গুগল ড্রাইভ সারাজীবনের জন্য বিস্তারিত এই পোস্ট

রোবটস টেক্সট-এ নির্দেশাবলী (আদেশ বা নির্দেশাবলী) বিশেষ পদ ব্যবহার করে লেখা হয়। সংক্ষেপে অনুসন্ধানের বটগুলির নির্দেশাবলী সম্পর্কে:

"Us-agent:" - the main directive robots.txt

অনুসন্ধানের রোবটটি সংহত করতে ব্যবহৃত হবে যা নির্দেশনা দেওয়া হবে। উদাহরণস্বরূপ, ব্যবহারকারী-এজেন্ট: গুগলবট বা ব্যবহারকারী-এজেন্ট: ইয়ানডেক্স। আপনি অন্য সকল অনুসন্ধান ইঞ্জিন একবারে Robots.txt ফাইলটিতে নির্দিষ্ট করতে পারেন। এই ক্ষেত্রে আপনি কমান্ডটি দেখতে পাবেন: ব্যবহারকারী-এজেন্ট: *। বিশেষ অক্ষর "*" সাধারণত "যে কোনও পাঠ্য" হিসাবে বোঝা যায়।

আরো পড়ুনঃ গুগল এডসেন্স পিন ভেরিফিকেশন চিঠি এই পোস্ট বিস্তারিত

প্রধান নির্দেশিকার পরে "ব্যবহারকারী-এজেন্ট:" নির্দিষ্ট আদেশগুলি অনুসরণ করে।

"Disallow:" command - prohibit indexing in robots.txt

এই কমান্ডটি ব্যবহার করে, অনুসন্ধানের একটি রোবট পুরো বা এর কিছু অংশে ওয়েব সংস্থান সূচীকরণ থেকে নিষিদ্ধ করা যেতে পারে। এটি কী ধরণের এক্সটেনশন করবে তার উপর নির্ভর করে।

User-agent: Yandex

Disallow: /

আরো পড়ুনঃ ইমেল পিডিএফ ফাইলে রূপান্তর করুন বিস্তারিত এই পোস্ট

Robots.txt. ফাইলটিতে এই ধরণের প্রবেশের অর্থ হ'ল ইয়ানডেক্স অনুসন্ধান রোবটটিকে এই সাইটটিকে মোটেও সূচী করার অনুমতি নেই, যেহেতু নিষিদ্ধকরণ সাইন "/" কোনও স্পষ্টির সাথে নেই।

User-agent: Yandex

Disallow: / wp-admin

আরো পড়ুনঃ সেরা Google Chrome SEO এক্সটেনশন বিস্তারিত এই পোস্ট

এবার স্পষ্টতা রয়েছে এবং তারা সিএমএস ওয়ার্ডপ্রেসে ডাব্লুপি-অ্যাডমিন সিস্টেম ফোল্ডারটি নিয়ে উদ্বেগ প্রকাশ করেছে। এটি হ'ল এটির প্রস্তাব দেওয়া হয় যে সূচীকরণ রোবট এই পুরো ফোল্ডারটিকে সূচীকরণ করতে অস্বীকার করবে।

Command "Allow:" - allow indexing in robots.txt

পূর্ববর্তী নির্দেশাবলীতে অ্যান্টিপড। একই যোগ্যতা উপাদানগুলি ব্যবহার করে, তবে  Robots.txt. এই আদেশটি ব্যবহার করে, আপনি সূচীকরণ রোবটকে আপনার অনুসন্ধান বেসে প্রয়োজনীয় সাইট উপাদানগুলিতে অ্যাক্সেসের অনুমতি দিতে পারেন।

User-agent: *

Allow: / catalog 

Disallow: /

"/ ক্যাটালগ" দিয়ে শুরু হওয়া সমস্ত কিছুকে স্ক্যান করার অনুমতি দেওয়া হয় এবং অন্য সমস্ত কিছু নিষিদ্ধ।

আরো পড়ুনঃ কেন গুগল অ্যাডসেন্স পাওয়া যায় না বিস্তারিত এই পোস্ট

অনুশীলনে, "অনুমতি দিন:" ব্যবহার প্রায়শই হয় না। এটির কোনও প্রয়োজন নেই কারণ এটি স্বয়ংক্রিয়ভাবে প্রয়োগ করা হয়। রোবটগুলিতে "সমস্ত কিছু অনুমোদিত যা নিষিদ্ধ নয়।" সাইটের মালিককে কেবল "অস্বীকৃতি:" নির্দেশনাটি ব্যবহার করতে হবে, কিছু সামগ্রীর সূচি নিষিদ্ধ করা এবং উত্সের অন্যান্য সমস্ত সামগ্রী সূচকের জন্য উপলব্ধ হিসাবে অনুসন্ধান রোবট দ্বারা অনুধাবন করা হয়েছে।

Directive indication of the sitemap

"সাইটম্যাপ:" ক্রলিং রোবটকে ওয়ার্ডপ্রেস সিএমএসের ক্ষেত্রে সাইটম্যাপ - সাইটম্যাপ.এক্সএমএল এবং সাইটম্যাপ.এক্সএমএল.gz ফাইল উভয়ের সঠিক পথটি বলে tells

আরো পড়ুনঃ অ্যাডসেন্স ছারাই আয় বিস্তারিত এই পোস্ট

User-agent: *

Sitemap: http://filtps.com/sitemap.xml

Sitemap: http://filtps.com/sitemap.xml.gz

Robots.txt. ফাইলে কমান্ডটি লিখে সার্চ রোবটকে সাইটম্যাপকে আরও দ্রুত সূচী করতে সহায়তা করবে। এটি অনুসন্ধানের ফলাফলগুলিতে সংস্থান পৃষ্ঠা পাওয়ার প্রক্রিয়াটিকে ত্বরান্বিত করবে।

Robots.txt file ready - what's next

সুতরাং আপনি আপনার সাইটের প্রয়োজনীয়তার উপর ভিত্তি করে একটি Robots.txt.  পাঠ্য দস্তাবেজ তৈরি করেছেন। এটি স্বয়ংক্রিয়ভাবে করা যায়, উদাহরণস্বরূপ, আমাদের সরঞ্জাম ব্যবহার করে।

আরও পড়ুন : বাংলা ওয়েবসাইট SEO করার নিয়ম বিস্তারিত এই পোস্ট

পরবর্তী কি করতে হবে

:

• তৈরি নথির যথার্থতা পরীক্ষা করুন, উদাহরণস্বরূপ, ইয়ানডেক্স পরিষেবা ব্যবহার করে  এফটিপি ক্লায়েন্ট ব্যবহার করে, সমাপ্ত ফাইলটি আপনার সাইটের মূল ফোল্ডারে আপলোড করুন।
•  ওয়ার্ডপ্রেস পরিস্থিতিতে, এটি সাধারণত পাবলিক_এইচটিএমএল সিস্টেম ফোল্ডার।

আরো পড়ুনঃ কিভাবে গুগল আপনার ওয়েবসাইট কে প্রথম পেজ এ নিয়ে যাই বিস্তারিত এই পোস্ট

তারপরে আপনাকে অনুসন্ধানের রোবটগুলি উপস্থিত হওয়ার জন্য অপেক্ষা করতে হবে, আপনার । /robots.txt আপনার চেক করা উচিত এবং তারপরে আপনার সাইটের সূচী শুরু করা উচিত।

How to view the robots.txt of someone else's site

আপনি যদি অন্যদের দ্বারা সম্পাদিত রোবটস.টেক্সট ফাইলের প্রথম হাতের উদাহরণগুলি দেখতে আগ্রহী হন, এর চেয়ে সহজ আর কিছুই নেই। এটি করতে ব্রাউজারের ঠিকানা বারে কেবল সাইটের.ru/robots.txt টাইপ করুন। "সাইট.ru" এর পরিবর্তে - আপনার আগ্রহী সেই সংস্থানটির নাম।

বুনাস বন্ধুঃ ৮সেরা স্ক্রিন রেকর্ডার উইন্ডোজ ১০এর জন্য - বিনামূল্যে

robots.txt wordpress, robots.txt vulnerability, robots.txt validator, robots.txt no index, robots.txt google, robots.txt generator, robots.txt disallow all, robots.txt allow all, How to Remove a Page from Google, How to Use Robots.txt with Google's Sitemap, Google adsbot ignores robots.txt , How to Use Robots.txt , MyWebsite Creator not found on Google, Robots.txt and robots meta tag ,, What Is Robots.txt?,