खोज इंजन अनुकूलन, अपने सबसे बुनियादी अर्थ में, अन्य सभी से ऊपर एक चीज़ पर निर्भर करता है: खोज इंजन स्पाइडर क्रॉलिंग और इंडेक्सिंग आपकी जगह।
लेकिन लगभग हर वेबसाइट में ऐसे पेज होते हैं जिन्हें आप इस एक्सप्लोरेशन में शामिल नहीं करना चाहते हैं।
उदाहरण के लिए, क्या आप वास्तव में चाहते हैं कि आपकी गोपनीयता नीति या आंतरिक खोज पृष्ठ Google परिणामों में दिखाई दें?
सर्वोत्तम स्थिति में, ये आपकी साइट पर सक्रिय रूप से ट्रैफ़िक लाने के लिए कुछ नहीं कर रहे हैं, और सबसे खराब स्थिति में, वे ट्रैफ़िक को अधिक महत्वपूर्ण पृष्ठों से डायवर्ट कर सकते हैं।
सौभाग्य से, Google वेबमास्टर्स को खोज इंजन बॉट्स को यह बताने की अनुमति देता है कि कौन से पृष्ठ और सामग्री को क्रॉल करना है और किस पर ध्यान नहीं देना है। ऐसा करने के कई तरीके हैं, जिनमें से सबसे आम है robots.txt फ़ाइल या मेटा रोबोट टैग का उपयोग करना।
हमारे पास एक उत्कृष्ट और विस्तृत व्याख्या है robots.txt की पूरी जानकारी, जिसे आपको निश्चित रूप से पढ़ना चाहिए।
लेकिन उच्च-स्तरीय शब्दों में, यह एक सादा पाठ फ़ाइल है जो आपकी वेबसाइट के रूट में रहती है और इसका अनुसरण करती है रोबोट बहिष्करण प्रोटोकॉल (आरईपी).
robots.txt क्रॉलर को संपूर्ण साइट के बारे में निर्देश प्रदान करता है, जबकि मेटा रोबोट टैग में विशिष्ट पृष्ठों के लिए निर्देश शामिल होते हैं।
कुछ मेटा रोबोट टैग जिन्हें आप नियोजित कर सकते हैं उनमें शामिल हैं अनुक्रमणिकाजो खोज इंजनों को उनकी अनुक्रमणिका में पृष्ठ जोड़ने के लिए कहता है; नोइंडेक्सजो इसे अनुक्रमणिका में कोई पृष्ठ न जोड़ने या इसे खोज परिणामों में शामिल न करने के लिए कहता है; का पालन करेंजो एक खोज इंजन को पृष्ठ पर लिंक का पालन करने का निर्देश देता है; कोई पालन नहींजो इसे लिंक का पालन न करने के लिए कहता है, और दूसरों की एक पूरी मेजबानी।
अपने टूलबॉक्स में रखने के लिए robots.txt और मेटा रोबोट टैग दोनों उपयोगी उपकरण हैं, लेकिन खोज इंजन बॉट्स को नोइंडेक्स या नोफ़ॉलो करने का निर्देश देने का एक और तरीका भी है: एक्स-रोबोट-टैग.
एक्स-रोबोट्स-टैग क्या है?
X-Robots-Tag आपके लिए यह नियंत्रित करने का एक और तरीका है कि स्पाइडर द्वारा आपके वेबपृष्ठों को कैसे क्रॉल और अनुक्रमित किया जाता है। किसी URL के लिए HTTP शीर्षलेख प्रतिक्रिया के भाग के रूप में, यह संपूर्ण पृष्ठ के अनुक्रमण को नियंत्रित करता है, साथ ही उस पृष्ठ पर विशिष्ट तत्वों को भी नियंत्रित करता है।
और जबकि मेटा रोबोट टैग का उपयोग करना काफी सीधा है, X-Robots-Tag थोड़ा अधिक जटिल है।
लेकिन यह, ज़ाहिर है, सवाल उठाता है:
आपको X-Robots-Tag का उपयोग कब करना चाहिए?
के अनुसार गूगल“रोबोट मेटा टैग में उपयोग किए जा सकने वाले किसी भी निर्देश को X-Robots-Tag के रूप में भी निर्दिष्ट किया जा सकता है।”
जब आप मेटा रोबोट टैग और एक्स-रोबोट टैग दोनों के साथ HTTP प्रतिक्रिया के शीर्षलेख में robots.txt-संबंधित निर्देश सेट कर सकते हैं, तो ऐसी कुछ स्थितियां हैं जहां आप एक्स-रोबोट-टैग का उपयोग करना चाहेंगे – दो सबसे आम कब होना:
- आप यह नियंत्रित करना चाहते हैं कि आपकी गैर-HTML फ़ाइलें कैसे क्रॉल और अनुक्रमित की जा रही हैं।
- आप पृष्ठ स्तर के बजाय साइट-व्यापी निर्देशों को प्रस्तुत करना चाहते हैं।
उदाहरण के लिए, यदि आप किसी विशिष्ट छवि या वीडियो को क्रॉल होने से रोकना चाहते हैं – HTTP प्रतिसाद विधि इसे आसान बनाती है।
X-Robots-Tag हेडर भी उपयोगी है क्योंकि यह आपको HTTP प्रतिक्रिया के भीतर कई टैग को संयोजित करने या निर्देशों को निर्दिष्ट करने के लिए निर्देशों की अल्पविराम से अलग सूची का उपयोग करने की अनुमति देता है।
हो सकता है कि आप किसी निश्चित पृष्ठ को कैश नहीं करना चाहते हैं और किसी निश्चित तिथि के बाद इसे अनुपलब्ध रखना चाहते हैं। आप इन निर्देशों का पालन करने के लिए खोज इंजन बॉट्स को निर्देश देने के लिए “असंग्रह” और “अनुपलब्ध_बाद” टैग के संयोजन का उपयोग कर सकते हैं।
अनिवार्य रूप से, X-Robots-Tag की शक्ति यह है कि यह मेटा रोबोट्स टैग की तुलना में बहुत अधिक लचीला है।
एक का उपयोग करने का लाभ X-Robots-Tag HTTP प्रतिक्रियाओं के साथ यह है कि यह आपको गैर-HTML पर क्रॉल निर्देशों को निष्पादित करने के साथ-साथ बड़े, वैश्विक स्तर पर पैरामीटर लागू करने के लिए नियमित अभिव्यक्ति का उपयोग करने की अनुमति देता है।
इन निर्देशों के बीच के अंतर को समझने में आपकी मदद करने के लिए, उन्हें प्रकार के आधार पर वर्गीकृत करना मददगार होता है। यही है, क्या वे क्रॉलर निर्देश या अनुक्रमणिका निर्देश हैं?
व्याख्या करने के लिए यहां एक आसान चीट शीट है:
| क्रॉलर निर्देश | अनुक्रमणिका निर्देश |
| रोबोट.txt – साइट पर खोज इंजन बॉट को क्रॉल करने की अनुमति है और क्रॉल करने की अनुमति नहीं है, यह निर्दिष्ट करने के लिए उपयोगकर्ता एजेंट, अनुमति, अस्वीकार और साइटमैप निर्देशों का उपयोग करता है। | मेटा रोबोट टैग – आपको खोज इंजनों को खोज परिणामों में किसी साइट पर विशेष पृष्ठ दिखाने से निर्दिष्ट करने और रोकने की अनुमति देता है।
कोई पालन नहीं – आपको उन लिंक्स को निर्दिष्ट करने की अनुमति देता है जो प्राधिकरण या पेजरैंक पर पास नहीं होने चाहिए। एक्स-रोबोट-टैग – आपको निर्दिष्ट फ़ाइल प्रकारों को अनुक्रमित करने के तरीके को नियंत्रित करने की अनुमति देता है। |
आप एक्स-रोबोट्स-टैग कहां लगाते हैं?
मान लीजिए कि आप विशिष्ट फ़ाइल प्रकारों को ब्लॉक करना चाहते हैं। X-Robots-Tag को Apache कॉन्फ़िगरेशन या .htaccess फ़ाइल में जोड़ना एक आदर्श तरीका होगा.
X-Robots-Tag को .htaccess फ़ाइल के माध्यम से Apache सर्वर कॉन्फ़िगरेशन में साइट के HTTP प्रतिसादों में जोड़ा जा सकता है।
वास्तविक दुनिया के उदाहरण और एक्स-रोबोट्स-टैग के उपयोग
तो यह सिद्धांत में बहुत अच्छा लगता है, लेकिन वास्तविक दुनिया में यह कैसा दिखता है? चलो एक नज़र डालते हैं।
मान लीजिए कि हम चाहते हैं कि सर्च इंजन .pdf फ़ाइल प्रकारों को अनुक्रमित न करें। अपाचे सर्वर पर यह कॉन्फ़िगरेशन नीचे जैसा कुछ दिखाई देगा:
<Files ~ ".pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>
Nginx में, यह नीचे जैसा दिखेगा:
location ~* .pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}
अब, आइए एक अलग परिदृश्य देखें। मान लें कि हम छवि फ़ाइलों, जैसे .jpg, .gif, .png, आदि को अनुक्रमित होने से रोकने के लिए X-Robots-Tag का उपयोग करना चाहते हैं। आप ऐसा X-Robots-Tag के साथ कर सकते हैं जो नीचे जैसा दिखाई देगा:
<Files ~ ".(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>
कृपया ध्यान दें कि ये निर्देश कैसे काम करते हैं और एक-दूसरे पर उनके प्रभाव को समझना महत्वपूर्ण है।
उदाहरण के लिए, क्या होता है यदि क्रॉलर बॉट द्वारा URL खोजे जाने पर X-Robots-Tag और मेटा रोबोट टैग दोनों स्थित हों?
यदि उस URL को robots.txt से ब्लॉक किया गया है, तो कुछ इंडेक्सिंग और सर्विंग डायरेक्टिव्स की खोज नहीं की जा सकती है और उनका पालन नहीं किया जाएगा।
यदि निर्देशों का पालन किया जाना है, तो उन यूआरएल को क्रॉल करने से रोका नहीं जा सकता है।
एक्स-रोबोट्स-टैग के लिए जाँच करें
साइट पर X-Robots-Tag की जांच करने के लिए कुछ भिन्न विधियां उपयोग की जा सकती हैं।
जाँच करने का सबसे आसान तरीका एक स्थापित करना है ब्राउज़र एक्सटेंशन जो आपको URL के बारे में X-Robots-Tag जानकारी बताएगा।
एक अन्य प्लगइन जिसका उपयोग आप यह निर्धारित करने के लिए कर सकते हैं कि एक्स-रोबोट्स-टैग का उपयोग किया जा रहा है या नहीं, उदाहरण के लिए, यह है वेब डेवलपर प्लगइन.
अपने ब्राउज़र में प्लगइन पर क्लिक करके और “रिस्पांस हेडर देखें” पर नेविगेट करके, आप उपयोग किए जा रहे विभिन्न HTTP हेडर देख सकते हैं।
स्क्रीमिंग फ्रॉग एक और तरीका है जिसका उपयोग स्केलिंग के लिए किया जा सकता है ताकि एक लाख पृष्ठों वाली वेबसाइटों पर मुद्दों को इंगित किया जा सके।
स्क्रीमिंग फ्रॉग के माध्यम से साइट चलाने के बाद, आप “X-Robots-Tag” कॉलम पर नेविगेट कर सकते हैं।
यह आपको दिखाएगा कि साइट के कौन से अनुभाग टैग का उपयोग कर रहे हैं, साथ ही किन विशिष्ट निर्देशों के साथ।
स्क्रीमिंग फ्रॉग रिपोर्ट का स्क्रीनशॉट। एक्स-रोबोट-टैग, दिसंबर 2022अपनी साइट पर X-Robots-टैग का उपयोग करना
खोज इंजन आपकी वेबसाइट के साथ कैसे इंटरैक्ट करते हैं, यह समझना और नियंत्रित करना खोज इंजन अनुकूलन की आधारशिला है। और X-Robots-Tag एक शक्तिशाली उपकरण है जिसका उपयोग आप ऐसा करने के लिए कर सकते हैं।
बस जागरूक रहें: यह इसके खतरों के बिना नहीं है। गलती करना और अपनी पूरी साइट को डी-इंडेक्स करना बहुत आसान है।
उस ने कहा, यदि आप इस टुकड़े को पढ़ रहे हैं, तो आप शायद एक एसईओ शुरुआती नहीं हैं। जब तक आप इसे बुद्धिमानी से उपयोग करते हैं, अपना समय लें और अपने काम की जांच करें, आप X-Robots-Tag को अपने शस्त्रागार में एक उपयोगी जोड़ पाएंगे।
और अधिक संसाधनों:
फीचर्ड इमेज: सॉन्ग_अबाउट_समर/शटरस्टॉक