Google ने Googlebot को सत्यापित करने के लिए अपने खोज केंद्रीय दस्तावेज़ीकरण को अपडेट किया, उपयोगकर्ता-ट्रिगर बॉट विज़िट के बारे में दस्तावेज़ीकरण जोड़ा, जो जानकारी पिछले Googlebot दस्तावेज़ों से गायब थी, जिसने कई वर्षों से भ्रम पैदा किया है, कुछ प्रकाशकों ने वैध यात्राओं की IP श्रेणियों को अवरुद्ध कर दिया है।
नव अद्यतन बॉट दस्तावेज़ीकरण
Google ने एक नया दस्तावेज़ जोड़ा है जो तीन अलग-अलग प्रकार के बॉट्स को वर्गीकृत करता है जिनकी प्रकाशकों को अपेक्षा करनी चाहिए।
Google Bots की ये तीन श्रेणियां हैं:
- Googlebot – खोज क्रॉलर
- विशेष-केस क्रॉलर
- उपयोगकर्ता-ट्रिगर फ़ेचर (GoogleUserContent)
वह अंतिम, GoogleUserContent वह है जो लंबे समय से प्रकाशकों को भ्रमित करता है क्योंकि Google के पास इसके बारे में कोई दस्तावेज़ नहीं था।
GoogleUserContent के बारे में Google यही कहता है:
“उपयोगकर्ता-ट्रिगर फ़ेचर्स
उपकरण और उत्पाद फ़ंक्शन जहां अंतिम उपयोगकर्ता एक फ़ेच को ट्रिगर करता है।
उदाहरण के लिए, Google साइट सत्यापनकर्ता उपयोगकर्ता के अनुरोध पर कार्य करता है।
क्योंकि एक उपयोगकर्ता द्वारा लाने का अनुरोध किया गया था, ये लाने वाले robots.txt नियमों की उपेक्षा करते हैं।
प्रलेखन बताता है कि रिवर्स डीएनएस मास्क निम्नलिखित डोमेन दिखाएगा:
“***-***-***-***.gae.googleusercontent.com”
अतीत में, एसईओ समुदाय में कुछ लोगों द्वारा मुझे बताया गया था कि GoogleUserContent.com से जुड़े आईपी पतों से बॉट गतिविधि तब शुरू हो गई थी जब एक उपयोगकर्ता एक अनुवाद फ़ंक्शन के माध्यम से एक वेबसाइट देखता था जो खोज परिणामों में हुआ करता था, एक सुविधा जो अब Google के SERPs में मौजूद नहीं है।
मुझे नहीं पता कि यह सच है या नहीं। यह जानना पर्याप्त था कि यह Google की ओर से एक विज़िट थी, जो उपयोगकर्ताओं द्वारा ट्रिगर की गई थी।
Google का नया दस्तावेज़ बताता है कि GoogleUserContent.com से संबद्ध IP पतों से बॉट गतिविधि को Google साइट सत्यापनकर्ता टूल द्वारा ट्रिगर किया जा सकता है।
लेकिन Google यह नहीं बताता है कि GoogleUserContent.com IP पतों से और क्या बॉट ट्रिगर कर सकता है।
दस्तावेज़ीकरण में अन्य परिवर्तन डोमेन नाम, GoogleUserContent.com को असाइन किए गए IP पतों के संदर्भ में googleusercontent.com का एक संदर्भ है।
यह नया पाठ है:
“सत्यापित करें कि डोमेन नाम googlebot.com, google.com, या googleusercontent.com है।”
एक और नया जोड़ निम्न पाठ है जिसे पुराने पृष्ठ से विस्तारित किया गया था:
“वैकल्पिक रूप से, आप क्रॉलर के आईपी पते को Google क्रॉलर्स और फ़ेचर्स की आईपी श्रेणियों की सूचियों से मिलान करके आईपी पते से Googlebot की पहचान कर सकते हैं:
Googlebot
AdsBot जैसे विशेष क्रॉलर
उपयोगकर्ता ने ट्रिगर किया
Google बॉट पहचान दस्तावेज़ीकरण
नए दस्तावेज़ीकरण में अंततः उन बॉट्स के बारे में कुछ है जो GoogleUserContent से संबद्ध IP पतों का उपयोग करते हैं।
खोज विपणक उन आईपी पतों से भ्रमित थे और मान लिया था कि वे बॉट स्पैम थे।
2020 से Google खोज कंसोल सहायता चर्चा से पता चलता है कि GoogleUserContent से जुड़ी गतिविधि के बारे में लोग कितने भ्रमित थे।
उस चर्चा में कई लोगों ने ठीक ही निष्कर्ष निकाला कि यह Googlebot नहीं था, लेकिन फिर गलती से यह निष्कर्ष निकाला कि यह Google होने का दिखावा करने वाला एक नकली बॉट था।
एक यूजर ने पोस्ट किया:
“इन पतों से मुझे जो व्यवहार दिखाई दे रहा है वह वैध Googlebot व्यवहार के बहुत करीब (यदि समान नहीं है) है, और यह हमारी कई साइटों को हिट करता है।
…अगर ऐसा नहीं है – तो ऐसा लगता है कि हमारी साइटों पर Google की तरह दिखने के लिए किसी व्यक्ति द्वारा व्यापक रूप से दुर्भावनापूर्ण बॉट गतिविधि की जा रही है, जो संबंधित है।
कई प्रतिक्रियाओं के बाद चर्चा शुरू करने वाले व्यक्ति ने निष्कर्ष निकाला कि GoogleUserContent गतिविधि स्पैम थी।
उन्होने लिखा है:
“…विचाराधीन Googlebots आधिकारिक उपयोगकर्ता-एजेंटों की नकल करते हैं, लेकिन जैसा कि यह खड़ा है सबूत उनके नकली होने की ओर इशारा करते हैं।
मैं उन्हें अभी के लिए ब्लॉक कर दूंगा।
अब हम जानते हैं कि GoogleUserContent से जुड़े IP से बॉट गतिविधि स्पैम या हैकर बॉट नहीं हैं।
वे वास्तव में Google से हैं। जो प्रकाशक अभी GoogleUserContent से जुड़े IP पतों को ब्लॉक कर रहे हैं, उन्हें शायद उन्हें अनब्लॉक कर देना चाहिए.
की वर्तमान सूची उपयोगकर्ता ट्रिगर किए गए Fetcher IP पते यहां उपलब्ध हैं.
Google के अपडेट किए गए दस्तावेज़ पढ़ें:
Googlebot और अन्य Google क्रॉलर का सत्यापन करना
शटरस्टॉक/एशियर रोमेरो द्वारा प्रदर्शित छवि