Blogger Custom Robots.txt Management
Custom Robots.txt एक विधि है जो गूगल सर्च (Google Search) को यह निर्देशित करती है कि आप अपने ब्लॉग पर किन पेजों को क्राल (Crawl) नहीं करने देना चाहते हैं। क्राल करना यानि आपके ब्लॉग पेज पढ़कर उनको गूगल सर्च में शामिल करना। क्राल करने से रोकने की आखिर आवश्यकता क्या है? ब्लॉगर पर सर्च विकल्प और लेबल एक दूसरे से सम्बद्ध हैं यदि आप ब्लॉग पर लेबल को समझदारी से प्रयोग नहीं करते हैं तो अच्छा यह है आप इनको गूगल के सर्च परिणामों में शामिल न होने दें। गूगल के Default Robots.txt में लेबल को सर्च परिणामों को रोका जाता है ताकि आपके 25 नये लेख ठीक प्रकार से सर्च परिणामों में अपनी जगह सरलता से बना लें। लेबल (Label) क्या हैं? लेबल को आप किसी विधा के रूप में समझ सकते हैं जैसे गद्य और पद्य, अर्थात् यदि आप लेखक हैं तो आपके ब्लॉग पर कहानी की पोस्ट का लेबल गद्य होगा और यदि कविता है तो पद्य। इसी प्रकार से कहानी रोमांटिक (Romantic) है या कि ससपैंस (Suspense) यह भी लेबल हो सकते हैं लेकिन कुछ नये ब्लॉगर लेबल बनाने की समझ नहीं रखते हैं और पोस्ट का कुछ भी लेबल रख देते हैं जिससे गूगल सर्च बॉट (Google search bot) उसे समझ नहीं पाता और गूगल के सर्च परिणामों में आपको नीचे ढकेल देता है। तो इससे बेहतर है कि आप robots.txt में अपने सर्च और और लेबल विकल्प को बंद ही रहने दें और गूगल के डिफ़ॉल्ट robots.txt का प्रयोग करें। robots.txt का प्रयोग करने में बहुत समझदारी बरतनी चाहिए। ताकि आपका ब्लॉग सर्च परिणामों में एकदम नीचे न चला जायें। यदि आप चाहते हैं कि गूगल आपके ब्लॉग की पहली 25 पोस्टों पर अधिक ध्यान दें तो आपको नीचे दिये कोड का प्रयोग करें इसमें गूगल ऐड-सेंस बॉट (Google Adsense bot) को भी आपके ब्लॉग पर कंटेंट क्राल (Content Crawl) करके बेहतर विज्ञापन दिखाने का निर्देश सम्मिलित है।Robots.txt Type 1
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Disallow: /b Allow: / Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
यदि आप चाहते हैं कि गूगल आपके ब्लॉग की प्रकाशन तिथि के अनुसार अधिकतम 1000 पोस्टों को सर्च परिणामों में शामिल करें तो आपको नीचे दिये कोड का प्रयोग करें इसमें गूगल ऐड-सेंस बॉट को भी आपके ब्लॉग पर कंटेंट क्राल करके बेहतर विज्ञापन दिखाने का निर्देश सम्मिलित है।
Robots.txt Type 2
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Disallow: /b Allow: / Sitemap: http://www.example.com/atom.xml?redirect=false&start-index=1&max-results=500 Sitemap: http://www.example.com/atom.xml?redirect=false&start-index=501&max-results=1000
यदि आपको को SEO और इंटरनेट तकनीक का अच्छा अनुभव है और आप अपने ब्लॉग पर लेबल को अच्छे ढंग से प्रबंधित करते आयें हैं तो उपरोक्त दोनों robots.txt में से आप Disallow: /search वाली पंक्ति निकाल सकते हैं|
विशेष:
1. robots.txt प्रयोग करने से पूर्व साइटमैप (Sitemap) में www.example.com को अपने ब्लॉग यू.आर.एल.(URL) से बदलना मत भूलिए।
2. Robots.txt Type 1 या Robots.txt Type 2 के मध्य चुनाव बड़ी सावधानी से करना चाहिए और Disallow: /searchपंक्ति को समझ-बूझकर हटाना चाहिए। मन में कोई दुविधा हो तो Type 1 का ही प्रयोग करें।
No comments:
Post a Comment