• <rt id="adimh"></rt>
  • <cite id="adimh"><noscript id="adimh"></noscript></cite>

      1. <rt id="adimh"></rt>
      <rt id="adimh"><menu id="adimh"></menu></rt>
      <video id="adimh"></video>

        <i id="adimh"><address id="adimh"><sup id="adimh"></sup></address></i>

        1. <cite id="adimh"></cite>
          <rt id="adimh"><optgroup id="adimh"></optgroup></rt>
        2. Menu

          鞍山營銷網站制作:返回robots

          <返回列表

          鞍山營銷網站制作:返回robots

          鞍山營銷網站制作:返回robots.txt文件的含義
            作為一個網站建設和優化公司,有必要返回robots.txt文件,讓我們來看看這個文件的含義。
            
            Robots.txt是一個純文本文件,用于聲明您不希望蜘蛛訪問的站點部分,或指定蜘蛛爬行的部分。不是一項規則,而是一項需要蜘蛛有意識地遵守的習俗的慣例。
            
            當蜘蛛訪問某個站點時,它會首先檢查該站點是否有robots.txt
            
            如果找到,蜘蛛將根據文件的內容確定爬網的范圍。
            
            如果文件不存在,則蜘蛛直接沿著鏈接爬行。

          鞍山營銷網站制作:返回robots


            
            robots.txt的作用
            
            1.防止搜索引擎抓取私人或重要內容
            
            2,節省服務器資源,從而提高服務質量
            
            3.減少重復并提高網站質量
            
            4,指定站點地圖文件的位置
            
            用戶代理: *
            
            對于哪個搜索引擎蜘蛛
            
            這里*表示搜索引擎類型,*是通配符
            
            允許
            
            定義為允許蜘蛛抓取部分或文件
            
            允許:/ 鞍山營銷網站制作 cgi-bin /
            
            這里的定義是允許訪問cgi-bin目錄。
            
            允許:/ * .htm $
            
            $指的是匹配行終止符
            
            *指的是匹配任何字符
            
            不允許
            
            定義為防止蜘蛛爬行部分或文件
            
            禁止:/ admin /
            
            這里的定義是禁止抓取管理目錄。
            
            不允許:/cgi-bin/*.htm
            
            禁止在/ cgi-bin /目錄中對后綴為“.htm”的所有URL進行爬網。
            
            不允許: /**
            
            不要抓鞍山營銷網站制作取網站中包含問號“”的所有網址
            
            
            
            
            Sitemap:網址的全名(包括http://部分)
            
            告訴搜索引擎蜘蛛這個頁面是站點地圖
            
            robots.txt文件主要限制整個站點或目錄的蜘蛛訪問,而robots元標記主要用于特定頁面。
            
            
          最新網站設計資訊
          企業網站建設

          企業網站建設優化一條龍,多年品牌網站設計,營銷網站開發,手機網站制作,響應式網站設計

          聯系我們

          電話:18868949445QQ:1611387063 郵箱:[email protected]

          聯系云軒總監微信

          微信
          成人视频免费在线观看 - 视频 - 在线观看 - 电影影院 - 品赏网