導航

網站優化中如何巧妙地利用robots做好SEO?

 二維碼 913
發表時間:2020-11-05 10:22作者:小易網址:http://www.eu6g64o.buzz

近段時間小易分享網站優化相關的教程相對較少了,主要還是最近接了幾個項目,人手有點不夠,導致每天沒有過多的時間。今天抽時間給大家聊聊網站優化中關于robots文件的一些常見的疑問。


網站seo優化


一、什么是robots,robots有什么用?

在講解robots之前先給大家介紹一下什么是robots。借用百度百科的解釋robots是網站跟爬蟲間的協議,用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限,也就是說robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。


用一句話來解釋:robots就是蜘蛛與網站的一種協議。


至于robots有什么用,相信認真看上文的小伙伴還是有一定的收獲。冬鏡認為合理的robots還是有以下幾方面的好處:

1、可以避免蜘蛛爬取收錄我們不想展現給別人看的頁面。例如網站后臺地址,個人隱私日志等。

2、可以減輕服務器壓力。我們通過robots協議可以讓蜘蛛只抓取一部分頁面,避免蜘蛛胡亂抓取一些沒用的頁面,占用服務器資源。

3、正確的robots協議會提升整站質量,促使快速收錄排名,從而提高網站權重。


網站優化中robots文件一定要放在根目錄嗎?


二、robots協議格式應該怎么寫?

先給大家看一個最簡單的robots文件的寫法:

User-agent: *

Disallow: /inc/

Allow: /uqseo

Sitemap: http://www.eu6g64o.buzz/sitemap.xml


上文中User-agent代表的是搜索引擎蜘蛛的名字,一般常用的是*,代表通配,換句話說就是該協議對所有搜索引擎蜘蛛都有用;Disallow指不允許訪問的對象,比如某一個css、js、圖片、視頻、文件夾等,Disallow: /inc/代表的就是不允許搜索引擎蜘蛛爬行抓取inc文件夾下的所有文件;Allow指允許搜索引擎蜘蛛訪問的路徑,Allow: /uqseo代表的是帶有uqseo的文件或文件夾 ;Sitemap指本站的地圖,一般為.xml或.txt格式的地址,值得注意的是這里一定要寫絕對地址。

小提示:每個屬性的冒號是用英文冒號,冒號后面一定要空一格。


三、robots只能放在根目錄嗎?

小易可以明確地告訴你robots文件只能放在網站根目錄,關于這一點也是很好理解的,前文提過robots文件就是針對搜索引擎蜘蛛的一種協議(有些蜘蛛不一定會遵守),搜索引擎蜘蛛進入網站都是先從網站根目錄,所以robots協議也只有在根目錄的時候才有效,而且需要注意的是robots文件的命名必須是robots.txt,只能用小寫字母。


四、robots協議的高級玩法

此玩法需要php+偽靜態或者php+路由來實現。前面講到robots里面除了禁止和運行之外,還有一個十分重要的就是sitemap地圖,有時候我們網站的sitemap地圖很多時,如果全部寫到robots里面就會顯得十分臃腫,此時我們采用php控制輸出就能實現每次訪問robots顯示不同的地址,具體的就不為大家過多的演示了。


本文關鍵字:網站優化、seo、robots文件


Flat-design-iphone-x-with-different-views.png 咨詢熱線:1517-975-1517

主營業務
熱門文章
2020-11-16
2020-11-06
2020-11-05
2020-10-30
2020-10-27
2020-10-15
2020-10-13
2020-10-13
2020-10-12
2020-10-09
標簽云
標簽云 網站建設 品牌官網 模板網站 微信 微信小程序 百度 抖音 百度小程序 抖音小程序 分銷商城 社區團購 商城模板 微信支付 商品詳情頁制作 公司注銷 公司變更 商標分哪些類型? 商城定制 企業彩鈴 視頻彩鈴 企業信用認證 400電話 代理記賬 工商異常處理 商標注冊 商標案件 著作權申請 商標買賣 教育系統 銷售系統 門店系統 直播系統 H5制作 微信營銷 公眾號搭建 公眾號助手 微信認證 千站推 全球推 關鍵詞快排 軟文推廣 百度推廣 360推廣 百度百科 360百科 搜狗百科 百度地圖 騰訊地圖 高德地圖 Google地圖 搜狗地圖 美團地圖 360地圖 滴滴地圖 凱立德地圖 banner圖設計 名片設計 LOGO設計 海報設計 畫冊設計 宣傳頁設計 易拉寶設計 域名注冊 企業郵箱 服務器 虛擬主機 ICP備案 公安備案 工商備案

公司名稱:贛州易啟企業服務有限公司

公司地址:江西省贛州市章貢區江灣帝都3-1504、1505室

官方網站:www.eu6g64o.buzz?

咨詢熱線:151 7975 1517(微信同號)

咨詢QQ:1361323860

微信公眾平臺
官網手機版
公司小程序碼