久草免费在线观看-久草免费在线色站-久草免费在线视频-久草免费资源-天堂网中文在线-天堂网中文字幕

深圳短視頻代運營|龍崗短視頻代運營|寶安短視頻代運營|南山短視頻代運營|福田短視頻代運營|羅湖短視頻代運營|龍華短視頻代運營|電話:13728723580
深圳市東方富海科技有限公司-富海360總部
搜索
首頁 > seo優(yōu)化動態(tài)  > 百度優(yōu)化排名知識
返回

百度排名優(yōu)化之Baiduspider主要抓取策略類型

來源:http://www.khcmazc.com.cn/ 發(fā)布時間:2016年07月07日

其實Baiduspider在抓取過程中面對的是一個超級復(fù)雜的網(wǎng)絡(luò)環(huán)境,為了使系統(tǒng)可以抓取到盡可能多的有價值資源并保持系統(tǒng)及實際環(huán)境中頁面的一致性同時不給網(wǎng)站體驗造成壓力,會設(shè)計多種復(fù)雜的抓取策略。以下做簡單介紹:

1、抓取友好性
        互聯(lián)網(wǎng)資源龐大的數(shù)量級,這就要求抓取系統(tǒng)盡可能的高效利用帶寬,在有限的硬件和帶寬資源下盡可能多的抓取到有價值資源。這就造成了另一個問題,耗費被抓網(wǎng)站的帶寬造成訪問壓力,如果程度過大將直接影響被抓網(wǎng)站的正常用戶訪問行為。因此,在抓取過程中就要進行一定的抓取壓力控制,達到既不影響網(wǎng)站的正常用戶訪問又能盡量多的抓取到有價值資源的目的。

通常情況下,最基本的是基于ip的壓力控制。這是因為如果基于域名,可能存在一個域名對多個ip(很多大網(wǎng)站)或多個域名對應(yīng)同一個ip(小網(wǎng)站共享ip)的問題。實際中,往往根據(jù)ip及域名的多種條件進行壓力調(diào)配控制。同時,站長平臺也推出了壓力反饋工具,站長可以人工調(diào)配對自己網(wǎng)站的抓取壓力,這時百度spider將優(yōu)先按照站長的要求進行抓取壓力控制。

對同一個站點的抓取速度控制一般分為兩類:其一,一段時間內(nèi)的抓取頻率;其二,一段時間內(nèi)的抓取流量。同一站點不同的時間抓取速度也會不同,例如夜深人靜月黑風(fēng)高時候抓取的可能就會快一些,也視具體站點類型而定,主要思想是錯開正常用戶訪問高峰,不斷的調(diào)整。對于不同站點,也需要不同的抓取速度。

2、常用抓取返回碼示意
        簡單介紹幾種百度支持的返回碼:
        1)最常見的404代表“NOT FOUND”,認為網(wǎng)頁已經(jīng)失效,通常將在庫中刪除,同時短期內(nèi)如果spider再次發(fā)現(xiàn)這條url也不會抓取;
        2503代表“Service Unavailable”,認為網(wǎng)頁臨時不可訪問,通常網(wǎng)站臨時關(guān)閉,帶寬有限等會產(chǎn)生這種情況。對于網(wǎng)頁返回503狀態(tài)碼,百度spider不會把這條url直接刪除,同時短期內(nèi)將會反復(fù)訪問幾次,如果網(wǎng)頁已恢復(fù),則正常抓取;如果繼續(xù)返回503,那么這條url仍會被認為是失效鏈接,從庫中刪除。
        3403代表“Forbidden”,認為網(wǎng)頁目前禁止訪問。如果是新urlspider暫時不抓取,短期內(nèi)同樣會反復(fù)訪問幾次;如果是已收錄url,不會直接刪除,短期內(nèi)同樣反復(fù)訪問幾次。如果網(wǎng)頁正常訪問,則正常抓取;如果仍然禁止訪問,那么這條url也會被認為是失效鏈接,從庫中刪除。
        4301代表是“Moved Permanently”,認為網(wǎng)頁重定向至新url。當(dāng)遇到站點遷移、域名更換、站點改版的情況時,我們推薦使用301返回碼,同時使用站長平臺網(wǎng)站改版工具,以減少改版對網(wǎng)站流量造成的損失。

3、多種url重定向的識別
        互聯(lián)網(wǎng)中一部分網(wǎng)頁因為各種各樣的原因存在url重定向狀態(tài),為了對這部分資源正常抓取,就要求spiderurl重定向進行識別判斷,同時防止作弊行為。重定向可分為三類:http 30x重定向、meta refresh重定向和js重定向。另外,百度也支持Canonical標簽,在效果上可以認為也是一種間接的重定向。

4、抓取優(yōu)先級調(diào)配
        由于互聯(lián)網(wǎng)資源規(guī)模的巨大以及迅速的變化,對于搜索引擎來說全部抓取到并合理的更新保持一致性幾乎是不可能的事情,因此這就要求抓取系統(tǒng)設(shè)計一套合理的抓取優(yōu)先級調(diào)配策略。主要包括:深度優(yōu)先遍歷策略、寬度優(yōu)先遍歷策略、pr優(yōu)先策略、反鏈策略、社會化分享指導(dǎo)策略等等。每個策略各有優(yōu)劣,在實際情況中往往是多種策略結(jié)合使用以達到最優(yōu)的抓取效果。

5、重復(fù)url的過濾
        spider在抓取過程中需要判斷一個頁面是否已經(jīng)抓取過了,如果還沒有抓取再進行抓取網(wǎng)頁的行為并放在已抓取網(wǎng)址集合中。判斷是否已經(jīng)抓取其中涉及到最核心的是快速查找并對比,同時涉及到url歸一化識別,例如一個url中包含大量無效參數(shù)而實際是同一個頁面,這將視為同一個url來對待。

6、暗網(wǎng)數(shù)據(jù)的獲取
        互聯(lián)網(wǎng)中存在著大量的搜索引擎暫時無法抓取到的數(shù)據(jù),被稱為暗網(wǎng)數(shù)據(jù)。一方面,很多網(wǎng)站的大量數(shù)據(jù)是存在于網(wǎng)絡(luò)數(shù)據(jù)庫中,spider難以采用抓取網(wǎng)頁的方式獲得完整內(nèi)容;另一方面,由于網(wǎng)絡(luò)環(huán)境、網(wǎng)站本身不符合規(guī)范、孤島等等問題,也會造成搜索引擎無法抓取。目前來說,對于暗網(wǎng)數(shù)據(jù)的獲取主要思路仍然是通過開放平臺采用數(shù)據(jù)提交的方式來解決,例如“百度站長平臺”“百度開放平臺”等等。

7、抓取反作弊
        spider在抓取過程中往往會遇到所謂抓取黑洞或者面臨大量低質(zhì)量頁面的困擾,這就要求抓取系統(tǒng)中同樣需要設(shè)計一套完善的抓取反作弊系統(tǒng)。例如分析url特征、分析頁面大小及內(nèi)容、分析站點規(guī)模對應(yīng)抓取規(guī)模等等。

相關(guān)文章

+ 微信號:fuhails

添加微信好友,詳細了解產(chǎn)品。

成人影院一区二区三区| 久久久久久久男人的天堂| 国产一级生活片| 成人免费观看的视频黄页| 国产高清在线精品一区a| 天天做人人爱夜夜爽2020毛片| 欧美激情一区二区三区在线| 国产91精品一区| 色综合久久天天综合观看| 久久99爰这里有精品国产| 精品国产一区二区三区免费| 成人免费观看网欧美片| 四虎影视库| 国产不卡在线看| 一级片片| 久草免费资源| 欧美a级成人淫片免费看| 亚洲不卡一区二区三区在线| 国产综合91天堂亚洲国产| 国产视频网站在线观看| 精品视频在线看 | 精品视频免费观看| 久草免费在线色站| 欧美a级片免费看| 在线观看导航| 欧美一区二区三区在线观看| a级黄色毛片免费播放视频| 欧美一级视| 97视频免费在线观看| 亚欧视频在线| 999精品视频在线| 在线观看导航| 国产原创视频在线| 亚欧视频在线| 99色视频在线| 亚洲wwwwww| 日韩女人做爰大片| 午夜久久网| 欧美激情一区二区三区在线| 亚洲 国产精品 日韩| 国产精品12| 欧美α片无限看在线观看免费| 欧美爱爱动态| 黄视频网站免费观看| 四虎久久影院| 99久久精品费精品国产一区二区| 日韩在线观看视频网站| 国产伦精品一区三区视频| 成人av在线播放| 日日夜夜婷婷| 黄色短视屏| 99热精品在线| 国产成人精品综合在线| 久久精品免视看国产成人2021| 国产一区二区精品| 久久国产精品自由自在| 成人在激情在线视频| 日韩在线观看免费| 91麻豆爱豆果冻天美星空| 91麻豆精品国产自产在线观看一区 | 可以免费看污视频的网站| 黄视频网站在线观看| 亚洲www美色| 精品在线观看国产| 好男人天堂网 久久精品国产这里是免费 国产精品成人一区二区 男人天堂网2021 男人的天堂在线观看 丁香六月综合激情 | 成人免费观看男女羞羞视频| 麻豆午夜视频| 一级片免费在线观看视频| 国产一区二区精品久久91| 一a一级片| 韩国毛片基地| 91麻豆国产福利精品| 九九久久99| 深夜做爰性大片中文| 精品视频在线看| 日韩av成人| 中文字幕97| 青草国产在线观看| 一级女性全黄久久生活片| 国产伦久视频免费观看 视频| 亚欧成人乱码一区二区| 日韩免费片| 日本久久久久久久 97久久精品一区二区三区 狠狠色噜噜狠狠狠狠97 日日干综合 五月天婷婷在线观看高清 九色福利视频 | 国产极品白嫩美女在线观看看| 欧美爱爱动态| 国产伦理精品| 在线观看成人网| 美女免费毛片| 国产一区二区精品久久91| 日本在线www| 国产伦久视频免费观看视频| 日本在线播放一区| 国产不卡福利| 日本在线播放一区| 国产麻豆精品高清在线播放| 成人影院久久久久久影院| 日韩中文字幕在线亚洲一区| 国产精品自拍亚洲| 麻豆午夜视频| 黄视频网站免费观看| 精品久久久久久中文字幕2017| 欧美a级成人淫片免费看| 欧美α片无限看在线观看免费| 成人影院一区二区三区| 国产极品白嫩美女在线观看看| 欧美18性精品| 久久久久久久男人的天堂| 999精品影视在线观看| 欧美激情一区二区三区视频| 成人免费网站视频ww| 久久国产精品自线拍免费| 国产激情视频在线观看| 午夜精品国产自在现线拍| 欧美激情一区二区三区视频 | 精品视频一区二区| 成人免费网站视频ww| 欧美一区二区三区在线观看| 国产不卡在线观看视频| 欧美国产日韩精品| 亚洲精品影院久久久久久| 免费国产一级特黄aa大片在线| 免费国产在线观看不卡| 青青久热| 午夜激情视频在线观看| 国产麻豆精品免费视频| 精品国产一区二区三区久久久狼| 国产伦久视频免费观看视频| 可以免费看毛片的网站| 青青久热| 可以免费在线看黄的网站| 成人a级高清视频在线观看| 色综合久久天天综合| 国产网站在线| 国产伦精品一区二区三区在线观看 | 国产成人精品一区二区视频| 一本伊大人香蕉高清在线观看| 国产原创视频在线| 日韩av片免费播放| 免费国产在线观看不卡| 中文字幕一区二区三区 精品| 国产精品12| 久久精品免视看国产明星 | 97视频免费在线观看| 色综合久久久久综合体桃花网| 免费的黄视频| 欧美日本免费| 精品视频在线观看视频免费视频 | 国产伦精品一区二区三区无广告 | 欧美大片aaaa一级毛片| 亚洲www美色| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 天天色成人网| 国产网站免费观看| 国产麻豆精品高清在线播放| 亚久久伊人精品青青草原2020| 久久国产一区二区| 国产韩国精品一区二区三区| 日本特黄特色aaa大片免费| 国产a一级| 夜夜操网| 好男人天堂网 久久精品国产这里是免费 国产精品成人一区二区 男人天堂网2021 男人的天堂在线观看 丁香六月综合激情 | 九九精品影院| 亚飞与亚基在线观看| 国产一区二区精品久| 沈樵在线观看福利| 国产伦精品一区二区三区无广告| 免费国产一级特黄aa大片在线| 国产亚洲精品成人a在线| 美女免费精品视频在线观看| 久草免费在线色站| 四虎影视久久久免费| 久久国产影视免费精品| 国产91素人搭讪系列天堂| 黄视频网站免费看| 成人a级高清视频在线观看| 国产成人啪精品视频免费软件| 欧美a级片免费看| 中文字幕一区二区三区 精品| 欧美激情伊人| 久久精品免视看国产成人2021| 国产视频一区在线| 可以免费看毛片的网站| 午夜在线亚洲男人午在线| 国产伦久视频免费观看视频| 91麻豆tv| 欧美电影免费| 日韩在线观看免费完整版视频| 夜夜操网| 亚洲精品影院久久久久久| 精品国产香蕉在线播出| 国产成人精品综合| 精品国产香蕉伊思人在线又爽又黄| 高清一级毛片一本到免费观看| 日韩专区一区| 韩国三级一区| 精品视频免费在线| 日韩在线观看免费| 欧美1区| 国产国语在线播放视频| 亚洲精品久久玖玖玖玖|