IP代理的設(shè)計(jì)和日常維護(hù)
無(wú)論是免費(fèi)代理IP軟件，還是買付費(fèi)代理IP，都可以在本地設(shè)計(jì)一個(gè)IP池。這樣不僅使用方便，還能提高工作效率。那么如何在本地設(shè)置代理IP池呢？下面簡(jiǎn)單介紹一下IP代理的設(shè)計(jì)和日常維護(hù)。
一、代理IP軟件采集接口
如果是抓取免費(fèi)代理IP軟件，使用ProxyGetter接口從免費(fèi)代理源網(wǎng)站抓取最新的代理IP軟件；如果是付費(fèi)代理IP，一般會(huì)有API提供對(duì)IP的訪問(wèn)，會(huì)有一定的限制，比如每次提取多少，提取多少秒。
二、代理IP軟件數(shù)據(jù)庫(kù)
用于存儲(chǔ)在動(dòng)態(tài)VPS上獲得的代理IP軟件。建議選擇SSDB。SSDB表現(xiàn)突出，基本相當(dāng)于雷迪斯。Redis是內(nèi)存類型，容量問(wèn)題是軟肋，內(nèi)存成本太高。鑒于這一弱點(diǎn)，SSDB使用硬盤存儲(chǔ)和谷歌 s的高性能存儲(chǔ)引擎LevelDB，適合大數(shù)據(jù)處理，性能優(yōu)化到Redis級(jí)別。
三、代理IP軟件測(cè)試計(jì)劃
IP代理軟件具有時(shí)效性。無(wú)論是免費(fèi)代理IP軟件還是付費(fèi)代理IP，都是有有效期的，過(guò)了有效期就失效了，所以要檢查其有效性。設(shè)置定時(shí)檢測(cè)方案，檢測(cè)代理IP的有效性，刪除無(wú)效IP和高延遲IP，并給出預(yù)警。當(dāng)IP池中的IP小于某個(gè)閾值時(shí)，將通過(guò)代理IP獲取接口獲取新的IP。
四、代理IP池的外部接口
有了lIP撥號(hào)服務(wù)器獲得的代理IP池，就需要設(shè)計(jì)一個(gè)外部接口，通過(guò)這個(gè)接口可以調(diào)用IP池中的IP供爬蟲(chóng)使用。代理IP池功能比較簡(jiǎn)單，用Flask就可以了，功能可以是為爬蟲(chóng)提供采集/刪除/刷新界面，方便爬蟲(chóng)直接使用。
精靈IP代理為了方便爬蟲(chóng)的使用，提高效率，設(shè)計(jì)盡量簡(jiǎn)單方便如果使用付費(fèi)代理，對(duì)爬蟲(chóng)的要求不高，則不需要建立本地代理IP池。
