不了解搜索引擎原理？你怎么做SEO優(yōu)化

我們都知道，SEO（Search Engine Optimization）漢譯為搜索引擎優(yōu)化，利用搜索引擎的規(guī)則提高網(wǎng)站在有關(guān)搜索引擎內(nèi)的自然排名。目的是為了網(wǎng)站提供生態(tài)式的自我營(yíng)銷(xiāo)解決方案，讓其在行業(yè)內(nèi)占據(jù)領(lǐng)先地位，獲得品牌收益；網(wǎng)站優(yōu)化分為站內(nèi)SEO優(yōu)化和站外SEO優(yōu)化兩個(gè)方面；為了從搜索引擎中獲得更多的免費(fèi)流量，從網(wǎng)站結(jié)構(gòu)、內(nèi)容建設(shè)方案、用戶(hù)互動(dòng)傳播、頁(yè)面等角度進(jìn)行合理規(guī)劃，還會(huì)使搜索引擎中顯示的網(wǎng)站相關(guān)信息對(duì)用戶(hù)來(lái)說(shuō)更具有吸引力。

那么，搜索引擎原理是什么？這個(gè)必須要知道，因?yàn)槟悴恢浪阉饕嬖?，就沒(méi)法做SEO優(yōu)化。要知道搜索引擎原理，我們先來(lái)了解一下，什么是搜索引擎蜘蛛？

搜索引擎蜘蛛（spider），可簡(jiǎn)稱(chēng)為蜘蛛，本意為搜索引擎機(jī)器人（robot），稱(chēng)為蜘蛛的原因是將互聯(lián)網(wǎng)比喻成蜘蛛網(wǎng)，將機(jī)器人比喻成了在網(wǎng)上爬行的蜘蛛，是搜索引擎自動(dòng)抓取網(wǎng)頁(yè)的程序。

搜索引擎蜘蛛的作用：通過(guò)這些搜索引擎蜘蛛的爬行會(huì)自動(dòng)將網(wǎng)頁(yè)添加到搜索引擎的數(shù)據(jù)庫(kù)當(dāng)中，搜索引擎蜘蛛會(huì)自動(dòng)判斷網(wǎng)頁(yè)的質(zhì)量，根據(jù)既定的程序判斷是否抓取。

搜索引擎蜘蛛的名稱(chēng)：以下為目前國(guó)內(nèi)知名度比較高的搜索引擎的名字，還有很多的搜索引擎蜘蛛但是由于知名度不高，我就不一一列舉了。

• Google蜘蛛： Googlebot

• 百度蜘蛛：baiduspider

• 搜狗蜘蛛：Sogou web spider

• 360蜘蛛：360Spider

• 必應(yīng)蜘蛛：bingbot

• 雅虎中國(guó)蜘蛛：Yahoo! Slurp China

• SOSO蜘蛛：Sosospider

• MSN蜘蛛：Msnbot

• 有道蜘蛛：YoudaoBot

查看搜索引擎蜘蛛的來(lái)訪記錄，需要通過(guò)網(wǎng)站訪問(wèn)日志文件來(lái)查看，具體獲取方法請(qǐng)咨詢(xún)服務(wù)器提供商。

如果你想獲得搜索引擎蜘蛛的親賴(lài)，希望他天天爬行抓取網(wǎng)頁(yè)的話，那就需要持續(xù)保持原創(chuàng)文章的更新，并且定期交換友情鏈接。

如果你不希望某個(gè)搜索引擎的蜘蛛來(lái)抓取你的網(wǎng)頁(yè)，可以通過(guò)設(shè)置robots.txt來(lái)禁止抓取。

好啦！前奏已鋪墊完畢，該了解的我們都已經(jīng)基本上介紹完了，下面一起來(lái)看看什么是搜索引擎原理？有興趣的小伙伴們可以仔細(xì)閱讀了。

搜索引擎，需要解決的技術(shù)問(wèn)題總的分為：蜘蛛程序、分類(lèi)建立索引、詞庫(kù)、排序算法因素、數(shù)據(jù)庫(kù)索引和優(yōu)化、數(shù)據(jù)庫(kù)結(jié)構(gòu)--蜘蛛。

目前看來(lái)，蜘蛛可以用C或者PHP來(lái)實(shí)現(xiàn)。百度的蜘蛛多半是C做的，C同樣可以支持多個(gè)數(shù)據(jù)庫(kù)的連接接口，并且C的運(yùn)行效率比PHP高，C也更能控制底層。

C雖然這么好，我還是想用PHP做，時(shí)間上必須更多的節(jié)約出來(lái)，不能再去學(xué)C。如果以后需要高效率要用C，再用C做，數(shù)據(jù)庫(kù)可以不變，MYSQL可以和C連接。

PHP有優(yōu)點(diǎn)也有缺點(diǎn)，做蜘蛛，問(wèn)題應(yīng)該不大，最大的問(wèn)題 是有可能速度很慢。

1、抓取網(wǎng)頁(yè)

抓取網(wǎng)頁(yè)，有可能出現(xiàn)的問(wèn)題是，抓取順序，抓取如果不成功或超時(shí)等問(wèn)題該如何紀(jì)錄，下次又什么時(shí)候更新抓取。搜索引擎的 數(shù)據(jù)庫(kù)最開(kāi)始是新的，沒(méi)有任何網(wǎng)址的，需要大量加入網(wǎng)址。

這里可以用for循環(huán)語(yǔ)句，按照英文字母自動(dòng)循環(huán)。當(dāng)然，網(wǎng)站建設(shè)不只有英文，還有和數(shù)字，這些只能手工輸入了。如果還是循環(huán)抓取，估計(jì)有很多都要落空。抓到的代碼需要分析編碼類(lèi)型是utf-8還是gb2312.我的搜索引擎只想抓簡(jiǎn)體中文。

如果抓取超時(shí)，則記錄，下次大概十天之后再抓取，如果連續(xù)超時(shí)三次，將T出數(shù)據(jù)庫(kù)。

2、建立索引

索引的建立是個(gè)很棘手的問(wèn)題，百度和谷歌可以用自 己的服務(wù)器群建立分布式的服務(wù)器。我可沒(méi)那么多服務(wù)器。所以我想換個(gè)方法。建立靜態(tài)頁(yè)面。之前我才知道，在百度和谷歌輸入一個(gè)比較生僻的詞 ，會(huì)花費(fèi)0.2秒左右的時(shí)間，一般的常見(jiàn)詞語(yǔ)只需要0.1秒。并且，第二次重復(fù)輸入一個(gè)詞所需要的查詢(xún)時(shí)間要少得多。這個(gè)多半就是索引的影響。

假如索引是放內(nèi)存里，讀取速度將是非常OK的。我只有一臺(tái)服務(wù)器，就算只放常見(jiàn)的5萬(wàn)個(gè)查詢(xún)?cè)~語(yǔ)的索引進(jìn)去，估計(jì)也有點(diǎn)累。一個(gè)頁(yè)面至少有20K， 5萬(wàn)個(gè)頁(yè)面就是20K*50=1G。這還只是5萬(wàn)個(gè)詞的第一個(gè)頁(yè)面。如果用戶(hù)要翻頁(yè)查詢(xún)呢，內(nèi)存肯定不夠。假如只放第一頁(yè)進(jìn)內(nèi)存，用戶(hù)翻頁(yè)查詢(xún)，速度 將無(wú)法解決。所以我準(zhǔn)備全靜態(tài)。把5萬(wàn)個(gè)詞語(yǔ)的查詢(xún)模擬一次，然后生成靜態(tài)頁(yè)面。所有詞的第一頁(yè)放內(nèi)存，后面的頁(yè)面放硬盤(pán)里。如果能把頁(yè)面 放內(nèi)存，這個(gè)問(wèn)題就已經(jīng)解決了。

3、詞庫(kù)

漢字千千萬(wàn)，常用的漢字也至少三千個(gè)。組成的詞語(yǔ)常用的估計(jì)有2萬(wàn)。這個(gè)詞庫(kù)來(lái)怎么添加進(jìn)去？用什 么格式存放？CSV文件還是數(shù)據(jù)庫(kù)還是文本文件？之前我想過(guò)把金山詞霸的詞庫(kù)文件找到，想辦法直接復(fù)制過(guò)來(lái)，此方法目前還沒(méi)成功。

4、排序算法

所有的影響排序的算法，應(yīng)該是放一個(gè)表里，然后分固定算法，就是網(wǎng)站本身的因素，還有變動(dòng)算法，就是用戶(hù)輸入的詞語(yǔ)或因?yàn)闀r(shí)間季節(jié)等不同而變化的因 素。固定算法就放一個(gè)表里，對(duì)每個(gè)網(wǎng)站算出總分。變動(dòng)算法的一部分是之前已經(jīng)產(chǎn)生，一部分是用戶(hù)輸入之后才算出。

5、數(shù)據(jù)庫(kù)索引

數(shù)據(jù)庫(kù)的索引目前還沒(méi) 有很好的解決辦法，一個(gè)表達(dá)索引肯定不能太多，多了會(huì)影響速度。六.數(shù)據(jù)庫(kù)的結(jié)構(gòu)。這個(gè)很關(guān)鍵。估計(jì)要在網(wǎng)站前臺(tái)界面出來(lái)之前就得先把數(shù)據(jù) 庫(kù)結(jié)構(gòu)定下來(lái)。還要為以后的升級(jí)留下接口，比如算法因素要增加，或者為了優(yōu)化查詢(xún)語(yǔ)句，要變動(dòng)字段等等。

好了，今天我們就分享到這里，下一篇我們講解《深入研究之搜索引擎的架構(gòu)與細(xì)節(jié)》，很值得期待哦！有興趣的小伙伴們關(guān)注遨游建站移動(dòng)站（m.aoyouwl.com）經(jīng)常更新建站、優(yōu)化等眾多網(wǎng)絡(luò)前沿知識(shí)。

本文撰寫(xiě)參考：

搜索引擎 https://baike.baidu.com/item/%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E

網(wǎng)絡(luò)爬蟲(chóng) https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB/5162711?fromtitle=%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%E8%9C%98%E8%9B%9B&fromid=9781549