搜索引擎的基本工作原理是什么？quot爬行動物& ampquot？
眾所周知，互聯(lián)網(wǎng)是由波浪組成的，因為每個人都可以在其中沖浪。
但是很多人不知道的是。#039;我不知道的是，和海浪相比，互聯(lián)網(wǎng)上最多的東西其實是爬蟲。
言下之意就是你的網(wǎng)線被感染了。
爬蟲其實是一種計算機技術(shù)，廣泛應(yīng)用于搜索引擎。
常見的搜索引擎有百度、谷歌、必應(yīng)等。
一個搜索引擎的工作原理大致可以分為抓取信息、存儲、索引、排序、搜索等。第一個階段是使用一個特殊的程序來收集web數(shù)據(jù)，通常稱為蜘蛛或爬蟲。
搜索引擎從已知的數(shù)據(jù)庫出發(fā)，訪問這些網(wǎng)頁，抓取文件。
搜索引擎使用這些爬行器從一個網(wǎng)站爬行到另一個網(wǎng)站，跟蹤網(wǎng)頁中的鏈接，并訪問更多的網(wǎng)頁。這個過程被稱為爬行，這些新的網(wǎng)站將被存儲在數(shù)據(jù)庫中以供搜索。
簡而言之，爬蟲不斷訪問互聯(lián)網(wǎng)，然后從中獲取你指定的信息并返回給你。
在我們的互聯(lián)網(wǎng)上，有無數(shù)的爬蟲隨時抓取數(shù)據(jù)，并返回給用戶。
除了搜索引擎，爬行動物還能做許多其他事情。
2018年春運期間，12306網(wǎng)站日訪問量峰值達到1500億次，平均每個中國人訪問12306網(wǎng)站近百次。
但轉(zhuǎn)念一想，就算搶票，好像也沒見過誰一天去12306超過100次吧！
其實12306超高流量的幕后黑手就是傳說中的那個。
在搶票APP上點擊搶票軟件，APP上會顯示搶票次數(shù)。
其實APP每搶到一張票，就相當于用爬蟲訪問了12306。
如果還有票，它會直接幫你拿。
如果沒有剩余的票，過會兒回來。
這個時候的爬蟲就像一個不要臉的油膩男，不會放過這個如花似玉的小女孩。
爬蟲：美女，你有票嗎~ ~ ~？
12306:不，出去
幾秒鐘后.
爬蟲：美女，你有票嗎~ ~ ~？
12306:不，出去
幾秒鐘后.
爬蟲：美女，你有票嗎~ ~ ~？
12306:沒有！滾出去！
而這樣的搭訕，在春運高峰一天會發(fā)生1500億次。
12306:It & amp；#039;這對我很難。
也是因為這個原因，12306的服務(wù)器有著近乎恐怖的抗壓能力。
每年雙十一期間，阿里巴巴如臨大敵，但淘寶的訪問量& amp#039;s雙十一還是比12306的1500億差很多。
每年，它& amp#039;it’只是一天，但是春運高峰有整整一個月！
12306:It & amp；#039;這對我太難了！
即便如此，每年雙十一開始，淘寶偶爾會出現(xiàn)卡頓、斷線的情況。
其實對于絕大多數(shù)網(wǎng)站和app來說，保證百萬用戶同時無壓力使用就很不錯了，上億訪問量的情況基本不存在。
因此，爬蟲的爬行功能不僅可以獲取數(shù)據(jù)，還可以作為一種攻擊手段，使得一個網(wǎng)站& amp#039;的訪問量在短時間內(nèi)激增，然后導(dǎo)致網(wǎng)站& amp#039;s崩潰。
因此，人們不得不制定相關(guān)的法律法規(guī)來約束人們& amp#039;爬行動物的使用。
而我們在登錄網(wǎng)站時輸入的各種奇葩驗證碼，也是為了在某些方面增加爬蟲訪問網(wǎng)站的難度。
然而，無論規(guī)范有多嚴格，它們都可能& amp#039;I don’我不能阻止一些頭腦發(fā)熱的罪犯.技術(shù)無知。
早在邊肖還在讀書的時候，他就聽說過無數(shù)的悲劇。
很多白人一學會寫爬蟲，就興致勃勃地扔到網(wǎng)上去試水。
但是有些人在開發(fā)的時候忘了給爬蟲設(shè)置一個訪問頻率。結(jié)果爬蟲突然變身加特林菩薩毫秒級瘋狂訪問目標網(wǎng)站，對目標網(wǎng)站進行物理穿越。
除了目標網(wǎng)站倒閉，看守所里還有一個光頭程序員。
也許正是因為這些悲劇，邊肖& amp#039;下一個同學有額外的一課。——信息安全的法律基礎(chǔ).
隨著人工智能的發(fā)展，爬蟲識別白百何和王的能力可能比人類更強，各大網(wǎng)站的驗證碼也越來越復(fù)雜。
但事實上，每一項技術(shù)在誕生之初都是無辜的，只是有人拿著這些技術(shù)去做一些違法的活動，使得技術(shù)本身不再純粹。
而技術(shù)的污染，最后的后果還是要自己吃。
12306不得不花更多精力開發(fā)新技術(shù)屏蔽搶票軟件，開發(fā)了備用購票功能滿足大家& amp#039;的票務(wù)需求。
各大網(wǎng)站的開發(fā)者不得不花費大量的精力去開發(fā)各種新奇的驗證碼，用戶也不得不花費更多的時間去解鎖。
這項技術(shù)帶來的便利與痛苦并存，將永遠伴隨著人類文明.
什么是爬蟲網(wǎng)站，什么是爬蟲搜索引擎？
