原來，第一商業(yè)搜索引擎的目錄，如雅虎和銀河，正因為如此，在其索引的網(wǎng)站技術(shù)網(wǎng)站（大）不是一個真正的問題，除了審美和網(wǎng)站質(zhì)量的考慮，。然而，調(diào)查網(wǎng)站的“機(jī)器人”的能力，與引進(jìn)的主要早期蜘蛛的搜索屬性，如Lycos，AltaVista和Inktomi的，成為一個重要的考慮。俗稱蜘蛛，機(jī)器人，是由一些搜索引擎使用調(diào)查網(wǎng)站的內(nèi)容，然后介紹他們的研究結(jié)果的搜索引擎數(shù)據(jù)庫軟件件。搜索結(jié)果，然后根據(jù)算法，數(shù)據(jù)庫方面的某些優(yōu)先重視排名，訂單的網(wǎng)站在搜索引擎結(jié)果頁面作為這種效應(yīng)。
不過，也有許多網(wǎng)站編碼方面可能存在的障礙，以搜尋引擎機(jī)器人。許多機(jī)器人編程左右的前幾個搜索引擎的時間，所以他們參考HTML在許多方面停留在中后期的1990年。許多人有困難，采取由站長，如框架集，嵌入式表格，圖像鏈接和地圖，和JavaScript / DHTML，授予解析的HTML。盡管一些機(jī)器人已經(jīng)演變，則Googlebot（Google使用的機(jī)器人）機(jī)器人移動時代的一個明顯的例子，有許多還沒有真正改變在6年左右的時間，他們已經(jīng)存在。這意味著，一個SEO公司必須有一個充分了解網(wǎng)站的編碼可能會出現(xiàn)怎樣錯綜復(fù)雜的搜索引擎機(jī)器人的障礙，以及如何網(wǎng)站編碼可能出現(xiàn)的機(jī)會，以提高網(wǎng)站的排名簡單的技術(shù)變化。
然而，應(yīng)當(dāng)記住該網(wǎng)站編碼不應(yīng)該被濫用，以人為抬高等級，作為再次，這將被視為垃圾郵件搜索引擎，并可能導(dǎo)致網(wǎng)站被處罰或禁止那些搜索引擎。
一個復(fù)雜，相當(dāng)狡猾的欺騙搜索引擎的方式是通過使用通常被稱為隱形技術(shù)。這項技術(shù)涉及承認(rèn)他們的用戶代理（瀏覽器或機(jī)器人的名字），或通過其IP地址的網(wǎng)站的訪問者。這使您可以提出專門為特定的搜索引擎優(yōu)化的網(wǎng)頁，這意味著每臺發(fā)動機(jī)可以單獨優(yōu)化。原則上，這聽起來像相當(dāng)不錯的主意，但它顯然是濫用開放，許多搜索引擎結(jié)果已被禁止。例如，谷歌，行，什么蜘蛛索引，必須是您網(wǎng)站的用戶將看到。在過去的愚弄，以為他們索引的熱門網(wǎng)站，如Hotmail或微軟，其實他們索引色情網(wǎng)站的機(jī)器人，已用于IP和用戶代理交付。這顯然不是在搜索引擎的利益，并很容易地看到了自己的觀點。