一個簡單的純文字檔案可以決定您的網站是否出現在 Google 結果中。
眾所周知，robots檔案旨在阻止機器人存取您網站的某些部分或整個網站。
雖然它的功能看起來與隱私直接相關，但實際上它可以是一把雙刃劍：一方面它可以有效地向搜尋引擎隱藏訊息，另一方面它也可以有效地隱藏訊息。由於它是一個公共文件，任何閱讀其內容的人都可以知道您網站的哪些部分包含您想要隱藏的資訊。
儘管它很簡單，但它的語法中有一些許多網站管理員通常不知道的秘密。我們先來解釋一下阻止所有機器人爬行到某個站點的線路的作用
用戶代理：*
禁止：/
User-agent: *行 表示應控制哪個機器人，星號 (*) 表示指令適用於所有機器人。
Disallow : /語句 告訴機器人不要造訪網 澳洲 whatsapp 列表 站上的任何頁面。 相反，您可以只封鎖特定部分，例如：Disallow：/section
允許所有機器人抓取網站的語法是什麼？
用戶代理：*
不允許：
乍看之下似乎和上一個一樣，但差別在於斜線還是正斜線（/）
這是決定性的，表明它後面的所有內容都不應該被索引，它的缺失表明恰恰相反。實現相同任務的類似方法是使用以下語法：
用戶代理：*
允許： /
這看起來確實沒有必要，因為告訴機器人做它被編程的事情是沒有用的，因為它會做它而不需要你命令它。 但該指令的存在還有一個次要用途，我們稍後會看到。