AI 時代的網站基礎建設：llms.txt、llms-full.txt、sitemap.xml、robots.txt 的角色與實作！

從 SEO 到 GEO：為什麼這四個檔案突然重要

過去十年，網站優化的核心是 SEO（搜尋引擎最佳化）——讓網頁出現在 Google 搜尋結果前段，使用者點進來完成轉換。但搜尋行為正在改變：越來越多人直接向 AI 提問，由 AI 整理答案並「引用」少數來源，而不是自己逐一點開藍色連結。

這催生了 GEO（Generative Engine Optimization，生成式引擎優化）：優化目標從「排名」轉向「被引用」。要被 AI 引用，前提是 AI 看得懂你的網站結構與內容。而 robots.txt、sitemap.xml、llms.txt、llms-full.txt，正是不同階段、不同對象的「網站說明書」。它們服務的對象與目的各不相同，卻互相搭配。

四個檔案的角色一次看懂

robots.txt：控制誰能爬、能爬哪裡

robots.txt 是給爬蟲看的門禁規則。它放在網域根目錄，用來告訴搜尋引擎與 AI 爬蟲哪些路徑可以抓、哪些不要碰，並指向 sitemap 的位置。它不能真正「鎖住」內容（敏感資料仍要靠權限控管），但能避免後台、登入頁、站內搜尋結果這類無索引價值的頁面浪費爬取資源、產生重複內容。

在 AI 時代，robots.txt 多了一個新角色：決定要不要開放各家 AI 爬蟲。若希望內容被 AI 引用以增加曝光，就明確放行它們；若不希望內容被用於訓練，也可以針對特定爬蟲封鎖。

User-agent: *
 Allow: /
 Disallow: /admin.php
 Disallow: /search.php
 
 # 明確開放主流 AI 爬蟲（依需求調整）
 User-agent: GPTBot
 Allow: /
 
 User-agent: ClaudeBot
 Allow: /
 
 Sitemap: https://cadch.com/sitemap.xml

常見 AI 爬蟲名稱包含 GPTBot、OAI-SearchBot（OpenAI）、ClaudeBot（Anthropic）、PerplexityBot、Google-Extended 等。

sitemap.xml：告訴搜尋引擎你有哪些頁面

sitemap.xml 是網站的頁面清單。它以 XML 列出所有希望被索引的網址，並附上最後更新日期，協助搜尋引擎更完整、更快速地發現與收錄內容——對文章數量龐大、或結構較深的網站特別重要。

實務上有兩個重點：第一，（最後更新日期）要準確，這是目前搜尋引擎最重視的欄位；至於 changefreq 與 priority，Google 已幾乎忽略，不需糾結。第二，頁面眾多時應以程式自動產生並定期更新，避免手動維護出現遺漏或列到已刪除的 404 頁。

<?xml version="1.0" encoding="UTF-8"?>
 <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
 <loc>https://cadch.com/</loc>
 <lastmod>2026-06-26</lastmod>
 </url>
 </urlset>

llms.txt：告訴 AI 你是誰、重點在哪

llms.txt 是專為 AI 設計的網站導覽檔。概念上類似 robots.txt 的位置（根目錄、純文字），但目的相反：robots.txt 管「能不能爬」，llms.txt 則用人類與 AI 都好讀的 Markdown，主動說明「這個網站是什麼、提供什麼、最重要的內容在哪」。它讓 AI 不必從一堆雜亂頁面裡猜哪一頁才是正確入口。

一份標準的 llms.txt 以網站名稱為大標、一段引言摘要開頭，接著用分區的連結清單列出關鍵頁面，每條連結附簡短說明。對於本來就有大量「需要被正確理解」公開內容的網站（產品、技術文件、知識型文章），效益最明顯。

# 公司名稱
 
 > 一句話說明公司定位與提供的內容。
 
 ## 主要頁面
 - [關於我們](https://cadch.com/modules/pages/main/): 公司簡介與核心優勢。
 - [產品總覽](https://cadch.com/modules/pages/prices/): 主要產品與分類。
 
 ## 精選文章
 - [選購指南](https://cadch.com/guide): 完整選用說明。

llms-full.txt：讓 AI 一次讀完完整內容

llms-full.txt 是 llms.txt 的擴充版。差別在於：llms.txt 是「目錄」，只給摘要與連結；llms-full.txt 則把關鍵頁面的完整內文直接彙整在同一個檔案裡，讓 AI 讀這一份就能掌握網站全貌，不必再逐頁爬取。

兩者搭配使用：llms.txt 幫 AI 快速判斷哪裡有料，llms-full.txt 提供可直接取用的完整內容。維護上，兩者應與 sitemap.xml 同步更新——三份檔案描述的網站結構若不一致，反而會讓 AI 收到互相矛盾的資訊。

實作與部署：建議順序

1. 先確立 robots.txt：開放正常內容、封鎖後台與無價值頁面，並在結尾加上 Sitemap: 指向。
2. 產生 sitemap.xml：頁面多時以程式自動產生，確保 lastmod 準確，並到 Google Search Console 提交。
3. 建立 llms.txt：以網站名稱、摘要、分區連結清單組成，凸顯最重要的入口頁面。
4. 延伸出 llms-full.txt：將精選頁面的完整內文彙整，並與 llms.txt、sitemap 維持同步。
5. 四檔上線後驗證：用 robots.txt 測試工具檢查規則、確認四個網址皆可正常存取（HTTP 200）。

一個誠實的提醒：分清「現在有效」與「未來布局」

robots.txt 與 sitemap.xml 是行之有年、現在就確定有效的標準，務必做好。至於 llms.txt／llms-full.txt，要把期待放在合理位置：截至 2026 年初，它的全球採用率仍只約一成，OpenAI、Google、Anthropic 等也尚未正式承諾旗下 AI 產品會主動讀取這個檔案，部分研究甚至指出「有沒有 llms.txt」與「實際被 AI 引用」目前還沒有明確的統計相關性。

但它仍值得做，理由是成本極低、又有上升趨勢：愈來愈多以 Agent 形式運作、會即時爬取網站的 AI 工具已開始支援，Chrome 的 Lighthouse 稽核也已將它納入檢查項目。對已有清楚頁面架構的網站來說，現在花一兩小時建立一份，未來幾乎不必大改就能受益。合理的定位是：低成本實驗、提早卡位、不過度期待，也不拿它取代其他優化工作。

常見問題 FAQ