静态站点自动化生成 Sitemap & Robots,配套构建期 SEO 校验脚本

举报
yd_282816122 发表于 2026/11/16 14:56:54 2026/11/16
【摘要】 静态站点自动化生成 Sitemap & Robots,配套构建期 SEO 校验脚本 背景前面我们完成了埋点采集、日志分析、告警看板整套观测链路。对于面向访客的静态站点(例如校园景点导览页),除了稳定性与性能,还需要解决搜索引擎收录的问题。手动维护 sitemap.xml 和 robots.txt 有明显痛点:新增、删除页面时容易忘记更新,造成死链接被爬虫抓取;优先级、更新频率配置混乱,无法...

静态站点自动化生成 Sitemap & Robots,配套构建期 SEO 校验脚本

背景

前面我们完成了埋点采集、日志分析、告警看板整套观测链路。对于面向访客的静态站点(例如校园景点导览页),除了稳定性与性能,还需要解决搜索引擎收录的问题。

手动维护 sitemap.xml 和 robots.txt 有明显痛点:

  • 新增、删除页面时容易忘记更新,造成死链接被爬虫抓取;
  • 优先级、更新频率配置混乱,无法和页面类型联动;
  • 无法在构建阶段提前发现 SEO 问题:缺少 title、meta description、404 内链、重复页面;
  • 每次改完需要人工提交站点地图,流程割裂。

本文目标:实现一套 Node 脚本,在打包阶段自动扫描页面,输出合规 sitemap、robots,同时内置基础 SEO 规则校验,异常直接阻断 CI 或输出警告。

核心约束:

  1. 纯 Node 实现,不依赖重型爬虫框架;
  2. 区分公开页面、内部页面,自动设置抓取开关;
  3. 支持配置页面优先级 priority、更新频率 changefreq;
  4. 校验结果输出 JSON 报告,可接入告警流水线;
  5. 适配静态托管,兼容 GitPages、GitCode Pages 这类平台。

整体流程

构建扫描脚本
    ↓
遍历 dist 目录下所有 html 文件
    ↓
解析页面 meta、title、内链,执行 SEO 规则校验
    ↓
生成 robots.txt + sitemap.xml
    ↓
输出 seo-report.json,CI 判断是否存在高风险问题

完整代码实现

1. seo-check.js 主脚本

const fs = require('fs');
const path = require('path');
const { JSDOM } = require('jsdom');

// 配置项
const config = {
  baseUrl: "[https://example-campus-site.gitcode.io](https://example-campus-site.gitcode.io)",
  distDir: "./dist",
  excludePath: ["/admin/", "/draft/", "/private/"],
  defaultChangefreq: "monthly",
  defaultPriority: 0.7,
  failOnError: false // true 时发现严重SEO错误直接exit(1)阻断CI
};

const sitemapEntries = [];
const seoErrors = [];
const seoWarnings = [];

// 递归扫描目录
function scanDir(dir) {
  const list = fs.readdirSync(dir);
  for (const name of list) {
    const fullPath = path.join(dir, name);
    const stat = fs.statSync(fullPath);
    if (stat.isDirectory()) {
      scanDir(fullPath);
    } else if (name.endsWith(".html")) {
      processHtmlFile(fullPath);
    }
  }
}

// 处理单个HTML页面
function processHtmlFile(filePath) {
  const html = fs.readFileSync(filePath, "utf8");
  const dom = new JSDOM(html);
  const document = dom.window.document;

  // 相对路径转url
  const relPath = path.relative(config.distDir, filePath).replace(/\\/g, "/");
  let pageUrl = `${config.baseUrl}/${relPath}`;
  pageUrl = pageUrl.replace("/index.html", "/");

  // 跳过排除路径
  if (config.excludePath.some(p => pageUrl.includes(p))) {
    return;
  }

  // SEO校验规则
  const titleEl = document.querySelector("title");
  const descEl = document.querySelector('meta[name="description"]');
  const title = titleEl?.textContent?.trim() || "";
  const desc = descEl?.content?.trim() || "";

  if (!title) {
    seoErrors.push({ url: pageUrl, msg: "页面缺失 title 标签" });
  } else if (title.length > 60) {
    seoWarnings.push({ url: pageUrl, msg: `title 过长(${title.length}),建议≤60字符` });
  }

  if (!desc) {
    seoWarnings.push({ url: pageUrl, msg: "页面缺失 meta description" });
  } else if (desc.length > 160) {
    seoWarnings.push({ url: pageUrl, msg: `description过长(${desc.length}),建议≤160字符` });
  }

  // 收集sitemap条目
  sitemapEntries.push({
    loc: pageUrl,
    lastmod: new Date().toISOString().split("T")[0],
    changefreq: config.defaultChangefreq,
    priority: config.defaultPriority
  });
}

// 生成 sitemap.xml
function buildSitemap() {
  let xml = `<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="[http://www.sitemaps.org/schemas/sitemap/0.9](http://www.sitemaps.org/schemas/sitemap/0.9)">
`;
  sitemapEntries.forEach(item => {
    xml += `  <url>
    <loc>${item.loc}</loc>
    <lastmod>${item.lastmod}</lastmod>
    <changefreq>${item.changefreq}</changefreq>
    <priority>${item.priority}</priority>
  </url>
`;
  });
  xml += "</urlset>";
  fs.writeFileSync(path.join(config.distDir, "sitemap.xml"), xml);
  console.log("✅ sitemap.xml 生成完成");
}

// 生成 robots.txt
function buildRobots() {
  const content = `User-agent: *
Allow: /
Disallow: /admin/
Disallow: /draft/
Disallow: /private/

Sitemap: ${config.baseUrl}/sitemap.xml
`;
  fs.writeFileSync(path.join(config.distDir, "robots.txt"), content);
  console.log("✅ robots.txt 生成完成");
}

// 输出校验报告
function writeReport() {
  const report = {
    time: new Date().toISOString(),
    totalPages: sitemapEntries.length,
    errorCount: seoErrors.length,
    warnCount: seoWarnings.length,
    errors: seoErrors,
    warnings: seoWarnings
  };
  fs.writeFileSync(path.join(config.distDir, "seo-report.json"), JSON.stringify(report, null, 2));
  console.log(`\n📋 SEO校验:错误 ${seoErrors.length},警告 ${seoWarnings.length}`);

  if (config.failOnError && seoErrors.length > 0) {
    console.error("❌ 存在SEO严重错误,构建终止");
    process.exit(1);
  }
}

// 入口
scanDir(config.distDir);
buildSitemap();
buildRobots();
writeReport();

2. 依赖安装

npm install jsdom

3. package.json 脚本

{
  "scripts": {
    "build": "vite build",
    "seo:check": "node seo-check.js"
  }
}

构建流水线顺序:打包 → SEO脚本执行 → 发布静态资源。

工程权衡

✅ 优势

  • 自动化,新增页面无需手动维护地图;
  • 提前拦截基础SEO缺陷,把问题卡在发布前;
  • 报告结构化输出,可以接入之前的告警脚本,错误数量超标触发Webhook通知;
  • 轻量,不需要无头浏览器,构建速度快。

⚠️ 局限

  • 只做静态HTML解析,不会执行JS渲染内容;SPA类站点需要调整方案;
  • 无法校验外部链接有效性,如需死链检测,需要额外增加链路探测;
  • 优先级和更新频率是全局默认,精细化场景可以增加单独配置文件,给首页、重点景点页面设置更高priority。

扩展优化方向

  1. 增加独立配置 seo-priority.config.json,给特定页面单独指定 priority / changefreq;
  2. 增加外链、内链存活探测,识别404死链;
  3. 增加图片索引支持,在sitemap里追加 <image:image> 标签,提升图片收录;
  4. 对接站长平台API,构建成功后自动提交sitemap;
  5. 和之前的性能埋点看板联动,把SEO错误指标也接入告警看板展示。

CI集成要点

把 npm run seo:check 放到构建步骤之后;
如果开启 failOnError: true,存在缺失title这类严重问题时直接阻止发布;
发布后,/robots.txt 和 /sitemap.xml 可以直接被爬虫访问。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。