静态站点自动化生成 Sitemap & Robots,配套构建期 SEO 校验脚本
【摘要】 静态站点自动化生成 Sitemap & Robots,配套构建期 SEO 校验脚本 背景前面我们完成了埋点采集、日志分析、告警看板整套观测链路。对于面向访客的静态站点(例如校园景点导览页),除了稳定性与性能,还需要解决搜索引擎收录的问题。手动维护 sitemap.xml 和 robots.txt 有明显痛点:新增、删除页面时容易忘记更新,造成死链接被爬虫抓取;优先级、更新频率配置混乱,无法...
静态站点自动化生成 Sitemap & Robots,配套构建期 SEO 校验脚本
背景
前面我们完成了埋点采集、日志分析、告警看板整套观测链路。对于面向访客的静态站点(例如校园景点导览页),除了稳定性与性能,还需要解决搜索引擎收录的问题。
手动维护 sitemap.xml 和 robots.txt 有明显痛点:
- 新增、删除页面时容易忘记更新,造成死链接被爬虫抓取;
- 优先级、更新频率配置混乱,无法和页面类型联动;
- 无法在构建阶段提前发现 SEO 问题:缺少 title、meta description、404 内链、重复页面;
- 每次改完需要人工提交站点地图,流程割裂。
本文目标:实现一套 Node 脚本,在打包阶段自动扫描页面,输出合规 sitemap、robots,同时内置基础 SEO 规则校验,异常直接阻断 CI 或输出警告。
核心约束:
- 纯 Node 实现,不依赖重型爬虫框架;
- 区分公开页面、内部页面,自动设置抓取开关;
- 支持配置页面优先级
priority、更新频率changefreq; - 校验结果输出 JSON 报告,可接入告警流水线;
- 适配静态托管,兼容 GitPages、GitCode Pages 这类平台。
整体流程
构建扫描脚本
↓
遍历 dist 目录下所有 html 文件
↓
解析页面 meta、title、内链,执行 SEO 规则校验
↓
生成 robots.txt + sitemap.xml
↓
输出 seo-report.json,CI 判断是否存在高风险问题
完整代码实现
1. seo-check.js 主脚本
const fs = require('fs');
const path = require('path');
const { JSDOM } = require('jsdom');
// 配置项
const config = {
baseUrl: "[https://example-campus-site.gitcode.io](https://example-campus-site.gitcode.io)",
distDir: "./dist",
excludePath: ["/admin/", "/draft/", "/private/"],
defaultChangefreq: "monthly",
defaultPriority: 0.7,
failOnError: false // true 时发现严重SEO错误直接exit(1)阻断CI
};
const sitemapEntries = [];
const seoErrors = [];
const seoWarnings = [];
// 递归扫描目录
function scanDir(dir) {
const list = fs.readdirSync(dir);
for (const name of list) {
const fullPath = path.join(dir, name);
const stat = fs.statSync(fullPath);
if (stat.isDirectory()) {
scanDir(fullPath);
} else if (name.endsWith(".html")) {
processHtmlFile(fullPath);
}
}
}
// 处理单个HTML页面
function processHtmlFile(filePath) {
const html = fs.readFileSync(filePath, "utf8");
const dom = new JSDOM(html);
const document = dom.window.document;
// 相对路径转url
const relPath = path.relative(config.distDir, filePath).replace(/\\/g, "/");
let pageUrl = `${config.baseUrl}/${relPath}`;
pageUrl = pageUrl.replace("/index.html", "/");
// 跳过排除路径
if (config.excludePath.some(p => pageUrl.includes(p))) {
return;
}
// SEO校验规则
const titleEl = document.querySelector("title");
const descEl = document.querySelector('meta[name="description"]');
const title = titleEl?.textContent?.trim() || "";
const desc = descEl?.content?.trim() || "";
if (!title) {
seoErrors.push({ url: pageUrl, msg: "页面缺失 title 标签" });
} else if (title.length > 60) {
seoWarnings.push({ url: pageUrl, msg: `title 过长(${title.length}),建议≤60字符` });
}
if (!desc) {
seoWarnings.push({ url: pageUrl, msg: "页面缺失 meta description" });
} else if (desc.length > 160) {
seoWarnings.push({ url: pageUrl, msg: `description过长(${desc.length}),建议≤160字符` });
}
// 收集sitemap条目
sitemapEntries.push({
loc: pageUrl,
lastmod: new Date().toISOString().split("T")[0],
changefreq: config.defaultChangefreq,
priority: config.defaultPriority
});
}
// 生成 sitemap.xml
function buildSitemap() {
let xml = `<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="[http://www.sitemaps.org/schemas/sitemap/0.9](http://www.sitemaps.org/schemas/sitemap/0.9)">
`;
sitemapEntries.forEach(item => {
xml += ` <url>
<loc>${item.loc}</loc>
<lastmod>${item.lastmod}</lastmod>
<changefreq>${item.changefreq}</changefreq>
<priority>${item.priority}</priority>
</url>
`;
});
xml += "</urlset>";
fs.writeFileSync(path.join(config.distDir, "sitemap.xml"), xml);
console.log("✅ sitemap.xml 生成完成");
}
// 生成 robots.txt
function buildRobots() {
const content = `User-agent: *
Allow: /
Disallow: /admin/
Disallow: /draft/
Disallow: /private/
Sitemap: ${config.baseUrl}/sitemap.xml
`;
fs.writeFileSync(path.join(config.distDir, "robots.txt"), content);
console.log("✅ robots.txt 生成完成");
}
// 输出校验报告
function writeReport() {
const report = {
time: new Date().toISOString(),
totalPages: sitemapEntries.length,
errorCount: seoErrors.length,
warnCount: seoWarnings.length,
errors: seoErrors,
warnings: seoWarnings
};
fs.writeFileSync(path.join(config.distDir, "seo-report.json"), JSON.stringify(report, null, 2));
console.log(`\n📋 SEO校验:错误 ${seoErrors.length},警告 ${seoWarnings.length}`);
if (config.failOnError && seoErrors.length > 0) {
console.error("❌ 存在SEO严重错误,构建终止");
process.exit(1);
}
}
// 入口
scanDir(config.distDir);
buildSitemap();
buildRobots();
writeReport();
2. 依赖安装
npm install jsdom
3. package.json 脚本
{
"scripts": {
"build": "vite build",
"seo:check": "node seo-check.js"
}
}
构建流水线顺序:打包 → SEO脚本执行 → 发布静态资源。
工程权衡
✅ 优势
- 自动化,新增页面无需手动维护地图;
- 提前拦截基础SEO缺陷,把问题卡在发布前;
- 报告结构化输出,可以接入之前的告警脚本,错误数量超标触发Webhook通知;
- 轻量,不需要无头浏览器,构建速度快。
⚠️ 局限
- 只做静态HTML解析,不会执行JS渲染内容;SPA类站点需要调整方案;
- 无法校验外部链接有效性,如需死链检测,需要额外增加链路探测;
- 优先级和更新频率是全局默认,精细化场景可以增加单独配置文件,给首页、重点景点页面设置更高priority。
扩展优化方向
- 增加独立配置
seo-priority.config.json,给特定页面单独指定 priority / changefreq; - 增加外链、内链存活探测,识别404死链;
- 增加图片索引支持,在sitemap里追加
<image:image>标签,提升图片收录; - 对接站长平台API,构建成功后自动提交sitemap;
- 和之前的性能埋点看板联动,把SEO错误指标也接入告警看板展示。
CI集成要点
把 npm run seo:check 放到构建步骤之后;
如果开启 failOnError: true,存在缺失title这类严重问题时直接阻止发布;
发布后,/robots.txt 和 /sitemap.xml 可以直接被爬虫访问。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)