问题背景

如上图，如果你需要在谷歌搜索引擎推广网站，可以在谷歌站长后台提交自己站点的sitemap，但是发现“状态”一栏始终是无法抓取。怎么办呢？

1. 尝试一：保证sitemap的文件格式

下面是一个标准的sitemap的文件格式在，这样用，是最基础的保证：

<?xml version="1.0" encoding="UTF-8"?>
2<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
3  <url>
4    <loc>http://www.example.com/</loc>
5    <lastmod>2024-01-26</lastmod>
6    <changefreq>daily</changefreq>
7    <priority>1.0</priority>
8  </url>
9  <url>
10    <loc>http://www.example.com/about-us</loc>
11    <lastmod>2023-12-30</lastmod>
12    <changefreq>monthly</changefreq>
13    <priority>0.8</priority>
14  </url>
15  <url>
16    <loc>http://www.example.com/services</loc>
17    <lastmod>2024-01-15</lastmod>
18    <changefreq>weekly</changefreq>
19    <priority>0.6</priority>
20  </url>
21  <!-- 更多页面 -->
22</urlset>

这里给大家一个示例，如果需要，可以粘贴走根据自己的情况修改。

2. 尝试二：loc地址一定要是全域名的

这一点对google很重要，其它的站长工具可能可以识别相对路径的地址：

• 比如页面：http://www.example.com/services，有的站长后台支持/services
• 但google这里请务必写全地址，即：http://www.example.com/services，全地址！

否则即使被读取了，也会提示“xxx项错误”，好不容易读取了，却报错了，很是可惜。如下图这样的：

3. 尝试三：去掉changeFreq和priority

谷歌会忽略掉这两个属性，资料：https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap?hl=zh-cn

这样，sitemap.xml文件就变成了：

<?xml version="1.0" encoding="UTF-8"?>
2<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
3  <url>
4    <loc>http://www.example.com/</loc>
5    <lastmod>2024-01-26</lastmod>
6  </url>
7  <url>
8    <loc>http://www.example.com/about-us</loc>
9    <lastmod>2023-12-30</lastmod>
10  </url>
11  <url>
12    <loc>http://www.example.com/services</loc>
13    <lastmod>2024-01-15</lastmod>
14  </url>
15  <!-- 更多页面 -->
16</urlset>

4. 尝试四：一定不要返回过多的url

尤其是新站，搜索引擎对新站的权重比较低，所以当我们一个sitemap文件里返回过多url的时候，会把搜索引擎“吓走”。

• 它会想：好家伙，一下子返回这么多url给我，我哪有空搭理你，先一边呆着吧，我很忙！
• 
  

所以新站的单个sitemap文件一定不要太大，包括上面去掉changeFreq和priority也是为了减少sitemap.xml文件的体积。

sitemap里面的url控制在1000个以内一般是问题不大的，如下图：

5. 尝试五：返回的响应耗时不能太长

尤其是新站，而且sitemap体积大的情况下，可能返回耗时稍长（这个搜索引擎设定的时间阈值咱也不知道，但是感觉可能几秒都是不应该的）。

解决方法：

• 不要实时动态生成！不要实时动态生成！每次查一下数据库，再生成数据，再响应，这个过程不快！
• 如果非要动态生成，建议设置一个调度，每隔几个小时，生成一下然后存放静态的sitemap.xml文件放在服务器根路径下面，即https://www.你的域名.com/sitemap.xml这里。

这样，搜索引擎来抓取的时候，直接拿现成的静态文件，结合尝试三、尝试四，保证单个sitemap文件又不会太大，就很稳妥了。响应速度又快，单文件大小又舒服，url数量又符合搜索引擎的预期。

写在后面的话

对于sitemap.xml的应用，新站还需要注意下面几个地方：

1. 名字无所谓，但一定都是xxx.xml格式，xxx的名字最终你会提交给站长后台的，但要小写，不要出现一些乱七八糟的符号
2. 新站不要过分依赖于sitemap.xml，搜索引擎对于新站的态度其实更喜欢自己发现的url，sitemap.xml提交几千几万也不见得会都来爬取
3. 爬取是第一步，是否收录，还取决于站点的质量等等因素，这个比较博大精深了，我也说不好其中一二
4. 以及，lastmod这个也不要任意改，比如你只改了lastmod但没改文章内容，会存在概率性被搜索引擎认为是作弊的
5. 被索引的文章，不要删除，否则搜索引擎会认为站点不稳定
6. 最后，sitemap.xml提交只是第一步，更多的还是应该注重站点的质量建设、外链维护、用户体验的提升