Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

从这个user-agent可以看到出，来访者会告知自己身份是Googlebot，即来自谷歌搜索引擎的爬虫。

关于爬虫身份的识别，zac老师整理过一篇非常权威的列表，大家可参考：

https://www.seozac.com/course/spider-user-agent-list/

3.java代码示例

3.1 身份标识枚举类

识别了爬虫身份后，这里封装了一个身份枚举类，作为简单说明和java方法返回值。每个枚举项目后面的注释里都标注着对应爬虫的关键词，可以用来做字符串contains操作。

public static enum UserAgentRole {

BAIDU_SPIDER, // Baiduspider/2.0或Baiduspider-render/2.0

GOOGLE_SPIDER, // Googlebot/2.1或Googlebot-Image/1.0

BING_SPIDER, //bingbot/2.0

SOUGOU_SPIDER, // Sogou web spider/4.0或Sogou wap spider/4.0

_360_SPIDER, // 360Spider

SHENMA_SPIDER, // YisouSpider/5.0

YANDEX_SPIDER, // YandexBot/3.0

HUAWEI_SPIDER, // PetalBot

AMAZON_SPIDER, // Amazonbot/0.1

OTHER_SPIDER, // 未知spider

NATURAL_USER, // 非spider的自然用户

UNKNOWN // 没有user-agent头

}

3.2 HttpServletRequest中取得User-Agent

HttpServletRequest request = ...

String userAgent = request.getHeader("User-Agent");

3.3 通过userAgent返回UserAgentRole

private static UserAgentRole checkUserAgentRole(String userAgent) {

if (StringUtils.isEmpty(userAgent)) {

return UserAgentRole.UNKNOWN;

}

userAgent = userAgent.toLowerCase();

if (userAgent.contains("bot") || userAgent.contains("spider")) {

if (userAgent.contains("baidu")) {

return UserAgentRole.BAIDU_SPIDER;

} else if (userAgent.contains("google")) {

return UserAgentRole.GOOGLE_SPIDER;

} else if (userAgent.contains("bing")) {

return UserAgentRole.BING_SPIDER;

} else if (userAgent.contains("sougou")) {

return UserAgentRole.SOUGOU_SPIDER;

} else if (userAgent.contains("360")) {

return UserAgentRole._360_SPIDER;

} else if (userAgent.contains("yisou")) {

return UserAgentRole.SHENMA_SPIDER;

} else if (userAgent.contains("yandex")) {

return UserAgentRole.YANDEX_SPIDER;

} else if (userAgent.contains("petal")) {

return UserAgentRole.HUAWEI_SPIDER;

} else if (userAgent.contains("amazon")) {

return UserAgentRole.AMAZON_SPIDER;

} else {

return UserAgentRole.OTHER_SPIDER;

}

return UserAgentRole.NATURAL_USER;

}

4. 不带User-Agent的搜索引擎的爬虫

多说一句，有时候即使是正经搜索引擎的爬虫，也不会带着User-Agent来正经标识自己的爬虫身份。

这是因为，为了在seo里为了避免下面这种情况：

某站长作弊，对普通用户返回一套页面，对搜索引擎，返回一套页面。
对搜索引擎返回的页面是做过特殊优化的，其实是有作弊嫌疑的。
那搜索引擎为了判断是否有作弊嫌疑，就会用正经带有爬虫标识的User-Agent请求一次，再在不定期的时候用普通身份请求一次。

知识学习

实践的时候请根据实际情况谨慎操作。

随机学习一条linux命令：

clear 或 Ctrl+L - 清除终端屏幕内容。