[JavaScript 错误处理 ]的搜索结果

...L日志中有大量的这个错误该怎么办？ 1. 看到错误日志时的慌乱与冷静 作为一个数据库运维人员，每天面对着各种各样的问题，而当看到MySQL的日志文件里充满了大量的错误信息时，我的第一反应通常是——“天啊！这是什么情况？”尤其是在半夜加班的时候，这种感觉尤其强烈。 不过，作为一名资深的技术人，我很快意识到，慌张解决不了任何问题。咱们先别急着慌，坐下来好好琢磨琢磨这些错误到底是啥意思，到底是咋冒出来的，然后想想接下来该怎么处理才好。于是，我开始仔细阅读日志内容，并尝试重现这些错误。 比如，最近我在维护的一个生产环境下的MySQL服务器上，突然发现日志里出现了大量这样的错误信息： [ERROR] InnoDB: Operating system error number 24 in a file operation. 这让我有点懵，因为我之前从未遇到过类似的错误。所以，我决定深入研究一下这个问题，看看能不能找到解决方案。 --- 2. 错误日志解读 从表面现象到本质原因 首先，我需要弄清楚这个错误到底意味着什么。我翻了翻官方文档，又逛了逛一些社区论坛，感觉这错误八成跟操作系统里的文件操作有关系。具体来说，错误号24在Linux系统中表示“Too many open files”（打开的文件太多）。 这让我立刻联想到，可能是因为MySQL的某些进程打开了过多的文件句柄，导致操作系统限制了它进一步的操作。为了验证这一点，我执行了一个简单的命令来检查当前系统的文件描述符限制： bash ulimit -n 结果显示默认值为1024。这意味着每个进程最多只能同时打开1024个文件。说实话，咱们的MySQL实例现在正忙着应付一大堆同时连进来的需求，还得折腾临时表呢。这么一看，那个限制就跟挠痒痒似的——太不够用了！ 接下来，我查看了MySQL的配置文件my.cnf，发现确实没有显式设置文件描述符的上限。于是，我修改了配置文件，将open_files_limit参数调整为更大的值： ini [mysqld] open_files_limit=65535 然后重启了MySQL服务，再次检查日志，果然，错误消失了！ --- 3. 实践中的代码调试与优化 当然，仅仅解决问题还不够，我还想进一步优化整个系统的性能。于是，我编写了一些脚本来监控MySQL的运行状态，特别是文件描述符的使用情况。 以下是一个简单的Python脚本，用于统计MySQL当前使用的文件描述符数量： python import psutil import subprocess def get_mysql_open_files(): 获取所有MySQL进程ID mysql_pids = [] result = subprocess.run(['pgrep', 'mysqld'], capture_output=True, text=True) for line in result.stdout.splitlines(): mysql_pids.append(int(line)) total_open_files = 0 for pid in mysql_pids: try: proc = psutil.Process(pid) open_files = len(proc.open_files()) print(f"Process {pid} has opened {open_files} files.") total_open_files += open_files except Exception as e: print(f"Error checking process {pid}: {e}") print(f"Total open files by MySQL processes: {total_open_files}") if __name__ == "__main__": get_mysql_open_files() 运行这个脚本后，我发现某些特定的查询会导致文件描述符迅速增加。经过分析，这些问题主要出现在涉及大文件读写的场景中。所以呢，我觉得咱们开发的小伙伴们得好好捯饬捯饬这些查询语句啦！比如说，能不能少建那些没用的临时表啊？再比如，能不能换个更快的存储引擎啥的？反正就是得让这个程序跑得更顺畅些，别老是卡在那里干瞪眼不是？ --- 4. 总结与反思 从问题中学到的东西 回顾这次经历，我深刻体会到，处理数据库问题时，不能仅凭直觉行事，而是要结合实际数据和技术手段，逐步排查问题的根本原因。同时，我也认识到，预防胜于治疗。如果能在日常运维中提前做好监控和预警，就可以避免很多突发状况。 最后，我想分享一点个人感悟：技术之路永无止境，每一次遇到难题都是一次成长的机会。说实话，有时候真的会觉得头大，甚至怀疑自己是不是走错了路。但我觉得啊，这就好比在黑暗里找钥匙，你得不停地摸索、试错才行。只要别轻易放弃，一直在学、一直在练，总有一天你会发现，“！原来它在这儿呢！”就跟我在处理这个MySQL报错的时候似的，最后不光把问题搞定了，还顺带学了不少实用的招儿呢！ 如果你也遇到了类似的情况，不妨试试上面提到的方法，也许能帮到你！

...何使用Gin进行实时处理 一、为什么选择Gin？ 作为一个后端开发者，我一直在寻找一款高效且易于上手的Web框架。在接触过Express、Spring Boot等框架之后，我终于找到了Go语言中的Gin。Gin以其轻量级、高性能以及丰富的功能吸引了我的注意。特别是当我打算搭建一个能快速处理事情的系统时，Gin的表现直接把我给惊艳到了！ 思考过程 说实话，在决定用Gin之前，我也纠结过一段时间。其实呢，Go语言虽然是个静态类型的编程语言，跑起来那速度杠杠的，谁用谁知道！不过呢，它的小生态也是个绕不开的话题，跟Java或者Python比起来，相关的工具、库啊，还有社区里的人气就稍微逊色那么一点点啦。嘿，我刚去瞅了瞅Gin的官网，看了几个案例之后，真是有点被圈粉了！这框架不光跑得飞快，连文档都整得明明白白的，一看就懂。还有那个社区，感觉特别热闹，大家都很积极地交流分享，这种氛围真的超棒！尤其是那种对反应速度要求特别高、分分钟得赶紧干活的场合，Gin这家伙还真挺靠谱的！ --- 二、快速入门 搭建基本框架 首先，我们需要安装Gin库。如果你已经安装了Go环境，那么只需运行以下命令即可： bash go get -u github.com/gin-gonic/gin 接下来，我们来写一个最简单的HTTP服务程序： go package main import ( "github.com/gin-gonic/gin" "net/http" ) func main() { r := gin.Default() r.GET("/ping", func(c gin.Context) { c.JSON(http.StatusOK, gin.H{ "message": "pong", }) }) r.Run(":8080") // 启动服务器监听8080端口 } 这段代码创建了一个Gin路由，并定义了一个GET请求路径/ping，当客户端访问这个地址时，会返回JSON格式的数据{"message": "pong"}。 个人感悟 刚接触这段代码的时候，我有点被惊到了——这么少的代码竟然能完成如此多的功能！当然，这也得益于Gin的设计理念：尽可能简化开发流程，让程序员专注于业务逻辑而不是框架细节。 --- 三、实时处理的核心 WebSocket支持 既然我们要讨论实时处理，那么就不得不提WebSocket。WebSocket就像是一个永不掉线的“聊天热线”，能让浏览器和服务器一直保持着畅通的联系。跟传统的请求-响应模式不一样，它可以让双方随时自由地“唠嗑”，想发啥就发啥，特别适合那些需要实时互动的应用，比如聊天室里你一言我一语，或者股票行情那种分分钟都在变化的东西，用它简直太合适了！ Gin内置了对WebSocket的支持，我们可以直接通过中间件来实现这一功能。下面是一个完整的WebSocket示例： go package main import ( "log" "net/http" "github.com/gin-gonic/gin" "github.com/gorilla/websocket" ) var upgrader = websocket.Upgrader{ ReadBufferSize: 1024, WriteBufferSize: 1024, CheckOrigin: func(r http.Request) bool { return true // 允许跨域 }, } func handleWebSocket(c gin.Context) { ws, err := upgrader.Upgrade(c.Writer, c.Request, nil) if err != nil { log.Println("Failed to upgrade:", err) return } defer ws.Close() for { messageType, msg, err := ws.ReadMessage() if err != nil { log.Println("Error reading message:", err) break } log.Printf("Received: %s\n", string(msg)) err = ws.WriteMessage(messageType, msg) if err != nil { log.Println("Error writing message:", err) break } } } func main() { r := gin.Default() r.GET("/ws", handleWebSocket) r.Run(":8080") } 在这段代码中，我们利用gorilla/websocket包实现了WebSocket升级，并在handleWebSocket函数中处理了消息的读取与发送。你可以试着在浏览器里输入这个地址：ws://localhost:8080/ws，然后用JavaScript发个消息试试，看能不能马上收到服务器的回应。 深入探讨 说实话，刚开始写这部分代码的时候，我还担心WebSocket的兼容性问题。后来发现，只要正确设置了CheckOrigin方法，大多数现代浏览器都能正常工作。这让我更加坚定了对Gin的信心——它虽然简单，但足够强大！ --- 四、进阶技巧 并发与性能优化 在实际项目中，我们可能会遇到高并发的情况。为了保证系统的稳定性，我们需要合理地管理线程池和内存分配。Gin提供了一些工具可以帮助我们做到这一点。 例如，我们可以使用sync.Pool来复用对象，减少垃圾回收的压力。下面是一个示例： go package main import ( "sync" "time" "github.com/gin-gonic/gin" ) var pool sync.Pool func init() { pool = &sync.Pool{ New: func() interface{} { return make([]byte, 1024) }, } } func handler(c gin.Context) { data := pool.Get().([]byte) defer pool.Put(data) copy(data, []byte("Hello World!")) time.Sleep(100 time.Millisecond) // 模拟耗时操作 c.String(http.StatusOK, string(data)) } func main() { r := gin.Default() r.GET("/", handler) r.Run(":8080") } 在这个例子中，我们定义了一个sync.Pool来存储临时数据。每次处理请求时，从池中获取缓冲区，处理完毕后再放回池中。这样可以避免频繁的内存分配和释放，从而提升性能。 反思与总结 其实，刚开始学习这段代码的时候，我对sync.Pool的理解还停留在表面。直到后来真正用它解决了性能瓶颈，我才意识到它的价值所在。这也让我明白，优秀的框架只是起点，关键还是要结合实际需求去探索和实践。 --- 五、未来展望 Gin与实时处理的无限可能 Gin的强大之处不仅仅在于它的易用性和灵活性，更在于它为开发者提供了广阔的想象空间。无论是构建大型分布式系统，还是打造小型实验项目，Gin都能胜任。 如果你也想尝试用Gin构建实时处理系统，不妨从一个小目标开始——比如做一个简单的在线聊天室。相信我，当你第一次看到用户实时交流的画面时，那种成就感绝对会让你欲罢不能！ 最后的话 写这篇文章的过程，其实也是我自己重新审视Gin的过程。其实这个东西吧，说白了挺简单的，但让我学到了一个本事——用最利索的办法搞定事情。希望能这篇文章也能点醒你，让你在今后的开发路上，慢慢琢磨出属于自己的那套玩法！加油吧，程序员们！

...nally是一种异常处理机制，用于捕获并处理可能出现的错误（异常）。在文章语境中，作者最初使用此结构来确保在数据库操作结束后，无论是否发生异常，都能正确关闭SqlConnection连接。try块内包含可能抛出异常的代码，catch块则用来捕获并处理特定类型的异常，finally块中的代码无论如何都会被执行，常用于资源清理工作，如关闭数据库连接、文件流等。 using()结构 , 在C中，using语句提供了一种更简洁的方式来管理那些实现IDisposable接口的对象生命周期，以确保其Dispose方法在适当的时候被调用，从而释放非托管资源或执行其他清理任务。在本文中，通过将SqlConnection对象置于using语句中，可以自动在离开using代码块时关闭数据库连接，即使在执行过程中遇到异常也能确保资源得到释放。 SqlDataReader , SqlDataReader是.NET框架中System.Data.SqlClient命名空间下的一个类，它提供了一种只进、只读、高性能的方式从SQL Server数据库获取查询结果。在文中，SqlDataReader被用来执行SQL命令并逐行读取返回的数据集，进而将这些数据转换为CategoryInfo对象，并添加到IList集合中进行后续操作。它的特点是按需读取数据，而不是一次性加载所有数据到内存，因此适用于处理大量数据的情形。 CommandBehavior.CloseConnection , 这是SqlCommand.ExecuteReader方法的一个可选参数，当设置此标志时，在SqlDataReader关闭时，会同时关闭与之关联的SqlConnection。在文章中，作者建议通过设置CommandBehavior.CloseConnection，确保在完成数据读取后能自动关闭数据库连接，从而简化了代码并降低了资源泄漏的风险。

...这样会导致运行结果的错误。为了避免该类问题，RCU还是提供了宏来解决该问题： define rcu_dereference（p） rcu_dereference_check（p， 0）define rcu_dereference_check（p， c） \__rcu_dereference_check（（p）， rcu_read_lock_held（） || （c）， __rcu）define __rcu_dereference_check（p， c， space） \（{ \typeof（p） _________p1 = （typeof（p）__force ）ACCESS_ONCE（p）; \rcu_lockdep_assert（c， “suspicious rcu_dereference_check（）” \usage”）; \rcu_dereference_sparse（p， space）; \smp_read_barrier_depends（）; \（typeof（p） __force __kernel ）（_________p1））; \}）staTIc inline int rcu_read_lock_held（void）{if （！debug_lockdep_rcu_enabled（））return 1;if （rcu_is_cpu_idle（））return 0;if （！rcu_lockdep_current_cpu_online（））return 0;return lock_is_held（&rcu_lock_map）;} 这段代码中加入了调试信息，去除调试信息，可以是以下的形式（其实这也是旧版本中的代码）： define rcu_dereference（p） （{ \typeof（p） _________p1 = p; \smp_read_barrier_depends（）; \（_________p1）; \}） 在赋值后加入优化屏障smp_read_barrier_depends（）。我们之前的第四行代码改为 foo fp = rcu_dereference（gbl_foo）;，就可以防止上述问题。 数据读取的完整性 还是通过例子来说明这个问题： 如图我们在原list中加入一个节点new到A之前，所要做的第一步是将new的指针指向A节点，第二步才是将Head的指针指向new。这样做的目的是当插入操作完成第一步的时候，对于链表的读取并不产生影响，而执行完第二步的时候，读线程如果读到new节点，也可以继续遍历链表。如果把这个过程反过来，第一步head指向new，而这时一个线程读到new，由于new的指针指向的是Null，这样将导致读线程无法读取到A，B等后续节点。从以上过程中，可以看出RCU并不保证读线程读取到new节点。如果该节点对程序产生影响，那么就需要外部调用来做相应的调整。如在文件系统中，通过RCU定位后，如果查找不到相应节点，就会进行其它形式的查找，相关内容等分析到文件系统的时候再进行叙述。 我们再看一下删除一个节点的例子： 如图我们希望删除B，这时候要做的就是将A的指针指向C，保持B的指针，然后删除程序将进入宽限期检测。由于B的内容并没有变更，读到B的线程仍然可以继续读取B的后续节点。B不能立即销毁，它必须等待宽限期结束后，才能进行相应销毁操作。由于A的节点已经指向了C，当宽限期开始之后所有的后续读操作通过A找到的是C，而B已经隐藏了，后续的读线程都不会读到它。这样就确保宽限期过后，删除B并不对系统造成影响。 小结 RCU的原理并不复杂，应用也很简单。但代码的实现确并不是那么容易，难点都集中在了宽限期的检测上，后续分析源代码的时候，我们可以看到一些极富技巧的实现方式。 本篇文章为转载内容。原文链接：https://blog.csdn.net/m0_50662680/article/details/128449401。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...Write()//将处理好的结果发送给客户端 二、HTTP传输协议 基于socket的TCP通信，按HTTP传输协议格式化传输内容。 示例： 1、客户端发送HTTP请求 GET/txt?hal=1000HTTP/1.1 Host:localhost:1024 User-Agent:Mozilla/5.0(X11;Linuxi686;rv:2.0)Gecko/20100101Firefox/4.0 Accept:text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8 Accept-Language:zh-cn,zh;q=0.5 Accept-Encoding:gzip,deflate Accept-Charset:GB2312,utf-8;q=0.7,;q=0.7 Keep-Alive:115 Connection:keep-alive GET:发送HTTP请求的方法，还可以是SET或者POST /txt?hal=1000是请求根目录下的txt文件内容并传入参数hal=1000 HTTP/1.1表示HTTP版本是1.1 2、服务端传回HTTP响应 HTTP/1.0200OK Server:ReageWebServer Content-Type:text/html <!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Strict//EN""http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <htmlxmlns="http://www.w3.org/1999/xhtml"> <!--Copyright(c)2000-2008QuadralayCorporation.Allrightsreserved.--> <head> <title>WebWorksHelp5.0</title> </head> <body>wuff</body> </html> 前面四行（包括空行）是消息体，后面是消息。一般要指明消息体的长度，方便客户端的接收处理。 三、示例程序 ====================================================================== / 主要实现功能，处理浏览器的get请求信息，发送网页文件。处理404、403等错误。 1.实现绑定本机机器的1024端口作为ReageWeb服务提供网页服务的端口。（避免与机器上装有web服务器产生端口冲突） 2.实现get获取网页方式。 3.实现index.html作为网站的首页面 作者：Reage blog:http://blog.csdn.net/rentiansheng / include<stdio.h> include<stdlib.h> include<string.h> include<sys/types.h> include<sys/socket.h> include<sys/un.h> include<netinet/in.h> include<arpa/inet.h> include<fcntl.h> include<string.h> include<sys/stat.h> include<signal.h> defineMAX1024 intres_socket; voidapp_exit(); / @description:开始服务端监听 @parameter ip:web服务器的地址 port：web服务器的端口 @result：成功返回创建socket套接字标识，错误返回-1 / intsocket_listen(charip,unsignedshortintport){ intres_socket;//返回值 intres,on; structsockaddr_inaddress; structin_addrin_ip; res=res_socket=socket(AF_INET,SOCK_STREAM,0); setsockopt(res_socket,SOL_SOCKET,SO_REUSEADDR,&on,sizeof(on)); memset(&address,0,sizeof(address)); address.sin_family=AF_INET; address.sin_port=htons(port); address.sin_addr.s_addr=htonl(INADDR_ANY);//inet_addr("127.0.0.1"); res=bind(res_socket,(structsockaddr)&address,sizeof(address)); if(res){printf("portisused,nottorepeatbind\n");exit(101);}; res=listen(res_socket,5); if(res){printf("listenportiserror;\n");exit(102);}; returnres_socket; } / @description:向客户端发送网页头文件的信息 @parameter conn_socket:套接字描述符。 status:http协议的返回状态码。 @s_status:http协议的状态码的含义 @filetype:向客户端发送的文件类型 / voidsend_http_head(intconn_socket,intstatus,chars_status,charfiletype){ charbuf[MAX]; memset(buf,0,MAX); sprintf(buf,"HTTP/1.0%d%s\r\n",status,s_status); sprintf(buf,"%sServer:ReageWebServer\r\n",buf); sprintf(buf,"%sContent-Type:%s\r\n\r\n",buf,filetype); write(conn_socket,buf,strlen(buf)); } / @description:向客户端发送错误页面信息 @parameter conn_socket:套接字描述符。 status:http协议的返回状态码。 @s_status:http协议的状态码的含义 @filetype:向客户端发送的文件类型 @msg:错误页面信息内容 / voidsend_page_error(intconn_socket,intstatus,chars_status,charmsg){ charbuf[MAX]; sprintf(buf,"<html><head></head><body><h1>%s</h1><hr>ReageWebServer0.01</body></head>",msg); send_http_head(conn_socket,status,s_status,"text/html"); write(conn_socket,buf,strlen(buf)); } / @description:向客户端发送文件 @parameter conn_socket:套接字描述符。 @file:要发送文件路径 / intsend_html(intconn_socket,charfile){ intf; charbuf[MAX]; inttmp; structstatfile_s; //如果file为空，表示发送默认主页。主页暂时固定 if(0==strlen(file)){ strcpy(file,"index.html"); } //如果获取文件状态失败，表示文件不存的，发送404页面，暂时404页面内容固定。 if(stat(file,&file_s)){ send_page_error(conn_socket,404,"Notfound","Notfound<br/>Reagedoesnotimplementthismothod\n"); return0; } //如果不是文件或者无读权限，发送无法读取文件 if(!(S_ISREG(file_s.st_mode))||!(S_IRUSR&file_s.st_mode)){ send_page_error(conn_socket,403,"Forbidden","Forbidden<br/>Reagecouldn'treadthefile\n"); return0; } //发送头文件，现在只提供html页面 send_http_head(conn_socket,200,"OK","text/html"); f=open(file,O_RDONLY); if(0>f){ //打开文件失败，发送404页面，其实感觉发送5xx也可以的，服务器内部错误 send_page_error(conn_socket,404,"Notfound","Notfound<br/>Reagecouldn'treadthefile\n"); return0; } buf[MAX-1]=0;//将文件内容缓冲区最后的位设置位结束标志。 //发送文件的内容 while((tmp=read(f,buf,MAX-1))&&EOF!=tmp){ write(conn_socket,buf,strlen(buf)); } } / @description:提取url中可用的信息。访问的网页和数据访问方式 @parameter： conn_socket:与客户端链接的套接字 uri:要处理的url，注意不是浏览器中的url，而是浏览器发送的http请求 @resutl： / intdo_uri(intconn_socket,charuri){ charp; p=strchr(uri,'?'); if(p){p=0;p++;} send_html(conn_socket,uri); } voidulog(charmsg){} voidprint(charmsg){ ulog(msg); printf(msg); } intmain(intargc,charargv[]){ intconn_socket; inttmp; intline; structsockaddr_inclient_addr; charbuf[MAX]; intlen=sizeof(client_addr); charmethod[100],uri[MAX],version[100]; charpwd[1024]; res_socket=socket_listen("127.0.0.1",1024); //当按ctrl+c结束程序时调用，使用app_exit函数处理退出过程 signal(SIGINT,app_exit); while(1){ conn_socket=accept(res_socket,(structsockaddr)&client_addr,&len); printf("reage\n"); line=0; //从客户端获取请求信息 while(0==(tmp=read(conn_socket,buf,MAX-1))||tmp!=EOF){ buf[MAX-1]=0; break;//我只使用了第一行的请求信息，所以丢弃其他的信息 } //send_http_head(conn_socket,200,"text/html"); sscanf(buf,"%s%s%s",method,uri,version); //目前只处理get请求 if(!strcasecmp(method,"get")) //send_html(conn_socket,"h.html"); do_uri(conn_socket,uri+1); close(conn_socket); } } voidapp_exit(){ //回复ctrl+c组合键的默认行为 signal(SIGINT,SIG_DFL); //关闭服务端链接、释放服务端ip和端口 close(res_socket); printf("\n"); exit(0); } ====================================================================== 本篇文章为转载内容。原文链接：https://blog.csdn.net/iteye_9368/article/details/82520401。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...疑是一艘载满现代数据处理技术的巨轮。哎呀，这家伙可真是个宝啊！不仅性能杠杠的，稳定性也是没得说，而且还能轻松升级扩容，怪不得那么多大公司都离不开它，用它来做数据的存储和分析，简直是如虎添翼！然而，就像任何航海之旅，DorisDB航行中也会遭遇风浪——“写入失败”。嘿，兄弟！这篇文章就像是一场探险之旅，带你深入揭秘这个棘手问题的真相。咱们不只停留在表面，而是要挖出问题的根儿，然后一起找寻解决的钥匙。想象一下，我们是在大海捞针，但有了指南针和渔网，这场寻找就变得既刺激又充满乐趣。跟着我，咱们在数据的汪洋里畅游，找到属于你的那片宁静海港，让你不再被信息的洪流淹没，而是能稳稳驾驭，轻松自在地航行。准备好了吗？出发吧！ 第一章：写入失败的初探 现象描述：当你尝试向DorisDB表中插入数据时，突然间，一切变得静止。查询返回一个错误信息，告诉你“写入失败”。这不仅让你感到沮丧，还可能影响了业务流程的连续性。 原因分析：写入失败可能是由多种因素引起的，包括但不限于网络延迟、资源限制（如磁盘空间不足）、事务冲突、以及数据库配置问题等。理解这些原因有助于我们对症下药。 第二章：案例研究：网络延迟引发的写入失败 场景还原：假设你正使用Python的dorisdb库进行数据插入操作。代码如下： python from dorisdb import DorisDBClient client = DorisDBClient(host='your_host', port=your_port, database='your_db') cursor = client.cursor() 插入数据 cursor.execute("INSERT INTO your_table (column1, column2) VALUES ('value1', 'value2')") 问题浮现：执行上述代码后，你收到了“写入失败”的消息，同时发现网络连接偶尔会中断。 解决方案：首先，检查网络连接稳定性。确保你的服务器与DorisDB实例之间的网络畅通无阻。其次，优化SQL语句的执行效率，减少网络传输的数据量。例如，可以考虑批量插入数据，而不是逐条插入。 第三章：资源限制：磁盘空间不足的挑战 场景还原：你的DorisDB实例运行在一个资源有限的环境中，某天，当你试图插入大量数据时，系统提示磁盘空间不足。 问题浮现：尽管你已经确保了网络连接稳定，但写入仍然失败。 解决方案：增加磁盘空间是显而易见的解决方法，但这需要时间和成本。哎呀，兄弟，你得知道，咱们手头的空间那可是个大问题啊！要是想在短时间内搞定它，我这儿有个小妙招给你。首先，咱们得做个大扫除，把那些用不上的数据扔掉。就像家里大扫除一样，那些过时的文件、照片啥的，该删就删，别让它占着地方。其次呢，咱们可以用更牛逼的压缩工具，比如ZIP或者RAR，它们能把文件压缩得更小，让硬盘喘口气。这样一来，不仅空间大了，还能节省点资源，挺划算的嘛！试试看，说不定你会发现自己的设备运行起来比以前流畅多了！嘿，兄弟！你听说过 DorisDB 的分片和分布式功能吗？这玩意儿超级厉害！它就像个大仓库，能把咱们的数据均匀地摆放在多个小仓库里（那些就是节点），这样不仅能让数据更高效地存储起来，还能让我们的系统跑得更快，用起来更顺畅。试试看，保管让你爱不释手！ 第四章：事务冲突与并发控制 场景还原：在高并发环境下，多个用户同时尝试插入数据到同一表中，导致了写入失败。 问题浮现：即使网络连接稳定，磁盘空间充足，事务冲突仍可能导致写入失败。 解决方案：引入适当的并发控制机制是关键。在DorisDB中，可以通过设置合理的锁策略来避免或减少事务冲突。例如，使用行级锁或表级锁，根据具体需求选择最合适的锁模式。哎呀，兄弟，咱们在优化程序的时候，得注意一点，别搞那些没必要的同时进行的操作，这样能大大提升系统的稳定性。就像是做饭，你要是同时炒好几个菜，肯定得忙得团团转，而且容易出错。所以啊，咱们得一个个来，稳扎稳打，这样才能让系统跑得又快又稳！ 结语：从困惑到解决的旅程 面对“写入失败”，我们需要冷静分析，从不同的角度寻找问题所在。哎呀，你知道嘛，不管是网速慢了点、硬件不够给力、操作过程中卡壳了，还是设置哪里没对劲，这些事儿啊，都有各自的小妙招来解决。就像是遇到堵车了，你得找找是哪段路的问题，然后对症下药，说不定就是换个路线或者等等红绿灯，就能顺畅起来呢！哎呀，你知道不？咱们要是能持续地学习和动手做，那咱处理问题的能力就能慢慢上个新台阶。就像给水管通了塞子，数据的流动就更顺畅了。这样一来，咱们的业务跑起来也快多了，就像是有了个贴身保镖，保护着业务高效运转呢！嘿！听好了，每回遇到难题都不是白来的，那可是让你升级打怪的好机会！咱们就一起手牵手，勇闯数据的汪洋大海，去发现那些藏在暗处的新世界吧！别怕，有我在你身边，咱俩一起探险，一起成长！

...SQL的语句去查询和处理这些数据，特别方便！Hive默认支持一些常见的压缩格式，比如Snappy、LZO等。哎呀，你要是想用GZIP或者BZIP2来存表，那可得小心点啊！没准Hive会直接给你整出个错误，连数据都不让你加载。这到底是咋回事儿呢？其实吧，这是因为这两种压缩方式的性格和Hive的理念不太合拍。简单来说，它们的玩法不一样，所以Hive就觉得有点不爽，干脆就不让你这么干了。 那么问题来了：既然Hive不支持它们，为什么我们还要去折腾这些“非主流”压缩格式呢？我的回答是：因为它们可能真的有用！比如，GZIP非常适合用于压缩单个文件，而BZIP2则在某些场景下能提供更高的压缩比。所以说嘛，官方案子虽然说了不让搞，但我们不妨大胆试试，看看这些玩意儿到底能整出啥名堂！ --- 二、理论基础 GZIP vs BZIP2 vs Hive的“规则” 在深入讨论具体操作之前，我们得先搞清楚这三个东西之间的差异。嘿，先说个大家可能都知道的小秘密——GZIP可是个超火的压缩“神器”呢！它最大的特点就是又快又好用，压缩文件的速度嗖一下就搞定了，效果也还行，妥妥的性价比之王！而BZIP2则是另一种高级压缩算法，虽然压缩比更高，但速度相对较慢。相比之下，Hive好像更喜欢找那种“全能型选手”，就像Snappy这种，又快又能省资源，简直两全其美！ 现在问题来了：既然Hive有自己的偏好，那我们为什么要挑战它的权威呢？答案很简单：现实世界中的需求往往比理想模型复杂得多。比如说啊，有时候我们有一堆小文件，东一个西一个的，看着就头疼，想把它们整整齐齐地打包成一个大文件存起来，这时候用GZIP就很方便啦！但要是你手头的数据量超级大，比如几百万张高清图片那种，而且你还特别在意压缩效果，希望能榨干每一丢丢空间，那BZIP2就更适合你了，它在这方面可是个狠角色！ 当然，这一切的前提是我们能够绕过Hive对这些格式的限制。接下来，我们就来看看具体的解决方案。 --- 三、实践篇 如何让Hive接受GZIP和BZIP2？ 3.1 GZIP的逆袭之路 让我们从GZIP开始说起。想象一下，你有个文件夹，专门用来存各种日志文件，里面的文件可多啦！不过呢，这些文件都特别小巧，大概就几百KB的样子，像是些小纸条，记录着各种小事。哎呀，要是直接把一堆小文件一股脑儿塞进HDFS里，那可就麻烦了！这么多小文件堆在一起，系统就会变得特别卡，整体性能直线下降，简直像路上突然挤满了慢吞吞的小汽车，堵得不行！要解决这个问题嘛，咱们可以先把文件用GZIP压缩一下，弄个小“压缩包”，然后再把它丢进Hive里头去。 下面是一段示例代码，展示了如何创建一个支持GZIP格式的外部表： sql -- 创建数据库 CREATE DATABASE IF NOT EXISTS log_db; -- 切换到数据库 USE log_db; -- 创建外部表并指定GZIP格式 CREATE EXTERNAL TABLE IF NOT EXISTS logs ( id STRING, timestamp STRING, message STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE -- 注意这里使用TEXTFILE而不是默认的SEQUENCEFILE LOCATION '/path/to/gzipped/files'; 看到这里，你可能会问：“为什么这里要用TEXTFILE而不是SEQUENCEFILE？”这是因为Hive默认不支持直接读取GZIP格式的数据，所以我们需要手动调整存储格式。此外，还需要确保你的Hadoop集群已经启用了GZIP解压功能。 3.2 BZIP2的高阶玩法 接下来轮到BZIP2登场了。相比于GZIP，BZIP2的压缩比更高，但它也有一个明显的缺点：解压速度较慢。因此，BZIP2更适合用于那些访问频率较低的大规模静态数据集。 下面这段代码展示了如何创建一个支持BZIP2格式的分区表： sql -- 创建数据库 CREATE DATABASE IF NOT EXISTS archive_db; -- 切换到数据库 USE archive_db; -- 创建分区表并指定BZIP2格式 CREATE TABLE IF NOT EXISTS archives ( file_name STRING, content STRING ) PARTITIONED BY (year INT, month INT) STORED AS RCFILE -- RCFILE支持BZIP2压缩 TBLPROPERTIES ("orc.compress"="BZIP2"); 需要注意的是，在这种情况下，你需要确保Hive的配置文件中启用了BZIP2支持，并且相关的JAR包已经正确安装。 --- 四、实战经验分享 踩过的坑与学到的东西 在这个过程中，我遇到了不少挫折。比如说吧，有次我正打算把一个GZIP文件塞进Hive里，结果系统直接给我整了个报错，说啥解码器找不着。折腾了半天才发现，哎呀，原来是服务器上那个GZIP工具的老版本太不给劲了，跟最新的Hadoop配不上，闹起了脾气！于是，我赶紧联系运维团队升级了相关依赖，这才顺利解决问题。 还有一个教训是关于文件命名规范的。一开始啊，我老是忘了在压缩完的文件后面加“.gz”或者“.bz2”这种后缀名，搞得 Hive 一脸懵逼，根本分不清文件是啥类型的，直接就报错不认账了。后来我才明白，那些后缀名可不只是个摆设啊，它们其实是给文件贴标签的，告诉你这个文件是啥玩意儿，是图片、音乐，还是什么乱七八糟的东西。 --- 五、总结与展望 总的来说，虽然Hive对GZIP和BZIP2的支持有限，但这并不意味着我们不能利用它们的优势。相反，只要掌握了正确的技巧，我们完全可以在这两者之间找到平衡点，满足不同的业务需求。 最后，我想说的是，作为一名数据工程师，我们不应该被工具的限制束缚住手脚。相反，我们应该敢于尝试新事物，勇于突破常规。毕竟，正是这种探索精神，推动着整个行业不断向前发展！ 好了，今天的分享就到这里啦。如果你也有类似的经历或者想法，欢迎随时跟我交流哦~再见啦！

...会出现其他类型的运行错误。 本实验，我们创建一个Pod尝试分配超过其限制的内存，下面的这个Pod的配置文档，它申请50M的内存， 内存限制设置为100M。 memory-request-limit-2.yaml apiVersion: v1kind: Podmetadata:name: memory-demo-2spec:containers:- name: memory-demo-2-ctrimage: vish/stressresources:requests:memory: 50Milimits:memory: "100Mi"args:- -mem-total- 250Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s 在配置文件里的args段里，可以看到容器尝试分配250M的内存，超过了限制的100M。 创建Pod: kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit-2.yaml --namespace=mem-example 查看Pod的详细信息: kubectl get pod memory-demo-2 --namespace=mem-example 这时候，容器可能会运行，也可能会被杀掉。如果容器还没被杀掉，重复之前的命令直至 你看到这个容器被杀掉： NAME READY STATUS RESTARTS AGEmemory-demo-2 0/1 OOMKilled 1 24s 查看容器更详细的信息: kubectl get pod memory-demo-2 --output=yaml --namespace=mem-example 这个输出显示了容器被杀掉因为超出了内存限制。 lastState:terminated:containerID: docker://65183c1877aaec2e8427bc95609cc52677a454b56fcb24340dbd22917c23b10fexitCode: 137finishedAt: 2017-06-20T20:52:19Zreason: OOMKilledstartedAt: null 本实验里的容器可以自动重启，因此kubelet会再去启动它。输入多几次这个命令看看它是怎么 被杀掉又被启动的： kubectl get pod memory-demo-2 --namespace=mem-example 这个输出显示了容器被杀掉，被启动，又被杀掉，又被启动的过程： stevepe@sperry-1:~/steveperry-53.github.io$ kubectl get pod memory-demo-2 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-2 0/1 OOMKilled 1 37sstevepe@sperry-1:~/steveperry-53.github.io$ kubectl get pod memory-demo-2 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-2 1/1 Running 2 40s 查看Pod的历史详细信息: kubectl describe pod memory-demo-2 --namespace=mem-example 这个输出显示了Pod一直重复着被杀掉又被启动的过程: ... Normal Created Created container with id 66a3a20aa7980e61be4922780bf9d24d1a1d8b7395c09861225b0eba1b1f8511... Warning BackOff Back-off restarting failed container 查看集群里节点的详细信息： kubectl describe nodes 输出里面记录了容器被杀掉是因为一个超出内存的状况出现： Warning OOMKilling Memory cgroup out of memory: Kill process 4481 (stress) score 1994 or sacrifice child 删除Pod: kubectl delete pod memory-demo-2 --namespace=mem-example 配置超出节点能力范围的内存申请 内存的申请和限制是针对容器本身的，但是认为Pod也有容器的申请和限制是一个很有帮助的想法。 Pod申请的内存就是Pod里容器申请的内存总和，类似的，Pod的内存限制就是Pod里所有容器的 内存限制的总和。 Pod的调度策略是基于请求的，只有当节点满足Pod的内存申请时，才会将Pod调度到合适的节点上。 在这个实验里，我们创建一个申请超大内存的Pod，超过了集群里任何一个节点的可用内存资源。 这个容器申请了1000G的内存，这个应该会超过你集群里能提供的数量。 memory-request-limit-3.yaml apiVersion: v1kind: Podmetadata:name: memory-demo-3spec:containers:- name: memory-demo-3-ctrimage: vish/stressresources:limits:memory: "1000Gi"requests:memory: "1000Gi"args:- -mem-total- 150Mi- -mem-alloc-size- 10Mi- -mem-alloc-sleep- 1s 创建Pod: kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/memory-request-limit-3.yaml --namespace=mem-example 查看Pod的状态: kubectl get pod memory-demo-3 --namespace=mem-example 输出显示Pod的状态是Pending，因为Pod不会被调度到任何节点，所有它会一直保持在Pending状态下。 kubectl get pod memory-demo-3 --namespace=mem-exampleNAME READY STATUS RESTARTS AGEmemory-demo-3 0/1 Pending 0 25s 查看Pod的详细信息包括事件记录 kubectl describe pod memory-demo-3 --namespace=mem-example 这个输出显示容器不会被调度因为节点上没有足够的内存： Events:... Reason Message------ -------... FailedScheduling No nodes are available that match all of the following predicates:: Insufficient memory (3). 内存单位 内存资源是以字节为单位的，可以表示为纯整数或者固定的十进制数字，后缀可以是E, P, T, G, M, K, Ei, Pi, Ti, Gi, Mi, Ki.比如，下面几种写法表示相同的数值：alue: 128974848, 129e6, 129M , 123Mi 删除Pod: kubectl delete pod memory-demo-3 --namespace=mem-example 如果不配置内存限制 如果不给容器配置内存限制，那下面的任意一种情况可能会出现： 容器使用内存资源没有上限，容器可以使用当前节点上所有可用的内存资源。 容器所运行的命名空间有默认内存限制，容器会自动继承默认的限制。集群管理员可以使用这个文档 LimitRange来配置默认的内存限制。 内存申请和限制的原因 通过配置容器的内存申请和限制，你可以更加有效充分的使用集群里内存资源。配置较少的内存申请， 可以让Pod跟任意被调度。设置超过内存申请的限制，可以达到以下效果： Pod可以在负载高峰时更加充分利用内存。 可以将Pod的内存使用限制在比较合理的范围。 清理 删除命名空间，这会顺便删除命名空间里的Pod。 kubectl delete namespace mem-example 译者：NickSu86 原文链接 本篇文章为转载内容。原文链接：https://blog.csdn.net/Aria_Miazzy/article/details/99694937。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...e", "用户名格式错误！");} }if(password==null||password.trim().equals("")) {this.addFieldError("password","密码不能为空！");}else {if(!Pattern.matches("\\d{6,15}", password.trim())) {this.addFieldError("password", "密码格式错误！");} }} } /20171105_shiyan_upanddown/src/nuc/sw/interceptor/LoginInterceptor.java package nuc.sw.interceptor;import com.opensymphony.xwork2.Action;import com.opensymphony.xwork2.ActionContext;import com.opensymphony.xwork2.ActionInvocation;import com.opensymphony.xwork2.ActionSupport;import com.opensymphony.xwork2.interceptor.AbstractInterceptor;public class LoginInterceptor extends AbstractInterceptor {@Overridepublic String intercept(ActionInvocation arg0) throws Exception {// TODO Auto-generated method stub//判断是否登陆，通过ActionContext访问SessionActionContext ac=arg0.getInvocationContext();String username=(String)ac.getSession().get("user");if(username!=null&&username.equals("chenghaoran")) {return arg0.invoke();//放行}else {((ActionSupport)arg0.getAction()).addActionError("请先登录！");return Action.LOGIN;} }} /20171105_shiyan_upanddown/src/struts.xml <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.1.7//EN""http://struts.apache.org/dtds/struts-2.1.7.dtd"><struts><constant name="struts.i18n.encoding" value="utf-8"/><package name="default" extends="struts-default"><interceptors><interceptor name="login" class="nuc.sw.interceptor.LoginInterceptor"></interceptor></interceptors> <action name="docUpload" class="nuc.sw.action.DocUploadAction"><!-- 使用fileUpload拦截器 --><interceptor-ref name="fileUpload"><!-- 指定允许上传的文件大小最大为50000字节 --><param name="maximumSize">50000</param></interceptor-ref><!-- 配置默认系统拦截器栈 --><interceptor-ref name="defaultStack"/><!-- param子元素配置了DocUploadAction类中savePath属性值为/upload --><param name="savePath">/upload</param><result>/showFile.jsp</result><!-- 指定input逻辑视图，即不符合上传要求，被fileUpload拦截器拦截后，返回的视图页面 --><result name="input">/uploadFile.jsp</result></action> <action name="docDownload" class="nuc.sw.action.DocDownloadAction"><!-- 指定结果类型为stream --><result type="stream"><!-- 指定下载文件的文件类型 text/plain表示纯文本 --><param name="contentType">application/msword,text/plain</param><!-- 指定下载文件的入口输入流 --><param name="inputName">inputStream</param><!-- 指定下载文件的处理方式与文件保存名 attachment表示以附件形式下载，也可以用inline表示内联即在浏览器中直接显示，默认值为inline --><param name="contentDisposition">attachment;filename="${downloadFileName}"</param><!-- 指定下载文件的缓冲区大小，默认为1024 --><param name="bufferSize">40960</param></result></action><action name="loginAction" class="nuc.sw.action.LoginAction" method="loginMethod"><result name="loginOK">/uploadFile.jsp</result><result name="loginFail">/login.jsp</result><result name="input">/login.jsp</result></action> </package></struts> /20171105_shiyan_upanddown/WebContent/login.jsp <%@ page language="java" contentType="text/html; charset=UTF-8"pageEncoding="UTF-8"%><%@ taglib prefix="s" uri="/struts-tags" %> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><title>登录页</title><s:head/></head><body><s:actionerror/><s:fielderror fieldName="err"></s:fielderror><s:form action="loginAction" method="post"> <s:textfield label="用户名" name="username"></s:textfield><s:password label="密码" name="password"></s:password><s:submit value="登陆"></s:submit></s:form></body></html> /20171105_shiyan_upanddown/WebContent/showFile.jsp <%@ page language="java" contentType="text/html; charset=UTF-8"pageEncoding="UTF-8"%><%@ taglib prefix="s" uri="/struts-tags" %><!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><title>显示上传文档</title></head><body><center><font style="font-size:18px;color:red">上传者：<s:property value="name"/></font><table width="45%" cellpadding="0" cellspacing="0" border="1"><tr><th>文件名称</th><th>上传者</th><th>上传时间</th></tr><s:iterator value="uploadFileName" status="st" var="doc"><tr><td align="center"><a href="docDownload.action?downPath=upload/<s:property value="doc"/>"><s:property value="doc"/> </a></td><td align="center"><s:property value="name"/></td><td align="center"><s:date name="createTime" format="yyyy-MM-dd HH:mm:ss"/></td></tr></s:iterator></table></center></body></html> /20171105_shiyan_upanddown/WebContent/uploadFile.jsp <%@ page language="java" contentType="text/html; charset=UTF-8"pageEncoding="UTF-8"%><%@ taglib prefix="s" uri="/struts-tags" %><!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><title>多文件上传</title></head><body><center><s:form action="docUpload" method="post" enctype="multipart/form-data"><s:textfield name="name" label="姓名" size="20"/><s:file name="upload" label="选择文档" size="20"/><s:file name="upload" label="选择文档" size="20"/><s:file name="upload" label="选择文档" size="20"/><s:submit value="确认上传" align="center"/></s:form></center></body></html> 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_34101492/article/details/78811741。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

配置文件解析错误？别慌！Beego 的正确处理方式 1. 引言 为什么配置文件很重要？ 作为一个开发者，我总是对程序的配置文件充满敬畏。它们就像是程序的大脑，决定了程序的行为和功能。在用 Go 语言开发的时候，Beego 框架可是个大明星呢！它就像一个贴心的小助手，给你一堆现成的工具和功能，让你能飞快地搭出一个像模像样的网站，简直不要太爽！然而，任何工具都有它的局限性，特别是在处理配置文件时。 记得有一次，我在调试一个 Beego 项目的时候，遇到了一个恼人的错误：“configuration file parsing error”。我当时那个心情啊，简直就像被人突然浇了一脑袋凉水，懵圈了，心里直嘀咕：“这是啥妖蛾子呀？”后来我就自己琢磨来琢磨去，费了好大劲儿，总算把问题给摆平了。嘿，今天就想跟大家聊聊我的经历，说不定对碰上同样麻烦的小伙伴们有点儿用呢！ 2. 配置文件解析错误是什么？ 首先，我们需要明确什么是“configuration file parsing error”。简单说吧，就是程序打开配置文件的时候，发现里面有些东西跟它想的不一样，有点懵圈了。可能是语法错误，也可能是格式不正确，甚至可能是文件路径不对。总之，这种错误会让程序无法正常运行。 让我举个例子吧。假设你有一个 conf/app.conf 文件，里面的内容是这样的： ini appname = myapp port = 8080 如果你不小心把 port 写成了 porr，那么 Beego 就会报出 “configuration file parsing error”。这就怪不得了，Beego 在读取配置文件的时候，就想着你给它整点正规的键值对呢。结果你这输入一看，唉，这不是闹着玩的嘛，明显不按规矩出牌啊！ 3. 如何正确处理配置文件解析错误？ 3. 1. 第一步 检查配置文件的格式 当遇到 “configuration file parsing error” 时，第一步当然是检查配置文件的格式。这听起来很简单，但实际上需要仔细观察每一个细节。 比如说，你的配置文件可能有空行或者多余的空格。Beego 对这些细节是非常敏感的。再比如，有些键值对之间可能没有等号（=），这也是一个常见的错误。所以，在处理这个问题之前，先用文本编辑器打开配置文件，仔细检查每一行。 bash 打开配置文件进行检查 vim conf/app.conf 3. 2. 第二步 使用 Beego 提供的工具 Beego 为我们提供了一个非常方便的工具，叫做 beego.AppConfig。这个工具可以帮助我们轻松地读取和解析配置文件。要是你检查完配置文件，发现格式啥的都没毛病，可还是报错的话，那八成是代码里头哪里出岔子了。 下面是一个简单的代码示例，展示如何使用 beego.AppConfig 来读取配置文件： go package main import ( "fmt" "github.com/beego/beego/v2/server/web" ) func main() { // 初始化 Beego 配置 web.SetConfigName("app") web.AddConfigPath("./conf") err := web.LoadAppConfig("ini", "./conf/app.conf") if err != nil { fmt.Println("Error loading configuration:", err) return } // 读取配置项 appName := web.AppConfig.String("appname") port := web.AppConfig.String("port") fmt.Printf("Application Name: %s\n", appName) fmt.Printf("Port: %s\n", port) } 在这个例子中，我们首先设置了配置文件的名字和路径，然后通过 LoadAppConfig 方法加载配置文件。要是加载的时候挂了，就会蹦出个错误信息。咱们可以用 fmt.Println 把这个错误打出来，这样就能知道到底哪里出问题啦！ 3. 3. 第三步 日志记录的重要性 在处理配置文件解析错误时，日志记录是一个非常重要的环节。通过记录详细的日志信息，我们可以更好地追踪问题的根源。 Beego 提供了强大的日志功能，我们可以很容易地将日志输出到控制台或文件中。下面是一个使用 Beego 日志模块的例子： go package main import ( "github.com/beego/beego/v2/server/web" "log" ) func main() { // 设置日志级别 log.SetFlags(log.Ldate | log.Ltime | log.Lshortfile) // 加载配置文件 err := web.LoadAppConfig("ini", "./conf/app.conf") if err != nil { log.Fatalf("Failed to load configuration: %v", err) } // 继续执行其他逻辑 log.Println("Configuration loaded successfully.") } 在这个例子中，我们设置了日志的格式，并在加载配置文件时使用了 log.Fatalf 来记录错误信息。这样，即使程序崩溃，我们也能清楚地看到哪里出了问题。 4. 我的经验总结 经过多次实践，我发现处理配置文件解析错误的关键在于耐心和细心。很多时候，问题并不是特别复杂，只是我们一时疏忽导致的。所以啊，在写代码的时候，得养成好习惯，像时不时瞅一眼配置文件是不是整整齐齐的，别让那些键值对出问题，不然出了bug找起来可够呛。 同时，我也建议大家多利用 Beego 提供的各种工具和功能。Beego 是一个非常成熟的框架，它已经为我们考虑到了很多细节。只要我们合理使用这些工具，就能大大减少遇到问题的概率。 最后，我想说的是，编程其实是一个不断学习和成长的过程。当我们遇到困难时，不要气馁，也不要急于求成。静下心来，一步步分析问题，总能找到解决方案。这就跟处理配置文件出错那会儿似的，说白了嘛，只要你能沉住气，再琢磨出点门道来，这坎儿肯定能迈过去！ 5. 结语 好了，今天的分享就到这里了。希望能通过这篇文章，让大家弄明白在 Beego 里怎么正确解决配置文件出错的问题，这样以后遇到类似情况就不会抓耳挠腮啦！如果你还有什么疑问或者更好的方法，欢迎随时跟我交流。我们一起进步，一起成为更优秀的开发者！ 记住，编程不仅仅是解决问题，更是一种艺术。愿你在编程的道路上越走越远，越走越宽广！

....js，它天生就擅长处理异步事件流，再加上强大的生态系统（比如 Express、Socket.IO 等），简直就是为实时应用量身定制的工具。所以，今天我们就用 Node.js + WebSocket 来做一个简单的实时监控面板，顺便分享一下我的一些心得。 --- 2. 第一步 搭建基础环境 首先，我们需要准备开发环境。Node.js 的安装非常简单，去官网下载对应版本就行。安装完后，用 node -v 和 npm -v 验证是否成功。如果这两个命令都能正常输出版本号，那就说明环境配置好了。 接下来，我们创建项目文件夹，并初始化 npm： bash mkdir real-time-monitor cd real-time-monitor npm init -y 然后安装必要的依赖包。这里我们用到两个核心库：Express 和 ws（WebSocket 库）。Express 是用来搭建 HTTP 服务的，ws 则专门用于 WebSocket 通信。 bash npm install express ws 接下来，我们写一个最基础的 HTTP 服务，确保环境能正常工作： javascript // server.js const express = require('express'); const app = express(); app.get('/', (req, res) => { res.send('Hello World!'); }); const PORT = process.env.PORT || 3000; app.listen(PORT, () => { console.log(Server is running on port ${PORT}); }); 保存文件后运行 node server.js，然后在浏览器输入 http://localhost:3000，应该能看到 “Hello World!”。到这里，我们的基本框架已经搭好了，是不是感觉还挺容易的？ --- 3. 第二步 引入 WebSocket 现在我们有了一个 HTTP 服务，接下来该让 WebSocket 上场了。WebSocket 的好处就是能在浏览器和服务器之间直接搭起一条“高速公路”，不用老是像发短信那样频繁地丢 HTTP 请求过去，省时又高效！为了方便，我们可以直接用 ws 库来实现。 修改 server.js 文件，添加 WebSocket 相关代码： javascript // server.js const express = require('express'); const WebSocket = require('ws'); const app = express(); const wss = new WebSocket.Server({ port: 8080 }); wss.on('connection', (ws) => { console.log('A client connected!'); // 接收来自客户端的消息 ws.on('message', (message) => { console.log(Received message => ${message}); ws.send(You said: ${message}); }); // 当客户端断开时触发 ws.on('close', () => { console.log('Client disconnected.'); }); }); app.get('/', (req, res) => { res.sendFile(__dirname + '/index.html'); }); const PORT = process.env.PORT || 3000; app.listen(PORT, () => { console.log(HTTP Server is running on port ${PORT}); }); 这段代码做了几件事： 1. 创建了一个 WebSocket 服务器，监听端口 8080。 2. 当客户端连接时，打印日志并等待消息。 3. 收到消息后，会回传给客户端。 4. 如果客户端断开连接，也会记录日志。 为了让浏览器能连接到 WebSocket 服务器，我们还需要一个简单的 HTML 页面作为客户端入口： html Real-Time Monitor WebSocket Test Send Message 这段 HTML 代码包含了一个简单的聊天界面，用户可以在输入框中输入内容并通过 WebSocket 发送到服务器，同时也能接收到服务器返回的信息。跑完 node server.js 之后，别忘了打开浏览器，去 http://localhost:3000 看一眼，看看它是不是能正常转起来。 --- 4. 第三步 扩展功能——实时监控数据 现在我们的 WebSocket 已经可以正常工作了，但还不能算是一个真正的监控面板。为了让它更实用一点，咱们不妨假装弄点监控数据玩玩，像CPU用得多不多、内存占了百分之多少之类的。 首先，我们需要一个生成随机监控数据的函数： javascript function generateRandomMetrics() { return { cpuUsage: Math.random() 100, memoryUsage: Math.random() 100, diskUsage: Math.random() 100 }; } 然后，在 WebSocket 连接中定时向客户端推送这些数据： javascript wss.on('connection', (ws) => { console.log('A client connected!'); setInterval(() => { const metrics = generateRandomMetrics(); ws.send(JSON.stringify(metrics)); }, 1000); // 每秒发送一次 ws.on('close', () => { console.log('Client disconnected.'); }); }); 客户端需要解析接收到的数据，并动态更新页面上的信息。我们可以稍微改造一下 HTML 和 JavaScript： html CPU Usage: Memory Usage: Disk Usage: javascript socket.onmessage = (event) => { const metrics = JSON.parse(event.data); document.getElementById('cpuProgress').value = metrics.cpuUsage; document.getElementById('memoryProgress').value = metrics.memoryUsage; document.getElementById('diskProgress').value = metrics.diskUsage; const messagesDiv = document.getElementById('messages'); messagesDiv.innerHTML += Metrics updated. ; }; 这样，每秒钟都会从服务器获取一次监控数据，并在页面上以进度条的形式展示出来。是不是很酷？ --- 5. 结尾 总结与展望 通过这篇文章，我们从零开始搭建了一个基于 Node.js 和 WebSocket 的实时监控面板。别看它现在功能挺朴素的，但这东西一出手就让人觉得，WebSocket 在实时互动这块儿真的大有可为啊！嘿，听我说！以后啊，你完全可以接着把这个项目捯饬得更酷一些。比如说，弄点新鲜玩意儿当监控指标，让用户用起来更爽，或者直接把它整到真正的生产环境里去，让它发挥大作用！ 其实开发的过程就像拼图一样，有时候你会遇到困难，但只要一点点尝试和调整，总会找到答案。希望这篇文章能给你带来灵感，也欢迎你在评论区分享你的想法和经验！ 最后，如果你觉得这篇文章对你有帮助，记得点个赞哦！😄 --- 完

...LAGS / 表示错误标记 / }; /Libnids 状态描述的是连接的逻辑状态, 真正的 TCP 连接状态有 11种 . TCP_ESTABLISHED TCP 连接建立 , 开始传输数据 TCP_SYN_SEND 主动打开 TCP_SYN_RECV 接受 SYN TCP_FIN_WAIT1 TCP_FIN_WAIT2 TCP_TIME_WAIT TCP_CLOSE TCP_CLOSE_WAIT TCP_LAST_ACK TCP_LISTEN TCP_CLOSING / define NIDS_JUST_EST 1 / 表示 TCP 连接建立 , 在此状态下就可以决定是否对此TCP 连接进行数据分析 , 可以决定是否捕获 TCP客户端接收的数据 ,TCP 服务端接收的数据 ,TCP 客户端接收的紧急数据或者TCP 客户端接收的紧急数据 / define NIDS_DATA 2 / 表示接收数据的状态 ,在这个状态可以判断是否有新的数据到达 ,如果有就可以把数据存储起来 , 可以在这个状态之中来分析 TCP 传输的数据 , 此数据就存储在half_stream 数据接口的缓存之中/ define NIDS_CLOSE 3 / 表示 TCP 连接正常关闭 / define NIDS_RESET 4 / 表是 TCP 连接被重置关闭 / define NIDS_TIMED_OUT 5 / 表示由于超时 TCP连接被关闭 / define NIDS_EXITING 6 / 表示 Libnids正在退出 , 在这个状态下可以最后一次使用存储在 half_stream 数据结构中的缓存数据 / / 校验和 / define NIDS_DO_CHKSUM 0 / 表示告诉 Libnids要计算校验和 / define NIDS_DONT_CHKSUM 1 / 表示告诉 Libnids不要计算校验和 / struct tuple4 / 描述一个地址端口对 , 它表示发送发IP 和端口以及接收方 IP 和端口 , 适用 TCP,UDP/ { u_short source; / 源 IP 地址的端口号/ u_short dest; / 目的 IP 地址的端口号/ u_int saddr; / 源 IP 地址 / u_int daddr; / 目的 IP 地址 / }; struct half_stream / 描述在 TCP 连接中一端的所有信息, 可以是客户端 , 也可以是服务端 / { char state; / 表示套接字的状态 , 也就是TCP 的状态 / char collect; / 可以表示有数据到达 , 此数据存放在data 成员中 , 也可以表示不存储此数据到 data中 , 此数据忽略 . 如果大于0 就存储 , 否则就忽略 / char collect_urg; / 可以表示有紧急数据到达 , 此数据就存放在urgdata 中 , 也可以表示不存储此数据到 urgdata中 , 此速数据忽略 . 如果大于0 就存储 , 否则就忽略 / char data; / 用户存储正常接受到的数据 / int offset; / 表示存储在 data 中数据的第一个字节的偏移量/ int count; / 表示从 TCP 连接开始已经存储到data 中的数据的字节数 / int count_new; / 有多少新的数据存储到 data 中, 如果为 0, 则表示没有新的数据到达 / int bufsize; int rmem_alloc; int urg_count; / 用来存储紧急数据 / u_int acked; u_int seq; u_int ack_seq; u_int first_data_seq; u_char urgdata; //存储紧急数据 u_char count_new_urg; / 表示有新的紧急数据到达 , 如果为0 表示没有新的紧急数据 / u_char urg_seen; //新的urg数据，不是以前重复的数据 u_int urg_ptr;/指向urg在流中的位置/ u_short window; u_char ts_on; u_char wscale_on; u_int curr_ts; u_int wscale; struct skbuff list; struct skbuff listtail; }; struct tcp_stream / 描述一个 TCP 连接的所有信息/ { struct tuple4 addr; char nids_state; struct lurker_node listeners; struct half_stream client; / 表示客户端信息 / struct half_stream server; / 表示服务端信息 / struct tcp_stream next_node; struct tcp_stream prev_node; int hash_index; struct tcp_stream next_time; struct tcp_stream prev_time; int read; struct tcp_stream next_free; }; struct nids_prm / 描述了 Libnids 的一些全局参数信息/ { int n_tcp_streams; / 表示哈西表大小 , 此哈西表用来存放tcp_stream 数据结构 , 默认值 1040.在同一时刻 Libnids 捕获的 TCP 数据包的最大个数必须是此参数值的3/4/ int n_hosts; / 表示哈西表的大小 , 此哈西表用来存储IP 碎片信息的 , 默认值为 256/ char device; / 表示网络接口 ,Libnids 将在此网络接口上捕获数据, 默认值为 NULL. 这样 Libnids将使用 pcap_lookupdev来查找可以用的网络接口 . 如果其值为 all, 表示捕获所有网络接口的数据/ char filename; / 表示用来存储网络数据的捕获文件 , 此文件的类型必须与 Libpcap 类型一致 , 如果设置了文件, 与此同时就应该设置 device 为 NULL,默认值为 NULL/ int sk_buff_size; / 表示的是数据接口 sk_buff 的大小 .sk_buff 是Linux 内核中一个重要的数据结构, 是用来进行数据包排队操作的 , 默认值为 168/ int dev_addon; / 表示在数据结构 sk_buff 中用于网络接口上信息的字节数. 如果是 -1( 默认值 ),那么 Libnids 会根据不同的网络接口进行修正 / void (syslog) (); / 是一个函数指针 , 默认值为nids_syslog() 函数 . 在 syslog函数中可以检测入侵攻击 , 如网络扫描攻击 , 也可以检测一些异常情况, 如无效 TCP 标记 / int syslog_level; / 表示日志等级 , 默认值是LOG_ALERT/ int scan_num_hosts; / 表示一个哈西表的大小 ,( 此哈西表用来存储端口扫描信息) 表示 Libnids 将要检测的同时扫描的端口数据 . 如果其值为 0,Libnids将不提供端口扫描功能 . 默认值 256/ int scan_delay; / 表示在扫描检测中 , 俩端口扫描的间隔时间, 以毫秒来计算 , 缺省值为 3000/ int scan_num_ports; / 表示相同源地址必须扫描的 TCP 端口数目 , 默认值为10/ void (no_mem) (char ); / 是一个函数指针 , 当Libnids 发生内存溢出时被调用/ int (ip_filter) (); / 是一个函数指针 , 此函数可以用来分析IP 数据包 , 当有 IP 数据包到达时 , 此函数就被调用. 如果此函数返回非零值 , 此数据包就被处理 ;如果返回零 , 此 IP 数据包就被丢弃. 默认值为 nids_ip_filter 函数 , 总是返回 1./ char pcap_filter; / 表示过滤规则 , 即Libpcap 的过滤规则 , 默认值为 NULL,表示捕获所有数据包 . 可以在此设置过滤规则 , 只捕获感兴趣的开发包/ int promisc; / 表示网卡模式 , 如果是非零, 就把此网卡设置为混杂模式 ; 否则 , 设为非混杂模式 . 默认值为1/ int one_loop_less; / 初始值为 0/ int pcap_timeout; / 表示捕获数据返回的时间 , 以毫秒计算. 实际上它表示的就是 Libpcap 函数中的 pcap_open_live函数的 timeout 参数 , 默认值 1024/ }; / 返回值 : 调用成功返回 1,失败返回 0 参 数 : 无 功 能 : 对 Libnids 初始化, 这是所有设计基于 Libnids 的程序最开始调用的函数 . 它的主要内容包括打开网络接口 , 打开文件 , 编译过滤规则 , 判断网络链路层类型, 进行必要的初始化工作 / int nids_init (void); / 返回值 : 无 参 数 : 回调函数名字 功 能 : 注册一个能够检测所有 IP 数据包的回调函数, 包括 IP 碎片 .e.g nids_register_ip_frag(ip_frag_function); void ip_frag_function(struct ip a_packet,int len) a_packet 表示接收的IP 数据包 len 表示接收的数据包长度 此回调函数可以检测所有的IP 数据包 , 包括 IP 碎片 / void nids_register_ip_frag (void ()); // / 返回值 : 无 参 数 : 回调函数名字 功 能 : 注册一个回调函数 , 此回调函数可以接收正常的IP 数据包 .e.g nids_register_ip_frag(ip_frag_function); void ip_frag_function(struct ip a_packet) a_packet 表示接收的IP 数据包 此回调函数可以接收正常的IP 数据包 , 并在此函数中对捕获数到的 IP数据包进行分析 . / void nids_register_ip (void ()); // / 返回值 : 无 参 数 : 回调函数 功 能 : 注册一个 TCP 连接的回调函数. 回调函数的类型定义如下 : void tcp_callback(struct tcp_stream ns,void param) ns 表示一个TCP 连接的所有信息 , param 表示要传递的参数信息 , 可以指向一个 TCP连接的私有数据 此回调函数接收的TCP 数据存放在 half_stream 的缓存中 , 应该马上取出来 ,一旦此回调函数返回 , 此数据缓存中存储的数据就不存在 了 .half_stream 成员 offset描述了被丢弃的数据字节数 . 如果不想马上取出来 , 而是等到存储一定数量的数据之后再取出来, 那么可 以使用函数nids_discard(struct tcp_stream ns, int num_bytes)来处理 . 这样回调函数返回时 ,Libnids 将丢弃缓存数据之前 的 num_bytes 字节的数据 .如果不调用 nids_discard()函数 , 那么缓存数据的字节应该为 count_new 字节 . 一般情况下, 缓存中的数据 应该是count-offset 字节 / void nids_register_tcp (void ()); / 返回值 : 无 参 数 : 回调函数 功 能 : 注册一个分析 UDP 协议的回调函数, 回调函数的类型定义如下 : void udp_callback(struct tuple4 addr,char buf,int len,struct ip iph) addr 表示地址端口信息buf 表示 UDP 协议负载的数据内容 len表是 UDP 负载数据的长度 iph 表示一个IP 数据包 , 包括 IP 首部 ,UDP 首部以及UDP 负载内容 / void nids_register_udp (void ()); / 返回值 : 无 参 数 : 表示一个 TCP 连接 功 能 : 终止 TCP 连接 . 它实际上是调用 Libnet的函数进行构造数据包 , 然后发送出去 / void nids_killtcp (struct tcp_stream ); / 返回值 : 无 参 数 : 参数 1 一个 TCP 连接 参数 2 个数 功 能 : 丢弃参数 2 字节 TCP 数据 , 用于存储更多的数据 / void nids_discard (struct tcp_stream , int); / 返回值 : 无 参 数 : 无 功 能 : 运行 Libnids, 进入循环捕获数据包状态. 它实际上是调用 Libpcap 函数 pcap_loop()来循环捕获数据包 / void nids_run (void); / 返回值 : 调用成功返回文件描述符 ,失败返回 -1 参 数 : 无 功 能 : 获得文件描述符号 / int nids_getfd (void); / 返回值 : 调用成功返回个数 ,失败返回负数 参 数 : 表示捕获数据包的个数 功 能 : 调用 Libpcap 中的捕获数据包函数pcap_dispatch() / int nids_dispatch (int); / 返回值 : 调用成功返回 1,失败返回 0 参 数 : 无 功 能 : 调用 Libpcap 中的捕获数据包函数pcap_next() / int nids_next (void); extern struct nids_prm nids_params; /libnids.c定以了一个全部变量 , 其定义和初始值在 nids_params/ extern char nids_warnings[]; extern char nids_errbuf[]; extern struct pcap_pkthdr nids_last_pcap_header; struct nids_chksum_ctl { / 描述的是计算校验和 , 用于决定是否计算校验和/ u_int netaddr; / 表示地址 / u_int mask; / 表示掩码 / u_int action; / 表示动作 , 如果是NIDS_DO_CHKSUM, 表示计算校验和; 如果是 NIDS_DONT_CHKSUM, 表示不计算校验和 / u_int reserved; / 保留未用 / }; / 返回值 : 无 参 数 : 参数 1 表示 nids_chksum_ctl 列表 参数 2 表示列表中的个数 功 能 : 决定是否计算校验和 . 它是根据数据结构nids_chksum_ctl 中的action 进行决定的 , 如果所要计算的对象不在列表中 , 则必须都要计算校验和 / extern void nids_register_chksum_ctl(struct nids_chksum_ctl , int); endif / _NIDS_NIDS_H / 本篇文章为转载内容。原文链接：https://blog.csdn.net/xieqb/article/details/7681968。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...oop作业在特定数据处理透明性下失败 一、Sqoop初体验 为什么我选择了它？ 嗨，朋友们！作为一个热爱折腾数据的技术爱好者，最近我在尝试用Sqoop来完成一些数据迁移任务。哈哈，Sqoop这个名字一听就觉得挺酷的，对不？它就像个超级厉害的“中间人”，一边连着Hadoop那个大数据的世界，另一边又搭在传统的数据库上，两边都能玩得转！ 说到Sqoop，它的主要功能就是从关系型数据库中抽取数据并导入到Hadoop生态系统中，或者反过来把Hadoop中的数据导出到关系型数据库里。对我来说，这简直就是个救星啊！毕竟我天天都要跟一堆 structured data（结构化数据）打交道，没有它，我的日子能过得下去才怪呢！ 不过呢，事情并没有想象中那么顺利。话说有一次我用 Sqoop 做数据迁移的时候，发现了个让人挠头的问题——只要碰到某些特别的数据处理任务，作业就突然“罢工”了，也不知道是啥原因。这事儿可把我给整郁闷了，我都觉得自己的水平挺过关的了，没想到被一个看起来超简单的题目给绊住了，真是有点糗啊！ 示例代码： bash sqoop import \ --connect jdbc:mysql://localhost:3306/mydatabase \ --username root \ --password mypassword \ --table employees \ --target-dir /user/hadoop/employees 这段代码看起来挺正常的，但我后来发现，当表中的数据量过大或者存在一些复杂的约束条件时，Sqoop就表现得不太友好。 --- 二、Sqoop作业失败的背后 接下来，让我们一起深入探讨一下这个问题。说实话，刚开始接触Sqoop那会儿，我对它是怎么工作的压根儿没弄明白，稀里糊涂的。我以为只要配置好连接信息，然后指定源表和目标路径就行了。但实际上，Sqoop并不是这么简单的工具。 当我第一次遇到作业失败的情况时，内心是崩溃的。屏幕上显示的错误信息密密麻麻，但仔细一看，其实都是些常见的问题。打个比方啊，Sqoop这家伙一碰到一些特别的符号，比如空格或者换行符，就容易“翻车”，直接给你整出点问题来。还有呢，有时候因为网络卡了一下，延迟太高，Sqoop就跟服务器说拜拜了，连接就这么断了，挺烦人的。 有一次，我在尝试将一张包含大量JSON字段的表导出到HDFS时，Sqoop直接报错了。我当时就在心里嘀咕：“为啥别的工具处理起来轻轻松松的事儿，到Sqoop这儿就变得这么棘手呢？”后来，我一咬牙，开始翻遍各种资料，想着一定要找出个解决办法来。 思考与尝试： 经过一番研究，我发现Sqoop默认情况下并不会对数据进行深度解析，这意味着如果数据本身存在问题，Sqoop可能无法正确处理。所以，为了验证这个假设，我又做了一次测试。 bash sqoop import \ --connect jdbc:mysql://localhost:3306/mydatabase \ --username root \ --password mypassword \ --table problematic_table \ --fields-terminated-by '\t' \ --lines-terminated-by '\n' 这次我特意指定了分隔符和换行符，希望能避免之前遇到的那些麻烦。嘿，没想到这次作业居然被我搞定了！中间经历了不少波折，不过好在最后算是弄懂了个中奥秘，也算没白费功夫。 --- 三、透明性的重要性 Sqoop到底懂不懂我的需求？ 说到Sqoop的透明性，我觉得这是一个非常重要的概念。所谓的透明性嘛，简单来说，就是Sqoop能不能明白咱们的心思，然后老老实实地按咱们想的去干活儿，不添乱、不出错！显然，在我遇到的这些问题中，Sqoop的表现并不能让人满意。 举个例子来说，假设你有一个包含多列的大表，其中某些列的数据类型比较复杂（例如数组、嵌套对象等）。在这种情况下，Sqoop可能会因为无法正确识别这些数据类型而失败。更糟糕的是，它并不会给出明确的提示，而是默默地报错，让你一头雾水。 为了更好地应对这种情况，我在后续的工作中加入了更多的调试步骤。比如说啊，你可以先用describe这个命令去看看表的结构，确保所有的字段都乖乖地被正确识别了；接着呢，再用--check-column这个选项去瞅一眼，看看有没有重复的记录藏在里面。这样一来，虽然增加了工作量，但至少能减少不必要的麻烦。 示例代码： bash sqoop job --create my_job \ -- import \ --connect jdbc:mysql://localhost:3306/mydatabase \ --username root \ --password mypassword \ --table employees \ --check-column id \ --incremental append \ --last-value 0 这段代码展示了如何创建一个增量作业，用于定期更新目标目录中的数据。通过这种方式，可以有效避免一次性加载过多数据带来的性能瓶颈。 --- 四、总结与展望 与Sqoop共舞 总的来说，尽管Sqoop在某些场景下表现得不尽人意，但它依然是一个强大的工具。通过不断学习和实践，我相信自己能够更加熟练地驾驭它。未来的计划里，我特别想试试一些更酷的功能，比如说用Sqoop直接搞出Avro文件，或者把Spark整进来做分布式计算，感觉会超级带劲！ 最后，我想说的是，技术这条路从来都不是一帆风顺的。遇到困难并不可怕，可怕的是我们因此放弃努力。正如那句话所说：“失败乃成功之母。”只要保持好奇心和求知欲，总有一天我们会找到属于自己的答案。 如果你也有类似的经历，欢迎随时交流！我们一起进步，一起成长！ --- 希望这篇文章对你有所帮助，如果有任何疑问或者想要了解更多细节，请随时告诉我哦！

...xception如何处理：ZooKeeper中的实践与探索 一、初识ZooKeeper与CommitQueueFullException 大家好啊！今天咱们聊聊ZooKeeper这个分布式协调工具，它就像是一个超级管家，帮我们管理分布式系统中的各种事务。不过呢，在使用过程中，我们可能会遇到一些问题，比如CommitQueueFullException。哎呀，乍一听这事儿还挺唬人是吧？但其实呢，它就是在说ZooKeeper的那个内部消息队列已经爆满了，忙不过来了，所以没法再接着处理新的请求啦！ 作为一个开发者，我第一次看到这个错误的时候，心里是有点慌的：“完蛋啦，是不是我的代码有问题？”但后来我慢慢发现，其实它并不是那么可怕，只要我们理解了它的原理，并且知道怎么应对，就能轻松解决这个问题。 那么，CommitQueueFullException到底是怎么回事呢？简单来说，ZooKeeper内部有一个请求队列，用来存储客户端发来的各种操作请求（比如创建节点、删除节点等）。嘿嘿，想象一下，这就好比一个超挤的电梯，已经装满了人，再有人想挤进去肯定会被拒之门外啦！ZooKeeper也一样，当它的小“队伍”排满了的时候，新来的请求就别想加塞儿了，直接就被它无情地“拒绝”了，然后还甩给你一个“异常”的小牌子，意思是说：“兄弟，这儿真的装不下了！”这种情况通常发生在高并发场景下，或者是网络延迟导致请求堆积。 为了更好地理解这个问题，我们可以看看下面这段代码： java import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.CreateMode; public class ZookeeperExample { public static void main(String[] args) throws Exception { // 创建ZooKeeper实例 ZooKeeper zk = new ZooKeeper("localhost:2181", 5000, event -> { System.out.println("ZooKeeper event: " + event); }); // 创建一个节点 String nodePath = zk.create("/testNode", "data".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); System.out.println("Node created at path: " + nodePath); // 关闭连接 zk.close(); } } 在这个简单的例子中，我们尝试创建一个ZooKeeper实例并创建一个节点。如果这个时候ZooKeeper的队列满了，就会抛出CommitQueueFullException。所以，接下来我们要做的就是想办法避免这种情况的发生。 --- 二、为什么会出现CommitQueueFullException？ 在深入讨论解决方案之前，我觉得有必要先搞清楚为什么会发生这种异常。其实，这背后涉及到了ZooKeeper的一些设计细节。 首先，ZooKeeper的队列大小是由配置文件中的zookeeper.commitlog.capacity参数决定的。默认情况下，这个值是比较小的，可能只有几兆字节。想象一下，你的应用像一个忙碌的快递站，接到了无数订单（也就是那些请求）。但要是快递小哥忙得顾不上送货，订单就会越堆越多，很快整个站点就塞满了，连下一份订单都没地方放了！ 其次，网络环境也是一个重要因素。有时候，客户端和服务端之间的网络延迟会导致请求堆积。就算客户端那边请求没那么频繁，但要是服务端反应慢了，照样会出问题啊。 最后，还有一个容易被忽视的原因就是客户端的连接数过多。每个连接都会占用一定的资源，包括内存和CPU。要是连上的用户太多了，但服务器的“体力”又不够强（比如内存、CPU之类的资源有限），那它就很容易“忙不过来”，导致请求都排着队等着，根本处理不完。 说到这里，我忍不住想吐槽一下自己曾经犯过的错误。嘿，有次我在测试环境里弄了个能扛大流量的程序，结果发现ZooKeeper老是蹦出个叫“CommitQueueFullException”的错误，烦得不行！我当时就纳闷了：“我明明设了个挺合理的线程池大小啊，怎么还出问题了呢？”后来一查才发现，坏事了，是客户端的连接数配少了，结果请求都堵在那儿了，就像高速公路堵车一样。真是教训深刻啊！ --- 三、如何优雅地处理CommitQueueFullException？ 既然知道了问题的根源，那接下来就要谈谈具体的解决办法了。我觉得可以从以下几个方面入手： 1. 调整队列大小 最直接的办法当然是增大队列的容量。通过修改zookeeper.commitlog.capacity参数，可以让ZooKeeper拥有更大的缓冲空间。其实嘛，这个方法也不是啥灵丹妙药，毕竟咱们手头的硬件资源就那么多，要是傻乎乎地把队列弄得太长，说不定反而会惹出别的麻烦，比如让系统跑得更卡之类的。 代码示例： properties zookeeper.commitlog.capacity=10485760 上面这段配置文件的内容表示将队列大小调整为10MB。你可以根据实际情况进行调整。 2. 优化客户端逻辑 很多时候，CommitQueueFullException并不是因为服务器的问题，而是客户端的请求模式不合理造成的。比如说，你是否可以合并多个小请求为一个大请求？或者是否可以采用批量操作的方式减少请求次数？ 举个例子，假设你在做一个日志采集系统，每天需要向ZooKeeper写入成千上万个临时节点。与其每次都往一个节点里写东西，不如一口气往多个节点里写，这样能大大减少你发出的请求次数，省事儿又高效！ 代码示例： java List nodesToCreate = Arrays.asList("/node1", "/node2", "/node3"); List createdNodes = zk.create("/batch/", new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL, nodesToCreate.size()); System.out.println("Created nodes: " + createdNodes); 在这段代码中，我们一次性创建了三个临时节点，而不是分别调用三次create()方法。这样的做法不仅减少了请求次数，还提高了效率。 3. 增加服务器资源 如果以上两种方法都不能解决问题，那么可能就需要考虑升级服务器硬件了。比如增加内存、提升CPU性能，甚至更换更快的磁盘。当然，这通常是最后的选择，因为它涉及到成本和技术难度。 4. 使用异步API ZooKeeper提供了同步和异步两种API，其中异步API可以在一定程度上缓解CommitQueueFullException的问题。异步API可酷了！你提交个请求，它立马给你返回结果，根本不用傻等那个响应回来。这样一来啊，就相当于给任务队列放了个假，压力小了很多呢！ 代码示例： java import org.apache.zookeeper.AsyncCallback.StringCallback; public class AsyncExample implements StringCallback { @Override public void processResult(int rc, String path, Object ctx, String name) { if (rc == 0) { System.out.println("Node created successfully at path: " + name); } else { System.err.println("Failed to create node with error code: " + rc); } } public static void main(String[] args) throws Exception { ZooKeeper zk = new ZooKeeper("localhost:2181", 5000, null); zk.createAsync("/asyncTest", "data".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT, new AsyncExample(), null); } } 在这段代码中，我们使用了createAsync()方法来异步创建节点。相比于同步版本，这种方式不会阻塞主线程，从而降低了队列满的风险。 --- 四、总结与展望 通过今天的探讨，我相信大家都对CommitQueueFullException有了更深刻的理解。嘿，别被这个错误吓到！其实啊，它也没那么可怕。只要你找到对的方法，保证分分钟搞定，就跟玩儿似的！ 回顾整个过程，我觉得最重要的是要保持冷静和耐心。遇到技术难题的时候啊，别慌！先搞清楚它到底是个啥问题，就像剥洋葱一样，一层层搞明白本质。接着呢，就一步一步地去找解决的办法，慢慢来，总能找到出路的！就像攀登一座高山一样，每一步都需要脚踏实地。 最后，我想鼓励大家多动手实践。理论固然重要，但真正的成长来自于不断的尝试和失败。希望大家能够在实际项目中运用今天学到的知识，创造出更加优秀的应用！ 好了，今天的分享就到这里啦！如果你还有什么疑问或者想法，欢迎随时交流哦～

...xception如何处理？我的ElasticSearch救赎之路 大家好呀！今天咱们来聊聊一个让我头疼了好几天的问题——ElasticSearch里的NodeNotActiveException。嘿，我刚接触 Elasticsearch 的时候啊，心里还美滋滋的，心想这东西看着挺easy的，结果嘛……嘿嘿，一不留神就掉坑里了，真是“理想很丰满，现实很骨干”啊！不过还好，经过一番折腾，我终于找到了解决办法。嘿，大家好啊！今天想跟你们聊聊我的故事和一些小感悟，也算是把我踩过的坑、学到的东西分享给大家吧。希望对那些正被同一个问题烦得抓头发的朋友有点用，咱们一起想办法解决它！ --- 1. 初识NodeNotActiveException：我的第一次“崩溃” 事情是这样的，我最近在搭建一个基于ElasticSearch的日志分析系统。一切看起来都很顺利，数据导入、索引创建啥的都没问题。但当我尝试对某些节点进行操作时，突然蹦出了这么一行错误： org.elasticsearch.cluster.block.ClusterBlockException: blocked by: [SERVICE_UNAVAILABLE/2/no active shards]; 当时我心里那个急啊！赶紧去查文档，发现这是NodeNotActiveException的表现之一。简单说吧，就好比某个关键的小哥突然“罢工”了，可能是因为它内存不够用，或者网络断了啥的，结果整个团队的工作都乱套了，没法正常运转了。 我当时就纳闷了：“这不是应该自动恢复吗？为啥还要报错呢？”后来才明白，虽然ElasticSearch确实有自我修复机制，但有时候我们需要手动干预才能让它恢复正常。 --- 2. 理解背后的逻辑 为什么会出现这种问题？ 在深入了解之前，我觉得有必要先搞清楚这个异常的根本原因。其实NodeNotActiveException并不是什么特别复杂的概念，它主要出现在以下几种情况： - 节点宕机：某个节点由于硬件故障或者网络问题离线了。 - 磁盘空间不足：如果某个节点的磁盘满了，ElasticSearch会自动将其标记为不可用。 - 配置错误：比如分配给节点的资源不够，导致其无法启动。 对于我来说，问题出在第二个点上——磁盘空间不足。我当时为了省钱，给服务器分配的空间少得可怜，结果没多久就发现磁盘直接爆满，把自己都吓了一跳！于是ElasticSearch很生气，直接把该节点踢出了集群。 --- 3. 解决方案一 扩容磁盘空间 既然问题找到了，那就动手解决吧！首先，我决定先扩展磁盘容量。这一步其实很简单，只要登录服务器，增加磁盘大小就行。具体步骤如下： bash 查看当前磁盘状态 df -h 扩展磁盘（假设你已经购买了额外的存储） sudo growpart /dev/xvda 1 sudo resize2fs /dev/xvda1 完成后记得重启ElasticSearch服务： bash sudo systemctl restart elasticsearch 重启之后，神奇的事情发生了——我的节点重新上线了！不过这里有个小技巧分享给大家：如果你不确定扩容是否成功，可以通过以下命令检查磁盘使用情况： bash df -h 看到磁盘空间变大了，心里顿时舒坦了不少。 --- 4. 解决方案二 调整ElasticSearch配置 当然啦，仅仅扩容还不够，还需要优化ElasticSearch的配置文件。特别是那些容易导致内存不足或磁盘占用过高的参数，比如indices.memory.index_buffer_size和indices.store.throttle.max_bytes_per_sec。修改后的配置文件大概长这样： yaml cluster.routing.allocation.disk.threshold_enabled: true cluster.routing.allocation.disk.watermark.low: 85% cluster.routing.allocation.disk.watermark.high: 90% cluster.routing.allocation.disk.watermark.flood_stage: 95% cluster.info.update.interval: 30s 这些设置的意思是告诉ElasticSearch，当磁盘使用率达到85%时开始警告，达到90%时限制写入，超过95%时完全停止操作。这样可以有效避免再次出现类似的问题。 --- 5. 实战演练 代码中的应对策略 除了调整配置，我们还可以通过编写脚本来监控和处理NodeNotActiveException。比如，下面这段Java代码展示了如何捕获异常并记录日志： java import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.client.RestClient; import org.elasticsearch.client.indices.CreateIndexRequest; import org.elasticsearch.client.indices.CreateIndexResponse; public class ElasticSearchExample { public static void main(String[] args) { RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http"))); try { CreateIndexRequest request = new CreateIndexRequest("test_index"); CreateIndexResponse response = client.indices().create(request, RequestOptions.DEFAULT); System.out.println("Index created: " + response.isAcknowledged()); } catch (Exception e) { if (e instanceof ClusterBlockException) { System.err.println("Cluster block detected: " + e.getMessage()); } else { System.err.println("Unexpected error: " + e.getMessage()); } } finally { try { client.close(); } catch (IOException ex) { System.err.println("Failed to close client: " + ex.getMessage()); } } } } 这段代码的作用是在创建索引时捕获可能发生的异常，并根据异常类型采取不同的处理方式。如果遇到ClusterBlockException，我们可以选择延迟重试或者其他补偿措施。 --- 6. 总结与反思 成长路上的一课 通过这次经历，我深刻体会到，作为一名开发者，不仅要掌握技术细节，还要学会从实际问题出发，找到最优解。NodeNotActiveException这个错误看着不起眼，但其实背后有不少门道呢！比如说，你的服务器硬件是不是有点吃不消了？集群那边有没有啥小毛病没及时发现？还有啊，咱们平时运维的时候是不是也有点松懈了？这些都是得好好琢磨的地方！ 最后，我想说的是，技术学习的过程就像爬山一样，有时候会遇到陡峭的山坡，但只要坚持下去，总能看到美丽的风景。希望这篇文章能给大家带来一些启发和帮助！如果还有其他疑问，欢迎随时交流哦~

...097be 批量合并处理B站视频->https://www.wandouip.com/t5i227224/ You-Get->https://you-get.org/ 思路 首先打开了PC端斗鱼视频一个链接：https://v.douyu.com/show/0Q8mMY0xXDL749Ad 发现一个参数在链接中 0Q8mMY0xXDL749Ad 通过抓包发现了一个很重要的文件：playlist.m3u8 里面包含了数个 .ts 的网络地址； .ts 文件是可以播放的视频片段； 发现 可以通过合并 .ts 片段可以得到完整视频； 出现一个问题：playlist.m3u8 怎么获取？ 发现：https://v.douyu.com/api/stream/getStreamUrl 可以获取 playlist.m3u8 文件地址； 需要POST传入一些参数才行，发现： sign 参数是一种签名，一般通过JS生成，找了半天没有方法生成 sign 参数； 通过查阅大佬文献发现：手机端的斗鱼视频有接口可以直接获取 playlist.m3u8 文件地址，成功越过 sign 签名防线； 手机端斗鱼视频链接：https://vmobile.douyu.com/show/0Q8mMY0xXDL749Ad 通过抓包发现：https://vmobile.douyu.com/video/getInfo?vid=0Q8mMY0xXDL749Ad； 这就解决了playlist.m3u8 文件获取问题：json[‘data’][‘video_url’] 第一个难题解决！！； 综上所述，整理一下具体采集流程： 获取vid = 0Q8mMY0xXDL749Ad (就是链接中的参数)； 通过 https://vmobile.douyu.com/video/getInfo?vid=0Q8mMY0xXDL749Ad 获取 playlist.m3u8 文件地址； 解析 playlist.m3u8 文件提取所有 .ts文件； 下载所有 .ts 文件； 合并 .ts 成视频文件输出； Python实现 不要开启线程池，因为会有一些问题 app.py config 中可以配置 import requestsimport reimport jsonimport timeimport pymongoimport psutilfrom hashlib import md5from moviepy.editor import from multiprocessing import Pool基本配置config = {'UID':'gKpdxKRWXwaW',用户ID'CID':104,栏目ID'TYPE':1, 1=>按用户id采集列表，2=>按栏目ID采集列表'TIME_START':1,起始时间'TIME_ENT':500,结束时间'PAGE_START':1,起始页'PAGE_END':10,结束页'TIME_GE':0,每个下载间隔时间'POOL':False,是否开启线程池'CHECKID':True, True 过滤已经下载过的视频 False 不过滤'FILE_PATH':'F:/ceshi/',下载目录，【会自动创建文件夹】'TS_PATH':'F:/ceshi/download/',缓存文件目录，【会自动创建文件夹】'DB_URL':'localhost',数据库地址'DB_NAME':'douyu',数据库名称''DB_TABLE':'douyu'数据库表}MongoDB初始化client = pymongo.MongoClient(config['DB_URL'])mango_db = client[config['DB_NAME']]MongoDB存储def save_to_mango(result):if mango_db[config['DB_TABLE']].insert_one({'vid':result}):print('成功存储到MangoDB')return Truereturn FalseMongoDB验证重复def check_to_mongo(vid):count = mango_db[config['DB_TABLE']].find({'vid':vid}).count()if count==0:return Falsereturn True删除文件def del_file(page):if os.path.exists(page): 删除文件，可使用以下两种方法。os.remove(page) os.unlink(my_file)else:print('no such file:%s' % page)循环列表删除文件def loop_del_file(arr):for item in arr:del_file(item)请求器def get_content_requests(url):headers = {}headers['user-agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'headers['cookie'] = 'dy_did=07f83a57d1d2e22942e0883200001501; acf_did=07f83a57d1d2e22942e0883200001501; Hm_lvt_e99aee90ec1b2106afe7ec3b199020a7=1556514266,1557050422,1557208315; acf_auth=; acf_auth_wl=; acf_uid=; acf_nickname=; acf_username=; acf_own_room=; acf_groupid=; acf_notification=; acf_phonestatus=; _dys_lastPageCode=page_video,page_video; Hm_lpvt_e99aee90ec1b2106afe7ec3b199020a7=1557209469; _dys_refer_action_code=click_author_video_cate2'try:req_content = requests.get(url,headers = headers)if req_content.status_code == 200:return req_contentprint('请求失败：',url)return Noneexcept:print('请求失败：', url)return None把时间换算成秒def str_to_int(time):try:time_array = time.split(':')time_int = (int(time_array[0])60)+int(time_array[1])return time_intexcept:print('~~~~~计算视频时间失败~~~~~')return None提取需要采集的数据def get_list(html,type = 1):data = []try:list_json = json.loads(str(html))for om in list_json['data']['list']:gtime = str_to_int(om['video_str_duration'])if gtime > config['TIME_START'] and gtime < config['TIME_ENT']:if type == 2:data.append({'title': om['title'], 'vid': om['url'].split('show/')[1]})else:data.append({'title': om['title'], 'vid': om['hash_id']})return dataexcept:print('~~~~~数据提取失败~~~~~')return None解析playlist.m3u8def get_ts_list(m3u8):data = []try:html_m3u8_json = json.loads(m3u8)m3u8_text = get_content_requests(html_m3u8_json['data']['video_url'])m3u8_vurl =html_m3u8_json['data']['video_url'].split('playlist.m3u8?')[0]if m3u8_text:get_text = re.findall(',\n(.?).ts(.?)\n',m3u8_text.text,re.S)for item in get_text:data.append(m3u8_vurl+item[0]+'.ts'+item[1])return datareturn Noneexcept:print('~~~~~解析playlist.m3u8失败~~~~~')return None 杀死moviepy产生的特定进程def killProcess(): 处理python程序在运行中出现的异常和错误try: pids方法查看系统全部进程pids = psutil.pids()for pid in pids: Process方法查看单个进程p = psutil.Process(pid) print('pid-%s,pname-%s' % (pid, p.name())) 进程名if p.name() == 'ffmpeg-win64-v4.1.exe': 关闭任务 /f是强制执行，/im对应程序名cmd = 'taskkill /f /im ffmpeg-win64-v4.1.exe 2>nul 1>null' python调用Shell脚本执行cmd命令os.system(cmd)except:pass下载.ts文件def download_ts(m3u8_list,name):try:if not os.path.exists(config['FILE_PATH']):os.makedirs(config['FILE_PATH'])if not os.path.exists(config['TS_PATH']):os.makedirs(config['TS_PATH'])if os.path.exists(config['FILE_PATH']+name+'.mp4'):name = name+'_'+str(int(time.time()))print('开始下载：',name)L = []R = []for p in m3u8_list:ts_find = get_content_requests(p)file_ts = '{0}{1}.ts'.format(config['TS_PATH'],md5(ts_find.content).hexdigest())with open(file_ts,'wb') as f:f.write(ts_find.content)R.append(file_ts)hebing = VideoFileClip(file_ts)L.append(hebing)killProcess()print('下载完成：',file_ts)mp4file = '{0}{1}.mp4'.format(config['FILE_PATH'],name)final_clip = concatenate_videoclips(L)final_clip.to_videofile(mp4file, fps=24, remove_temp=True)killProcess()loop_del_file(R)print('\n下载完成：',name)print('')return Trueexcept:print('~~~~~合成.ts文件失败~~~~~')return None下载视频列表def list_get_kong(list_json):for item in list_json:y = Trueif config['CHECKID']:if check_to_mongo(item['vid']):print('~~~~~检测到重复项~~~~~')y = Falseif y:get_show_html = get_content_requests('https://vmobile.douyu.com/video/getInfo?vid=' + item['vid'])if get_show_html:m3u8_list = get_ts_list(get_show_html.text)if m3u8_list:download = download_ts(m3u8_list, item['title'])if download: save_to_mango(item['vid'])time.sleep(config['TIME_GE'])控制器def main(page):if config['TYPE']==1:print('~~~~~按用户ID采集~~~~~')listurl = 'https://v.douyu.com/video/author/getAuthorVideoListByNew?up_id={0}&cate2_id=0&limit=30&page={1}'.format(config['UID'],page)get_list_html = get_content_requests(listurl)if get_list_html:list_json = get_list(get_list_html.text,1)if list_json:list_get_kong(list_json)else:print('~~~~~按列表ID采集~~~~~')listurl = 'https://v.douyu.com/video/video/listData?page={1}&cate2Id={0}&action=new'.format(config['CID'],page)get_list_html = get_content_requests(listurl)if get_list_html:list_json = get_list(get_list_html.text,2)if list_json:list_get_kong(list_json)初始化if __name__=='__main__':if config['POOL']:groups = [x for x in range(config['PAGE_START'],config['PAGE_END']+1)]pool = Pool()pool.map(main, groups)else:for item in range(config['PAGE_START'],config['PAGE_END']+1):main(item)print('~~~~~已经完成【所有操作】~~~~~') 总结：众所周知，BiliBili是一个学习的网站！ 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_35875470/article/details/89857445。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...果不过滤的话会报如下错误： 所以这里必须要判断一下: Elements elements = document.select("main .list li a");for (Element element : elements) {String href = element.attr("href");//判断是否是以“/”开头if (href.startsWith("/")) {String picUrl = "http://www.netbian.com" + href;Document document1 = Jsoup.connect(picUrl).get();Elements elements1 = document1.select(".endpage .pic p a img");System.out.println(elements1);} } 到这里，页面就已经分析好了，问题基本上已经解决了，接下来我们需要将图片存到我们的系统里，这里我将图片保存到我的电脑桌面上，并按照分类来存储图片。 首先是要获取桌面路径，在utils包下创建Download类，添加getDesktop方法，代码如下： public static File getDesktop(){FileSystemView fsv = FileSystemView.getFileSystemView();File path=fsv.getHomeDirectory(); return path;} 接着我们再该类中添加下载图片的方法： //urlPath为网络图片的路径，savePath为要保存的本地路径（这里指定为桌面下的images文件夹）public static void download(String urlPath,String savePath) throws Exception {// 构造URLURL url = new URL(urlPath);// 打开连接URLConnection con = url.openConnection();//设置请求超时为5scon.setConnectTimeout(51000);// 输入流InputStream is = con.getInputStream();// 1K的数据缓冲byte[] bs = new byte[1024];// 读取到的数据长度int len;// 输出的文件流File sf=new File(savePath);int randomNo=(int)(Math.random()1000000);String filename=urlPath.substring(urlPath.lastIndexOf("/")+1,urlPath.length());//获取服务器上图片的名称filename=new java.text.SimpleDateFormat("yyyy-MM-dd-HH-mm-ss").format(new Date())+randomNo+filename;//时间+随机数防止重复OutputStream os = new FileOutputStream(sf.getPath()+"\\"+filename);// 开始读取while ((len = is.read(bs)) != -1) {os.write(bs, 0, len);}// 完毕，关闭所有链接os.close();is.close();} 写好后，我们再完善一下JsouPic中的getPic方法。 public static void getPic(String kind) throws Exception {//get请求方式进行请求Document root_doc = Jsoup.connect("http://www.netbian.com/" + kind + "/").get();//获取分页标签，用于获取总页数Elements els = root_doc.select("main .page a");Integer page = Integer.parseInt(els.eq(els.size() - 2).text());for (int i = 1; i < page; i++) {Document document = null;//这里判断的是当前页号是否为1，如果为1就不拼页号，否则拼上对应的页号if (i == 1) {document = Jsoup.connect("http://www.netbian.com/" + kind + "/index.htm").get();} else {document = Jsoup.connect("http://www.netbian.com/" + kind + "/index_" + i + ".htm").get();}File desktop = Download.getDesktop();Download.checkPath(desktop.getPath() + "\\images\\" + kind);//获取每个分页链接里面a标签的链接，进入链接页面获取当前图拼的大尺寸图片Elements elements = document.select("main .list li a");for (Element element : elements) {String href = element.attr("href");if (href.startsWith("/")) {String picUrl = "http://www.netbian.com" + href;Document document1 = Jsoup.connect(picUrl).get();Elements elements1 = document1.select(".endpage .pic p a img");Download.download(elements1.attr("src"), desktop.getPath() + "\\images\\" + kind);} }} } 在Download类中，我添加了checkPath方法，用于判断目录是否存在，不存在就创建一个。 public static void checkPath(String savePath) throws Exception {File file = new File(savePath);if (!file.exists()){file.mkdirs();} } 最后在mainapp包内创建PullPic类，并添加主方法。 package com.asahi.mainapp;import com.asahi.common.Kind;import com.asahi.common.PrintLog;import com.asahi.utils.JsoupPic;import java.util.Scanner;public class PullPic {public static void main(String[] args) throws Exception {new PullPic().downloadPic();}public void downloadPic() throws Exception {System.out.println("启动程序>>\n请输入所爬取的分类：");Scanner scanner = new Scanner(System.in);String kind = scanner.next();while(!Kind.contains(kind)){System.out.println("分类不存在，请重新输入：");kind = scanner.next();}System.out.println("分类输入正确！");System.out.println("开始下载>>");JsoupPic.getPic(kind);} } 三、成果展示 最终的运行结果如下： 最终的代码已上传到我的github中，点击“我的github”进行查看。 在学习Java爬虫的过程中，我收获了很多，一开始做的时候确实遇到了很多困难，这次写的获取图片也是最基础的，还可以继续深入。本来我想写一个通过多线程来获取图片来着，也尝试着去写了一下，越写越跑偏，暂时先放着不处理吧，等以后有时间再来弄，我想问题应该不大，只是考虑的东西有很多。希望大家多多指点不足，有哪些需要改进的地方，我也好多学习学习๑乛◡乛๑。 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_39693281/article/details/108463868。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...要侦听的对象以及一个处理对象，可以称之为 handler； const p = new Proxy(target, handler) 其次，我们之后的操作都是直接对 Proxy 的操作，而不是原有的对象，因为我们需要在 handler 里面进行侦听 const obj = {name: 'why',age: 18}const objProxy = new Proxy(obj, {// 获取值时的捕获器get: function (target, key) {console.log(监听到obj对象的${key}属性被访问了)return target[key]},// 设置值时的捕获器set: function (target, key, newValue) {console.log(监听到obj对象的${key}属性被设置值)target[key] = newValue} })console.log(objProxy.name)console.log(objProxy.age)objProxy.name = 'kobe'objProxy.age = 30console.log(obj.name)console.log(obj.age)/ 监听到obj对象的name属性被访问了why监听到obj对象的age属性被访问了18监听到obj对象的name属性被设置值监听到obj对象的age属性被设置值kobe30/ 2.1 Proxy 的 set 和 get 捕获器 如果我们想要侦听某些具体的操作，那么就可以在 handler 中添加对应的捕捉器（Trap） set 和 get 分别对应的是函数类型 set 函数有四个参数： target：目标对象（侦听的对象） property：将被设置的属性 key value：新属性值 receiver：调用的代理对象 get 函数有三个参数 target：目标对象（侦听的对象） property：被获取的属性 key receiver：调用的代理对象 2.2 Proxy 所有捕获器 (13个) handler.getPrototypeOf() Object.getPrototypeOf 方法的捕捉器 handler.setPrototypeOf() Object.setPrototypeOf 方法的捕捉器 handler.isExtensible() Object.isExtensible 方法的捕捉器 handler.preventExtensions() Object.preventExtensions 方法的捕捉器 handler.getOwnPropertyDescriptor() Object.getOwnPropertyDescriptor 方法的捕捉器 handler.defineProperty() Object.defineProperty 方法的捕捉器 handler.ownKeys() Object.getOwnPropertyNames 方法和 Object.getOwnPropertySymbols 方法的捕捉器 handler.has() in 操作符的捕捉器 handler.get() 属性读取操作的捕捉器 handler.set() 属性设置操作的捕捉器 handler.deleteProperty() delete 操作符的捕捉器 handler.apply() 函数调用操作的捕捉器 handler.construct() new 操作符的捕捉器 const obj = {name: 'why',age: 18}const objProxy = new Proxy(obj, {// 获取值时的捕获器get: function (target, key) {console.log(监听到obj对象的${key}属性被访问了)return target[key]},// 设置值时的捕获器set: function (target, key, newValue) {console.log(监听到obj对象的${key}属性被设置值)target[key] = newValue},// 监听 in 的捕获器has: function (target, key) {console.log(监听到obj对象的${key}属性的in操作)return key in target},// 监听 delete 的捕获器deleteProperty: function (target, key) {console.log(监听到obj对象的${key}属性的delete操作)delete target[key]} })// in 操作符console.log('name' in objProxy)// delete 操作delete objProxy.name/ 监听到obj对象的name属性的in操作true监听到obj对象的name属性的delete操作/ 2.3 Proxy 的 construct 和 apply 到捕捉器中还有 construct 和 apply，它们是应用于函数对象的 function foo() {console.log('调用了 foo')}const fooProxy = new Proxy(foo, {apply: function (target, thisArg, argArray) {console.log(对 foo 函数进行了 apply 调用)target.apply(thisArg, argArray)},construct: function (target, argArray, newTarget) {console.log(对 foo 函数进行了 new 调用)return new target(...argArray)} })fooProxy.apply({}, ['abc', 'cba'])new fooProxy('abc', 'cba')/ 对 foo 函数进行了 apply 调用调用了 foo对 foo 函数进行了 new 调用调用了 foo/ 3. Reflect 3.1 Reflect 的作用 Reflect 也是 ES6 新增的一个 API，它是一个对象，字面的意思是反射 Reflect 的作用： 它主要提供了很多操作 JavaScript 对象的方法，有点像 Object 中操作对象的方法 比如 Reflect.getPrototypeOf(target) 类似于 Object.getPrototypeOf() 比如 Reflect.defineProperty(target, propertyKey, attributes) 类似于 Object.defineProperty() 如果我们有 Object 可以做这些操作，那么为什么还需要有Reflect这样的新增对象呢？ 这是因为在早期的 ECMA 规范中没有考虑到这种对 对象本身 的操作如何设计会更加规范，所以将这些 API 放到了 Object上面 但是 Object 作为一个构造函数，这些操作实际上放到它身上并不合适 另外还包含一些类似于 in、delete 操作符，让 JS 看起来是会有一些奇怪的 所以在 ES6 中新增了 Reflect，让我们这些操作都集中到了 Reflect 对象上 那么 Object 和 Reflect 对象之间的 API 关系，可以参考 MDN 文档： 比较 Reflect 和 Object 方法 3.2 Reflect 的常见方法 Reflect中有哪些常见的方法呢？它和Proxy是一一对应的，也是13个 Reflect.getPrototypeOf(target) 类似于 Object.getPrototypeOf() Reflect.setPrototypeOf(target, prototype) 设置对象原型的函数. 返回一个 Boolean， 如果更新成功，则返回 true Reflect.isExtensible(target) 类似于 Object.isExtensible() Reflect.preventExtensions(target) 类似于 Object.preventExtensions() , 返回一个 Boolean Reflect.getOwnPropertyDescriptor(target, propertyKey) 类似于 Object.getOwnPropertyDescriptor() , 如果对象中存在该属性，则返回对应的属性描述符, 否则返回 undefined Reflect.defineProperty(target, propertyKey, attributes) 和 Object.defineProperty() 类似, 如果设置成功就会返回 true Reflect.ownKeys(target) 返回一个包含所有自身属性（不包含继承属性）的数组 （类似于 Object.keys(), 但不会受 enumerable 影响） Reflect.has(target, propertyKey) 判断一个对象是否存在某个属性，和 in 运算符 的功能完全相同 Reflect.get(target, propertyKey[, receiver]) 获取对象身上某个属性的值，类似于 target[name] Reflect.set(target, propertyKey, value[, receiver]) 将值分配给属性的函数，返回一个 Boolean，如果更新成功，则返回 true Reflect.deleteProperty(target, propertyKey) 作为函数的 delete 操作符，相当于执行 delete target[name] Reflect.apply(target, thisArgument, argumentsList) 对一个函数进行调用操作，同时可以传入一个数组作为调用参数。和 Function.prototype.apply() 功能类似 Reflect.construct(target, argumentsList[, newTarget]) 对构造函数进行 new 操作，相当于执行 new target(...args) 3.3 Reflect 的使用 那么我们可以将之前Proxy案例中对原对象的操作，都修改为Reflect来操作 const obj = {name: 'why',age: 18}const objProxy = new Proxy(obj, {get: function (target, key) {console.log(监听到obj对象的${key}属性被访问了)return Reflect.get(target, key)// return target[key] // 对原来对象进行了直接操作},set: function (target, key, newValue) {console.log(监听到obj对象的${key}属性被设置值)Reflect.set(target, key, newValue)// target[key] = newValue // 对原来对象进行了直接操作} })objProxy.name = 'kobe'console.log(objProxy.name)/ 监听到obj对象的name属性被设置值监听到obj对象的name属性被访问了kobe/ 3.4 Receiver的作用 我们发现在使用getter、setter的时候有一个receiver的参数，它的作用是什么呢？ 如果我们的源对象（obj）有 setter 、getter 的访问器属性，那么可以通过 receiver 来改变里面的 this const obj = {_name: 'why',get name() {return this._name // 不使用receiver, _name属性的操作不会被objProxy代理，因为this指向obj},set name(newValue) {this._name = newValue} }const objProxy = new Proxy(obj, {get: function (target, key, receiver) {// receiver 是创建出来的代理对象console.log('get 方法被访问-------', key, receiver)console.log(objProxy === receiver) // truereturn Reflect.get(target, key, receiver)},set: function (target, key, newValue, receiver) {Reflect.set(target, key, newValue, receiver)} })objProxy.name = 'kobe'console.log(objProxy.name) // kobe/ get 方法被访问------- name { _name: 'kobe', name: [Getter/Setter] }trueget 方法被访问------- _name { _name: 'kobe', name: [Getter/Setter] }truekobe/ 3.5 Reflect 的 construct function Student(name, age) {this.name = namethis.age = age}function Teacher() {}const stu = new Student('why', 18)console.log(stu)console.log(stu.__proto__ === Student.prototype)/ Student { name: 'why', age: 18 }true/// 执行 Student 函数中的内容，但是创建出来的对象是 Teacher 对象const teacher = Reflect.construct(Student, ['why', 18], Teacher)console.log(teacher)console.log(teacher.__proto__ === Teacher.prototype)/ Teacher { name: 'why', age: 18 }true/ 4. 响应式 4.1 什么是响应式？ 先来看一下响应式意味着什么？我们来看一段代码： m 有一个初始化的值，有一段代码使用了这个值； 那么在 m 有一个新的值时，这段代码可以自动重新执行 let m = 0// 一段代码console.log(m)console.log(m 2)console.log(m 2)m = 200 上面的这样一种可以自动响应数据变量的代码机制，我们就称之为是响应式的 对象的响应式 4.2 响应式函数设计 首先，执行的代码中可能不止一行代码，所以我们可以将这些代码放到一个函数中： 那么问题就变成了，当数据发生变化时，自动去执行某一个函数； 但是有一个问题：在开发中是有很多的函数的，如何区分一个函数需要响应式，还是不需要响应式呢？ 很明显，下面的函数中 foo 需要在 obj 的 name 发生变化时，重新执行，做出相应； bar 函数是一个完全独立于 obj 的函数，它不需要执行任何响应式的操作； // 对象的响应式const obj = {name: 'why',age: 18}function foo() {const newName = obj.nameconsole.log('你好啊，李银河')console.log('Hello World')console.log(obj.name)}function bar() {console.log('普通的其他函数')console.log('这个函数不需要有任何的响应式')}obj.name = 'kobe' // name 发生改变时候 foo 函数执行 响应式函数的实现 watchFn 如何区分响应式函数？ 这个时候我们封装一个新的函数 watchFn 凡是传入到 watchFn 的函数，就是需要响应式的 其他默认定义的函数都是不需要响应式的 / 封装一个响应式的函数 /let reactiveFns = []function watchFn(fn) {reactiveFns.push(fn)}// 对象的响应式const obj = {name: 'why',age: 18}watchFn(function foo() {const newName = obj.nameconsole.log('你好啊，李银河')console.log('Hello World')console.log(obj.name)})watchFn(function demo() {console.log(obj.name, 'demo function ---------')})function bar() {console.log('普通的其他函数')console.log('这个函数不需要有任何的响应式')}obj.name = 'kobe' // name 发生改变时候 foo 函数执行reactiveFns.forEach((fn) => {fn()}) 4.3 响应式依赖的收集 目前收集的依赖是放到一个数组中来保存的，但是这里会存在数据管理的问题： 在实际开发中需要监听很多对象的响应式 这些对象需要监听的不只是一个属性，它们很多属性的变化，都会有对应的响应式函数 不可能在全局维护一大堆的数组来保存这些响应函数 所以要设计一个类，这个类用于管理某一个对象的某一个属性的所有响应式函数： 相当于替代了原来的简单 reactiveFns 的数组； class Depend {constructor() {this.reactiveFns = []}addDepend(reactiveFn) {this.reactiveFns.push(reactiveFn)}notify() {this.reactiveFns.forEach((fn) => {fn()})} }const depend = new Depend()function watchFn(fn) {depend.addDepend(fn)}// 对象的响应式const obj = {name: 'why', // depend 对象age: 18 // depend 对象}watchFn(function foo() {const newName = obj.nameconsole.log('你好啊，李银河')console.log('Hello World')console.log(obj.name)})watchFn(function demo() {console.log(obj.name, 'demo function ---------')})function bar() {console.log('普通的其他函数')console.log('这个函数不需要有任何的响应式')}obj.name = 'kobe'depend.notify() 4.4 监听对象的变化 那么接下来就可以通过之前的方式来监听对象的变化： 方式一：通过 Object.defineProperty 的方式（vue2采用的方式）； 方式二：通过 new Proxy 的方式（vue3采用的方式）； 我们这里先以Proxy的方式来监听 class Depend {constructor() {this.reactiveFns = []}addDepend(reactiveFn) {this.reactiveFns.push(reactiveFn)}notify() {this.reactiveFns.forEach((fn) => {fn()})} }const depend = new Depend()function watchFn(fn) {depend.addDepend(fn)}// 对象的响应式const obj = {name: 'why', // depend 对象age: 18 // depend 对象}// 监听对象的属性变化：Proxy(vue3)/Object.defineProperty(vue2)const objProxy = new Proxy(obj, {get: function (target, key, receiver) {return Reflect.get(target, key, receiver)},set: function (target, key, newValue, receiver) {Reflect.set(target, key, newValue, receiver)depend.notify()} })watchFn(function foo() {const newName = objProxy.nameconsole.log('你好啊，李银河')console.log('Hello World')console.log(objProxy.name)})watchFn(function demo() {console.log(objProxy.name, 'demo function ---------')})objProxy.name = 'kobe'objProxy.name = 'james'/ 你好啊，李银河Hello Worldkobekobe demo function ---------你好啊，李银河Hello Worldjamesjames demo function ---------/ 4.5 对象的依赖管理 目前是创建了一个 Depend 对象，用来管理对于 name 变化需要监听的响应函数： 但是实际开发中我们会有不同的对象，另外会有不同的属性需要管理； 如何可以使用一种数据结构来管理不同对象的不同依赖关系呢？ 在前面我们刚刚学习过 WeakMap，并且在学习 WeakMap 的时候我讲到了后面通过 WeakMap 如何管理这种响应式的数据依赖： 实现 可以写一个 getDepend 函数专门来管理这种依赖关系 / 封装一个获取depend的函数 /const taregtMap = new WeakMap()function getDepend(target, key) {// 根据target对象获取mapconst map = taregtMap.get(target)if (!map) {map = new Map()taregtMap.set(target, map)}// 根据key获取depend对象const depend = map.get(key)if (!depend) {depend = new Depend()map.set(key, depend)}return depend}// 监听对象的属性变化：Proxy(vue3)/Object.defineProperty(vue2)const objProxy = new Proxy(obj, {get: function (target, key, receiver) {return Reflect.get(target, key, receiver)},set: function (target, key, newValue, receiver) {Reflect.set(target, key, newValue, receiver)const depend = getDepend(target, key)depend.notify()} }) 正确的依赖收集 我们之前收集依赖的地方是在 watchFn 中： 但是这种收集依赖的方式我们根本不知道是哪一个 key 的哪一个 depend 需要收集依赖； 只能针对一个单独的 depend 对象来添加你的依赖对象； 那么正确的应该是在哪里收集呢？应该在我们调用了 Proxy 的 get 捕获器时 因为如果一个函数中使用了某个对象的 key，那么它应该被收集依赖 / 封装一个响应式函数 /let activeReactviceFn = nullfunction watchFn(fn) {activeReactviceFn = fnfn()activeReactviceFn = null}/ 封装一个获取depend的函数 /const taregtMap = new WeakMap()function getDepend(target, key) {// 根据target对象获取maplet map = taregtMap.get(target)if (!map) {map = new Map()taregtMap.set(target, map)}// 根据key获取depend对象let depend = map.get(key)if (!depend) {depend = new Depend()map.set(key, depend)}return depend}// 监听对象的属性变化：Proxy(vue3)/Object.defineProperty(vue2)const objProxy = new Proxy(obj, {get: function (target, key, receiver) {// 根据 target key 获取对应的 depnedconst depend = getDepend(target, key)// 给 depend 对象中添加响应式函数activeReactviceFn && depend.addDepend(activeReactviceFn)return Reflect.get(target, key, receiver)},set: function (target, key, newValue, receiver) {Reflect.set(target, key, newValue, receiver)const depend = getDepend(target, key)depend.notify()} }) 4.6 对 Depend 重构 两个问题： 问题一：如果函数中有用到两次 key，比如 name，那么这个函数会被收集两次 问题二：我们并不希望将添加 reactiveFn 放到 get 中，因为它是属于 Depend 的行为 所以我们需要对 Depend 类进行重构： 解决问题一的方法：不使用数组，而是使用 Set 解决问题二的方法：添加一个新的方法，用于收集依赖 // 保存当前需要收集的响应式函数let activeReactviceFn = nullclass Depend {constructor() {this.reactiveFns = new Set()}depend() {if (activeReactviceFn) {this.reactiveFns.add(activeReactviceFn)} }addDepend(reactiveFn) {this.reactiveFns.add(reactiveFn)}notify() {this.reactiveFns.forEach((fn) => {fn()})} }// 对象的响应式const obj = {name: 'why', // depend 对象age: 18 // depend 对象}/ 封装一个响应式函数 /function watchFn(fn) {activeReactviceFn = fnfn()activeReactviceFn = null}/ 封装一个获取depend的函数 /const taregtMap = new WeakMap()function getDepend(target, key) {// 根据target对象获取maplet map = taregtMap.get(target)if (!map) {map = new Map()taregtMap.set(target, map)}// 根据key获取depend对象let depend = map.get(key)if (!depend) {depend = new Depend()map.set(key, depend)}return depend}// 监听对象的属性变化：Proxy(vue3)/Object.defineProperty(vue2)const objProxy = new Proxy(obj, {get: function (target, key, receiver) {// 根据 target key 获取对应的 depnedconst depend = getDepend(target, key)// 给 depend 对象中添加响应式函数depend.depend()return Reflect.get(target, key, receiver)},set: function (target, key, newValue, receiver) {Reflect.set(target, key, newValue, receiver)const depend = getDepend(target, key)depend.notify()} })watchFn(function () {console.log(objProxy.name, '--------------')console.log(objProxy.name, '++++++++++++++')})objProxy.name = 'kobe'/ why --------------why ++++++++++++++kobe --------------kobe ++++++++++++++/ 4.7 创建响应式对象 目前的响应式是针对于obj一个对象的，我们可以创建出来一个函数，针对所有的对象都可以变成响应式对象 / 保存当前需要收集的响应式函数 /let activeReactviceFn = null/ 依赖收集类 /class Depend {constructor() {this.reactiveFns = new Set()}depend() {if (activeReactviceFn) {this.reactiveFns.add(activeReactviceFn)} }addDepend(reactiveFn) {this.reactiveFns.add(reactiveFn)}notify() {this.reactiveFns.forEach((fn) => {fn()})} }/ 封装一个响应式函数 /function watchFn(fn) {activeReactviceFn = fnfn()activeReactviceFn = null}/ 封装一个获取depend的函数 /const taregtMap = new WeakMap()function getDepend(target, key) {// 根据target对象获取maplet map = taregtMap.get(target)if (!map) {map = new Map()taregtMap.set(target, map)}// 根据key获取depend对象let depend = map.get(key)if (!depend) {depend = new Depend()map.set(key, depend)}return depend}/ 创建响应式对象函数 /function reactive(obj) {// 监听对象的属性变化：Proxy(vue3)/Object.defineProperty(vue2)return new Proxy(obj, {get: function (target, key, receiver) {// 根据 target key 获取对应的 depnedconst depend = getDepend(target, key)// 给 depend 对象中添加响应式函数depend.depend()return Reflect.get(target, key, receiver)},set: function (target, key, newValue, receiver) {Reflect.set(target, key, newValue, receiver)const depend = getDepend(target, key)depend.notify()} })}const info = reactive({address: '广州市',height: 1.88})watchFn(() => {console.log(info.address, '---')})info.address = '北京市' 4.8 Vue2 响应式原理 前面所实现的响应式的代码，其实就是 Vue3 中的响应式原理： Vue3 主要是通过 Proxy 来监听数据的变化以及收集相关的依赖的 Vue2 中通过 Object.defineProerty的方式来实现对象属性的监听 可以将 reactive 函数进行如下的重构： 在传入对象时，我们可以遍历所有的 key，并且通过属性存储描述符来监听属性的获取和修改 在 setter 和 getter 方法中的逻辑和前面的 Proxy 是一致的 / 保存当前需要收集的响应式函数 /let activeReactviceFn = null/ 依赖收集类 /class Depend {constructor() {this.reactiveFns = new Set()}depend() {if (activeReactviceFn) {this.reactiveFns.add(activeReactviceFn)} }addDepend(reactiveFn) {this.reactiveFns.add(reactiveFn)}notify() {this.reactiveFns.forEach((fn) => {fn()})} }/ 封装一个响应式函数 /function watchFn(fn) {activeReactviceFn = fnfn()activeReactviceFn = null}/ 封装一个获取depend的函数 /const taregtMap = new WeakMap()function getDepend(target, key) {// 根据target对象获取maplet map = taregtMap.get(target)if (!map) {map = new Map()taregtMap.set(target, map)}// 根据key获取depend对象let depend = map.get(key)if (!depend) {depend = new Depend()map.set(key, depend)}return depend}/ 创建响应式对象函数 /function reactive(obj) {Object.keys(obj).forEach((key) => {let value = obj[key]Object.defineProperty(obj, key, {get: function () {const dep = getDepend(obj, key)dep.depend()return value},set: function (newValue) {value = newValueconst dep = getDepend(obj, key)dep.notify()} })})return obj}const info = reactive({address: '广州市',height: 1.88})watchFn(() => {console.log(info.address, '---')})info.address = '北京市' 本篇文章为转载内容。原文链接：https://blog.csdn.net/wanghuan1020/article/details/126774033。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

错误地使用了并发编程 1. 并发编程的迷人陷阱 大家好！今天咱们聊聊Ruby中的并发编程，特别是那些让人头疼的错误用法。嘿，如果你在用Ruby搞开发的话，那肯定对并发编程挺熟悉的吧？这玩意儿就像是编程界的“多头怪兽”，能让程序同时干好多事儿，效率蹭蹭往上涨，简直太酷了！嘿，告诉你，这根魔法棒可不是那么完美无缺的，它其实也有个小缺点呢！只要你稍微一不小心，哎呀，就有可能一脚踩空，掉进坑里啦！ 我曾经也经历过这样的噩梦：一个程序运行得很慢，我以为是硬件问题，结果发现是自己在并发编程上犯了错。嘿，今天咱们就来聊聊那些经常犯的小错吧！我呢，打算用一些接地气的例子，跟大家伙儿一起看看这些错误长啥样，顺便学学怎么躲开它们。毕竟谁也不想踩雷不是？ --- 2. 什么是并发编程？ 简单来说，并发编程就是让程序在同一时间执行多个任务。在Ruby中，我们可以用线程（Thread）来实现这一点。比如说啊，你正在倒腾一堆数据的时候，完全可以把它切成一小块一小块的，然后让每个线程去负责一块，这样一来，效率直接拉满，干活儿的速度蹭蹭往上涨！ 但是，问题来了：并发编程虽然强大，但它并不是万能药。哎呀，经常会有这样的情况呢——自个儿辛辛苦苦改代码，还以为是在让程序变得更好，结果一不小心，又给它整出了新麻烦，真是“好心办坏事”的典型啊！接下来，我们来看几个具体的例子。 --- 3. 示例一 共享状态的混乱 场景描述： 假设你正在开发一个电商网站，需要统计用户的购买记录。你琢磨着干脆让多线程上阵，给这个任务提速，于是打算让每个线程各管一拨用户的活儿，分头行动效率肯定更高！看起来很合理对不对？ 问题出现： 问题是，当你让多个线程共享同一个变量（比如一个全局计数器），事情就开始变得不可控了。Ruby 的线程可不是完全分开的，这就有点像几个人共用一个记事本，大家都能随便写东西上去。结果就是，这本子可能一会儿被这个写点，一会儿被那个划掉，最后你都不知道上面到底写了啥，数据就乱套了。 代码示例： ruby 错误的代码 counter = 0 threads = [] 5.times do |i| threads << Thread.new do 100_000.times { counter += 1 } end end threads.each(&:join) puts "Counter: {counter}" 分析： 这段代码看起来没什么问题，每个线程都只是简单地增加计数器。但实际情况却是，输出的结果经常不是期望的500_000，而是各种奇怪的数字。这就好比说，counter += 1 其实不是一步到位的简单操作，它得先“读一下当前的值”，再“给这个值加1”，最后再“把新的值存回去”。问题是，在这中间的每一个小动作，都可能被别的线程突然插队过来捣乱！ 解决方案： 为了避免这种混乱，我们需要使用线程安全的操作，比如Mutex（互斥锁）。Mutex可以确保每次只有一个线程能够修改某个变量。 修正后的代码： ruby 正确的代码 require 'thread' counter = 0 mutex = Mutex.new threads = [] 5.times do |i| threads << Thread.new do 100_000.times do mutex.synchronize { counter += 1 } end end end threads.each(&:join) puts "Counter: {counter}" 总结： 这一段代码告诉我们，共享状态是一个雷区。如果你非要用共享变量，记得给它加上锁，不然后果不堪设想。 --- 4. 示例二 死锁的诅咒 场景描述： 有时候，我们会遇到更复杂的情况，比如两个线程互相等待对方释放资源。哎呀，这种情况就叫“死锁”，简直就像两只小猫抢一个玩具，谁都不肯让步，结果大家都卡在那里动弹不得，程序也就这样傻乎乎地停在原地，啥也干不了啦！ 问题出现： 想象一下，你有两个线程，A线程需要获取锁X，B线程需要获取锁Y。想象一下，A和B两个人都想打开两把锁——A拿到了锁X，B拿到了锁Y。然后呢，A心想：“我得等B先把他的锁Y打开，我才能继续。”而B也在想：“等A先把她的锁X打开，我才能接着弄。”结果俩人就这么干等着，谁也不肯先放手，最后就成了“死锁”——就像两个人在拔河，谁都不松手，僵在那里啥也干不成。 代码示例： ruby 死锁的代码 lock_a = Mutex.new lock_b = Mutex.new thread_a = Thread.new do lock_a.synchronize do puts "Thread A acquired lock A" sleep(1) lock_b.synchronize do puts "Thread A acquired lock B" end end end thread_b = Thread.new do lock_b.synchronize do puts "Thread B acquired lock B" sleep(1) lock_a.synchronize do puts "Thread B acquired lock A" end end end thread_a.join thread_b.join 分析： 在这段代码中，两个线程都在尝试获取两个不同的锁，但由于它们的顺序不同，最终导致了死锁。运行这段代码时，你会发现程序卡住了，没有任何输出。 解决方案： 为了避免死锁，我们需要遵循“总是按照相同的顺序获取锁”的原则。比如，在上面的例子中，我们可以强制让所有线程都先获取锁A，再获取锁B。 修正后的代码： ruby 避免死锁的代码 lock_a = Mutex.new lock_b = Mutex.new thread_a = Thread.new do [lock_a, lock_b].each do |lock| lock.synchronize do puts "Thread A acquired lock {lock.object_id}" end end end thread_b = Thread.new do [lock_a, lock_b].each do |lock| lock.synchronize do puts "Thread B acquired lock {lock.object_id}" end end end thread_a.join thread_b.join 总结： 死锁就像一只隐形的手，随时可能掐住你的喉咙。记住，保持一致的锁顺序是关键！ --- 5. 示例三 不恰当的线程池 场景描述： 线程池是一种管理线程的方式，它可以复用线程，减少频繁创建和销毁线程的开销。但在实际使用中，很多人会因为配置不当而导致性能下降甚至崩溃。 问题出现： 假设你创建了一个线程池，但线程池的大小设置得不合理。哎呀，这就好比做饭时锅不够大，菜都堆在那儿煮不熟，菜要是放太多呢，锅又会冒烟、潽得到处都是，最后饭也没做好。线程池也一样，太小了任务堆成山，程序半天没反应；太大了吧，电脑资源直接被榨干，啥事也干不成，还得收拾烂摊子！ 代码示例： ruby 线程池的错误用法 require 'thread' pool = Concurrent::FixedThreadPool.new(2) 20.times do |i| pool.post do sleep(1) puts "Task {i} completed" end end pool.shutdown pool.wait_for_termination 分析： 在这个例子中，线程池的大小被设置为2，但有20个任务需要执行。哎呀，这就好比你请了个帮手，但他一次只能干两件事，其他事儿就得排队等着，得等前面那两件事儿干完了，才能轮到下一件呢！这种情况下，整个程序的执行时间会显著延长。 解决方案： 为了优化线程池的性能，我们需要根据系统的负载情况动态调整线程池的大小。可以使用Concurrent::CachedThreadPool，它会根据当前的任务数量自动调整线程的数量。 修正后的代码： ruby 使用缓存线程池 require 'concurrent' pool = Concurrent::CachedThreadPool.new 20.times do |i| pool.post do sleep(1) puts "Task {i} completed" end end sleep(10) 给线程池足够的时间完成任务 pool.shutdown pool.wait_for_termination 总结： 线程池就像一把双刃剑，用得好可以提升效率，用不好则会成为负担。记住，线程池的大小要根据实际情况灵活调整。 --- 6. 示例四 忽略异常的代价 场景描述： 并发编程的一个常见问题是，线程中的异常不容易被察觉。如果你没有妥善处理这些异常，程序可能会因为一个小错误而崩溃。 问题出现： 假设你有一个线程在执行某个操作时抛出了异常，但你没有捕获它，那么整个线程池可能会因此停止工作。 代码示例： ruby 忽略异常的代码 threads = [] 5.times do |i| threads << Thread.new do raise "Error in thread {i}" if i == 2 puts "Thread {i} completed" end end threads.each(&:join) 分析： 在这个例子中，当i == 2时，线程会抛出一个异常。哎呀糟糕！因为我们没抓住这个异常，程序直接就挂掉了，别的线程啥的也别想再跑了。 解决方案： 为了防止这种情况发生，我们应该在每个线程中添加异常捕获机制。比如，可以用begin-rescue-end结构来捕获异常并进行处理。 修正后的代码： ruby 捕获异常的代码 threads = [] 5.times do |i| threads << Thread.new do begin raise "Error in thread {i}" if i == 2 puts "Thread {i} completed" rescue => e puts "Thread {i} encountered an error: {e.message}" end end end threads.each(&:join) 总结： 异常就像隐藏在暗处的敌人，稍不注意就会让你措手不及。学会捕获和处理异常，是成为一个优秀的并发编程者的关键。 --- 7. 结语 好了，今天的分享就到这里啦！并发编程确实是一项强大的技能，但也需要谨慎对待。大家看看今天这个例子，是不是觉得有点隐患啊？希望能引起大家的注意，也学着怎么避开这些坑，别踩雷了！ 最后，我想说的是，编程是一门艺术，也是一场冒险。每次遇到新挑战，我都觉得像打开一个神秘的盲盒，既兴奋又紧张。不过呢，光有好奇心还不够，还得有点儿耐心，就像种花一样，得一点点浇水施肥，不能急着看结果。相信只要我们不断学习、不断反思，就一定能写出更加优雅、高效的代码！ 祝大家编码愉快！

在深入探讨了海量数据处理的基本方法后，我们了解到，随着数字化进程的加速和互联网技术的发展，大数据已经成为各行各业不可或缺的资源。近年来，国内外许多企业和研究机构不断突破海量数据处理的技术瓶颈，实现了更高效的数据挖掘与分析。 例如，在2022年，Apache Spark社区发布了Spark 3.2版本，进一步优化了其对大规模数据处理的能力，特别是对结构化、半结构化数据的支持更加完善，通过Catalyst优化器的升级以及动态分区剪枝等新特性，有效提升了处理海量数据时的性能表现。 此外，Google公司近期发布的关于Bloom Filter的新研究成果，揭示了一种新型布隆过滤器变体——Counting Bloom Filter with Carry Sketches（CBCS），能够在保持较低错误率的同时，更精准地统计大规模数据集中元素出现的次数，为解决海量数据判重问题提供了新的解决方案。 同时，针对分布式环境下数据存储与计算的需求，Hadoop生态系统的组件如HDFS和YARN也在持续演进中，以适应实时流处理、机器学习等新兴应用场景。而诸如Kafka、Flink等流处理框架的兴起，也为海量数据的实时分析提供了强大支持。 不仅如此，学术界对于Trie树、Bitmap等数据结构的研究也在不断深入，结合新型硬件如SSD、GPU等进行并行优化，使得这些经典数据结构在现代海量数据处理场景下焕发新生。未来，随着量子计算和边缘计算等前沿技术的发展，海量数据处理的方法将更加丰富多元，效率也将有质的飞跃。 综上所述，海量数据处理技术正以前所未有的速度发展和完善，从理论研究到工程实践，各类创新技术和解决方案层出不穷，为大数据时代的数据价值挖掘奠定了坚实基础。广大读者可以通过关注最新的科研成果、行业报告和技术博客，深入了解这一领域的发展趋势和应用案例，以便更好地应对和解决实际工作中的海量数据挑战。

...进行非法篡改。 中断处理 , 中断处理是操作系统内核实现的一种重要机制，用于响应来自硬件或软件的各种事件。当CPU检测到如输入输出完成、计时器溢出、错误条件等中断事件时，会暂时停止当前正在执行的程序，并转而去执行预先设定好的中断服务例程（ISR）。在文章中，通过中断处理机制，操作系统能够在应用程序试图执行特权指令或侵犯内核空间时，及时切断其执行，并重新获得对CPU的控制权，从而保障系统的安全稳定运行。 特权指令 , 特权指令是在计算机体系结构中只能由操作系统内核或者处于特定特权模式下的程序执行的一类特殊指令。这类指令通常涉及到诸如访问和修改关键系统资源（如内存管理、中断控制器、任务调度等）的操作。在本文的上下文中，如果用户态的应用程序尝试执行特权指令，系统将触发中断，防止非授权访问内核资源，确保操作系统底层的安全性不受侵害。

...改头像，因为之前没有处理过类似的问题，本文主要记录对头像的处理过程以及思考，希望给碰到类似问题的苦逼程序员一点借鉴。 个人中心整体功能一览 2，头像处理xmind 叽歪一句，个人碰到问题的时候，首先会分析问题，在分析问题的基础上，得到整体的解决方案，然后一步步分解步骤，去实现，首先奉上我的解决方案，也许不是最优的，但是按照个人的知识和技能水平，绝对是可以实现的。 修改头像mind 3,实现步骤 按照我的mind，首先是上传图片，先上效果图，然后给出实现的代码。首先是整体的结构图，做的比较丑，别喷哥··· 修改头像整体效果图 下面按照mind一步步实现， 首先：点击修改头像，弹出一个层， 第一步：弹出上传图片的层，上传图片到服务器 对实现细节不感冒的屌丝可以看看代码(结合哥的mind看可以事半功倍)： 分层实现细节 Html结构层这个可以免了，一般都可以弄出来 Js连接层 首先是弹出一个上传图片的层，然后上传图片到服务器端。 $("editHead").bind("click", function () { showUploadDiv(); }); function showUploadDiv() { $("uploadMsg").empty(); $.fancybox({ type:'inline', width:400, href:'uploadUserHead' }); }//fancybox弹出层 上传的处理代码 Servlet服务端处理层(commonupload实现)服务器端处理代码 上传的处理代码 $(function () { $("uploadFrom").ajaxForm({ beforeSubmit:checkImg, error:function(data,status){ alert(status+' , '+data); $("uploadMsg").html('上传文件超过1M!'); }, success:function (data,status) { try{ var msg = $.parseJSON(data); if (msg.code == 200) { //如果成功提交 javascript:$.fancybox.close(); $("uploadUserHead").hide(); var data = msg.object; $("editImg").attr("src", data.path).show(); $("preview1").attr("src", data.path).show(); $(".zoom").show(); $("width").val(data.width); $("height").val(data.height); $("oldImgPath").val(data.realPath); $("imgFileExt").val(data.fileExt); var api, jcrop_api, boundx, boundy; $('editImg').Jcrop({ onChange:updatePreview, onSelect:updatePreview, aspectRatio:1, bgOpacity:0.5, bgColor:'white', addClass:'jcrop-light' }, function () { api = this; api.setSelect([130, 65, 130 + 350, 65 + 285]); api.setOptions({ bgFade:true }); api.ui.selection.addClass('jcrop-selection'); var bounds = this.getBounds(); boundx = bounds[0]; boundy = bounds[1]; jcrop_api = this; }); function updatePreview(c) { if (parseInt(c.w) > 0) { var rx = 80 / c.w; var ry = 80 / c.h; $('preview1').css({ width:Math.round(rx boundx) + 'px', height:Math.round(ry boundy) + 'px', marginLeft:'-' + Math.round(rx c.x) + 'px', marginTop:'-' + Math.round(ry c.y) + 'px' }); } jQuery('x').val(c.x); jQuery('y').val(c.y); jQuery('x2').val(c.x2); jQuery('y2').val(c.y2); jQuery('w').val(c.w); jQuery('h').val(c.h); } } if (msg.code == 204) { $("uploadMsg").html(msg.msg); } }catch (e){ $("uploadMsg").html('上传文件超过1M!'); } } }); }); //服务器端处理代码 String tempSavePath = ConfigurationUtils.get("user.resource.dir"); //上传的图片零时保存路径 String tempShowPath = ConfigurationUtils.get("user.resource.url"); //用户保存的头像路径 if(tempSavePath.equals("/img")) { tempSavePath=sc.getRealPath("/")+tempSavePath; } Msg msg = new Msg(); msg.setCode(204); msg.setMsg("上传头像失败！"); String type = request.getParameter("type"); if (!Strings.isNullOrEmpty(type) && type.equals("first")) { request.setCharacterEncoding("utf-8"); DiskFileItemFactory factory = new DiskFileItemFactory(); ServletFileUpload servletFileUpload = new ServletFileUpload(factory); try { List items = servletFileUpload.parseRequest(request); Iterator iterator = items.iterator(); while (iterator.hasNext()) { FileItem item = (FileItem) iterator.next(); if (!item.isFormField()) { { File tempFile = new File(item.getName()); File saveTemp = new File(tempSavePath+"/tempImg/"); String getItemName=tempFile.getName(); String fileName = UUID.randomUUID()+"." +getItemName.substring(getItemName.lastIndexOf(".") + 1, getItemName.length()); File saveDir = new File(tempSavePath+"/tempImg/", fileName); //如果目录不存在，创建。 if (saveTemp.exists() == false) { if (!saveTemp.mkdir()) { // 创建失败 saveTemp.getParentFile().mkdir(); saveTemp.mkdir(); } else { } } if (saveDir.exists()) { log.info("存在同名文件···"); saveDir.delete(); } item.write(saveDir); log.info("上传头像成功!"+saveDir.getName()); msg.setCode(200); msg.setMsg("上传头像成功!"); Image image = new Image(); BufferedImage bufferedImage = null; try { bufferedImage = ImageIO.read(saveDir); } catch (IOException e) { e.printStackTrace(); } image.setHeight(bufferedImage.getHeight()); image.setWidth(bufferedImage.getWidth()); image.setPath(tempShowPath+ "/tempImg/" + fileName); log.info(image.getPath()); image.setRealPath(tempSavePath+"/tempImg/"+ fileName); image.setFileExt(fileName.substring(fileName.lastIndexOf(".") + 1, fileName.length())); msg.setObject(image); } } else { log.info("" + item.getFieldName()); } } } catch (Exception ex) { log.error("上传用户头像图片异常!"); ex.printStackTrace(); } finally { AppHelper.returnJsonAjaxForm(response, msg); } } 上传成功后，可以看到照片和照片的预览效果。看图： 上传头像之后的效果 Friday, October 05, 2012 第二步：编辑和保存头像 选中图中的区域，保存头像，就完成头像的修改。 修改之后的效果入下： 修改之后的头像(因为传了一张动态图片，得到的跟上图有些不同) 实现细节： 首先用了一个js控件：Jcrop，有兴趣的屌丝可以去搜一下，然后，利用上传之后的图片和之前的选定区域，完成了一个截图，保存为用户的头像。 连接层的js： $("saveHead").bind("click", function () { var width = $("width").val(); var height = $("height").val(); var oldImgPath = $("oldImgPath").val(); var imgFileExt = $("imgFileExt").val(); var x = $('x').val(); var y = $('y').val(); var w = $('w').val(); var h = $('h').val(); $.ajax({ url:'/imgCrop', type:'post', data:{x:x, y:y, w:w, h:h, width:width, height:height, oldImgPath:oldImgPath, fileExt:imgFileExt}, datatype:'json', success:function (msg) { if (msg.code == 200) { $("avatar").attr("src", msg.object); forword('/nav', 'index'); } else { alert(msg.msg); } } }); }); function checkImg() { //限制上传文件的大小和后缀名 var filePath = $("input[name='uploadImg']").val(); if (!filePath) { $("uploadMsg").html("请选择上传文件!").show(); return false; } else { var extStart = filePath.lastIndexOf("."); var ext = filePath.substring(extStart, filePath.length).toUpperCase(); if (ext != ".PNG" && ext != ".GIF" && ext != ".JPG") { $("uploadMsg").html("图片限于png,gif,jpg格式!").show(); return false; } } return true; } 服务器端处理代码： String savePath = ConfigurationUtils.get("user.resource.dir"); //上传的图片保存路径 String showPath = ConfigurationUtils.get("user.resource.url"); //显示图片的路径 if(savePath.equals("/img")) { savePath=sc.getRealPath("/")+savePath; } int userId = AppHelper.getUserId(request); String userName=AppHelper.getUserName(request); Msg msg = new Msg(); msg.setCode(204); msg.setMsg("剪切图片失败！"); if (userId <= 0) { msg.setMsg("请先登录"); return; } // 用户经过剪辑后的图片的大小 Integer x = (int)Float.parseFloat(request.getParameter("x")); Integer y = (int)Float.parseFloat(request.getParameter("y")); Integer w = (int)Float.parseFloat(request.getParameter("w")); Integer h = (int)Float.parseFloat(request.getParameter("h")); //获取原显示图片路径 和大小 String oldImgPath = request.getParameter("oldImgPath"); Integer width = (int)Float.parseFloat(request.getParameter("width")); Integer height = (int)Float.parseFloat(request.getParameter("height")); //图片后缀 String imgFileExt = request.getParameter("fileExt"); String foldName="/"+ DateUtils.nowDatetoStrToMonth()+"/"; String imgName = foldName + UUID.randomUUID()+userName + "." + imgFileExt; //组装图片真实名称 String createImgPath = savePath + imgName; //进行剪切图片操作 ImageCut.abscut(oldImgPath,createImgPath, xwidth/300, yheight/300, wwidth/300, hheight/300); File f = new File(createImgPath); if (f.exists()) { msg.setObject(imgName); //把显示路径保存到用户信息下面。 UserService userService = userServiceProvider.get(); int rel = userService.updateUserAvatar(userId, showPath+imgName); if (rel >= 1) { msg.setCode(200); msg.setMsg("剪切图片成功!"); log.info("剪切图片成功!"); //记录日志，更新session log(showPath+imgName,userName); UserObject userObject= userService.getUserObject(userName); request.getSession().setAttribute("userObject", userObject); if (userObject != null && Strings.isNullOrEmpty(userObject.getHeadDir())) userObject.setHeadDir("/images/geren_right_01.jpg"); } else { msg.setCode(204); msg.setMsg("剪切图片失败!"); log.info("剪切图片失败!"); } } AppHelper.returnJson(response, msg); File file=new File(oldImgPath); boolean deleteFile= file.delete(); if(deleteFile==true) { log.info("删除原来图片成功"); } / 图像切割(改) @param srcImageFile 源图像地址 @param dirImageFile 新图像地址 @param x 目标切片起点x坐标 @param y 目标切片起点y坐标 @param destWidth 目标切片宽度 @param destHeight 目标切片高度 / public static void abscut(String srcImageFile, String dirImageFile, int x, int y, int destWidth, int destHeight) { try { Image img; ImageFilter cropFilter; // 读取源图像 BufferedImage bi = ImageIO.read(new File(srcImageFile)); int srcWidth = bi.getWidth(); // 源图宽度 int srcHeight = bi.getHeight(); // 源图高度 if (srcWidth >= destWidth && srcHeight >= destHeight) { Image image = bi.getScaledInstance(srcWidth, srcHeight, Image.SCALE_DEFAULT); // 改进的想法:是否可用多线程加快切割速度 // 四个参数分别为图像起点坐标和宽高 // 即: CropImageFilter(int x,int y,int width,int height) cropFilter = new CropImageFilter(x, y, destWidth, destHeight); img = Toolkit.getDefaultToolkit().createImage(new FilteredImageSource(image.getSource(), cropFilter)); BufferedImage tag = new BufferedImage(destWidth, destHeight, BufferedImage.TYPE_INT_RGB); Graphics g = tag.getGraphics(); g.drawImage(img, 0, 0, null); // 绘制缩小后的图 g.dispose(); // 输出为文件 ImageIO.write(tag, "JPEG", new File(dirImageFile)); } } catch (Exception e) { e.printStackTrace(); } } 最后一个处理的比较好的地方就是图片的存储路径问题： 我在服务器端的nginx中做了一个图片的地址映射，把图片放到了跟程序不同的路径中，每次存储图片都是存到图片路径中，客户端拿到图片的地址确实经过nginx映射过的地址。 还有就是关于限制上传图片的大小的问题： 我在服务器端显示了资源的最大大小为1M，当上传的资源超过1M，服务器自动报错413，通过异常处理，可以在客户端得到正确的提示信息。 4，总结优点和不足。 关于修改头像，这么做下来确实达到了目的，用户可以从容的修改头像，性能也还可以。但是，上传图片的大小判断是依靠服务器端来判断的，等待的时间比较久，改进的方向是使用flash控件来限制，使用flash来上传，也不会出现弹出层，这样比较大众化，更容易为用户接受一点。我会不断改进。 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_39849287/article/details/111489534。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。