首页 建站模板下载 JQuery插件下载 转载文章 HTML CSS Javascript Java Python
新用户注册入口 老用户登录入口
取 消 登录 注册
Golang MySQL Mongo Redis Kafka SpringBoot Linux Docker VUE ReactJS
前端技术
HTML CSS Javascript
前端框架和UI库
VUE ReactJS AngularJS JQuery NodeJS JSON Element-UI Bootstrap Material UI
服务端和客户端
Java Python PHP Golang Scala Kotlin Groovy Ruby Lua .net c# c++
后端WEB和工程框架
SpringBoot SpringCloud Struts2 MyBatis Hibernate Tornado Beego Go-Spring Go Gin Go Iris Dubbo HessianRPC Maven Gradle
数据库
MySQL Oracle Mongo
中间件与web容器
Redis MemCache Etcd Cassandra Kafka RabbitMQ RocketMQ ActiveMQ Nacos Consul Tomcat Nginx Netty
大数据技术
Hive Impala ClickHouse DorisDB Greenplum PostgreSQL HBase Kylin Hadoop Apache Pig ZooKeeper SeaTunnel Sqoop Datax Flink Spark Mahout
数据搜索与日志
ElasticSearch Apache Lucene Apache Solr Kibana Logstash
数据可视化与OLAP
Apache Atlas Superset Saiku Tesseract
系统与容器
Linux Shell Docker Kubernetes

[--net host模式在Docker中...]的搜索结果

这里是文章列表。热门标签的颜色随机变换，标签颜色没有特殊含义。
点击某个标签可搜索标签相关的文章。
高频率迭代 sudo Dubbo Java 持续部署 并发消费 手风琴特效 svg 终止信号 数据交换 排他锁 幻灯片 图片放大镜 产品创新 数据共享 数据结构 网站建设 焦点样式 滚动新闻 单向数据流 服装商城 数据安全性 红色 跨域问题 访问不稳定 数据一致性 基本命令 Web开发 数据竞争 调试器
转载文章
[转载]WebService的简单实现
...blog.csdn.net/iteye_9368/article/details/82520401。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 WebService的简单实现 一、socket主机创建和使用过程 1、socket()//创建套接字 2、Setsockopt()//将套接字属性设置为允许和特定地点绑定 3、Bind()//将套接字绑定特定地址端口 4、Listen()//打开监听端口属性 以下重复进行 5、Accept()//接收客户端的连接请求 6、Read()//从客户端读数据 7、Write()//将处理好的结果发送给客户端 二、HTTP传输协议 基于socket的TCP通信，按HTTP传输协议格式化传输内容。 示例： 1、客户端发送HTTP请求 GET/txt?hal=1000HTTP/1.1 Host:localhost:1024 User-Agent:Mozilla/5.0(X11;Linuxi686;rv:2.0)Gecko/20100101Firefox/4.0 Accept:text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8 Accept-Language:zh-cn,zh;q=0.5 Accept-Encoding:gzip,deflate Accept-Charset:GB2312,utf-8;q=0.7,;q=0.7 Keep-Alive:115 Connection:keep-alive GET:发送HTTP请求的方法，还可以是SET或者POST /txt?hal=1000是请求根目录下的txt文件内容并传入参数hal=1000 HTTP/1.1表示HTTP版本是1.1 2、服务端传回HTTP响应 HTTP/1.0200OK Server:ReageWebServer Content-Type:text/html <!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Strict//EN""http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <htmlxmlns="http://www.w3.org/1999/xhtml"> <!--Copyright(c)2000-2008QuadralayCorporation.Allrightsreserved.--> <head> <title>WebWorksHelp5.0</title> </head> <body>wuff</body> </html> 前面四行（包括空行）是消息体，后面是消息。一般要指明消息体的长度，方便客户端的接收处理。 三、示例程序 ====================================================================== / 主要实现功能，处理浏览器的get请求信息，发送网页文件。处理404、403等错误。 1.实现绑定本机机器的1024端口作为ReageWeb服务提供网页服务的端口。（避免与机器上装有web服务器产生端口冲突） 2.实现get获取网页方式。 3.实现index.html作为网站的首页面 作者：Reage blog:http://blog.csdn.net/rentiansheng / include<stdio.h> include<stdlib.h> include<string.h> include<sys/types.h> include<sys/socket.h> include<sys/un.h> include<netinet/in.h> include<arpa/inet.h> include<fcntl.h> include<string.h> include<sys/stat.h> include<signal.h> defineMAX1024 intres_socket; voidapp_exit(); / @description:开始服务端监听 @parameter ip:web服务器的地址 port：web服务器的端口 @result：成功返回创建socket套接字标识，错误返回-1 / intsocket_listen(charip,unsignedshortintport){ intres_socket;//返回值 intres,on; structsockaddr_inaddress; structin_addrin_ip; res=res_socket=socket(AF_INET,SOCK_STREAM,0); setsockopt(res_socket,SOL_SOCKET,SO_REUSEADDR,&on,sizeof(on)); memset(&address,0,sizeof(address)); address.sin_family=AF_INET; address.sin_port=htons(port); address.sin_addr.s_addr=htonl(INADDR_ANY);//inet_addr("127.0.0.1"); res=bind(res_socket,(structsockaddr)&address,sizeof(address)); if(res){printf("portisused,nottorepeatbind\n");exit(101);}; res=listen(res_socket,5); if(res){printf("listenportiserror;\n");exit(102);}; returnres_socket; } / @description:向客户端发送网页头文件的信息 @parameter conn_socket:套接字描述符。 status:http协议的返回状态码。 @s_status:http协议的状态码的含义 @filetype:向客户端发送的文件类型 / voidsend_http_head(intconn_socket,intstatus,chars_status,charfiletype){ charbuf[MAX]; memset(buf,0,MAX); sprintf(buf,"HTTP/1.0%d%s\r\n",status,s_status); sprintf(buf,"%sServer:ReageWebServer\r\n",buf); sprintf(buf,"%sContent-Type:%s\r\n\r\n",buf,filetype); write(conn_socket,buf,strlen(buf)); } / @description:向客户端发送错误页面信息 @parameter conn_socket:套接字描述符。 status:http协议的返回状态码。 @s_status:http协议的状态码的含义 @filetype:向客户端发送的文件类型 @msg:错误页面信息内容 / voidsend_page_error(intconn_socket,intstatus,chars_status,charmsg){ charbuf[MAX]; sprintf(buf,"<html><head></head><body><h1>%s</h1><hr>ReageWebServer0.01</body></head>",msg); send_http_head(conn_socket,status,s_status,"text/html"); write(conn_socket,buf,strlen(buf)); } / @description:向客户端发送文件 @parameter conn_socket:套接字描述符。 @file:要发送文件路径 / intsend_html(intconn_socket,charfile){ intf; charbuf[MAX]; inttmp; structstatfile_s; //如果file为空，表示发送默认主页。主页暂时固定 if(0==strlen(file)){ strcpy(file,"index.html"); } //如果获取文件状态失败，表示文件不存的，发送404页面，暂时404页面内容固定。 if(stat(file,&file_s)){ send_page_error(conn_socket,404,"Notfound","Notfound<br/>Reagedoesnotimplementthismothod\n"); return0; } //如果不是文件或者无读权限，发送无法读取文件 if(!(S_ISREG(file_s.st_mode))||!(S_IRUSR&file_s.st_mode)){ send_page_error(conn_socket,403,"Forbidden","Forbidden<br/>Reagecouldn'treadthefile\n"); return0; } //发送头文件，现在只提供html页面 send_http_head(conn_socket,200,"OK","text/html"); f=open(file,O_RDONLY); if(0>f){ //打开文件失败，发送404页面，其实感觉发送5xx也可以的，服务器内部错误 send_page_error(conn_socket,404,"Notfound","Notfound<br/>Reagecouldn'treadthefile\n"); return0; } buf[MAX-1]=0;//将文件内容缓冲区最后的位设置位结束标志。 //发送文件的内容 while((tmp=read(f,buf,MAX-1))&&EOF!=tmp){ write(conn_socket,buf,strlen(buf)); } } / @description:提取url中可用的信息。访问的网页和数据访问方式 @parameter： conn_socket:与客户端链接的套接字 uri:要处理的url，注意不是浏览器中的url，而是浏览器发送的http请求 @resutl： / intdo_uri(intconn_socket,charuri){ charp; p=strchr(uri,'?'); if(p){p=0;p++;} send_html(conn_socket,uri); } voidulog(charmsg){} voidprint(charmsg){ ulog(msg); printf(msg); } intmain(intargc,charargv[]){ intconn_socket; inttmp; intline; structsockaddr_inclient_addr; charbuf[MAX]; intlen=sizeof(client_addr); charmethod[100],uri[MAX],version[100]; charpwd[1024]; res_socket=socket_listen("127.0.0.1",1024); //当按ctrl+c结束程序时调用，使用app_exit函数处理退出过程 signal(SIGINT,app_exit); while(1){ conn_socket=accept(res_socket,(structsockaddr)&client_addr,&len); printf("reage\n"); line=0; //从客户端获取请求信息 while(0==(tmp=read(conn_socket,buf,MAX-1))||tmp!=EOF){ buf[MAX-1]=0; break;//我只使用了第一行的请求信息，所以丢弃其他的信息 } //send_http_head(conn_socket,200,"text/html"); sscanf(buf,"%s%s%s",method,uri,version); //目前只处理get请求 if(!strcasecmp(method,"get")) //send_html(conn_socket,"h.html"); do_uri(conn_socket,uri+1); close(conn_socket); } } voidapp_exit(){ //回复ctrl+c组合键的默认行为 signal(SIGINT,SIG_DFL); //关闭服务端链接、释放服务端ip和端口 close(res_socket); printf("\n"); exit(0); } ====================================================================== 本篇文章为转载内容。原文链接：https://blog.csdn.net/iteye_9368/article/details/82520401。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-05-30 18:31:58
90
转载
转载文章
[转载]程序员入门编程，看这10本书，少走10年弯路，java二级教学视频
...Python编程，并应用于Web开发、数据可视化等多个热门领域，具有极强的时效性和实用性。 同时，针对近年来愈发重要的数据结构与算法领域，LeetCode等在线平台提供了大量实时更新的题目和详尽解析，为《算法导论》的学习者们提供了丰富的实战演练机会。众多科技公司也将LeetCode上的刷题成果视为衡量程序员技术水平的重要标准之一。 另外，在云计算、容器化技术大行其道的今天，《Docker in Action》成为了深入理解容器技术和实践DevOps理念的必备读物。它不仅介绍了Docker的基础操作，更探讨了如何利用Docker实现持续集成、微服务架构设计等前沿议题。 此外，随着人工智能与机器学习热潮的兴起，《Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow》成为许多想入门AI领域的读者首选。此书通过实例教学，使读者能迅速掌握使用Python进行机器学习模型构建与应用部署。 综上所述，结合经典书籍与最新技术趋势的延伸阅读，能够帮助学习者拓宽视野、增强技能，更好地应对日新月异的计算机科学技术挑战。
2023-12-11 11:49:14
119
转载
转载文章
[转载]Linux时间校准（ntpdate及NTP客户端代码校准示例）
...blog.csdn.net/weixin_46935110/article/details/129683157。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 背景 机器每次机启后时间就会出现异常，因为机器无法访问外网，只能访问局域网的ntp服务，所以需要保证局域网内部有ntp服务，如何安装ntp服务，参考Ubuntu20.04 Ntp服务安装及验证。 网络时间协议Network Time Protocol(NTP) 是一种确保时钟保持准确的方法。如果可以访问互联网，只需安装ntp的客户端软件到互联网上的公共ntp服务器自动修正时间即可 一、系统时间和硬件时间 Linux在默认情况下，系统时间和硬件时间并不会自动同步。而是以异步的方式运行，互不干扰。其中硬件时间的运行，是靠Bios电池来维持，而系统时间，是用CPU 时钟来维持的。 在系统开机的时候，会自动从Bios中取得硬件时间，设置为系统时间。 1.1 date命令 用来查看和设置系统时间 date 查看系统当前时间sudo date -s "2023-03-18 11:16:10" 修改系统时间为 "xxxx-xx-xx xx:xx:xx"===============================================================================nvidia@nvidia-desktop:~$ dateВт мар 18 11:16:27 +08 2023nvidia@nvidia-desktop:~$nvidia@nvidia-desktop:~$nvidia@nvidia-desktop:~$ sudo date -s "2023-03-18 11:16:10"[sudo] password for nvidia:Вт мар 18 11:16:10 +08 2023nvidia@nvidia-desktop:~$ 硬件时间的设置，可以用hwclock 1.2 hwclock 命令 查看当前硬件时间 注意：hwclock 所有命令需要使用root 权限 nvidia@nvidia-desktop:~$ hwclockhwclock: Cannot access the Hardware Clock via any known method.hwclock: Use the --debug option to see the details of our search for an access method.nvidia@nvidia-desktop:~$nvidia@nvidia-desktop:~$nvidia@nvidia-desktop:~$ sudo hwclock2023-03-21 11:18:49.607690+0800nvidia@nvidia-desktop:~$ 将系统时间同步到硬件时间 hwclock -w 将硬件时间同步到系统时间 hwclock -s 二、不同机器间时间同步 为了避免主机时间因为长期运作下所导致的时间偏差，进行时间同步(synchronize)的工作是非常必要的。Linux系统下，一般使用ntp服务器来同步不同机器的时间。一台机器，可以同时是ntp服务器和ntp客户机。 2.1 ntpdate命令实现 ntpdate 安装： yum install ntpdate -y Centos系统======================================sudo apt install ntpdate Ubuntu系统 时间同步 sudo ntpdate -u cn.pool.ntp.org18 Mar 18:25:22 ntpdate[18673]: adjust time server 84.16.73.33 offset 0.015941 sec 使用ntpdate 只是强制将系统时间设置为ntp服务器时间，如果cpu tick有问题，时间还是会不准。所以，一般配合cron命令，来进行定期同步设置。比如，在crontab中添加： sudo crontab -e0 12 /usr/sbin/ntpdate 192.168.10.110 上述命令的意思是：每天的12点整，从192.168.10.110 ntp服务器同步一次时间（前提是 192.168.10.110有ntp服务）。 2.2 Ntp客户端代码实现 本质上还是创建socket连接去获取ntp服务的时间与本地时间比较，不一致修改本机时间即可。 NtpClient.h //// Created by lwang on 2023-03-18.//ifndef NTP_CLIENT_Hdefine NTP_CLIENT_Hinclude <stdio.h>include <stdlib.h>include <string.h>include <time.h>include <iostream>include <unistd.h>include <sys/select.h>include <sys/time.h>include <sys/socket.h>include <arpa/inet.h>include <netdb.h>include <errno.h>include <endian.h>include <map>include <string>include <mutex>using namespace std;define NTP_LI 0define NTP_VERSION_NUM 3define NTP_MODE_CLIENT 3define NTP_MODE_SERVER 4define NTP_STRATUM 0define NTP_POLL 4define NTP_PRECISION -6define NTP_MIN_LEN 48define NTP_SERVER_PORT 123define NTP_SERVER_ADDR "119.28.183.184"define TIMEOUT 2define BUFSIZE 1500define JAN_1970 0x83aa7e80define NTP_CONV_FRAC32(x) (uint64_t)((x) ((uint64_t)1 << 32))define NTP_REVE_FRAC32(x) ((double)((double)(x) / ((uint64_t)1 << 32)))define NTP_CONV_FRAC16(x) (uint32_t)((x) ((uint32_t)1 << 16))define NTP_REVE_FRAC16(x) ((double)((double)(x) / ((uint32_t)1 << 16)))define USEC2FRAC(x) ((uint32_t)NTP_CONV_FRAC32((x) / 1000000.0))define FRAC2USEC(x) ((uint32_t)NTP_REVE_FRAC32((x)1000000.0))define NTP_LFIXED2DOUBLE(x) ((double)(ntohl(((struct l_fixedpt )(x))->intpart) - JAN_1970 + FRAC2USEC(ntohl(((struct l_fixedpt )(x))->fracpart)) / 1000000.0))struct s_fixedpt{uint16_t intpart;uint16_t fracpart;};struct l_fixedpt{uint32_t intpart;uint32_t fracpart;};struct ntphdr{if __BYTE_ORDER == __BID_ENDIANunsigned int ntp_li : 2;unsigned int ntp_vn : 3;unsigned int ntp_mode : 3;endifif __BYTE_ORDER == __LITTLE_ENDIANunsigned int ntp_mode : 3;unsigned int ntp_vn : 3;unsigned int ntp_li : 2;endifuint8_t ntp_stratum;uint8_t ntp_poll;int8_t ntp_precision;struct s_fixedpt ntp_rtdelay;struct s_fixedpt ntp_rtdispersion;uint32_t ntp_refid;struct l_fixedpt ntp_refts;struct l_fixedpt ntp_orits;struct l_fixedpt ntp_recvts;struct l_fixedpt ntp_transts;};class NtpClient {public:NtpClient();virtual ~NtpClient();void GetNtpTime(std::string &ntpTime);in_addr_t HostTransfer(const char host);int PaddingNtpPackage(void buf, size_t size);double GetOffset(const struct ntphdr ntp, const struct timeval recvtv);private:int m_sockfd;};endif / NTP_CLIENT_H / NtpClient.cpp //// Created by lwang on 2023-03-18.//include "NtpClient.h"NtpClient::NtpClient() { }NtpClient::~NtpClient() {}in_addr_t NtpClient::HostTransfer(const char host){in_addr_t saddr;struct hostent hostent;if ((saddr = inet_addr(host)) == INADDR_NONE){if ((hostent = gethostbyname(host)) == NULL){return INADDR_NONE;}memmove(&saddr, hostent->h_addr, hostent->h_length);}return saddr;}int NtpClient::PaddingNtpPackage(void buf, size_t size) // 构建并发送NTP请求报文{if (!size)return -1;struct ntphdr ntp;struct timeval tv;memset(buf, 0, BUFSIZE);ntp = (struct ntphdr )buf;ntp->ntp_li = NTP_LI;ntp->ntp_vn = NTP_VERSION_NUM;ntp->ntp_mode = NTP_MODE_CLIENT;ntp->ntp_stratum = NTP_STRATUM;ntp->ntp_poll = NTP_POLL;ntp->ntp_precision = NTP_PRECISION;gettimeofday(&tv, NULL); // 把目前的时间用tv 结构体返回ntp->ntp_transts.intpart = htonl(tv.tv_sec + JAN_1970);ntp->ntp_transts.fracpart = htonl(USEC2FRAC(tv.tv_usec));size = NTP_MIN_LEN;return 0;}double NtpClient::GetOffset(const struct ntphdr ntp, const struct timeval recvtv) // 偏移量{double t1, t2, t3, t4;t1 = NTP_LFIXED2DOUBLE(&ntp->ntp_orits);t2 = NTP_LFIXED2DOUBLE(&ntp->ntp_recvts);t3 = NTP_LFIXED2DOUBLE(&ntp->ntp_transts);t4 = recvtv->tv_sec + recvtv->tv_usec / 1000000.0;return ((t2 - t1) + (t3 - t4)) / 2;}void NtpClient::GetNtpTime(std::string &ntpTime){char buffer[64] = {0};char cmd[128] = {0};tm local;char buf[BUFSIZE];size_t nbytes;int maxfd1;struct sockaddr_in servaddr;fd_set readfds;struct timeval timeout, recvtv, tv;double offset;servaddr.sin_family = AF_INET;servaddr.sin_port = htons(NTP_SERVER_PORT);servaddr.sin_addr.s_addr = HostTransfer(NTP_SERVER_ADDR);if ((m_sockfd = socket(AF_INET, SOCK_DGRAM, 0)) < 0){perror("socket error");return ;}if (connect(m_sockfd, (struct sockaddr )&servaddr, sizeof(struct sockaddr)) != 0){perror("connect error");return ;}nbytes = BUFSIZE;if (PaddingNtpPackage(buf, &nbytes) != 0){fprintf(stderr, "construct ntp request error \n");exit(-1);}send(m_sockfd, buf, nbytes, 0);FD_ZERO(&readfds);FD_SET(m_sockfd, &readfds);maxfd1 = m_sockfd + 1;timeout.tv_sec = TIMEOUT;timeout.tv_usec = 0;if (select(maxfd1, &readfds, NULL, NULL, &timeout) > 0){if (FD_ISSET(m_sockfd, &readfds)){if ((nbytes = recv(m_sockfd, buf, BUFSIZE, 0)) < 0){perror("recv error");exit(-1);}// 计算C/S时间偏移量gettimeofday(&recvtv, NULL);offset = GetOffset((struct ntphdr )buf, &recvtv);gettimeofday(&tv, NULL);tv.tv_sec += (int)offset;tv.tv_usec += offset - (int)offset;local = localtime((time_t )&tv.tv_sec);strftime(buffer, 64, "%Y-%m-%d %H:%M:%S", local);ntpTime = std::string(buffer);} }return ;} main.cpp include "NtpClient.h"int main(){std::string ntpTime = "";char curBuf[64] = {0};struct timeval cur;tm local;NtpClient client;client.GetNtpTime(ntpTime);cout << "ntpTime: " << ntpTime << endl;gettimeofday(&cur, NULL);local = localtime((time_t )&cur.tv_sec);strftime(curBuf, 64, "%Y-%m-%d %H:%M:%S", local);std::string curTime = std::string(curBuf);cout << "curTime: " << curTime << endl;if (curTime != ntpTime){cout << "start time calibrate!" << endl;std::string cmd = "sudo date -s \"" + ntpTime + "\"";system(cmd.c_str());cout << "cmd: " << cmd << endl;}else{cout << "time seem" << endl;}return 0;} 推荐一个零声学院免费教程，个人觉得老师讲得不错， 分享给大家：[Linux，Nginx，ZeroMQ，MySQL，Redis， fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker， TCP/IP，协程，DPDK等技术内容，点击立即学习: 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_46935110/article/details/129683157。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-03-01 12:56:47
112
转载
转载文章
[转载]libnids分析（9）---nids.h注释
...blog.csdn.net/xieqb/article/details/7681968。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 ifndef _NIDS_NIDS_H define _NIDS_NIDS_H define NIDS_MAJOR 1 / 主版本号 / define NIDS_MINOR 20 / 次版本号 / include <sys/types.h> enum { NIDS_WARN_IP = 1, / 表示 IP 数据包异常 / NIDS_WARN_TCP, / 表示 TCP 数据包异常 / NIDS_WARN_UDP, / 表示 UDP 数据包异常 / NIDS_WARN_SCAN / 表示有扫描攻击发生 / }; enum { NIDS_WARN_UNDEFINED = 0, / 表示未定义 / NIDS_WARN_IP_OVERSIZED, / 表示 IP 数据包超长 / NIDS_WARN_IP_INVLIST, / 表示无效的碎片队列 / NIDS_WARN_IP_OVERLAP, / 表示发生重叠 / NIDS_WARN_IP_HDR, / 表示无效 IP首部 ,IP 数据包发生异常 / NIDS_WARN_IP_SRR, / 表示源路由 IP数据包 / NIDS_WARN_TCP_TOOMUCH, / 表示 TCP 数据个数太多 , 因为在Libnids 中在同一时刻捕获的TCP 个数最大值为 TCP 连接参数的哈西表长度的 3/4/ NIDS_WARN_TCP_HDR, / 表示无效 TCP首部 ,TCP 数据包发生异常 / NIDS_WARN_TCP_BIGQUEUE, / 表示 TCP 接受的队列数据过多 / NIDS_WARN_TCP_BADFLAGS / 表示错误标记 / }; /Libnids 状态描述的是连接的逻辑状态, 真正的 TCP 连接状态有 11种 . TCP_ESTABLISHED TCP 连接建立 , 开始传输数据 TCP_SYN_SEND 主动打开 TCP_SYN_RECV 接受 SYN TCP_FIN_WAIT1 TCP_FIN_WAIT2 TCP_TIME_WAIT TCP_CLOSE TCP_CLOSE_WAIT TCP_LAST_ACK TCP_LISTEN TCP_CLOSING / define NIDS_JUST_EST 1 / 表示 TCP 连接建立 , 在此状态下就可以决定是否对此TCP 连接进行数据分析 , 可以决定是否捕获 TCP客户端接收的数据 ,TCP 服务端接收的数据 ,TCP 客户端接收的紧急数据或者TCP 客户端接收的紧急数据 / define NIDS_DATA 2 / 表示接收数据的状态 ,在这个状态可以判断是否有新的数据到达 ,如果有就可以把数据存储起来 , 可以在这个状态之中来分析 TCP 传输的数据 , 此数据就存储在half_stream 数据接口的缓存之中/ define NIDS_CLOSE 3 / 表示 TCP 连接正常关闭 / define NIDS_RESET 4 / 表是 TCP 连接被重置关闭 / define NIDS_TIMED_OUT 5 / 表示由于超时 TCP连接被关闭 / define NIDS_EXITING 6 / 表示 Libnids正在退出 , 在这个状态下可以最后一次使用存储在 half_stream 数据结构中的缓存数据 / / 校验和 / define NIDS_DO_CHKSUM 0 / 表示告诉 Libnids要计算校验和 / define NIDS_DONT_CHKSUM 1 / 表示告诉 Libnids不要计算校验和 / struct tuple4 / 描述一个地址端口对 , 它表示发送发IP 和端口以及接收方 IP 和端口 , 适用 TCP,UDP/ { u_short source; / 源 IP 地址的端口号/ u_short dest; / 目的 IP 地址的端口号/ u_int saddr; / 源 IP 地址 / u_int daddr; / 目的 IP 地址 / }; struct half_stream / 描述在 TCP 连接中一端的所有信息, 可以是客户端 , 也可以是服务端 / { char state; / 表示套接字的状态 , 也就是TCP 的状态 / char collect; / 可以表示有数据到达 , 此数据存放在data 成员中 , 也可以表示不存储此数据到 data中 , 此数据忽略 . 如果大于0 就存储 , 否则就忽略 / char collect_urg; / 可以表示有紧急数据到达 , 此数据就存放在urgdata 中 , 也可以表示不存储此数据到 urgdata中 , 此速数据忽略 . 如果大于0 就存储 , 否则就忽略 / char data; / 用户存储正常接受到的数据 / int offset; / 表示存储在 data 中数据的第一个字节的偏移量/ int count; / 表示从 TCP 连接开始已经存储到data 中的数据的字节数 / int count_new; / 有多少新的数据存储到 data 中, 如果为 0, 则表示没有新的数据到达 / int bufsize; int rmem_alloc; int urg_count; / 用来存储紧急数据 / u_int acked; u_int seq; u_int ack_seq; u_int first_data_seq; u_char urgdata; //存储紧急数据 u_char count_new_urg; / 表示有新的紧急数据到达 , 如果为0 表示没有新的紧急数据 / u_char urg_seen; //新的urg数据，不是以前重复的数据 u_int urg_ptr;/指向urg在流中的位置/ u_short window; u_char ts_on; u_char wscale_on; u_int curr_ts; u_int wscale; struct skbuff list; struct skbuff listtail; }; struct tcp_stream / 描述一个 TCP 连接的所有信息/ { struct tuple4 addr; char nids_state; struct lurker_node listeners; struct half_stream client; / 表示客户端信息 / struct half_stream server; / 表示服务端信息 / struct tcp_stream next_node; struct tcp_stream prev_node; int hash_index; struct tcp_stream next_time; struct tcp_stream prev_time; int read; struct tcp_stream next_free; }; struct nids_prm / 描述了 Libnids 的一些全局参数信息/ { int n_tcp_streams; / 表示哈西表大小 , 此哈西表用来存放tcp_stream 数据结构 , 默认值 1040.在同一时刻 Libnids 捕获的 TCP 数据包的最大个数必须是此参数值的3/4/ int n_hosts; / 表示哈西表的大小 , 此哈西表用来存储IP 碎片信息的 , 默认值为 256/ char device; / 表示网络接口 ,Libnids 将在此网络接口上捕获数据, 默认值为 NULL. 这样 Libnids将使用 pcap_lookupdev来查找可以用的网络接口 . 如果其值为 all, 表示捕获所有网络接口的数据/ char filename; / 表示用来存储网络数据的捕获文件 , 此文件的类型必须与 Libpcap 类型一致 , 如果设置了文件, 与此同时就应该设置 device 为 NULL,默认值为 NULL/ int sk_buff_size; / 表示的是数据接口 sk_buff 的大小 .sk_buff 是Linux 内核中一个重要的数据结构, 是用来进行数据包排队操作的 , 默认值为 168/ int dev_addon; / 表示在数据结构 sk_buff 中用于网络接口上信息的字节数. 如果是 -1( 默认值 ),那么 Libnids 会根据不同的网络接口进行修正 / void (syslog) (); / 是一个函数指针 , 默认值为nids_syslog() 函数 . 在 syslog函数中可以检测入侵攻击 , 如网络扫描攻击 , 也可以检测一些异常情况, 如无效 TCP 标记 / int syslog_level; / 表示日志等级 , 默认值是LOG_ALERT/ int scan_num_hosts; / 表示一个哈西表的大小 ,( 此哈西表用来存储端口扫描信息) 表示 Libnids 将要检测的同时扫描的端口数据 . 如果其值为 0,Libnids将不提供端口扫描功能 . 默认值 256/ int scan_delay; / 表示在扫描检测中 , 俩端口扫描的间隔时间, 以毫秒来计算 , 缺省值为 3000/ int scan_num_ports; / 表示相同源地址必须扫描的 TCP 端口数目 , 默认值为10/ void (no_mem) (char ); / 是一个函数指针 , 当Libnids 发生内存溢出时被调用/ int (ip_filter) (); / 是一个函数指针 , 此函数可以用来分析IP 数据包 , 当有 IP 数据包到达时 , 此函数就被调用. 如果此函数返回非零值 , 此数据包就被处理 ;如果返回零 , 此 IP 数据包就被丢弃. 默认值为 nids_ip_filter 函数 , 总是返回 1./ char pcap_filter; / 表示过滤规则 , 即Libpcap 的过滤规则 , 默认值为 NULL,表示捕获所有数据包 . 可以在此设置过滤规则 , 只捕获感兴趣的开发包/ int promisc; / 表示网卡模式 , 如果是非零, 就把此网卡设置为混杂模式 ; 否则 , 设为非混杂模式 . 默认值为1/ int one_loop_less; / 初始值为 0/ int pcap_timeout; / 表示捕获数据返回的时间 , 以毫秒计算. 实际上它表示的就是 Libpcap 函数中的 pcap_open_live函数的 timeout 参数 , 默认值 1024/ }; / 返回值 : 调用成功返回 1,失败返回 0 参 数 : 无 功 能 : 对 Libnids 初始化, 这是所有设计基于 Libnids 的程序最开始调用的函数 . 它的主要内容包括打开网络接口 , 打开文件 , 编译过滤规则 , 判断网络链路层类型, 进行必要的初始化工作 / int nids_init (void); / 返回值 : 无 参 数 : 回调函数名字 功 能 : 注册一个能够检测所有 IP 数据包的回调函数, 包括 IP 碎片 .e.g nids_register_ip_frag(ip_frag_function); void ip_frag_function(struct ip a_packet,int len) a_packet 表示接收的IP 数据包 len 表示接收的数据包长度 此回调函数可以检测所有的IP 数据包 , 包括 IP 碎片 / void nids_register_ip_frag (void ()); // / 返回值 : 无 参 数 : 回调函数名字 功 能 : 注册一个回调函数 , 此回调函数可以接收正常的IP 数据包 .e.g nids_register_ip_frag(ip_frag_function); void ip_frag_function(struct ip a_packet) a_packet 表示接收的IP 数据包 此回调函数可以接收正常的IP 数据包 , 并在此函数中对捕获数到的 IP数据包进行分析 . / void nids_register_ip (void ()); // / 返回值 : 无 参 数 : 回调函数 功 能 : 注册一个 TCP 连接的回调函数. 回调函数的类型定义如下 : void tcp_callback(struct tcp_stream ns,void param) ns 表示一个TCP 连接的所有信息 , param 表示要传递的参数信息 , 可以指向一个 TCP连接的私有数据 此回调函数接收的TCP 数据存放在 half_stream 的缓存中 , 应该马上取出来 ,一旦此回调函数返回 , 此数据缓存中存储的数据就不存在 了 .half_stream 成员 offset描述了被丢弃的数据字节数 . 如果不想马上取出来 , 而是等到存储一定数量的数据之后再取出来, 那么可 以使用函数nids_discard(struct tcp_stream ns, int num_bytes)来处理 . 这样回调函数返回时 ,Libnids 将丢弃缓存数据之前 的 num_bytes 字节的数据 .如果不调用 nids_discard()函数 , 那么缓存数据的字节应该为 count_new 字节 . 一般情况下, 缓存中的数据 应该是count-offset 字节 / void nids_register_tcp (void ()); / 返回值 : 无 参 数 : 回调函数 功 能 : 注册一个分析 UDP 协议的回调函数, 回调函数的类型定义如下 : void udp_callback(struct tuple4 addr,char buf,int len,struct ip iph) addr 表示地址端口信息buf 表示 UDP 协议负载的数据内容 len表是 UDP 负载数据的长度 iph 表示一个IP 数据包 , 包括 IP 首部 ,UDP 首部以及UDP 负载内容 / void nids_register_udp (void ()); / 返回值 : 无 参 数 : 表示一个 TCP 连接 功 能 : 终止 TCP 连接 . 它实际上是调用 Libnet的函数进行构造数据包 , 然后发送出去 / void nids_killtcp (struct tcp_stream ); / 返回值 : 无 参 数 : 参数 1 一个 TCP 连接 参数 2 个数 功 能 : 丢弃参数 2 字节 TCP 数据 , 用于存储更多的数据 / void nids_discard (struct tcp_stream , int); / 返回值 : 无 参 数 : 无 功 能 : 运行 Libnids, 进入循环捕获数据包状态. 它实际上是调用 Libpcap 函数 pcap_loop()来循环捕获数据包 / void nids_run (void); / 返回值 : 调用成功返回文件描述符 ,失败返回 -1 参 数 : 无 功 能 : 获得文件描述符号 / int nids_getfd (void); / 返回值 : 调用成功返回个数 ,失败返回负数 参 数 : 表示捕获数据包的个数 功 能 : 调用 Libpcap 中的捕获数据包函数pcap_dispatch() / int nids_dispatch (int); / 返回值 : 调用成功返回 1,失败返回 0 参 数 : 无 功 能 : 调用 Libpcap 中的捕获数据包函数pcap_next() / int nids_next (void); extern struct nids_prm nids_params; /libnids.c定以了一个全部变量 , 其定义和初始值在 nids_params/ extern char nids_warnings[]; extern char nids_errbuf[]; extern struct pcap_pkthdr nids_last_pcap_header; struct nids_chksum_ctl { / 描述的是计算校验和 , 用于决定是否计算校验和/ u_int netaddr; / 表示地址 / u_int mask; / 表示掩码 / u_int action; / 表示动作 , 如果是NIDS_DO_CHKSUM, 表示计算校验和; 如果是 NIDS_DONT_CHKSUM, 表示不计算校验和 / u_int reserved; / 保留未用 / }; / 返回值 : 无 参 数 : 参数 1 表示 nids_chksum_ctl 列表 参数 2 表示列表中的个数 功 能 : 决定是否计算校验和 . 它是根据数据结构nids_chksum_ctl 中的action 进行决定的 , 如果所要计算的对象不在列表中 , 则必须都要计算校验和 / extern void nids_register_chksum_ctl(struct nids_chksum_ctl , int); endif / _NIDS_NIDS_H / 本篇文章为转载内容。原文链接：https://blog.csdn.net/xieqb/article/details/7681968。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-02-08 17:36:31
306
转载
转载文章
[转载]Windows Knowledge
...blog.csdn.net/zoosenpin/article/details/118596813。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 1 GRUB简介 1.1 MBR和PBR MBR分为GRUB.MBR和DOS.MBR。 由于硬盘上扇区从偏移0到偏移62属于同一个磁道0，虽然DOS.MBR仅占用一个扇区，但是需要将DOS.MBR后面的偏移1到偏移62保留，所以磁盘上第一个分区的第一个扇区是从偏移63开始的。fbinst软件会保留1-16064扇区，等于硬盘1个柱面的大小255 x 63 x 512 = 8MB，所以第一个分区是从扇区16065开始的。 USB-ZIP和USB-FDD会将U盘的第一个扇区格式化成DOS.PBR而不是DOS.MBR。 USB-FDD和USB-ZIP的来历：软盘的容量小，没有分区结构，所以软盘是没有MBR的，整个软盘只有一个分区，第一个扇区就是PBR；FDD和ZIP模式在DOS下启动后U盘的盘符是A。 1.2 GRUB - GRUB又叫OS Loader；在Android系统上，kernelflinger是OS Loader的一个EFI应用 - GRUB镜像组成：GRUB.MBR（boot.img）, 硬盘扇区offset 1 到offset 62放置GRUB的core.img，/boot分区的boot/grub/grub.cfg 1.3 创建USB-FDD或者USB-ZIP格式U盘步骤 1）Android上：dd if=/dev/zero of=/dev/block/sda bs=512 count=4 2）Windows上：快速格式化该U盘，这个U盘就只有PBR扇区而没有MBR扇区 2 Windows安装 2.1 BIOS设置 进入BIOS设置，一般有Del、Enter、Esc等键。 2.2 Windows ISO刻录方法 Windows上的Universal USB Installer工具软件：刻录操作系统ISO文件到U盘 Linux下将操作系统ISO文件刻录到U盘：dd if=xxx.iso of=/dev/sda 注意使用的是整个磁盘，所以用的是sda而不是sda1 2.3 Windows GHO镜像安装方法 - 比较常见 1) 制作PE启动U盘 2) 下载Windows ISO镜像后（番茄花园），解压出来，里面包含GHO文件，拷贝到PE启动U盘的GHO文件夹（或者提前将文件.gho拷贝入待装系统的电脑D盘根目录）。 3) 插入PE启动U盘到电脑USB 2.0口，选择从U盘启动，启动到PE界面后，选ghost方式安装，ghost镜像的后缀名.gho。 2.4 Printer 1）HP LaserJet M1005 MFP 2）Nantian PR9 并口-OKI仿真驱动 2.5 Disable Driver Signature bcdedit /set testsigning on bcdedit /set testsigning off 3 Windows网络 3.1 CMD方式配置IP地址 :: netsh: Network Shell @echo off if [%1] == [] ( echo "Usage:" echo "WIN_IP.bat static" echo "WIN_IP.bat dhcp" echo "WIN_IP.bat speed" goto :EOF ) if %1 == static ( call :static_ip ) else if %1 == dhcp ( call :dhcp_ip ) else if %1 == speed ( call :nic_speed ) goto :EOF :: get interface name, use the following command :: getmac /V /FO LIST :static_ip set name="Ethernet" set ip=192.168.0.100 set mask=255.255.255.0 :: gwmetric=1 echo "setting static ip address..." netsh interface ipv4 set address %name% static %ip% %mask% none 1 :: netsh interface ipv4 set dns %name% static 114.114.114.114 :: netsh interface ipv4 add dns %name% 8.8.8.8 goto :EOF :dhcp_ip set name="Ethernet" echo "setting dhcp..." netsh interface ipv4 set address %name% dhcp netsh interface ipv4 set dns %name% dhcp goto :EOF :nic_speed wmic NIC where NetEnabled=true get Name, Speed 3.2 DNS查询流程 1) 现有的DNS缓存 ipconfig /displaydns 2) 查询hosts文件 C:\Windows\System32\drivers\etc\hosts 3) 请求发往DNS服务器 ipconfig /all 3.3 firewall appwiz.cpl msconfig wf.msc Inbound Rules and Outbound Rules Enable 4 File and Printer Sharing (Echo Request - ICMPv4-Out) netsh advfirewall firewall add rule name="UDP ports" protocol=UDP dir=in localport=8080 action=allow https://github.com/DynamoRIO/drmemory/wiki/Downloads 3.4 Multicast - Windows组播client需要使用setsockopt()设置IP_ADD_MEMBERSHIP（加入指定的组播组）才能接收组播server发送的数据。 - 组播MAC地址是指第一个字节的最低位是1的MAC地址。 - 组播MAC地址的前3个字节固定为01:00:5e，后3个字节使用组播IP的后23位。例如239.192.255.251的MAC地址为01:00:5e:40:ff:fb。 - Windows 10 Wireshark要抓取SOME/IP组播报文，需要使用SocketTool工具监听239.192.255.251:30490，然后Wireshark才会显示组播报文，否则不显示（Windows netmon不需要任何设置，就可以抓到全部报文）。 netsh interface ip show joins Win 10 PowerShell: Get-NetAdapter | Format-List -Property ifAlias,PromiscuousMode In Linux, map IP addr to multicast MAC is function ip_eth_mc_map(), kernel eventually calls driver ndo_set_rx_mode() to set multicast MAC to NIC RX MAC filter table. 3.5 NAT 查看当前机器的NAT端口代理表： netsh interface portproxy show all 1) 第三方软件PortTunnel。 2) ICS（Internet Connection Sharing）是NAT的简化版。 3) showcase: USB Reverse Tethering 3.6 route命令用法 route [-f] [-p] [command [destination] [mask netmask] [gateway] [metric metric] [if interface]] route print ::增加一条到192.168.0.10/24网络的路由，网关是192.168.0.1，最后一个if参数是数字，可以使用route print查询，类似于Android的NetId。 route add 192.168.0.0 mask 255.255.255.0 192.168.0.1 metric 1 if 11 ::删除192.168.0.10这条路由 route delete 192.168.0.0 3.7 VLAN PowerShell Get-NetAdapter PowerShell Set-NetAdapterAdvancedProperty -Name \"Ethernet 3\" -DisplayName \"VLAN ID\" -DisplayValue 24 PowerShell Reset-NetAdapterAdvancedProperty -Name \"Ethernet 3\" -DisplayName \"VLAN ID\" 3.8 WiFi AP 1) get password netsh wlan show profiles netsh wlan show profiles name="FAST_ABCD" key=clear 2) enable Soft AP netsh wlan show drivers ::netsh wlan set hostednetwork mode=allow netsh wlan set hostednetwork mode=allow ssid=myWIFI key=12345678 netsh wlan start hostednetwork ::netsh wlan stop hostednetwork 3.9 Malicious software Task Manager Find process name, open file location, remove xxx.exe, rename empty xxx.txt to xxx.exe 4 Office 4.1 Excel Insert Symbol More Symbols Wingdings 2 4.2 Outlook 4.2.1 邮箱清理 点击 自己的邮件名字 Data File Properties（数据文件属性） Folder Size（文件夹大小） Server Data（服务器数据） 从左下角“导航选项”中切换到“日历” View（视图） Change View（更改视图） List（列表） 删除“日历”中过期的项目。 Calendar (Left Bottom) - View (Change View to Calendar) - Choose Menu Month 4.2.2 TCAM filter rule Home - ... - Rules - Create Rule (Manage Rules & Alerts) - Title 4.3 Powerpoint画图 插入 - > 形状 Insert - > Shapes 4.4 Word 升级目录 [References][Update Table] 5 Sprax EA 5.1 Basic Design - Toolbox Message/Argument/Return Value Publish - Save - Save to Clipboard 5.2 Advanced Copy/Paste - Copy to Clipboard - Full Structure for Duplication Copy/Paste - Paste Package from Clipboard 6 USB Win7 CMD: wmic path Win32_PnPSignedDriver | find "Android" wmic path Win32_PnPSignedDriver | find "USB" :: similar to Linux lsusb wmic path Win32_USBControllerDevice get Dependent 7 Abbreviations CAB: Capacity Approval Board NPcap: Nmap Packet Capture wmic: Windows Management Instrumentation Command-line 本篇文章为转载内容。原文链接：https://blog.csdn.net/zoosenpin/article/details/118596813。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-09-10 16:27:10
270
转载
转载文章
[转载]tvm在linux环境下的安装与编译及vscode如何配置tvm的远程连接调试环境
...blog.csdn.net/qq_42730750/article/details/126723224。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 文章目录 前言 1. 安装TVM 1.1 下载源码 1.2 创建虚拟环境及安装依赖库 1.3 编译TVM源码 1.4 验证安装是否成功 2. 配置vscode 3. 安装FFI Navigator 结束语 前言   本篇文章介绍一下 tvm 在linux环境下的安装与编译，以及如何使用vscode来配置tvm的远程连接调试环境。   所需软硬件环境： 环境 版本 local system windows 10 service system ubuntu 18.04 tvm latest(0.9.dev0) python(conda) python 3.8.13 local IDE vscode 1. 安装TVM 1.1 下载源码 从github上拉取源码git clone --recursive https://github.com/apache/tvm tvm --recursive指令：由于tvm依赖了很多第三方的开源库(子模块) 加入该参数之后也将相应的子模块一起进行clone 或者直接下载源码https://tvm.apache.org/download 1.2 创建虚拟环境及安装依赖库   使用conda创建tvm的虚拟python环境，python版本为3.8，虚拟环境名为tvmenv： conda create -n tvmenv python=3.8   编辑tvm目录下的conda/build-environment.yaml文件： conda/build-environment.yaml Build environment that can be used to build tvm.name: tvmenv The conda channels to lookup the dependencieschannels:- anaconda- conda-forge 将name的值改为刚刚创建的虚拟环境名tvmenv   执行下面的指令，将构建tvm所需的环境依赖更新到当前虚拟环境中： conda env update -f conda/build-environment.yaml conda env update -n tvmenv -f conda/build-environment.yaml 设置完之后需要重新deactivate/activate对环境进行激活 如果上述命令执行较慢，可以将conda换成国内源（建议使用北京外国语大学的开源镜像站）：参考连接 然后修改conda/build-environment.yaml文件： channels:- defaults - anaconda - conda-forge   安装python依赖库： pip install decorator tornado psutil 'xgboost<1.6.0' cloudpickle -i https://pypi.tuna.tsinghua.edu.cn/simple 如果使用onnx或者pytorch作为原始模型，则还需要安装相应的依赖库pip install onnx onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simplepip install torch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 -i https://pypi.tuna.tsinghua.edu.cn/simple   在当前虚拟环境中添加用于tvm debug的环境变量： conda env config vars set TVM_LOG_DEBUG="ir/transform.cc=1,relay/ir/transform.cc=1" conda env config vars set TVM_LOG_DEBUG="ir/transform.cc=1,relay/ir/transform.cc=1" -n tvmenv 设置完之后需要重新deactivate/activate对环境进行激活是环境变量生效   使用这种方式设置环境变量的好处是：只有当前环境被激活(conda activate)时，自定义设置的环境变量才起作用，当conda deactivate后自定义的环境变量会自动清除。   当然，也可以更简单粗暴一些： export TVM_LOG_DEBUG="ir/transform.cc=1,relay/ir/transform.cc=1"   在当前虚拟环境中添加用于tvm python的环境变量： export TVM_HOME=your tvm pathexport PYTHONPATH=$TVM_HOME/python:${PYTHONPATH} 1.3 编译TVM源码   如果linux上没有安装C/C++的编译环境，需要进行安装： 更新软件apt-get update 安装apt-get install build-essential 安装cmakeapt-get install cmake   在tvm目录下创建build文件夹，并将cmake/config.cmake文件复制到此文件夹中： mkdir buildcp cmake/config.cmake build/   编辑build/config.cmake进行相关配置： 本次是在cpu上进行测试，因此没有配置cudaset(USE_LLVM ON) line 136set(USE_RELAY_DEBUG ON) line 285(建议先 OFF) 在末尾添加一个cmake的编译宏，确保编译出来的是debug版本set(CMAKE_BUILD_TYPE Debug)   编译tvm，这里开启了16个线程： cd buildcmake ..make -j 16 建议开多个线程，否则编译速度很慢哦   大约5分钟，即可生成我们需要的两个共享链接库：libtvm.so 和 libtvm_runtime.so 1.4 验证安装是否成功   tvm版本验证： import tvmprint(tvm.__version__)   pytorch模型验证： from_pytorch.py https://tvm.apache.org/docs/how_to/compile_models/from_pytorch.html ps: TVM supports PyTorch 1.7 and 1.4. Other versions may be unstable.import tvmfrom tvm import relayfrom tvm.contrib.download import download_testdataimport numpy as np PyTorch importsimport torchimport torchvision Load a pretrained PyTorch model -------------------------------model_name = "resnet18"model = getattr(torchvision.models, model_name)(pretrained=True) or model = torchvision.models.resnet18(pretrained=True) or pth_file = 'resnet18-f37072fd.pth' model = torchvision.models.resnet18() ckpt = torch.load(pth_file) model.load_state_dict(ckpt)model = model.eval() We grab the TorchScripted model via tracinginput_shape = [1, 3, 224, 224]input_data = torch.randn(input_shape)scripted_model = torch.jit.trace(model, input_data).eval() Load a test image ----------------- Classic cat example!from PIL import Image img_url = "https://github.com/dmlc/mxnet.js/blob/main/data/cat.png?raw=true" img_path = download_testdata(img_url, "cat.png", module="data")img_path = 'cat.png'img = Image.open(img_path).resize((224, 224)) Preprocess the image and convert to tensorfrom torchvision import transformsmy_preprocess = transforms.Compose([transforms.Resize(256),transforms.CenterCrop(224),transforms.ToTensor(),transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),])img = my_preprocess(img)img = np.expand_dims(img, 0) Import the graph to Relay ------------------------- Convert PyTorch graph to Relay graph. The input name can be arbitrary.input_name = "input0"shape_list = [(input_name, img.shape)]mod, params = relay.frontend.from_pytorch(scripted_model, shape_list) Relay Build ----------- Compile the graph to llvm target with given input specification.target = tvm.target.Target("llvm", host="llvm")dev = tvm.cpu(0)with tvm.transform.PassContext(opt_level=3):lib = relay.build(mod, target=target, params=params) Execute the portable graph on TVM --------------------------------- Now we can try deploying the compiled model on target.from tvm.contrib import graph_executordtype = "float32"m = graph_executor.GraphModule(lib["default"](dev)) Set inputsm.set_input(input_name, tvm.nd.array(img.astype(dtype))) Executem.run() Get outputstvm_output = m.get_output(0) Look up synset name ------------------- Look up prediction top 1 index in 1000 class synset. synset_url = "".join( [ "https://raw.githubusercontent.com/Cadene/", "pretrained-models.pytorch/master/data/", "imagenet_synsets.txt", ] ) synset_name = "imagenet_synsets.txt" synset_path = download_testdata(synset_url, synset_name, module="data") https://raw.githubusercontent.com/Cadene/pretrained-models.pytorch/master/data/imagenet_synsets.txtsynset_path = 'imagenet_synsets.txt'with open(synset_path) as f:synsets = f.readlines()synsets = [x.strip() for x in synsets]splits = [line.split(" ") for line in synsets]key_to_classname = {spl[0]: " ".join(spl[1:]) for spl in splits} class_url = "".join( [ "https://raw.githubusercontent.com/Cadene/", "pretrained-models.pytorch/master/data/", "imagenet_classes.txt", ] ) class_name = "imagenet_classes.txt" class_path = download_testdata(class_url, class_name, module="data") https://raw.githubusercontent.com/Cadene/pretrained-models.pytorch/master/data/imagenet_classes.txtclass_path = 'imagenet_classes.txt'with open(class_path) as f:class_id_to_key = f.readlines()class_id_to_key = [x.strip() for x in class_id_to_key] Get top-1 result for TVMtop1_tvm = np.argmax(tvm_output.numpy()[0])tvm_class_key = class_id_to_key[top1_tvm] Convert input to PyTorch variable and get PyTorch result for comparisonwith torch.no_grad():torch_img = torch.from_numpy(img)output = model(torch_img) Get top-1 result for PyTorchtop1_torch = np.argmax(output.numpy())torch_class_key = class_id_to_key[top1_torch]print("Relay top-1 id: {}, class name: {}".format(top1_tvm, key_to_classname[tvm_class_key]))print("Torch top-1 id: {}, class name: {}".format(top1_torch, key_to_classname[torch_class_key])) 2. 配置vscode   安装两个vscode远程连接所需的两个插件，具体如下图所示：   安装完成之后，在左侧工具栏会出现一个图标，点击图标进行ssh配置： ssh yourname@yourip -A   然后右键选择在当前窗口进行连接：   除此之外，还可以设置免费登录，具体可参考这篇文章。   当然，也可以使用windows本地的WSL2，vscode连接WSL还需要安装WSL和Dev Containers这两个插件。   在服务器端执行code .会自动安装vscode server，安装位置在用户的根目录下： 3. 安装FFI Navigator   由于TVM是由Python和C++混合开发，且大多数的IDE仅支持在同一种语言中查找函数定义，因此对于跨语言的FFI 调用，即Python跳转到C++或者C++跳转到Python，vscode是做不到的。虽然解决这个问题在技术上可能非常具有挑战性，但我们可以通过构建一个与FFI注册码模式匹配并恢复必要信息的项目特定分析器来解决这个问题，FFI Navigator就这样诞生了，作者仍然是陈天奇博士。   安装方式如下： 建议使用源码安装git clone https://github.com/tqchen/ffi-navigator.git 安装python依赖cd ffi-navigator/pythonpython setyp.py install   vscode需要安装FFI Navigator插件，直接搜索安装即可(安装到服务器端)。   最后需要在.vscode/setting.json进行配置，内容如下： {"python.analysis.extraPaths": ["${workspaceFolder}/python"], // 添加额外导入路径, 告诉pylance自定义的python库在哪里"ffi_navigator.pythonpath": "/home/liyanpeng/anaconda3/envs/tvmenv/bin/python", // 配置FFI Navigator"python.defaultInterpreterPath": "/home/liyanpeng/anaconda3/envs/tvmenv/bin/python","files.associations": {"type_traits": "cpp","fstream": "cpp","thread": "cpp",".tcc": "cpp"} }   更详细内容可以参考项目链接。 结束语   对于vscode的使用技巧及C/C++相关的配置，这里不再详细的介绍了，感兴趣的小伙伴们可以了解下。 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_42730750/article/details/126723224。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-12-12 20:04:26
87
转载
转载文章
[转载]基于SSM的手表商城系统设计与实现
...ring Boot、Docker和Kubernetes等技术重构电商平台，以提升系统性能、增强可扩展性和保障高可用性。 例如，阿里巴巴集团在其最新的“双11”大促中，通过全链路压测技术和分布式数据库解决方案，确保了包括腕表在内的各类商品交易系统的稳定运行。同时，针对用户个性化需求日益增强的趋势，大数据分析与AI推荐算法也被广泛应用在电商平台中，精准推送用户可能感兴趣的商品，优化购物体验。 另外，在法律层面，《个人信息保护法》等相关法律法规的出台，对电商交易系统收集、存储和使用用户信息提出了更严格的要求。开发者在设计腕表交易系统时，不仅要注重功能完备和技术先进，更要充分考虑数据安全与隐私保护，合规地处理用户数据，以满足法规要求并赢得用户的信任。 此外，对于交易系统的安全性问题，区块链技术也逐渐成为解决支付环节信任难题的新方案。一些创新型企业正尝试将区块链技术融入到腕表等奢侈品交易中，实现从源头到终端的全程追溯，确保商品的真实性，并为消费者提供更加透明、安全的交易环境。 综上所述，随着现代信息技术的快速发展，腕表交易系统的设计与实现需要紧跟时代步伐，不断吸收新技术、新理念，以适应市场变化及满足用户需求，同时也需时刻关注相关法律法规的更新，确保系统的合法性与合规性。
2023-03-21 18:24:50
66
转载
转载文章
[转载]我的十年程序员生涯
...blog.csdn.net/hollis_chuang/article/details/121738393。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 本文系转载。文中的“我”均为原作者 作者：张彦飞allen 十年，一个听起来感觉很长的时间，已经从我身边悄悄地滑过了。一直想写点什么，却也一直也没时间动笔。今天捡了个周末，就随点写点流水文吧，写到哪儿算哪儿。 01 职场首站 我是 2010 年硕士毕业。还记得在 2009 年 11 月的校园招聘季的时候，我当时只面试了两家公司。一家是中科大洋，承诺 100% 解决户口。另外一家就是腾讯，技术面试全部通过以后，hr面试中各种旁敲侧击发现我还是希望长期在北京发展（当时我面试的是深圳的岗位），而且也有解决户口的工作后，就卡了我的offer。 现在回想起来，其实反而还有点感谢当时的腾讯 hr。因为我确实是想在北京长期发展的，北京的户口只有毕业的时候最好拿。错过了这次机会后会非常的难得到。进大厂机会多的是，但是户口的窗口却很少很少。 面试完这两家公司以后，我就没再面试其它公司。而是开始准备将我的一篇 ICPR 论文(https://projet.liris.cnrs.fr/imagine/pub/proceedings/ICPR-2010/data/4109b670.pdf) 里的算法去申请了个专利，然后去安安心心去中科大洋实习。 在第一家公司工作的时候，我不局限于完成自己的任务，而是花时间去看团队里的所有代码。这种工作方式刚开始的时候会比较吃力。因为我不仅仅只是把问题处理完了就完事，而是非得想把和它相关的周边业务逻辑都挖一遍才甘心。因此，班也没少加，好多个周末我都一个人在公司看代码，做测试。 不过这种方式的好处也是显而易见的，我花了大概一年的时间就熟悉了团队里的各种模块和业务。当有老员工离职的时候，我们领导很惆怅。我告诉他不用担心，这些模块我能顶住。有了前期看代码的积累，确实后来的各种事情处理起来都非常的得心应手。入职一年就顶起了团队里的大梁。 而且我还发现我们公司的客户端软件在启动的时候比较慢，通过主动调研和测试，最后给领导提交了一个客户端启动加速的方案。现在能想起来的方式其中一个技术方式是 DLL 的基地址重定位。 02 入职腾讯 在 2011 年下半年，工作了一年多的时候，感觉广播电视领域整体的盘子还是太小了，当时领头企业的营业额一年也就才十个亿左右。再通过和自己在腾讯的同学交流，还是觉得互联网的空间更大。所以也婉拒了领导给的副组长的提拔挽留，又毅然跳到了北京腾讯。 我是 2011 年 11 月加入腾讯的。在项目上，仍然保持和第一家公司时工作类似的风格，全力以赴。不仅仅局限于完成自己手头的工作，主动做一切可能有价值的事情。其中一件事情就是我发现在当时的项目中，存在很多运营后台的开发需求。每次开发一个后台都得有人力去投入。 后来我就在老大的所开发的一套 PHP 框架的基础上进行改进。实现了只要指定一张 Mysql 数据库中的表，就可以自动生成 bootstrap 样式的管理后台界面。支持列表展示、搜索、删除、批量删除、文本框、时间控件等等一切基础功能。再以后涉及管理后台的功能，只需要在这个基础上改造就行了，人力投入降低了很多，风格也得到了统一。这个工具现在在我们团队内部仍然还在广泛地使用。 还有个故事我也讲过，就是老大分配给我一个图片下载的任务。我不局限于完成完成任务，而且还把文件系统、磁盘工作原理都深入整理了一遍，就是这篇《Linux文件系统十问》 03 转战搜狗 2013 下半年的时候，我第一次感受到了工作岗位的震荡。我还专注解决某一个 bug，花了不少精力都还没查到 bug 的原因。这时候，部门助理突然招呼我们所有人都下楼，在银科腾讯的 Image 印象店集合。在那里，见到了腾讯的总裁 Martin。这还是第一次离大老板只有一米远的距离。 所有人都是一脸困惑，突然把大家召集下来是干嘛呢。原来就在几个小时前，腾讯总办已经和搜狗达成了协议。腾讯收购搜狗的一部分股份，并把我们连人带业务一起注入到了搜狗。 没想到，是老板用一种更牛逼的方式帮我把 bug 给解决了。 14 年 1 月正式到了搜狗以后，我们没有继续做搜索了。而是内部 Transfer 到了另外一个部门。做起了搜狗网址导航、搜狗手机助手、搜狗浏览器等业务。我也是从那个时间点，开始带团队的，也是从那以后慢慢开始从个人贡献者到带团队集体输出的角色的转变。 在搜狗工作的这 7 年的时间里，我仍然也是延续之前的风格。不拘泥于完成工作中的产品需求，以及老大交付的任务。而是主动去探索各种项目中有价值的事情。 比如在手机助手的推广中，我琢磨了新用户的安装流程的各个环节后，找出影响用户安装率提升的关键因素。然后对新版本安装包采用了多种技术方案，将单用户获取成本削减了20%+，这一年下来就是千万级别的成本节约。 我们还主动在手机助手的搜索模块中应用了简单的学习算法。采用了用户协同，标签相似，点击反馈等方法将手机助手的搜索转化率提升了数个百分点。 除了用技术提升业务以外，我还结合工作中的问题进行了很多的深度技术思考。 如有一次我们自己维护了一个线上的redis（当时工程部还没有redis平台，redis服务要业务自己维护）。为了优化性能，我把后端的请求由短连接改成了长连接。虽然看效果性能确实是优化了，但是我的思考并没有停止。我们所有的后端机都会连接这个redis。这样在这个redis实例上可能得有6000多条并发连接存在。我就开始疑惑，Linux 最多能有多少个TCP连接呢，我这 6000 条长连接会不会把这个服务器玩坏？ 再比如，我们组的服务器遭遇过几次连接相关的线上问题。其中一次是因为端口紧张而导致 CPU 消耗飙升。后来我又深入研究了一下。 最近，由于 Docker 的广泛应用。底层的网络工作方式已经在悄悄地发生变化了。所以我又开辟了一个网络虚拟化的坑，来一点一点地填。 现在我们的「开发内功修炼」公众号和 Github 就是在作为一个我和大家分享我的技术思考的一个窗口。 04 重回腾讯 时隔 7 年，我又以一种奇特的方式变回了腾讯人的身份。 腾讯再一次收购了搜狗的股份，这一次不再是控股，而是全资。 在离开腾讯的这 7 年多的时间里，腾讯的内部技术工作方式已经发生了翻天覆地的变化。 所以在刚转回腾讯的这一段时间里，我花了大量的精力来熟悉腾讯基于 tRPC 的各种技术生态。除了工作日，也投入了不少周末的精力。 05 再叨叨几句 最后，水文里挤干货，通过我今天的文章我想给大家分享这么几点经验。 第一，是要学会抬头看路，选择一个好的赛道进去。我非常庆幸我当年从广电赛道切换到了互联网，获得了更大的舞台。不过其实我自己在这点上做的也不是特别好，2013年底入职搜狗前拒绝了字节大把期权的offer，要不然我我早就财务自由了。 第二，不要光被动接收领导的指令干活。要主动积极思考项目中哪些地方是待改进的，想到了你就去做。领导都非常喜欢积极主动的员工。我自己也是喜欢招一些能主动思考，积极推进的同学。这些人能创造意外的价值。 第三，工作中除了业务以外还要主动技术的深度思考。毕竟技术仍然是开发的立命之本。在晋升考核的时候，业务数据做的再好也代替不了技术实力的核心位置。把工作中的技术点总结一下，在公司内分享出来。不涉及机密的话在外网分享一下更好。对你自己，对你的团队，都是好事。 技术交流群 最近有很多人问，有没有读者交流群，想知道怎么加入。 最近我创建了一些群，大家可以加入。交流群都是免费的，只需要大家加入之后不要随便发广告，多多交流技术就好了。 目前创建了多个交流群，全国交流群、北上广杭深等各地区交流群、面试交流群、资源共享群等。 有兴趣入群的同学，可长按扫描下方二维码，一定要备注：全国 Or 城市 Or 面试 Or 资源，根据格式备注，可更快被通过且邀请进群。 ▲长按扫描 往期推荐 武大94年博士年薪201万入职华为！学霸日程表曝光，简直降维打击！ 腾讯三面：40亿个QQ号码如何去重？ 我被开除了。。只因为看了骂公司的帖子 如果你喜欢本文, 请长按二维码，关注 Hollis. 转发至朋友圈，是对我最大的支持。 点个 在看 喜欢是一种感觉 在看是一种支持 ↘↘↘ 本篇文章为转载内容。原文链接：https://blog.csdn.net/hollis_chuang/article/details/121738393。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-02-06 11:38:24
232
转载
转载文章
[转载]Linux内存映射——mmap
...术和微服务架构的广泛应用，内存映射机制对于提高系统资源利用率、实现高效的数据共享与交换具有重要意义。 例如，在Docker和Kubernetes等容器平台中，mmap系统调用被用于实现容器内部进程与宿主机文件系统的高效交互，以及容器间共享内存通信。通过内存映射，容器可以将宿主机上的持久化存储直接加载到内存中，实现数据的快速读取与更新，极大地提升了I/O性能。 此外，针对云原生环境下的大规模并行计算和实时数据处理场景，研究者们正在探索如何优化mmap以适应更高的并发需求和更低延迟的要求。2021年，有研究人员提出了一种改进的内存映射策略，旨在减少在高负载环境下由于频繁的内存映射操作导致的系统开销，并已在分布式数据库和大数据分析应用中取得了显著效果。 同时，内存映射的安全性问题也引起了业界的关注。今年早些时候，一项安全研究报告揭示了利用mmap进行提权攻击的新方法，再次提醒开发者在享受内存映射带来的便利时，也需要关注其潜在的安全风险，并采取相应的防御措施。 总之，内存映射作为底层系统调用的重要组成部分，其发展与优化将持续影响着整个软件生态系统的性能表现与安全性，值得广大开发者和技术研究者深入探究和实践。
2023-09-20 22:49:12
464
转载
转载文章
[转载]arm-1
...e等公司的大力推广和应用，有关RISC-V的生态建设和市场前景可深入研究。 2. Linux内核更新与优化：Linux 5.13版内核正式发布，该版本在硬件支持、性能优化以及安全增强等方面有显著提升，尤其对于嵌入式设备的支持更加全面。例如，对新型NAND Flash控制器的原生支持得到加强，有助于提高存储效率和稳定性。 3. Linux文件系统创新：科研人员正不断探索新的文件系统技术以适应大数据时代的需求。如Facebook主导开发的开源文件系统——Rocksteady，旨在提供超大规模数据中心所需的高效能、高稳定性和低延迟特性。此外，持久化内存（PMEM）技术的发展也在推动着Linux文件系统的变革，如pmemfs文件系统，它利用持久性内存的优势实现高性能的数据存取。 4. 跨平台开发与容器化趋势：随着云原生理念的普及，嵌入式开发开始关注容器化技术在边缘计算场景的应用。Docker和Kubernetes等工具正在帮助开发者更便捷地构建和部署跨平台的嵌入式应用，通过统一的容器环境简化了不同处理器架构间的移植难题。 5. 用户权限管理与安全实践：针对Linux系统安全问题，近年来有许多关于如何强化用户权限管理的研究报告和技术文章发表。例如，SELinux策略的深入解读，以及如何结合最小权限原则进行服务账户设置，避免因权限过高导致的安全风险，这些内容都是嵌入式系统安全运维的重要参考。
2023-11-23 17:18:30
79
转载
转载文章
[转载]java培训后好找工作吗
...blog.csdn.net/m0_57285325/article/details/118051767。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 前言 今年因为这个疫情，感觉这是从工作以来过的最久的一个年了，在家呆的时间不是一般的久，算一算有好几个月呢！我大概是3月底快4月了才出门，投了超多的简历，天天面试面试面试面试面试面试面试…庆幸的是还是上岸了（嘻嘻开心开心）。但其实所谓的庆幸也是靠努力堆起来的，我记忆力还比较好，背一背，没啥难的，背了1000道题。。。（注：关于我背的这1000题，文末有分享） 眼看着6月就过去了，再过两天就7月份了，想着面试大军可能也过不了几天就要来了，所以这两天整理了一些面经，今天给大家看的是“美团+字节跳动+腾讯”这三家的，每家一二三面，我想大家可以自己测试一下能坚持到哪里。 01 阿里中间件（四面，Java岗） 1.1 Java中间件一面 技术一面考察范围 重点问了Java线程锁：synchronized 和ReentrantLock相关的底层实现 线程池的底层实现以及常见的参数 数据结构基本都问了一遍：链表、队列等 Java内存模型：常问的JVM分代模型，以及JDK1.8后的区别，最后还问了JVM相关的调优参数 分布式锁的实现比较技术 一面题目 自我介绍 擅长哪方面的技术？ java有哪些锁中类？（乐观锁&悲观锁、可重入锁&Synchronize等）。 比较重要的数据结构，如链表，队列，栈的基本原理及大致实现 J.U.C下的常见类的使用。Threadpool的深入考察；blockingQueue的使用 Java内存分代模型，GC算法，JVM常见的启动参数；CMS算法的过程。 Volatile关键字有什么用（包括底层原理） 线程池的调优策略 Spring cloud的服务注册与发现是怎么设计的？ 分布式系统的全局id如何实现 分布式锁的方案，redis和zookeeper那个好，如果是集群部署，高并发情况下那个性能更好。 1.2 Java中间件二面 技术二面考察范围： 问了项目相关的技术实现细节 数据库相关：索引、索引底层实现、mysql相关的行锁、表锁等 redis相关：架构设计、数据一致性问题 容器:容器的设计原理等技术 二面题目： 参与的项目，选一个，技术难度在哪里？ Collections.sort底层排序方式 负载均衡的原理设计模式与重构，谈谈你对重构的理解 谈谈redis相关的集群有哪些成熟方案？ 再谈谈一致hash算法（redis）？ 数据库索引，B+树的特性和建树过程 Mysql相关的行锁，表锁；乐观锁，悲观锁 谈谈多线程和并发工具的使用 谈谈redis的架构和组件 Redis的数据一致性问题（分布式多节点环境&单机环境） Docker容器 1.3 Java中间件三面 技术三面考察范围： 主要谈到了高并发的实现方案 以及中间件：redis、rocketmq、kafka等的架构设计思路 最后问了平时怎么提升技术的技术 三面题目 高并发情况下，系统是如何支撑大量的请求的？ 接着上面的问题，延伸到了中间件，kafka、redis、rocketmq、mycat等设计思路和适用场景等 最近上过哪些技术网站；最近再看那些书。 工作和生活中遇见最大的挑战，怎么去克服？ 未来有怎样的打算 1.4 Java中间件四面 最后，你懂的，主要就是HR走流程了，主要问了未来的职业规划。 02 头条Java后台3面 2.1 头条一面 讲讲jvm运行时数据库区 讲讲你知道的垃圾回收算法 jvm内存模型jmm 内存泄漏与内存溢出的区别 select、epool 的区别？底层的数据结构是什么？ mysql数据库默认存储引擎，有什么优点 优化数据库的方法，从sql到缓存到cpu到操作系统，知道多少说多少 什么情景下做分表，什么情景下做分库 linkedList与arrayList区别 适用场景 array list是如何扩容的 volatile 关键字的作用？Java 内存模型？ java lock的实现，公平锁、非公平锁 悲观锁和乐观锁，应用中的案例，mysql当中怎么实现，java中的实现 2.2 头条二面 Java 内存分配策略？ 多个线程同时请求内存，如何分配？ Redis 底层用到了哪些数据结构？ 使用 Redis 的 set 来做过什么？ Redis 使用过程中遇到什么问题？ 搭建过 Redis 集群吗？ 如何分析“慢查询”日志进行 SQL/索引 优化？ MySQL 索引结构解释一下？（B+ 树） MySQL Hash 索引适用情况？举下例子？ 2.3 头条三面 如何保证数据库与redis缓存一致的Redis 的并发竞争问题是什么？ 如何解决这个问题？ 了解 Redis 事务的 CAS 方案吗？ 如何保证 Redis 高并发、高可用？ Redis 的主从复制原理，以及Redis 的哨兵原理？ 如果让你写一个消息队列，该如何进行架构设计啊？说一下你的思路。 MySQL数据库主从同步怎么实现？ 秒杀模块怎么设计的，如何压测，抗压手段 03 今日头条Java后台研发三面 3.1 一面 concurrent包下面用过哪些？ countdownlatch功能实现 synchronized和lock区别，重入锁thread和runnable的区别 AtomicInteger实现原理(CAS自旋) java并发sleep与wait、notify与notifyAll的区别 如何实现高效的同步链表 java都有哪些加锁方式（synchronized、ReentrantLock、共享锁、读写锁等） 设计模式（工厂模式、单例模式（几种情况）、适配器模式、装饰者模式） maven依赖树，maven的依赖传递，循环依赖 3.2 二面 synchronized和reentrantLock的区别，synchronized用在代码快、方法、静态方法时锁的都是什么? 介绍spring的IOC和AOP，分别如何实现(classloader、动态代理)JVM的内存布局以及垃圾回收原理及过程 讲一下，讲一下CMS垃圾收集器垃圾回收的流程，以及CMS的缺点 redis如何处理分布式服务器并发造成的不一致OSGi的机制spring中bean加载机制，bean生成的具体步骤，ioc注入的方式spring何时创建- applicationContextlistener是监听哪个事件？ 介绍ConcurrentHashMap原理，用的是哪种锁，segment有没可能增大? 解释mysql索引、b树，为啥不用平衡二叉树、红黑树 Zookeeper如何同步配置 3.3 三面 Java线程池ThreadPoolEcecutor参数，基本参数，使用场景 MySQL的ACID讲一下，延伸到隔离级别 dubbo的实现原理，说说RPC的要点 GC停顿原因，如何降低停顿？ JVM如何调优、参数怎么调？ 如何用工具分析jvm状态（visualVM看堆中对象的分配，对象间的引用、是否有内存泄漏，jstack看线程状态、是否死锁等等） 描述一致性hash算法 分布式雪崩场景如何避免? 再谈谈消息队列 04 抖音Java 三面 4.1 一面： hashmap，怎么扩容，怎么处理数据冲突？ 怎么高效率的实现数据迁移？ Linux的共享内存如何实现，大概说了一下。 socket网络编程，说一下TCP的三次握手和四次挥手同步IO和异步IO的区别？ Java GC机制？GC Roots有哪些？ 红黑树讲一下，五个特性，插入删除操作,时间复杂度？ 快排的时间复杂度，最坏情况呢，最好情况呢，堆排序的时间复杂度呢，建堆的复杂度是多少 4.2 二面： 自我介绍，主要讲讲做了什么和擅长什么 设计模式了解哪些？ AtomicInteger怎么实现原子修改的？ ConcurrentHashMap 在Java7和Java8中的区别？ 为什么Java8并发效率更好？什么情况下用HashMap，什么情况用ConcurrentHashMap？ redis数据结构？ redis数据淘汰机制？ 4.3 三面（约五十分钟）： mysql实现事务的原理(MVCC) MySQL数据主从同步是如何实现的？ MySQL索引的实现，innodb的索引，b+树索引是怎么实现的，为什么用b+树做索引节点，一个节点存了多少数据，怎么规定大小，与磁盘页对应。 如果Redis有1亿个key，使用keys命令是否会影响线上服务？ Redis的持久化方式，aod和rdb，具体怎么实现，追加日志和备份文件，底层实现原理的话知道么? 遇到最大困难是什么？怎么克服？ 未来的规划是什么？ 你想问我什么？ 05 百度三面 5.1 百度一面 自我介绍 Java中的多态 为什么要同时重写hashcode和equals Hashmap的原理 Hashmap如何变线程安全，每种方式的优缺点 垃圾回收机制 Jvm的参数你知道的说一下 设计模式了解的说一下啊 手撕一个单例模式 手撕算法：反转单链表 手撕算法：实现类似微博子结构的数据结构，输入一系列父子关系，输出一个类似微博评论的父子结构图 手写java多线程 手写java的soeket编程，服务端和客户端 手撕算法： 爬楼梯，写出状态转移方程 智力题：时针分针什么时候重合 5.2 百度二面（现场） 自我介绍 项目介绍 服务器如何负载均衡，有哪些算法，哪个比较好，一致性哈希原理，怎么避免DDOS攻击请求打到少数机器。 TCP连接中的三次握手和四次挥手，四次挥手的最后一个ack的作用是什么，为什么要time wait，为什么是2msl。 数据库的备份和恢复怎么实现的，主从复制怎么做的，什么时候会出现数据不一致，如何解决。 Linux查看cpu占用率高的进程 手撕算法：给定一个数字三角形，找到从顶部到底部的最小路径和。每一步可以移动到下面一行的相邻数字上。 然后继续在这个问题上扩展 求出最短那条的路径 递归求出所有的路径 设计模式讲一下熟悉的 会不会滥用设计模式 多线程条件变量为什么要在while体里 你遇到什么挫折，怎么应对和处理 5.3 百度三面（现场） 自我介绍 项目介绍 Redis的特点 Redis的持久化怎么做，aof和rdb，有什么区别，有什么优缺点。 Redis使用哨兵部署会有什么问题，我说需要扩容的话还是得集群部署。 说一下JVM内存模型把，有哪些区，分别干什么的 说一下gc算法，分代回收说下 MySQL的引擎讲一下，有什么区别，使用场景呢 分布式事务了解么 反爬虫的机制，有哪些方式 06 蚂蚁中间件团队面试题 6.1 蚂蚁中间件一面： 自我介绍 JVM垃圾回收算法和垃圾回收器有哪些，最新的JDK采用什么算法。 新生代和老年代的回收机制。 讲一下ArrayList和linkedlist的区别，ArrayList与HashMap的扩容方式。 Concurrenthashmap1.8后的改动。 Java中的多线程，以及线程池的增长策略和拒绝策略了解么。 Tomcat的类加载器了解么 Spring的ioc和aop，Springmvc的基本架构，请求流程。 HTTP协议与Tcp有什么区别，http1.0和2.0的区别。 Java的网络编程，讲讲NIO的实现方式，与BIO的区别，以及介绍常用的NIO框架。 索引什么时候会失效变成全表扫描 介绍下分布式的paxos和raft算法 6.2 蚂蚁中间件二面 你在项目中怎么用到并发的。 消息队列的使用场景，谈谈Kafka。 你说了解分布式服务，那么你怎么理解分布式服务。 Dubbo和Spring Clound的区别，以及使用场景。 讲一下docker的实现原理，以及与JVM的区别。 MongoDB、Redis和Memcached的应用场景，各自优势 MongoDB有事务吗 Redis说一下sorted set底层原理 讲讲Netty为什么并发高，相关的核心组件有哪些 6.3 蚂蚁中间件三面 完整的画一个分布式集群部署图，从负载均衡到后端数据库集群。 分布式锁的方案，Redis和Zookeeper哪个好，如果是集群部署，高并发情况下哪个性能更好。 分布式系统的全局id如何实现。 数据库万级变成亿级，你如何来解决。 常见的服务器雪崩是由什么引起的，如何来防范。 异地容灾怎么实现 常用的高并发技术解决方案有哪些，以及对应的解决步骤。 07 京东4面(Java研发） 7.1 一面（基础面：约1小时） 自我介绍，主要讲讲做了什么和擅长什么 springmvc和spring-boot区别 @Autowired的实现原理 Bean的默认作用范围是什么？其他的作用范围？ 索引是什么概念有什么作用？MySQL里主要有哪些索引结构？哈希索引和B+树索引比较？ Java线程池的原理？线程池有哪些？线程池工厂有哪些线程池类型，及其线程池参数是什么？ hashmap原理，处理哈希冲突用的哪种方法？ 还知道什么处理哈希冲突的方法？ Java GC机制？GC Roots有哪些？ Java怎么进行垃圾回收的？什么对象会进老年代？垃圾回收算法有哪些？为什么新生代使用复制算法？ HashMap的时间复杂度？HashMap中Hash冲突是怎么解决的？链表的上一级结构是什么？Java8中的HashMap有什么变化？红黑树需要比较大小才能进行插入，是依据什么进行比较的？其他Hash冲突解决方式？ hash和B+树的区别？分别应用于什么场景？哪个比较好？ 项目里有个数据安全的，aes和md5的区别？详细点 7.2 二面（问数据库较多） 自我介绍 为什么MyISAM查询性能好？ 事务特性（acid） 隔离级别 SQL慢查询的常见优化步骤？ 说下乐观锁，悲观锁（select for update），并写出sql实现 TCP协议的三次握手和四次挥手过程？ 用到过哪些rpc框架 数据库连接池怎么实现 Java web过滤器的生命周期 7.3 三面（综合面；约一个小时） 自我介绍。 ConcurrentHashMap 在Java7和Java8中的区别？为什么Java8并发效率更好？什么情况下用HashMap，什么情况用ConcurrentHashMap？ 加锁有什么机制？ ThreadLocal？应用场景？ 数据库水平切分，垂直切分的设计思路和切分顺序 Redis如何解决key冲突 soa和微服务的区别？ 单机系统演变为分布式系统，会涉及到哪些技术的调整？请从前面负载到后端详细描述。 设计一个秒杀系统？ 7.4 四面（HR面） 你自己最大优势和劣势是什么 平时遇见过什么样的挑战，怎么去克服的 工作中遇见了技术解决不了的问题，你的应对思路？ 你的兴趣爱好？ 未来的职业规划是什么？ 08 美团java高级开发3面 8.1 美团一面 自我介绍 项目介绍 Redis介绍 了解redis源码么 了解redis集群么 Hashmap的原理，增删的情况后端数据结构如何位移 hashmap容量为什么是2的幂次 hashset的源码 object类你知道的方法 hashcode和equals 你重写过hashcode和equals么，要注意什么 假设现在一个学生类，有学号和姓名，我现在hashcode方法重写的时候，只将学号参与计算，会出现什么情况？ 往set里面put一个学生对象，然后将这个学生对象的学号改了，再put进去，可以放进set么？并讲出为什么 Redis的持久化？有哪些方式，原理是什么？ 讲一下稳定的排序算法和不稳定的排序算法 讲一下快速排序的思想 8.2 美团二面 自我介绍 讲一下数据的acid 什么是一致性 什么是隔离性 Mysql的隔离级别 每个隔离级别是如何解决 Mysql要加上nextkey锁，语句该怎么写 Java的内存模型，垃圾回收 线程池的参数 每个参数解释一遍 然后面试官设置了每个参数，给了是个线程，让描述出完整的线程池执行的流程 Nio和IO有什么区别 Nio和aio的区别 Spring的aop怎么实现 Spring的aop有哪些实现方式 动态代理的实现方式和区别 Linux了解么 怎么查看系统负载 Cpu load的参数如果为4，描述一下现在系统处于什么情况 Linux，查找磁盘上最大的文件的命令 Linux，如何查看系统日志文件 手撕算法：leeetcode原题 22，Generate Parentheses，给定 n 对括号，请- 写一个函数以将其生成新的括号组合，并返回所有组合结果。 8.3 美团三面（现场） 三面没怎么问技术，问了很多技术管理方面的问题 自我介绍 项目介绍 怎么管理项目成员 当意见不一致时，如何沟通并说服开发成员，并举个例子 怎么保证项目的进度 数据库的索引原理 非聚簇索引和聚簇索引 索引的使用注意事项 联合索引 从底层解释最左匹配原则 Mysql对联合索引有优化么？会自动调整顺序么？哪个版本开始优化？ Redis的应用 Redis的持久化的方式和原理 技术选型，一个新技术和一个稳定的旧技术，你会怎么选择，选择的考虑有哪些 说你印象最深的美团点评技术团队的三篇博客 最近在学什么新技术 你是怎么去接触一门新技术的 会看哪些书 怎么选择要看的书 最后 由于篇幅限制，小编在此截出几张知识讲解的图解，有需要的程序猿（媛）可以点赞后戳这里免费领取全部资料获取哦 子 怎么保证项目的进度 数据库的索引原理 非聚簇索引和聚簇索引 索引的使用注意事项 联合索引 从底层解释最左匹配原则 Mysql对联合索引有优化么？会自动调整顺序么？哪个版本开始优化？ Redis的应用 Redis的持久化的方式和原理 技术选型，一个新技术和一个稳定的旧技术，你会怎么选择，选择的考虑有哪些 说你印象最深的美团点评技术团队的三篇博客 最近在学什么新技术 你是怎么去接触一门新技术的 会看哪些书 怎么选择要看的书 最后 由于篇幅限制，小编在此截出几张知识讲解的图解，有需要的程序猿（媛）可以点赞后戳这里免费领取全部资料获取哦 [外链图片转存中…(img-SFREePIJ-1624074891834)] [外链图片转存中…(img-5kF3pkiC-1624074891834)] [外链图片转存中…(img-HDVXfOMR-1624074891835)] [外链图片转存中…(img-RyaAC5jy-1624074891836)] [外链图片转存中…(img-iV32C5Ok-1624074891837)] 本篇文章为转载内容。原文链接：https://blog.csdn.net/m0_57285325/article/details/118051767。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-11-13 23:43:59
85
转载
转载文章
[转载]mysql的配置文件的各项参数意思
...blog.csdn.net/mywpython/article/details/89499852。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 Other default tuning values 其他默认调优值 MySQL Server Instance Configuration File MySQL服务器实例配置文件 ---------------------------------------------------------------------- Generated by the MySQL Server Instance Configuration Wizard 由MySQL服务器实例配置向导生成 Installation Instructions 安装说明 ---------------------------------------------------------------------- On Linux you can copy this file to /etc/my.cnf to set global options, mysql-data-dir/my.cnf to set server-specific options (@localstatedir@ for this installation) or to ~/.my.cnf to set user-specific options. 在Linux上，您可以将该文件复制到/etc/my.cnf来设置全局选项，mysql-data-dir/my.cnf来设置特定于服务器的选项(此安装的@localstatedir@)，或者~/.my.cnf来设置特定于用户的选项。 On Windows you should keep this file in the installation directory of your server (e.g. C:\Program Files\MySQL\MySQL Server X.Y). To make sure the server reads the config file use the startup option "--defaults-file". 在Windows上你应该保持这个文件在服务器的安装目录(例如C:\Program Files\MySQL\MySQL服务器X.Y)。要确保服务器读取配置文件，请使用启动选项“——default -file”。 To run the server from the command line, execute this in a command line shell, e.g. mysqld --defaults-file="C:\Program Files\MySQL\MySQL Server X.Y\my.ini" 要从命令行运行服务器，请在命令行shell中执行，例如mysqld——default -file="C:\Program Files\MySQL\MySQL server X.Y\my.ini" To install the server as a Windows service manually, execute this in a command line shell, e.g. mysqld --install MySQLXY --defaults-file="C:\Program Files\MySQL\MySQL Server X.Y\my.ini" 要手动将服务器安装为Windows服务，请在命令行shell中执行此操作，例如mysqld——install MySQLXY——default -file="C:\Program Files\MySQL\MySQL server X.Y\my.ini" And then execute this in a command line shell to start the server, e.g. net start MySQLXY 然后在命令行shell中执行这个命令来启动服务器，例如net start MySQLXY Guidelines for editing this file编辑此文件的指南 ---------------------------------------------------------------------- In this file, you can use all long options that the program supports. If you want to know the options a program supports, start the program with the "--help" option. 在这个文件中，您可以使用程序支持的所有长选项。如果您想知道程序支持的选项，请使用“——help”选项启动程序。 More detailed information about the individual options can also be found in the manual. For advice on how to change settings please see https://dev.mysql.com/doc/refman/8.0/en/server-configuration-defaults.html 有关各个选项的更详细信息也可以在手册中找到。有关如何更改设置的建议，请参见https://dev.mysql.com/doc/refman/8.0/en/server-configuration-defaults.html CLIENT SECTION 客户端部分 ---------------------------------------------------------------------- The following options will be read by MySQL client applications. Note that only client applications shipped by MySQL are guaranteed to read this section. If you want your own MySQL client program to honor these values, you need to specify it as an option during the MySQL client library initialization. MySQL客户机应用程序将读取以下选项。注意，只有MySQL提供的客户端应用程序才能阅读本节。如果您希望自己的MySQL客户机程序遵守这些值，您需要在初始化MySQL客户机库时将其指定为一个选项。 [client] pipe= socket=MYSQL port=3306 [mysql] no-beep default-character-set= SERVER SECTION 服务器部分 ---------------------------------------------------------------------- The following options will be read by the MySQL Server. Make sure that you have installed the server correctly (see above) so it reads this file. MySQL服务器将读取以下选项。确保您已经正确安装了服务器(参见上面)，以便它读取这个文件。 server_type=3 [mysqld] The next three options are mutually exclusive to SERVER_PORT below. 下面的三个选项对SERVER_PORT是互斥的。skip-networking enable-named-pipe 共享内存 skip-networking enable-named-pipe shared-memory shared-memory-base-name=MYSQL The Pipe the MySQL Server will use socket=MYSQL The TCP/IP Port the MySQL Server will listen on port=3306 Path to installation directory. All paths are usually resolved relative to this. basedir="C:/Program Files/MySQL/MySQL Server 8.0/" Path to the database root datadir=C:/ProgramData/MySQL/MySQL Server 8.0/Data The default character set that will be used when a new schema or table is created and no character set is defined 创建新模式或表时使用的默认字符集，并且没有定义字符集 character-set-server= The default authentication plugin to be used when connecting to the server 连接到服务器时使用的默认身份验证插件 default_authentication_plugin=caching_sha2_password The default storage engine that will be used when create new tables when 当创建新表时将使用的默认存储引擎 default-storage-engine=INNODB Set the SQL mode to strict 将SQL模式设置为strict sql-mode="STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION" General and Slow logging. 一般和缓慢的日志。 log-output=NONE general-log=0 general_log_file="DESKTOP-NF9QETB.log" slow-query-log=0 slow_query_log_file="DESKTOP-NF9QETB-slow.log" long_query_time=10 Binary Logging. 二进制日志。 log-bin Error Logging. 错误日志记录。 log-error="DESKTOP-NF9QETB.err" Server Id. server-id=1 Indicates how table and database names are stored on disk and used in MySQL. 指示表名和数据库名如何存储在磁盘上并在MySQL中使用。 Value = 0: Table and database names are stored on disk using the lettercase specified in the CREATE TABLE or CREATE DATABASE statement. Name comparisons are case sensitive. You should not set this variable to 0 if you are running MySQL on a system that has case-insensitive file names (such as Windows or macOS). Value = 0:表名和数据库名使用CREATE Table或CREATE database语句中指定的lettercase存储在磁盘上。名称比较区分大小写。如果您在一个具有不区分大小写文件名(如Windows或macOS)的系统上运行MySQL，则不应将该变量设置为0。 Value = 1: Table names are stored in lowercase on disk and name comparisons are not case-sensitive. MySQL converts all table names to lowercase on storage and lookup. This behavior also applies to database names and table aliases. 表名以小写存储在磁盘上，并且名称比较不区分大小写。MySQL在存储和查找时将所有表名转换为小写。此行为也适用于数据库名称和表别名。 Value = 3, Table and database names are stored on disk using the lettercase specified in the CREATE TABLE or CREATE DATABASE statement, but MySQL converts them to lowercase on lookup. Name comparisons are not case sensitive. This works only on file systems that are not case-sensitive! InnoDB table names and view names are stored in lowercase, as for Value = 1.表名和数据库名使用CREATE Table或CREATE database语句中指定的lettercase存储在磁盘上，但是MySQL在查找时将它们转换为小写。名称比较不区分大小写。这只适用于不区分大小写的文件系统!InnoDB表名和视图名以小写存储，Value = 1。 NOTE: lower_case_table_names can only be configured when initializing the server. Changing the lower_case_table_names setting after the server is initialized is prohibited. lower_case_table_names=1 Secure File Priv. 权限安全文件 secure-file-priv="C:/ProgramData/MySQL/MySQL Server 8.0/Uploads" The maximum amount of concurrent sessions the MySQL server will allow. One of these connections will be reserved for a user with SUPER privileges to allow the administrator to login even if the connection limit has been reached. MySQL服务器允许的最大并发会话量。这些连接中的一个将保留给具有超级特权的用户，以便允许管理员登录，即使已经达到连接限制。 max_connections=151 The number of open tables for all threads. Increasing this value increases the number of file descriptors that mysqld requires. Therefore you have to make sure to set the amount of open files allowed to at least 4096 in the variable "open-files-limit" in 为所有线程打开的表的数量。增加这个值会增加mysqld需要的文件描述符的数量。因此，您必须确保在[mysqld_safe]节中的变量“open-files-limit”中将允许打开的文件数量至少设置为4096 section [mysqld_safe] table_open_cache=2000 Maximum size for internal (in-memory) temporary tables. If a table grows larger than this value, it is automatically converted to disk based table This limitation is for a single table. There can be many of them. 内部(内存)临时表的最大大小。如果一个表比这个值大，那么它将自动转换为基于磁盘的表。可以有很多。 tmp_table_size=94M How many threads we should keep in a cache for reuse. When a client disconnects, the client's threads are put in the cache if there aren't more than thread_cache_size threads from before. This greatly reduces the amount of thread creations needed if you have a lot of new connections. (Normally this doesn't give a notable performance improvement if you have a good thread implementation.) 我们应该在缓存中保留多少线程以供重用。当客户机断开连接时，如果之前的线程数不超过thread_cache_size，则将客户机的线程放入缓存。如果您有很多新连接，这将大大减少所需的线程创建量(通常，如果您有一个良好的线程实现，这不会带来显著的性能改进)。 thread_cache_size=10 MyISAM Specific options The maximum size of the temporary file MySQL is allowed to use while recreating the index (during REPAIR, ALTER TABLE or LOAD DATA INFILE. If the file-size would be bigger than this, the index will be created through the key cache (which is slower). MySQL允许在重新创建索引时(在修复、修改表或加载数据时)使用临时文件的最大大小。如果文件大小大于这个值，那么索引将通过键缓存创建(这比较慢)。 myisam_max_sort_file_size=100G If the temporary file used for fast index creation would be bigger than using the key cache by the amount specified here, then prefer the key cache method. This is mainly used to force long character keys in large tables to use the slower key cache method to create the index. myisam_sort_buffer_size=179M Size of the Key Buffer, used to cache index blocks for MyISAM tables. Do not set it larger than 30% of your available memory, as some memory is also required by the OS to cache rows. Even if you're not using MyISAM tables, you should still set it to 8-64M as it will also be used for internal temporary disk tables. 如果用于快速创建索引的临时文件比这里指定的使用键缓存的文件大，则首选键缓存方法。这主要用于强制大型表中的长字符键使用较慢的键缓存方法来创建索引。 key_buffer_size=8M Size of the buffer used for doing full table scans of MyISAM tables. Allocated per thread, if a full scan is needed. 用于对MyISAM表执行全表扫描的缓冲区的大小。如果需要完整的扫描，则为每个线程分配。 read_buffer_size=256K read_rnd_buffer_size=512K INNODB Specific options INNODB特定选项 innodb_data_home_dir= Use this option if you have a MySQL server with InnoDB support enabled but you do not plan to use it. This will save memory and disk space and speed up some things. 如果您启用了一个支持InnoDB的MySQL服务器，但是您不打算使用它，那么可以使用这个选项。这将节省内存和磁盘空间，并加快一些事情。skip-innodb skip-innodb If set to 1, InnoDB will flush (fsync) the transaction logs to the disk at each commit, which offers full ACID behavior. If you are willing to compromise this safety, and you are running small transactions, you may set this to 0 or 2 to reduce disk I/O to the logs. Value 0 means that the log is only written to the log file and the log file flushed to disk approximately once per second. Value 2 means the log is written to the log file at each commit, but the log file is only flushed to disk approximately once per second. 如果设置为1,InnoDB将在每次提交时将事务日志刷新(fsync)到磁盘，这将提供完整的ACID行为。如果您愿意牺牲这种安全性，并且正在运行小型事务，您可以将其设置为0或2，以将磁盘I/O减少到日志。值0表示日志仅写入日志文件，日志文件大约每秒刷新一次磁盘。值2表示日志在每次提交时写入日志文件，但是日志文件大约每秒只刷新一次磁盘。 innodb_flush_log_at_trx_commit=1 The size of the buffer InnoDB uses for buffering log data. As soon as it is full, InnoDB will have to flush it to disk. As it is flushed once per second anyway, it does not make sense to have it very large (even with long transactions).InnoDB用于缓冲日志数据的缓冲区大小。一旦它满了，InnoDB就必须将它刷新到磁盘。由于它无论如何每秒刷新一次，所以将它设置为非常大的值是没有意义的(即使是长事务)。 innodb_log_buffer_size=5M InnoDB, unlike MyISAM, uses a buffer pool to cache both indexes and row data. The bigger you set this the less disk I/O is needed to access data in tables. On a dedicated database server you may set this parameter up to 80% of the machine physical memory size. Do not set it too large, though, because competition of the physical memory may cause paging in the operating system. Note that on 32bit systems you might be limited to 2-3.5G of user level memory per process, so do not set it too high. 与MyISAM不同，InnoDB使用缓冲池来缓存索引和行数据。设置的值越大，访问表中的数据所需的磁盘I/O就越少。在专用数据库服务器上，可以将该参数设置为机器物理内存大小的80%。但是，不要将它设置得太大，因为物理内存的竞争可能会导致操作系统中的分页。注意，在32位系统上，每个进程的用户级内存可能被限制在2-3.5G，所以不要设置得太高。 innodb_buffer_pool_size=20M Size of each log file in a log group. You should set the combined size of log files to about 25%-100% of your buffer pool size to avoid unneeded buffer pool flush activity on log file overwrite. However, note that a larger logfile size will increase the time needed for the recovery process. 日志组中每个日志文件的大小。您应该将日志文件的合并大小设置为缓冲池大小的25%-100%，以避免在覆盖日志文件时出现不必要的缓冲池刷新活动。但是，请注意，较大的日志文件大小将增加恢复过程所需的时间。 innodb_log_file_size=48M Number of threads allowed inside the InnoDB kernel. The optimal value depends highly on the application, hardware as well as the OS scheduler properties. A too high value may lead to thread thrashing. InnoDB内核中允许的线程数。最优值在很大程度上取决于应用程序、硬件以及OS调度程序属性。过高的值可能导致线程抖动。 innodb_thread_concurrency=9 The increment size (in MB) for extending the size of an auto-extend InnoDB system tablespace file when it becomes full. 增量大小(以MB为单位)，用于在表空间满时扩展自动扩展的InnoDB系统表空间文件的大小。 innodb_autoextend_increment=128 The number of regions that the InnoDB buffer pool is divided into. For systems with buffer pools in the multi-gigabyte range, dividing the buffer pool into separate instances can improve concurrency, by reducing contention as different threads read and write to cached pages. InnoDB缓冲池划分的区域数。对于具有多gb缓冲池的系统，将缓冲池划分为单独的实例可以提高并发性，因为不同的线程对缓存页面的读写会减少争用。 innodb_buffer_pool_instances=8 Determines the number of threads that can enter InnoDB concurrently. 确定可以同时进入InnoDB的线程数 innodb_concurrency_tickets=5000 Specifies how long in milliseconds (ms) a block inserted into the old sublist must stay there after its first access before it can be moved to the new sublist. 指定插入到旧子列表中的块必须在第一次访问之后停留多长时间(毫秒)，然后才能移动到新子列表。 innodb_old_blocks_time=1000 It specifies the maximum number of .ibd files that MySQL can keep open at one time. The minimum value is 10. 它指定MySQL一次可以打开的.ibd文件的最大数量。最小值是10。 innodb_open_files=300 When this variable is enabled, InnoDB updates statistics during metadata statements. 当启用此变量时，InnoDB会在元数据语句期间更新统计信息。 innodb_stats_on_metadata=0 When innodb_file_per_table is enabled (the default in 5.6.6 and higher), InnoDB stores the data and indexes for each newly created table in a separate .ibd file, rather than in the system tablespace. 当启用innodb_file_per_table(5.6.6或更高版本的默认值)时，InnoDB将每个新创建的表的数据和索引存储在单独的.ibd文件中，而不是系统表空间中。 innodb_file_per_table=1 Use the following list of values: 0 for crc32, 1 for strict_crc32, 2 for innodb, 3 for strict_innodb, 4 for none, 5 for strict_none. 使用以下值列表:0表示crc32, 1表示strict_crc32, 2表示innodb, 3表示strict_innodb, 4表示none, 5表示strict_none。 innodb_checksum_algorithm=0 The number of outstanding connection requests MySQL can have. This option is useful when the main MySQL thread gets many connection requests in a very short time. It then takes some time (although very little) for the main thread to check the connection and start a new thread. The back_log value indicates how many requests can be stacked during this short time before MySQL momentarily stops answering new requests. You need to increase this only if you expect a large number of connections in a short period of time. MySQL可以有多少未完成连接请求。当MySQL主线程在很短的时间内收到许多连接请求时，这个选项非常有用。然后，主线程需要一些时间(尽管很少)来检查连接并启动一个新线程。back_log值表示在MySQL暂时停止响应新请求之前的短时间内可以堆多少个请求。只有当您预期在短时间内会有大量连接时，才需要增加这个值。 back_log=80 If this is set to a nonzero value, all tables are closed every flush_time seconds to free up resources and synchronize unflushed data to disk. This option is best used only on systems with minimal resources. 如果将该值设置为非零值，则每隔flush_time秒关闭所有表，以释放资源并将未刷新的数据同步到磁盘。这个选项最好只在资源最少的系统上使用。 flush_time=0 The minimum size of the buffer that is used for plain index scans, range index scans, and joins that do not use 用于普通索引扫描、范围索引扫描和不使用索引执行全表扫描的连接的缓冲区的最小大小。 indexes and thus perform full table scans. join_buffer_size=200M The maximum size of one packet or any generated or intermediate string, or any parameter sent by the mysql_stmt_send_long_data() C API function. 由mysql_stmt_send_long_data() C API函数发送的一个包或任何生成的或中间字符串或任何参数的最大大小 max_allowed_packet=500M If more than this many successive connection requests from a host are interrupted without a successful connection, the server blocks that host from performing further connections. 如果在没有成功连接的情况下中断了来自主机的多个连续连接请求，则服务器将阻止主机执行进一步的连接。 max_connect_errors=100 Changes the number of file descriptors available to mysqld. You should try increasing the value of this option if mysqld gives you the error "Too many open files". 更改mysqld可用的文件描述符的数量。如果mysqld给您的错误是“打开的文件太多”，您应该尝试增加这个选项的值。 open_files_limit=4161 If you see many sort_merge_passes per second in SHOW GLOBAL STATUS output, you can consider increasing the sort_buffer_size value to speed up ORDER BY or GROUP BY operations that cannot be improved with query optimization or improved indexing. 如果在SHOW GLOBAL STATUS输出中每秒看到许多sort_merge_passes，可以考虑增加sort_buffer_size值，以加快ORDER BY或GROUP BY操作的速度，这些操作无法通过查询优化或改进索引来改进。 sort_buffer_size=1M The number of table definitions (from .frm files) that can be stored in the definition cache. If you use a large number of tables, you can create a large table definition cache to speed up opening of tables. The table definition cache takes less space and does not use file descriptors, unlike the normal table cache. The minimum and default values are both 400. 可以存储在定义缓存中的表定义的数量(来自.frm文件)。如果使用大量表，可以创建一个大型表定义缓存来加速表的打开。与普通的表缓存不同，表定义缓存占用更少的空间，并且不使用文件描述符。最小值和默认值都是400。 table_definition_cache=1400 Specify the maximum size of a row-based binary log event, in bytes. Rows are grouped into events smaller than this size if possible. The value should be a multiple of 256. 指定基于行的二进制日志事件的最大大小，单位为字节。如果可能，将行分组为小于此大小的事件。这个值应该是256的倍数。 binlog_row_event_max_size=8K If the value of this variable is greater than 0, a replication slave synchronizes its master.info file to disk. (using fdatasync()) after every sync_master_info events. 如果该变量的值大于0，则复制奴隶将其主.info文件同步到磁盘。(在每个sync_master_info事件之后使用fdatasync())。 sync_master_info=10000 If the value of this variable is greater than 0, the MySQL server synchronizes its relay log to disk. (using fdatasync()) after every sync_relay_log writes to the relay log. 如果这个变量的值大于0,MySQL服务器将其中继日志同步到磁盘。(在每个sync_relay_log写入到中继日志之后使用fdatasync())。 sync_relay_log=10000 If the value of this variable is greater than 0, a replication slave synchronizes its relay-log.info file to disk. (using fdatasync()) after every sync_relay_log_info transactions. 如果该变量的值大于0，则复制奴隶将其中继日志.info文件同步到磁盘。(在每个sync_relay_log_info事务之后使用fdatasync())。 sync_relay_log_info=10000 Load mysql plugins at start."plugin_x ; plugin_y". 开始时加载mysql插件。“plugin_x;plugin_y” plugin_load The TCP/IP Port the MySQL Server X Protocol will listen on. MySQL服务器X协议将监听TCP/IP端口。 loose_mysqlx_port=33060 本篇文章为转载内容。原文链接：https://blog.csdn.net/mywpython/article/details/89499852。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-10-08 09:56:02
129
转载
转载文章
[转载]运维监控之Nagios实战(三)Nagios配置文件
...blog.csdn.net/gzh0222/article/details/8549202。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 Nagios的灵魂与之精华. 全在配置文件,如果只是将服务搭建起来,那和不搭有什么区别呢. Nagios的配置文件非常多,只要其中一个配置文件出现错误，就会导致Nagios 无法正常工作。也很灵活,但只要掌握了其中的规律,就很简单了 了解Nagios 的各个配置文件 1.主配置文件nagios.cfg nagios默认的配置文件比较少,并且将很主机,主机组,服务,服务组写在同一个文件中. 这样做的好处是配置文件管理比较方便,但是数据量大了之后,很难整理.所以建议将这些配置分开 cfg_file=/usr/local/nagios/etc/objects/commands.cfg cfg_file=/usr/local/nagios/etc/objects/contacts.cfg cfg_file=/usr/local/nagios/etc/objects/timeperiods.cfg cfg_file=/usr/local/nagios/etc/objects/templates.cfg cfg_file=/usr/local/nagios/etc/objects/contactgroups.cfg cfg_file=/usr/local/nagios/etc/objects/hosts.cfg cfg_file=/usr/local/nagios/etc/objects/hostgroups.cfg cfg_file=/usr/local/nagios/etc/objects/services.cfg cfg_file=/usr/local/nagios/etc/objects/servicegroups.cfg 改check_external_commands=0为check_external_commands=1.这行的作用是允许在web 界面下执行重启nagios、停止主机/服务检查等操作。 把command_check_interval的值从默认的1 改成command_check_interval=15s（根据自己的情况定这个命令检查时间间隔，不要太长也不要太短）。 2.资源配置文件resource.cfg 资源文件可以保存用户自定义的宏.资源文件的一个主要用处是用于保存一些敏感的配置信息,如系统口令等不能让CGIs 程序模块获取到的东西 3.CGI配置文件cgi.cfg CGI 配置文件包含了一系列的设置,它们会影响CGIs程序模块.还有一些保存在主配置文件之中,因此CGI 程序会知道你是如何配置的Nagios并且在哪里保存了对象定义.最实际的例子就是,如果你想建立一个只有查看报警权限的用户,或者只有查看其中一些服务 器或者服务状态的权限,通过修改cfi.cfg可以灵活的控制web访问端的权限. 4.主机定义文件 定义你要监控的对象,这里定义的“host_name”被应用到其它的所有配置文件中，这个是我们配置Nagios 必须修改的配置文件. [root@test objects] vim hosts.cfg  define host{          host_name                       Nagios-Server   ; 设置主机的名字，该名字会出现在hostgroups.cfg 和services.cfg 中。注意，这个名字可以不是该服务器的主机名。          alias                           Nagios服务器   ; 别名          address                         192.168.81.128 ; 主机的IP 地址          check_command                   check-host-alive ; 检查使用的命令，需要在命令定义文件定义，默认是定义好的。          check_interval                  1               ; 检测的时间间隔          retry_interval                  1               ; 检测失败后重试的时间间隔          max_check_attempts              3               ; 最大重试次数          check_period                    24x7            ; 检测的时段          process_perf_data               0          retain_nonstatus_information    0          contact_groups                  sagroup         ; 需要通知的联系组          notification_interval           30              ; 通知的时间间隔          notification_period             24x7            ; 通知的时间段          notification_options            d,u,r           ; 通知的选项  w—报警(warning)，u—未知(unkown)  c—严重(critical)，r—从异常情况恢复正常  }  define host{          host_name                       Nagios-Client          alias                           Nagios客户端         address                         192.168.81.129         check_command                   check-host-alive          check_interval                  1         retry_interval                  1          max_check_attempts              3         check_period                    24x7          process_perf_data               0          retain_nonstatus_information    0          contact_groups                  sagroup          notification_interval           30          notification_period             24x7          notification_options            d,u,r  }  5.主机组定义文件 主机组定义文件,可以方便的将相同功能或者在应用上相同的服务器添加到一个主机组里,在WEB 界面可以通过HOST Group 方便的查看该组主机的状态信息. 将刚才定义的两个主机加入到主机组中,针对生产环境就像把所有的MySQL 服务器加到一个MySQL主机组里,将Oracle 服务器加到一个Oracle 主机组里,方便管理和查看,可以配置多个组. [root@test objects] vim hostgroups.cfg  define hostgroup {          hostgroup_name   Nagios-Example                  ; 主机组名字          alias       Nagios 主机组                ; 主机组别名          members          Nagios-Server,Nagios-Client     ; 主机组成员，用逗号隔开  }  6.服务定义文件 服务定义文件定义你需要监控的对象的服务,比如本例为检测主机是否存活,在后面会讲到如何监控其它服务,比如服务器负载、内存、磁盘等. [root@test objects] vim services.cfg  define service {          host_name               Nagios-Server           ; hosts.cfg 定义的主机名称          service_description     check-host-alive        ; 服务描述          check_period            24x7                    ; 检测的时间段          max_check_attempts      3                       ; 最大检测次数          normal_check_interval   3          retry_check_interval    2          contact_groups          sagroup                 ; 发生故障通知的联系人组          notification_interval   10          notification_period     24x7                    ; 通知的时间段          notification_options    w,u,c,r          check_command           check-host-alive  }  define service {          host_name               Nagios-Client          service_description     check-host-alive          check_period            24x7          max_check_attempts      3         normal_check_interval   3          retry_check_interval    2          contact_groups          sagroup          notification_interval   10          notification_period     24x7          notification_options    w,u,c,r          check_command           check-host-alive  }  7.服务组定义文件 和主机组一样,我们可以按需将相同的服务放入一个服务组,这样有规律的分类,便于我们在WEB端查看. [root@test objects] vim servicegroups.cfg  define servicegroup{          servicegroup_name       Host-Alive ; 组名          alias                   Host Alive ; 别名设置          members                 Nagios-Server,check-host-alive,Nagios-Client,check-host-alive  }  8.联系人定义文件 定义发生故障时,需要通知的联系人信息.默认安装完成后，该配置文件已经存在,而且该文件不仅定义了联系人,也定义了联系人组,为了条理化的规划,我们把联系人定义放在contacts.cfg文件里,把联系人组放在contactgroups.cfg文件中. [root@test objects] mv contacts.cfg contacts.cfg.bak  [root@test objects] vim contacts.cfg  define contact{          contact_name maoxian ; 联系人的名字          alias maoxian ; 别名          service_notification_period 24x7 ; 服务报警的时间段          host_notification_period 24x7 ; 主机报警的时间段          service_notification_options w,u,c,r ; 就是在这四种情况下报警。          host_notification_options d,u,r ;同上。  服务报警发消息的命令，在command.cfg 中定义。          service_notification_commands notify-service-by-email  服务报警发消息的命令，在command.cfg 中定义。          host_notification_commands notify-host-by-email          email wangyx088@gmail.com       ; 定义邮件地址，也就是接收报警邮件地址。  }  9.联系人组定义文件 联系人组定义文件在实际应用中很有好处,我们可以把报警信息分级别,报联系人分级别存放在联系人组里面.例如：当发生一些警告信息的情况下,只发邮件给系统工程师联系人组即可,但是当发生重大问题,比如主机宕机了,可以发给领导联系人组. [root@test objects] vim contactgroups.cfg  define contactgroup{          contactgroup_name       sagroup                 ; 组名          alias                   Nagios Administrators   ; 别名          members                 maoxian             ; 联系人组成员  }  10.命令定义文件 commands.cfg 命令定义文件是Nagios中很重要的配置文件,所有在hosts.cfg还是services.cfg使用的命令都必须在命令定义文件中定义才能使用.默认情况下,范例配置文件已经配置好了日常需要使用的命令,所以一般不做修改. 11.时间段定义文件 timeperiods.cfg 我们在检测、通知、报警的时候都需要定义时间段,默认都是使用7x24,这也是默认配置文件里配置好的,如果你需要周六日不做检测,或者在制定的维护时间不做检测,都可以在该时间段定义文件定义好,这样固定维护的时候,就不会为大量的报警邮件或者短信烦恼 [root@test objects] cat timeperiods.cfg |grep -v "^" |grep -v "^$"  可以根据业务需求来更改  12.启动Nagios 1> 修改配置文件所有者  [root@test objects] chown -R nagios:nagios /usr/local/nagios/etc/objects/  2> 检测配置是否正确  [root@test objects] /usr/local/nagios/bin/nagios -v /usr/local/nagios/etc/nagios.cfg  如果配置错误,会给出相应的报错信息,可以根据信息查找,注意,如果配置文件中有不可见字符也可以导致配置错误  3> 重载Nagios  [root@test objects] service nagios restart  本文出自 “毛线的linux之路” 博客，请务必保留此出处http://maoxian.blog.51cto.com/4227070/756516 本篇文章为转载内容。原文链接：https://blog.csdn.net/gzh0222/article/details/8549202。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-11-16 20:48:42
483
转载
Docker
docker新增虚拟网卡(docker 虚拟网卡与ip冲突)
...项关键技术，而其中的Docker容器技术则是运用最为广泛的一种模拟化技术之一。在Docker中，增加虚拟网卡是一个非常有用的特性，可以帮助用户更好地使用容器技术。 那么，如何在Docker中增加虚拟网卡呢？首先，需要开启指令行界面并登录Docker服务器。接着，使用以下指令新建一个新的虚拟网卡： docker network create --driver bridge [新网卡名称] 其中，[新网卡名称]就是新建的虚拟网卡的名称，可以根据需要自行设置。执行上述指令后，Docker将会新建一个新的虚拟网卡，并将其添加到网络结构桥接器中。 接下来，可以使用以下指令在Docker容器中绑定新的虚拟网卡： docker run --net=[新网卡名称] [容器名称] 这里，--net参数指定要使用的网络结构，即新建的虚拟网卡名称。执行以上指令后，Docker容器就会使用该虚拟网卡进行网络结构通信。 通过上述步骤，就能够在Docker中增加虚拟网卡并将其与容器绑定，从而更好地管理容器网络结构。这一特性在实际运用中非常有用，可以根据具体需求进行灵活运用。
2024-04-03 15:29:47
436
数据库专家
转载文章
[转载]EMCC 删除配置错误的数据库信息 以及修改度量METRICS
...blog.csdn.net/jnrjian/article/details/126827989。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 --------------------删除数据库配置 1️⃣配置etc/hosts： 192.168.230.101 ouzy 设置-添加目标-手动添加目标-在主机上安装代理- 添加-手动-输入添加主机IP，选择对应平台-下一步-设置安装基目录：/u02/agent 验证填oracle、root用户身份证明信息（默认设置密码Oracle123，方便记忆，密码另存为改为root或者Oracle）-安装部署代理-完成 查看部署日志：（tail -f 文件名）（emcc主机上） tail -f /u02/gc_inst/em/EMGC_OMS1/sysman/agentpush/2019-08-20_20-55-47-PM/applogs/192.168.230.100_deploy.log 1 安装完成后在agent上查看安装情况（oracle） /u02/agent/agent_13.3.0.0.0/bin [oracle@ouzy bin]$ ./emctl status agent [oracle@ouzy bin]$ ./emctl upload agent（手动上传） 删除目标主机： 主机-目标设置-删除目标 全选-移去 代理： 点击无法删除的代理主机-代理-目标设置-取消代理使用（先停止代理agent） 删除目标主机： 主机-目标设置-删除目标 删除主机的时候如果有数据库，会显示主机上对应的应用，可以选择性删除。 ------------------------修改度量 1.新选项打开 2. 编辑阈值 编辑后就可以看到所有的度量 本篇文章为转载内容。原文链接：https://blog.csdn.net/jnrjian/article/details/126827989。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-07-25 18:45:23
131
转载
Docker
docker挂载状态
Docker 是当前比较盛行的虚拟机技术。它赋予可复现安装的场景，这个场景包含了安装应用所必须的所有模块（如关联性、程序库等等）。在采用 Docker 安装应用时，时常需要挂接存储卷来保留应用情况或者提供应用间资源共享的功能。接下来我们来讲解一下 Docker 挂载情况。 $ docker run --name mynginx -v /data/nginx:/etc/nginx -d nginx 上面的命令就是在建立 mynginx 虚拟机的同时，将宿主机 /data/nginx 目录挂载到虚拟机内部的 /etc/nginx 目录。这样就能够通过宿主机的 /data/nginx 目录来读取虚拟机内的 /etc/nginx 目录。然而有时，挂载情况会出现问题，接下来来讲解一些常见的挂载情况。 1. No such file or directory $ docker run -v /host:/data myimage 上述代码在执行时报错，报错信息是 No such file or directory。这是因为在 Docker 虚拟机中 /host 目录不存在，因此 Docker 不能挂载 /host 目录到虚拟机内部的 /data 目录。 2. Permission denied $ docker run -v /root:/data myimage 上述代码在执行时报错，报错信息是 Permission denied。这是因为默认情况下，Docker 挂载本地目录到虚拟机内部时，会采用虚拟机内的没有 root 权限的用户来读取挂载目录，然而 /root 目录是只有 root 用户才能读取的，因此会出现 Permission denied 的错误。解决该问题的方法是，在运行 Docker 命令时采用 -u 参数来指定虚拟机内的用户。 3. Readonly file system $ docker run --read-only -v /data:/data myimage 上述代码在执行时报错，报错信息是 Readonly file system。这是因为 Docker 在运行时采用只读文件系统，因此挂载目录的读取权限是只读的，不能对挂载目录进行写入操作。如果需要对挂载目录进行写入操作，需要在 Dockerfile 中采用 VOLUME 指令来显式定义挂载的目录。 总结 Docker 挂载情况是 Docker 安装应用时时常遇到的问题，本文讲解了一些常见的挂载情况及解决方法。在实际应用中，需要根据实际情况来选择合适的挂载方式，保证 Docker 虚拟机正常运行。
2023-01-13 17:03:08
524
逻辑鬼才
MySQL
怎么在cmd开启mysql服务
...临，MySQL服务的应用场景不断拓宽，其在企业级数据处理、网站后端开发以及移动应用数据存储等方面扮演着至关重要的角色。近期，MySQL 8.0版本的发布更是引起了业界广泛关注，新版本不仅提升了查询性能，还强化了安全性，如支持窗口函数、JSON功能增强等，进一步满足现代应用程序复杂多样的需求。 在全球范围内，许多大型互联网公司如Facebook、Twitter等都在其技术栈中大量使用MySQL作为核心数据库。例如，Facebook推出了开源的MySQL分支——RocksDB，专门针对大规模、高写入负载场景进行优化。此外，阿里云也提供了基于MySQL的高度兼容、安全稳定的云数据库服务，助力企业在云端实现灵活高效的数据管理。 值得关注的是，随着容器化和Kubernetes等云原生技术的发展，MySQL服务的部署与运维模式也在发生深刻变革。用户可以通过Docker容器快速搭建MySQL服务，并借助Kubernetes进行自动化部署和资源调度，从而提升服务可用性和可扩展性。 综上所述，在当前的技术浪潮下，MySQL服务持续演进升级，正以更加强大且灵活的姿态服务于各行各业的数据存储与管理需求。对于开发者和IT专业人员来说，紧跟MySQL最新发展动态和技术实践，无疑将有助于提升自身在数据架构设计和应用开发领域的竞争力。
2023-04-15 17:10:20
127
键盘勇士
转载文章
[转载]Docker学习重点(4)~docker 部署环境
...blog.csdn.net/weixin_45630258/article/details/124785912。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 一、部署Nginx 1、下载nginx镜像（这一步可以省略，直接进入第二步会自动下载的） pull 2、启动容器 run 3、进入容器 exec 1、镜像： docker hub官网搜索nginx 下载：docker pull nginx 查看下载情况：docker images 2、容器： 创建容器命令：docker run [-d 后台启动] [–name nginx01 起别名] [-p 3344:80 端口:协议] [镜像(包含版本)] (创建)启动容器实例：docker run -d --name nginx01 -p 3344:80 nginx 查看容器运行状况：docker ps 本机访问测试一下：curl localhost:3344 ■ 端口暴露 -p 宿主机端口:容器内部端口 浏览器输入: http://服务器ip地址:3344/ 3344 是暴露的端口 ----接下来： 进入(正在运行的)容器内部：docker exec -it nginx01 /bin/bash [root@iZwz9535z41cmgcpkm7i81Z /] docker exec -it nginx01 /bin/bashroot@d1a29e4791e3:/ whereis nginxnginx: /usr/sbin/nginx /usr/lib/nginx /etc/nginx /usr/share/nginxroot@d1a29e4791e3:/ cd /etc/nginxroot@d1a29e4791e3:/etc/nginx lsconf.d fastcgi_params mime.types modules nginx.conf scgi_params uwsgi_paramsroot@d1a29e4791e3:/etc/nginx ■ /bin/bash 是Linux的一种常用shell脚本，用于解释执行Linux命令，根据镜像支持的shell的不同，可以使用不同的的shell脚本。 容器，也是和虚拟机一样是虚拟技术呀，通过脚本执行/bin/bash实现，创建并进入容器内部docker ● 思考问题：每次改动nginx配置文件，都需要进入容器内部，十分麻烦： 要是可以在容器外部提供一个映射路径，达到在容器修改文件名，容器内部就可以自动修改？-v 数据卷技术！ 二、部署tomcat docker run 可以不用pull，能自动下载 ctrl+c退出 docker pull tomcat:9.0 启动运行，应该加上版本号: docker run -d -p 3355:8080 --name tomcat01 tomcat:9.0 进入容器 docker exec -it tomcat01 /bin/bash ● 部署tomcat，发现问题: 1、linux命令少了 2、没有webapps 这是阿里云镜像的原因：默认使用最小镜像，所有不必要的都剔除了，保证最小可运行环境 可以通过拷贝的方式，解决没有webapps的问题： 在浏览器中输入：http://服务器ip地址:3355/ 进行访问 ● 思考问题：我们以后部署项目，如果每次都要进入容器很麻烦？ 要是可以在容器外部提供一个映射路径，webapps，我们在外部放置项目，容器内部就可以自动修改？-v 数据卷技术！ 三、部署es+kibana ● Elasticsearch 的问题： es 暴露的端口很多 es 十分耗内存 es 的数据一般需要放置到安全目录！挂载 1、问题1：es 十分耗内存 下载启动运行elastissearch 之后，Linux系统就变得特别卡 ＃ 启动了 linux就卡住了docker stats＃ 查看 cpu的状态 ＃es 是十分耗内存的，1．xG＃ 1核2G(学生机)！ ＃ 查看 docker stats 2、问题2：es 需要暴露的端口很多 -p (下载)启动 elasticsearch$ docker run -d --name elasticsearch01 -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.6.2 查看内存占用情况docker stats 先感觉stop一下docker stop ba18713ca536 3、es 十分耗内存的解决：增加内存的限制，修改配置文件 -e 环境配置修改 通过 -e 限制内存docker run -d --name elasticsearch02 -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms64m -Xmx512m" elasticsearch:7.6.2 [root@iZwz9535z41cmgcpkm7i81Z /] curl localhost:9200/{"name" : "14329968b00f","cluster_name" : "docker-cluster","cluster_uuid" : "0iDu-G_KTo-4X8KORDj1XQ","version" : {"number" : "7.6.2","build_flavor" : "default","build_type" : "docker","build_hash" : "ef48eb35cf30adf4db14086e8aabd07ef6fb113f","build_date" : "2020-03-26T06:34:37.794943Z","build_snapshot" : false,"lucene_version" : "8.4.0","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"} 4、思考：用kibana连接elasticsearch? 思考(kibana连接elasticsearch)网络如何连接过去 ☺ 参考来源： 狂神的B站视频《【狂神说Java】Docker最新超详细版教程通俗易懂》 https://www.bilibili.com/video/BV1og4y1q7M4 如果本文对你有帮助的话记得给一乐点个赞哦，感谢！ 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_45630258/article/details/124785912。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-03-12 10:54:44
65
转载
转载文章
[转载]Java 使用SFTP文件上传
...blog.csdn.net/weixin_37862824/article/details/113530683。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 SFTP是Secure File Transfer Protocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的加密方法。SFTP 为 SSH的一部份，是一种传输文件到服务器的安全方式。SFTP是使用加密传输认证信息和传输的数据，所以，使用SFTP是非常安全的。但是，由于这种传输方式使用了加密/解密技术，所以传输效率比普通的FTP要低得多，如果您对网络安全性要求更高时，可以使用SFTP代替FTP(来自百度的解释) JSch是Java Secure Channel的缩写。 JSch是一个SSH2的纯Java实现。它允许你连接到一个SSH服务器，并且可以使用端口转发，X11转发，文件传输等，当然你也可以集成它的功能到你自己的应用程序。 ChannelSftp类是JSch实现SFTP核心类，它包含了所有SFTP的方法，如： put()： 文件上传get()： 文件下载cd()： 进入指定目录ls()： 得到指定目录下的文件列表rename()： 重命名指定文件或目录rm()： 删除指定文件mkdir()： 创建目录rmdir()： 删除目录 1、先引入jar包 <dependency><groupId>org.mybatis</groupId><artifactId>mybatis-spring</artifactId><version>1.2.2</version></dependency> 账号密码类 public interface SFTPDTO {/FTP登录用户名/public static final String username=xxxx;/ FTP登录密码/public static final String password=xxxx;/ 私钥/public static final String privateKey = xxxx;/ FTP服务器地址IP地址/public static final String host=xxxx;/ FTP端口/public static final int port=xxxx;} 重要类，里面包含开启连接和关闭连接。 public class SFTPUtils {private ChannelSftp sftp;private Session session;public void login(){try {JSch jsch = new JSch();if (SFTPDTO.privateKey != null) {jsch.addIdentity(SFTPDTO.privateKey);// 设置私钥}session = jsch.getSession(SFTPDTO.username, SFTPDTO.host, SFTPDTO.port);if (SFTPDTO.password != null) {session.setPassword(SFTPDTO.password);}Properties config = new Properties();config.put("StrictHostKeyChecking", "no");session.setConfig(config);session.connect();Channel channel = session.openChannel("sftp");channel.connect();sftp = (ChannelSftp) channel;} catch (Exception e) {log.error("Cannot connect to specified sftp server : {}:{} \n Exception message is: {}", new Object[]{SFTPDTO.host, SFTPDTO.port, e.getMessage()});} }/ 关闭连接 server/public void logout(){if (sftp != null) {if (sftp.isConnected()) {sftp.disconnect();log.info("sftp is closed already");} }if (session != null) {if (session.isConnected()) {session.disconnect();log.info("sshSession is closed already");} }}/ 将输入流的数据上传到sftp作为文件 @param directory 上传到该目录 @param sftpFileName sftp端文件名 @throws SftpException @throws Exception/public void upload(String directory, String sftpFileName, InputStream input) throws SftpException{try {sftp.cd(directory);} catch (SftpException e) {log.warn("directory is not exist");sftp.mkdir(directory);sftp.cd(directory);}sftp.put(input, sftpFileName);log.info("file:{} is upload successful" , sftpFileName);} } 测试一下 public static void main(){SFTPUtils sftp = new SFTPUtils();sftp.login();String audioUrl = courseSection.getAudioUrl();String temp[] = audioUrl.split("\\\\");String fileName = temp[temp.length - 1];InputStream inputStream = FileUtils.urlInputStream(audioUrl);sftp.upload("/www/website/haha/audio", fileName, inputStream);//上传//拼接最终的urlString newUrl = "https://static.taobao.com/website/ancai/audio/".concat(fileName);sftp.logout();} 把url转成流 public class FileUtils {public static InputStream urlInputStream(String fileUrl){if(StringUtils.isBlank(fileUrl)){return null;}try {URL url = new URL(fileUrl);HttpURLConnection conn = (HttpURLConnection)url.openConnection();//设置超时间为3秒conn.setConnectTimeout(31000);//防止屏蔽程序抓取而返回403错误conn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");//得到输入流return conn.getInputStream();} catch (Exception e) {//打印errorlog.error("fileutils.urlinputstream-获取url流失败:",e.getMessage());}return null;} } 实际中，我们使用这个工具类就够用了 public class SFTPUtils {private ChannelSftp sftp;private Session session;public void login(){try {JSch jsch = new JSch();if (SFTPDTO.privateKey != null) {jsch.addIdentity(SFTPDTO.privateKey);// 设置私钥}session = jsch.getSession(SFTPDTO.username, SFTPDTO.host, SFTPDTO.port);if (SFTPDTO.password != null) {session.setPassword(SFTPDTO.password);}Properties config = new Properties();config.put("StrictHostKeyChecking", "no");session.setConfig(config);session.connect();Channel channel = session.openChannel("sftp");channel.connect();sftp = (ChannelSftp) channel;} catch (Exception e) {log.error("Cannot connect to specified sftp server : {}:{} \n Exception message is: {}", new Object[]{SFTPDTO.host, SFTPDTO.port, e.getMessage()});} }/ 关闭连接 server/public void logout(){if (sftp != null) {if (sftp.isConnected()) {sftp.disconnect();log.info("sftp is closed already");} }if (session != null) {if (session.isConnected()) {session.disconnect();log.info("sshSession is closed already");} }}/ 将输入流的数据上传到sftp作为文件 @param directory 上传到该目录 @param sftpFileName sftp端文件名 @throws SftpException @throws Exception/public void upload(String directory, String sftpFileName, InputStream input) throws SftpException{try {sftp.cd(directory);} catch (SftpException e) {log.warn("directory is not exist");sftp.mkdir(directory);sftp.cd(directory);}sftp.put(input, sftpFileName);log.info("file:{} is upload successful" , sftpFileName);}/ 上传单个文件 @param directory 上传到sftp目录 @param uploadFile 要上传的文件,包括路径 @throws FileNotFoundException @throws SftpException @throws Exception/public void upload(String directory, String uploadFile) throws FileNotFoundException, SftpException{File file = new File(uploadFile);upload(directory, file.getName(), new FileInputStream(file));}/ 将byte[]上传到sftp，作为文件。注意:从String生成byte[]是，要指定字符集。 @param directory 上传到sftp目录 @param sftpFileName 文件在sftp端的命名 @param byteArr 要上传的字节数组 @throws SftpException @throws Exception/public void upload(String directory, String sftpFileName, byte[] byteArr) throws SftpException{upload(directory, sftpFileName, new ByteArrayInputStream(byteArr));}/ 将字符串按照指定的字符编码上传到sftp @param directory 上传到sftp目录 @param sftpFileName 文件在sftp端的命名 @param dataStr 待上传的数据 @param charsetName sftp上的文件，按该字符编码保存 @throws UnsupportedEncodingException @throws SftpException @throws Exception/public void upload(String directory, String sftpFileName, String dataStr, String charsetName) throws UnsupportedEncodingException, SftpException{upload(directory, sftpFileName, new ByteArrayInputStream(dataStr.getBytes(charsetName)));}/ 下载文件 @param directory 下载目录 @param downloadFile 下载的文件 @param saveFile 存在本地的路径 @throws SftpException @throws Exception/public void download(String directory, String downloadFile, String saveFile) throws SftpException, FileNotFoundException{if (directory != null && !"".equals(directory)) {sftp.cd(directory);}File file = new File(saveFile);sftp.get(downloadFile, new FileOutputStream(file));log.info("file:{} is download successful" , downloadFile);}/ 下载文件 @param directory 下载目录 @param downloadFile 下载的文件名 @return 字节数组 @throws SftpException @throws Exception/public byte[] download(String directory, String downloadFile) throws SftpException, IOException {if (directory != null && !"".equals(directory)) {sftp.cd(directory);}InputStream is = sftp.get(downloadFile);byte[] fileData = IOUtils.toByteArray(is);log.info("file:{} is download successful" , downloadFile);return fileData;}/ 删除文件 @param directory 要删除文件所在目录 @param deleteFile 要删除的文件 @throws SftpException @throws Exception/public void delete(String directory, String deleteFile) throws SftpException{sftp.cd(directory);sftp.rm(deleteFile);}/ 列出目录下的文件 @param directory 要列出的目录 @return @throws SftpException/public Vector<?> listFiles(String directory) throws SftpException {return sftp.ls(directory);}/public static void main(String[] args) throws SftpException, Exception {SFTPUtils sftp = new SFTPUtils("xxxx", "xxx", "upload.haha.com", 8888);sftp.login();InputStream inputStream = getInputStream("http://qiniu.xinxuanhaoke.com/keqianduwu_1.jpg");sftp.upload("/www/website/ancai/audio", "123.jpg", inputStream);sftp.logout();}/} 方式二、使用HuTool的工具类 先引入jar <dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.4.0</version></dependency><dependency><groupId>com.jcraft</groupId><artifactId>jsch</artifactId><version>0.1.53</version></dependency> public static void main(String[] args) {Sftp sftp = JschUtil.createSftp("ip或者域名", 端口, "账号", "密码");ChannelSftp client = sftp.getClient();String cd = "/www/website/ancai/audio";//要上传的路径try {sftp.cd(cd); //进入指定目录} catch (Exception e) {log.warn("directory is not exist");sftp.mkdir(cd); //创建目录sftp.cd(cd); //进入目录}InputStream inputStream = urlInputStream("http://audio.xinxuanhaoke.com/50bda079e9ef3673bbaeda20321bf932.mp3");//将文件转成流client.put(String.valueOf(inputStream), "1.mp3");//开始上传。} 本文引自：https://www.cnblogs.com/ceshi2016/p/7519762.html 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_37862824/article/details/113530683。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。
2023-04-04 09:43:38
71
转载
Flink
Flink on Kubernetes：Pod启动问题详析与配置错误、资源不足、网络问题及容器镜像解决方案
...小家伙搬到Kubernetes这个大家庭时，可能会碰到一些小插曲。比如说，可能会出现Flink在Kubernetes的Pod里闹脾气，死活不肯启动的情况。这篇文章将和你一起深入挖掘这个问题的源头，手把手地提供一些实用的解决妙招，让你在Flink的征途上走得更稳更快，一路畅行无阻。 二、Flink on Kubernetes背景 1.1 Kubernetes简介 Kubernetes（简称K8s）是Google开源的一个容器编排平台，它简化了应用的部署、扩展和管理。Flink on Kubernetes利用Kubernetes的资源调度功能，可以让我们更好地管理和部署Flink集群。 1.2 Flink on Kubernetes架构 Flink on Kubernetes通过Flink Operator来自动部署和管理Flink Job和TaskManager。每个TaskManager都会在自己的“小天地”——单独的一个Pod里辛勤工作，而JobManager则扮演着整个集群的“大管家”，负责掌控全局。 三、Flink on KubernetesPod启动失败原因 2.1 配置错误 配置文件（如flink-conf.yaml）中的关键参数可能不正确，比如JobManager地址、网络配置、资源请求等。例如，如果你的JobManager地址设置错误，可能导致Pod无法连接到集群： yaml jobmanager.rpc.address: flink-jobmanager-service:6123 2.2 资源不足 如果Pod请求的资源（如CPU、内存）小于实际需要，或者Kubernetes集群资源不足，也会导致Pod无法启动。 yaml resources: requests: cpu: "2" memory: "4Gi" limits: cpu: "2" memory: "4Gi" 2.3 网络问题 如果Flink集群内部网络配置不正确，或者外部访问受限，也可能引发Pod无法启动。 2.4 容器镜像问题 使用的Flink镜像版本过旧或者损坏，也可能导致启动失败。确保你使用的镜像是最新的，并且可以从官方仓库获取。 四、解决策略与实例 3.1 检查和修复配置 逐行检查配置文件，确保所有参数都正确无误。例如，检查JobManager的网络端口是否被其他服务占用： bash kubectl get pods -n flink | grep jobmanager 3.2 调整资源需求 根据你的应用需求调整Pod的资源请求和限制，确保有足够的资源运行： yaml resources: requests: cpu: "4" memory: "8Gi" limits: cpu: "4" memory: "8Gi" 3.3 确保网络畅通 检查Kubernetes的网络策略，或者为Flink的Pod开启正确的网络模式，如hostNetwork： yaml spec: containers: - name: taskmanager networkMode: host 3.4 更新镜像 如果镜像有问题，可以尝试更新到最新版，或者从官方Docker Hub拉取： bash docker pull flink:latest 五、总结与后续实践 Flink on KubernetesPod无法启动的问题往往需要我们从多个角度去排查和解决。记住，耐心和细致是解决问题的关键。在遇到问题时，不要急于求成，一步步分析，找出问题的根源。同时呢，不断学习和掌握最新的顶尖操作方法，就能让你的Flink部署跑得更稳更快，效果杠杠的。 希望这篇文章能帮助你解决Flink on Kubernetes的启动问题，祝你在大数据处理的道路上越走越远！
2024-02-27 11:00:14
539
诗和远方-t
Docker
Docker容器存储路径映射与修改实践：数据卷持久化及多路径配置详解
Docker映射路径：修改Docker存储路径的深度解析与实践 1. 引言 在Docker的世界中，容器运行时的数据持久化是一个至关重要的议题。一般来说，Docker这家伙干活的时候，默认会把容器里的数据藏在它自己的小秘密空间里。不过你可得注意了，一旦这个容器被停止运行或者干脆被删掉，那么这些数据也就跟着玩完了，彻底消失不见啦。不过，在真实操作场景里，我们常常得把容器里面的文件系统路径，像变魔术一样映射到宿主机上。这样一来，既能保证数据能长久保存，又能轻松实现容器内外的资源共享，让大家都能方便地“互通有无”。今天，咱们要聊的话题接地气点，就是怎么捣鼓Docker的存储路径，再给它来个路径映射的小魔术，让大伙儿用起来更顺手。 2. Docker数据卷的基础理解 在深入讨论映射路径之前，我们需要先理解Docker中的一个重要概念——数据卷（Data Volumes）。数据卷这个小东西，就像一个独立的存储空间，它实实在在地存在于你的电脑（也就是宿主机）上。然后，当你启动一个Docker容器时，会把这个存储空间“搬”到容器内部的一个特定目录里。神奇的是，这个数据卷的生命周期完全不受容器的影响，也就是说，哪怕你把容器整个删掉了，这个数据卷里的所有数据都还会好好地保存着，一点儿都不会丢失！ bash 创建一个使用数据卷的nginx容器 docker run -d --name web-server -v /webapp:/usr/share/nginx/html nginx 上述命令中 -v /webapp:/usr/share/nginx/html 就创建了一个从宿主机 /webapp 映射到容器内 /usr/share/nginx/html 的数据卷。这样，容器内的网页文件实际上会存储在宿主机的 /webapp 目录下。 3. 修改Docker默认存储路径 Docker的默认存储路径通常位于 /var/lib/docker，如果这个位置的空间不足或者出于管理上的需求，我们可以对其进行修改： 3.1 Linux系统 在Linux系统中，可以通过修改Docker守护进程启动参数来改变数据存储路径： bash 停止Docker服务 sudo systemctl stop docker 编辑Docker配置文件（通常是/etc/docker/daemon.json） sudo nano /etc/docker/daemon.json 添加如下内容（假设新的存储路径为 /mnt/docker） { "data-root": "/mnt/docker" } 重启Docker服务并检查新路径是否生效 sudo systemctl start docker sudo docker info | grep "Root Dir" 3.2 Windows和Mac (Docker Desktop) 对于Windows和Mac用户，通过Docker Desktop可以更方便地更改Docker数据盘的位置： - 打开Docker Desktop应用 - 进入“Preferences”或“Settings” - 在“Resources”选项卡中找到“Disk image location”，点击“Move”按钮选择新的存储路径 - 点击“Apply & Restart”以应用更改 4. 多路径映射与复杂场景 在某些情况下，我们可能需要映射多个路径，甚至自定义路径模式。例如，下面的命令展示了如何映射多个宿主机目录到容器的不同路径： bash docker run -d \ --name my-app \ -v /host/path/config:/app/config \ -v /host/path/data:/app/data \ your-image-name 这里，我们把宿主机上的 /host/path/config 和 /host/path/data 分别映射到了容器的 /app/config 和 /app/data。 总结起来，理解和掌握Docker映射路径及修改存储路径的技术，不仅可以帮助我们更好地管理和利用资源，还能有效保证容器数据的安全性和持久性。在这个过程中，我们可没闲着，一直在热火朝天地摸索、捣鼓和实战Docker技术。亲身体验到它的神奇魅力，也实实在在地深化了对虚拟化和容器化技术的理解，收获颇丰！
2023-09-10 14:02:30
541
繁华落尽_
Docker
Docker环境下容器的网络划分与通信：IP地址在广播域中的应用及VLAN实践
Docker与VLAN：探索VLAN与IP地址的区别 一、引言 在容器化技术的世界里，Docker作为最主流的轻量级虚拟化工具之一，为我们构建、部署和管理微服务提供了强大的支持。当我们谈论Docker网络时，经常会涉及到VLAN（Virtual Local Area Network，虚拟局域网）以及IP地址的概念。虽然两者都是网络通讯中的重要元素，但在Docker环境中它们承担的角色却大相径庭。这篇文儿呀，咱们要把它掰开了揉碎了，好好讲讲VLAN和IP地址在Docker这个家伙里头是怎么用的，还有它们俩到底有啥不一样。咱不光说理论，还会手把手地通过实际代码例子，带你一步步走过整个操作流程，保证让你看得明明白白、实实在在的。 二、什么是VLAN 1. VLAN简介 VLAN是一种逻辑上的网络划分方式，它允许我们在物理网络中创建多个独立的广播域，即使这些广播域共享同一物理介质。你知道吗，每个VLAN就像一个小社区，都有自己独立的广播范围。这意味着，如果两个设备身处不同的VLAN里，它们就不能直接“对话”。想要实现通信，就得依靠路由器或者三层交换机这位“信使”，帮忙传递信息才行。VLAN的主要作用是提高网络安全性和资源利用率。 2. Docker与VLAN结合示例 在Docker中，我们可以利用network配置选项启用VLAN网络模式。下面是一个创建带VLAN标签的Docker网络的示例： bash docker network create --driver=vlan \ --subnet=172.16.80.0/24 --gateway=172.16.80.1 \ --opt parent=eth0.10 my_vlan_network 上述命令创建了一个名为my_vlan_network的网络，其基于宿主机的VLAN 10 (parent=eth0.10)划分子网172.16.80.0/24并设置了默认网关。 三、IP地址与Docker容器 1. IP地址基础概念 IP地址（Internet Protocol Address）是互联网协议的核心组成部分，用于唯一标识网络中的设备。根据IPv4协议，IP地址由32位二进制组成，通常被表示为四个十进制数，如192.168.1.1。在Docker这个大家庭里，每个小容器都会被赋予一个独一无二的IP地址，这样一来，它们之间就可以像好朋友一样自由地聊天交流，不仅限于此，它们还能轻松地和它们所在的主机大哥，甚至更远的外部网络世界进行沟通联络。 2. Docker容器IP地址分配 在Docker默认的桥接网络(bridge)模式中，每个容器会获取一个属于172.17.0.0/16范围的私有IP地址。另外，你还可以选择自己动手配置一些个性化的网络设置，像是“host”啦、“overlay”啦，或者之前我们提到的那个“vlan”，这样就能给容器分配特定的一段IP地址，让它们各用各的，互不干扰。 四、VLAN与IP地址在Docker网络中的关系 1. IP地址在VLAN网络中的角色 当Docker容器运行在一个包含VLAN网络中时，它们会继承VLAN网络的IP地址配置，从而在同一VLAN内相互通信。比如，想象一下容器A和容器B这两个家伙，他们都住在VLAN 10这个小区里面，虽然住在不同的单元格，但都能通过各自专属的“门牌号”（也就是VLAN标签）和“电话号码”（IP地址）互相串门聊天，完全不需要经过小区管理员——宿主机的同意或者帮忙。 2. 跨VLAN通信 若想让VLAN网络内的容器能够与宿主机或其他VLAN网络内的容器通信，就需要配置多层路由或者使用VXLAN等隧道技术，使得数据包穿越不同的VLAN标签并在相应的IP地址空间内正确路由。 五、结论 综上所述，VLAN与IP地址在Docker网络场景中各有其核心作用。VLAN这个小家伙，就像是咱们物理网络里的隐形隔离墙和保安队长，它在幕后默默地进行逻辑分割和安全管理工作。而IP地址呢，更像是虚拟化网络环境中的邮差和导航员，主要负责在各个容器间传递信息，同时还能带领外部的访问者找到正确的路径，实现内外的互联互通。当这两者联手一起用的时候，就像是给网络装上了灵动的隔断墙，既能灵活分区，又能巧妙地避开那些可能引发“打架”的冲突风险。这样一来，咱们微服务架构下的网络环境就能稳稳当当地高效运转了，就像一台精密调校过的机器一样。在咱们实际做项目开发这事儿的时候，要想把Docker网络策略设计得合理、实施得妥当，就得真正理解并牢牢掌握这两者之间的关系，这可是相当关键的一环。
2024-02-12 10:50:11
479
追梦人_t
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令：
df -h - 显示磁盘空间使用情况（含挂载点，以人类可读格式）。
推荐内容
推荐本栏目内的其它文章，看看还有哪些文章让你感兴趣。
Python
python正数求和为负
2023-04-28
JQuery
jquery手机轮播图插件
2023-08-09
PostgreSQL
PostgreSQL中创建索引以提升查询速度：从列名到CREATE INDEX语句及性能优化实践
2023-06-18
Docker
Docker中jar镜像构建与访问问题排查：镜像名称冲突、依赖关系与环境差异的影响及解决方案
2023-04-14
转载文章
[转载][洛谷P1082]同余方程
2023-02-18
Apache Atlas
Apache Atlas 数据准确性保障：元数据管理、API 实时同步与Apache Ranger 安全控制及机器学习算法的应用
2023-04-17
Datax
Datax数据同步中的安全性实践：传输加密、认证授权与敏感信息保护机制详解
2024-01-11
CSS
css水平线粗细怎么设置
2023-10-03
JQuery
如何在jQuery GET加载动态内容时获取当前页面URL地址：利用$.get()与window.location.href
2023-09-09
Datax
Datax在数据抽取场景中的并发度调整：并行执行与多线程控制对性能的影响及优化策略
2023-06-13
转载文章
[转载]webpack优化之HappyPack实战
2023-08-07
ActiveMQ
ActiveMQ消息选择器实操：在分布式系统中精准过滤并设置消息传递规则
2023-03-11
快速导航
这里展示了本站支持的所有栏目，方便快速切换。
首页 建站模板下载 JQuery插件下载 转载文章 HTML CSS Javascript Java Python PHP Golang Scala Kotlin Groovy Ruby Lua .net c# c++ SpringBoot SpringCloud Struts2 Tornado Beego Go-Spring Go Gin Go Iris MyBatis Hibernate MySQL Oracle Mongo VUE ReactJS AngularJS JQuery NodeJS JSON Element-UI Bootstrap Material UI Redis MemCache Etcd Cassandra Kafka RabbitMQ RocketMQ ActiveMQ Hive Impala ClickHouse DorisDB Greenplum PostgreSQL HBase Kylin Hadoop Apache Pig ElasticSearch Lucene Apache Solr Kibana Logstash SeaTunnel Sqoop Datax Flink Spark Atlas Superset Saiku Mahout Tesseract ZooKeeper Nacos Consul Dubbo HessianRPC Tomcat Nginx Netty Linux Shell Docker Kubernetes Maven Gradle
历史内容
快速导航到对应月份的历史文章列表。
全部文章 2025年05月 2025年04月 2025年03月 2025年02月 2025年01月 2024年12月 2024年11月 2024年10月 2024年09月 2024年08月 2024年07月 2024年06月 2024年05月 2024年04月 2024年03月 2024年02月 2024年01月 2023年12月 2023年11月 2023年10月 2023年09月 2023年08月 2023年07月 2023年06月 2023年05月 2023年04月 2023年03月 2023年02月 2023年01月
随便看看
拉到页底了吧，随便看看还有哪些文章你可能感兴趣。
[Groovy]Groovy源代码级别的编译时处理：使用注解处理器扩展编译流程与自定义注解实践 03-18 [JSON]JSON.parse()函数处理JSON语法与类型错误：确保数据交换格式正确性及业务逻辑兼容性 12-27 [MySQL]怎么把mysql的数据导出html 12-22 [建站模板下载]全民健身俱乐部类企业前端CMS模板下载 12-05 [HessianRPC]Hessian服务端更新后如何实现客户端无缝对接：版本控制、向后兼容性设计与双重部署实践 10-30 [建站模板下载]宽屏蓝色在线支付接口开发网站模板 10-10 [建站模板下载]清爽自适应实木家具制造商网站模板 09-07 [MyBatis]应对MyBatis处理大数据量时的性能瓶颈：分页查询、批量处理与懒加载优化实践 08-07 [Etcd]Etcd中HTTP/GRPC服务器内部错误的根源与应对：基于工作原理、Raft算法和配置更新实践 07-24 本次刷新还10个文章未展示，点击 更多查看。
[建站模板下载]好用办公家具制造公司官网模板下载 07-03 [VUE]vue启动exe 06-30 [JSON]json 缺少; 06-16 [Element-UI]Element UI 日期选择器添加清空与确认按钮：提升用户体验和自定义组件功能实现 06-14 [建站模板下载]美容养生美发连锁品牌类企业模板下载 05-14 [建站模板下载]绿色苗木草坪种植绿化类企业前端CMS模板下载 04-30 [Hadoop]Hadoop MapReduce中数据转换与处理：从Map阶段到Reduce阶段的键值对聚合实践 04-18 [建站模板下载]简洁宠物医院网页模板下载 03-18 [建站模板下载]响应式化妆美容香水类企业前端CMS模板下载 03-16 [建站模板下载]精美的花甲美食网站HTML模板下载 03-09 [JQuery插件下载]jQuery Lightbox和弹出层插件flashy 02-23
时光飞逝
"流光容易把人抛，红了樱桃，绿了芭蕉。"
  客服QQ：424399461 工作时间：8:30-22:00 鲁ICP备2023030764号-4 中国互联网举报中心 本站的站点地图