前端技术
HTML
CSS
Javascript
前端框架和UI库
VUE
ReactJS
AngularJS
JQuery
NodeJS
JSON
Element-UI
Bootstrap
Material UI
服务端和客户端
Java
Python
PHP
Golang
Scala
Kotlin
Groovy
Ruby
Lua
.net
c#
c++
后端WEB和工程框架
SpringBoot
SpringCloud
Struts2
MyBatis
Hibernate
Tornado
Beego
Go-Spring
Go Gin
Go Iris
Dubbo
HessianRPC
Maven
Gradle
数据库
MySQL
Oracle
Mongo
中间件与web容器
Redis
MemCache
Etcd
Cassandra
Kafka
RabbitMQ
RocketMQ
ActiveMQ
Nacos
Consul
Tomcat
Nginx
Netty
大数据技术
Hive
Impala
ClickHouse
DorisDB
Greenplum
PostgreSQL
HBase
Kylin
Hadoop
Apache Pig
ZooKeeper
SeaTunnel
Sqoop
Datax
Flink
Spark
Mahout
数据搜索与日志
ElasticSearch
Apache Lucene
Apache Solr
Kibana
Logstash
数据可视化与OLAP
Apache Atlas
Superset
Saiku
Tesseract
系统与容器
Linux
Shell
Docker
Kubernetes
[webpack-watch模式]的搜索结果
这里是文章列表。热门标签的颜色随机变换,标签颜色没有特殊含义。
点击某个标签可搜索标签相关的文章。
点击某个标签可搜索标签相关的文章。
HTML
webpack --watch 模式下实现编译完成后的文件拷贝回调功能 在前端开发过程中,webpack 是一个不可或缺的构建工具。它的模块化打包功能超级强大,而且插件机制灵活得不得了,这让我们能够轻轻松松应对各种千奇百怪、复杂的构建需求,一点儿也不费劲儿。今天,咱们要聊一聊一个实际操作的问题,就是在用 webpack --watch 实时监控文件变动并自动重新编译之后,怎么才能顺手牵羊地执行一个我们自定义的回调函数,把部分文件悄无声息地搬到我们指定的目录里去。这个功能在我们日常开发里头,尤其给力。比如当你需要同步更新那些静态资源、模板文件啥的,它就能派上大用场,超级实用嘞! 1. 理解webpack-watch模式 首先,我们需要理解 webpack --watch 命令的作用。当你在项目根目录运行 webpack --watch 时,webpack 将持续监听你的源代码文件,一旦检测到有改动,它会立即重新进行编译打包。这是一种实时反馈开发成果的高效工作模式。 2. 使用webpack插件实现回调功能 webpack 的强大之处在于它的插件系统。我们可以编写自定义插件来扩展其功能。下面,我们将创建一个自定义webpack插件,用于在每次编译完成后执行文件拷贝操作。 javascript class CopyAfterCompilePlugin { constructor(options) { this.options = options || {}; } apply(compiler) { compiler.hooks.done.tap('CopyAfterCompilePlugin', (stats) => { if (!stats.hasErrors()) { const { copyFrom, copyTo } = this.options; // 这里假设copyFrom和copyTo是待拷贝文件和目标路径 fs.copyFileSync(copyFrom, copyTo); console.log(已成功将${copyFrom}拷贝至${copyTo}); } }); } } // 在webpack配置文件中引入并使用该插件 const CopyWebpackPlugin = require('./CopyAfterCompilePlugin'); module.exports = { // ... 其他webpack配置项 plugins: [ new CopyWebpackPlugin({ copyFrom: 'src/assets/myfile.js', copyTo: 'dist/static/myfile.js' }), ], }; 上述代码中,我们定义了一个名为 CopyAfterCompilePlugin 的webpack插件,它会在编译过程结束后触发 done 钩子,并执行文件拷贝操作。这里使用了 Node.js 的 fs 模块提供的 copyFileSync 方法进行文件拷贝。 3. 插件应用与思考 在实际开发中,你可能需要拷贝多个文件或整个目录,这时可以通过遍历文件列表或者递归调用 copyFileSync 来实现。同时,为了提高健壮性,可以增加错误处理逻辑,确保拷贝失败时能给出友好的提示信息。 通过这种方式,我们巧妙地利用了webpack的生命周期钩子,实现了编译完成后的自动化文件管理任务。这种做法,可不光是让手动操作变得省心省力,工作效率嗖嗖往上升,更重要的是,它让构建流程变得更聪明、更自动化了。就好比给生产线装上了智能小助手,让webpack插件系统那灵活多变、随时拓展的特性展现得淋漓尽致。 总结一下,面对“webpack --watch 编译完成之后执行一个callback,将部分文件拷贝到指定目录”的需求,通过编写自定义webpack插件,我们可以轻松解决这个问题,这也是前端工程化实践中的一个小技巧,值得我们在日常开发中加以运用和探索。当然啦,每个项目的个性化需求肯定是各不相同的,所以呢,咱们就可以在这个基础上灵活变通,根据实际情况来个“私人订制”,把咱们的构建过程打磨得更贴合项目的独特需求,让每一个环节都充满浓浓的人情味儿,更有温度。
2023-12-07 22:55:37
690
月影清风_
转载文章
...前端js动力节点。 webpack这个单词,我们可以拆开来读:web、pack。 pack是啥意思?打包,对吧? 所以webpack的核心就是打包,将所有的资源全部打包压成一个个模块,就像酱紫滴: 我们这节课重点讲一下css的打包。 有同学就犯嘀咕了: 你说js打包我还能理解,而css打包是个什么卵?css还用打包?开什么国际玩笑? 这种质疑不无道理。 因为从传统观点来看,css生下来就是个二等公民。js开始也是个二流货色,但经过这几年的努力,人家已经洗白白成了白富美;而css呢,好容易折腾到css3,虽然整了容,变的漂亮了些,但仍不登大雅之堂,不受人待见。 大家都是二等公民出身,为啥你js能起来,我就不行?css心中一万头草泥马奔过,难道这就是命运的安排? 人贵在有自知之明。当人生遇到低谷,最重要的是反思自己,而不是跟个怨妇一样抱怨。 css为啥无法成为白富美? 首先,可能是因其语法简单,没有什么挑战性;其次,大家也不怎么重视css的规范性。在传统模式下,css都是一股脑写在一个大文件里,然后加载到网页的,这样就直接导致了管理上的混乱: 在css增量开发时,要时刻注意命名空间问题;到了调试阶段,又不得不依赖谷歌控制台或firebug的元素定位,有时父类的某个属性影响了子类,导致修改子类样式无法达到预期。。。。 自从有了react和vue,css的灵魂得到了救赎。这两种框架均提出组件化编程的思想,也就是将html,css,js均凝聚成一个不可分割的小部件,留出对外通信的接口,然后灵活组合使用,譬如下图所示: 这样一来,css就有了打包的可能性。打包的好处是: css也有了模块化,可以不用再关心命名空间问题,只需专心将这个部件渲染好,出了问题也更容易定位追踪。 知其然知其所以然,我们搞懂了为啥css要打包的道理,下面就可以愉快而主动的学习了。 仔细权衡了一下,这里我并不打算引入react或vue讲解,因为这样会增加大家理解上的负担。学习新东西,最忌讳的就是学了这个又牵扯到那个,结果精力分散重点转移,到最后很可能一个都没搞懂,还增加了自己的挫败感。 为了简单起见,我们仍旧沿用前面那个案例做讲解,先把这个webpack玩转再说。 咱们看一下具体玩法。首先还是安装插件,这里我们需要两个工具: npm install style-loadernpm install css-loader 原料有了,我们做一下测试文件做测试。我们首先新建一个style.css文件,目录结构如下: style.css: .content {color: red;} 很简单,就是一个样式类。然后我们改一下helloworld.js文件。 helloworld.js: // 引入css模块var styles = require('../style.css');// 输出模块module.exports = () => {// 这里使用了箭头函数,还有let和const关键字哦~~let content = "Hello ";const NAME = "ES6";var div = document.createElement('div');div.setAttribute('class', styles.content); // 使用样式类div.innerHTML = content + NAME;return div;}; 注意,这里跟我们平时写的有点不一样。 我们在建一个dom节点时,指定了一个样式类。但是这个样式类,是以包的形式存在的,也就是一个模块。 综合起来看我们这个helloworld.js模块,是不是把html,css和js凝聚成了一个小整体了呢? 我知道你已经迫不及待的想看结果了,好吧,咱们赶紧写一下配置文件跑起来吧~~ webpack.config.js: var path = require('path');module.exports = {entry: './src/index.js',output: {path: path.resolve(__dirname, 'dist'),filename: 'bundle.js'},module: {rules: [{test: /\.js$/,exclude: /node_modules/,loader: 'babel-loader',options: {presets: ['env']} }, {test: /\.css$/,loader: 'style-loader!css-loader?modules'}]} }; 说明: style-loader和css-loader是工具名称。 !感叹号是分割符,表示两个工具都参与处理。 ?问号,其实跟url的问号一样,就是后面要跟参数的意思。 而modules这个参数呢,就是将css打包成模块。跟js打包是一样的,你不必再担心不同模块具有相同类名时造成的问题了。 我们运行一下:(我这次特地没在局部安装webpack-cli,发现可以运行,因为我昨天在全局安装了webpack-cli,之所以要在全局安装而单独局部安装不行,可能跟package.json有关,因为这里都没有用到package.json)。 如果不报错,我们打开浏览器,看一下index.html: 我们看到,样式已然生效了,但是我们打开控制台,看到class的名称并非是我们写的样式类.content,而是生成了新名称,这就说明webpack的编译生效了。 我们打开bundle.js看一下,css其实已经被打包编译到了bundle.js文件里:(太长,截了一部分) 我们看到,css打包后,存在形态已经变成了js。这没有什么可奇怪的,只有这样才能使用包的形式做管理,css本身,是无法达到这样的目的的,所以,它还是二等公民。。。。 本篇文章为转载内容。原文链接:https://blog.csdn.net/DreamFJ/article/details/81700004。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-03-13 11:42:35
72
转载
VUE
... configureWebpack: { // ... plugins: [ new webpack.BannerPlugin({ banner: 'Awesome Project', raw: true, entryOnly: false }) ] } } 这段代码会在编译时添加一个插件,该插件会将指定的消息插入到输出的JavaScript文件的顶部。 接下来,我们需要运行以下命令来应用这些修改: bash npm run build 这将会重新编译我们的项目,并使用新的启动消息。 四、总结 通过上述步骤,我们成功地改变了Vue项目的启动消息。这是一个相对简单的任务,但是它展示了Vue的灵活性和可定制性。咱们完全可以按照自己的心意来调整项目里的各种设置,这样一来,就能让咱的项目更贴近咱们的实际需求,更加得心应手。 总的来说,Vue是一个非常强大且易于使用的框架。甭管你是刚入门的小白,还是久经沙场的老司机,Vue都能给你提供大大的助攻。只要你愿意去探索和尝试,你就会发现Vue的世界充满了无限的可能性。
2023-05-18 19:49:05
147
人生如戏-t
转载文章
...ement 是一种 Webpack 等模块打包工具提供的特性,它允许在开发过程中热更新修改过的模块,而无需刷新整个页面。dva.js 通过 babel-plugin-dva-hmr 实现了 components、routes 和 models 的 HMR 功能,这意味着当开发者修改代码后,浏览器会自动替换并重新加载变动的部分,极大地提高了开发效率和实时预览体验。 插件机制 , 插件机制是一种软件设计模式,允许通过扩展添加新功能或改变现有行为。在 dva.js 中,插件机制体现在可以通过安装额外的插件(如 dva-loading)来增强框架的功能,无需手动重复编写特定业务逻辑。而在 umijs 中,完整的插件系统涵盖了从源码到生产的每个生命周期,开发者可以根据需求定制和安装各种插件,比如自动处理 loading 状态、支持 PWA、路由级按需加载等。 路由级按需加载 , 路由级按需加载是现代前端框架的一项性能优化技术,它允许应用程序仅在用户访问特定路由时动态加载对应的组件和资源。umijs 支持这种高级路由功能,意味着只有当用户导航到特定页面时,才会加载该页面所需的代码,有效减少了首屏加载时间和总体资源体积,提升了用户体验和应用性能。
2023-11-06 14:19:32
316
转载
NodeJS
...害了,人家采用单线程模式,也就是说,所有的请求都由一条线程来处理,别看就一条线,但人家在处理并发请求时的身手可灵活了,性能杠杠滴! Node.js 提供了一个丰富的包管理器 npm,使得我们可以轻松地获取并安装各种第三方模块。另外,你知道吗,Node.js 社区那可是个百宝箱啊,里面装满了各种实用的框架和工具。就像Express.js、Koa.js这些服务端框架,还有Gulp.js、Webpack.js这些自动化构建工具,真是应有尽有。它们的存在,就是为了让我们能够更轻松、更快速地搭建起自己的应用程序,简直像是给开发者们插上了翅膀一样,特别给力! 在本篇文章中,我们将探讨如何使用 Node.js 进行云服务开发。首先,咱们得先摸清楚 Node.js 在云服务这个领域里头是怎么被用起来的,接下来再给大家伙儿逐一介绍一下时下热门的云服务提供商,还会附带上他们在 Node.js 开发这块的一些实用教程,让大家能更好地掌握上手。 一、Node.js 在云服务中的应用场景 1. 实时通信应用 Node.js 的事件驱动和非阻塞 I/O 模型使其非常适合实时通信应用。比如,我们完全可以借助 Socket.IO 这个神器,搭建出像实时聊天室、在线一起编辑文档这些超级实用的应用程序。就像是你和朋友们能即时聊天的小天地,或者大家一起同时修改同一份文档的神奇工具,这些都是 Socket.IO 能帮我们实现的好玩又强大的功能。 2. 后端服务 由于 Node.js 具有高并发性和异步编程的能力,因此它可以作为后端服务的核心引擎。比如,咱们可以拿 Express.js 这个框架来搭建一个飞快的 RESTful API,要不就用 Koa.js 来整一个更轻巧灵活的服务器,随你喜欢。 3. 数据库中间件 Node.js 可以作为数据库中间件,与数据库交互并实现数据的读取、存储和更新等功能。比如,我们可以拿起 Mongoose ORM 这个工具箱,它能帮我们牵线搭桥连上 MongoDB 数据库。然后,我们就能够借助它提供的查询语句,像玩魔术一样对数据进行各种操作,插入、删除、修改,随心所欲。 二、常用的云服务提供商及其 Node.js 开发教程 1. AWS AWS 提供了一系列的云服务,包括计算、存储、数据库、安全等等。在 AWS 上,我们可以使用 Lambda 函数来实现无服务器架构,使用 EC2 或 ECS 来部署 Node.js 应用程序。此外,AWS 还提供了丰富的 SDK 和 CLI 工具,方便我们在本地开发和调试应用程序。 2. Google Cloud Platform (GCP) GCP 提供了类似的云服务,包括 Compute Engine、App Engine、Cloud Functions、Cloud SQL 等等。在 GCP(Google Cloud Platform)这个平台上,咱们完全可以利用 Node.js 这门技术来开发应用程序,然后把它们稳稳地部署到 App Engine 上。这样一来,咱们就能更轻松、更方便地管理自家的应用程序,同时还能对它进行全方位的监控,确保一切运行得妥妥当当的。就像是在自家后院种菜一样,从播种(开发)到上架(部署),再到日常照料(管理和监控),全都在掌控之中。 3. Azure Azure 是微软提供的云服务平台,支持多种编程语言和技术栈。在 Azure 上,我们可以使用 Function App 来部署 Node.js 函数,并使用 App Service 来部署完整的 Node.js 应用程序。另外,Azure还准备了一整套超级实用的DevOps工具和服务,这对我们来说可真是个大宝贝,能够帮我们在管理和发布应用程序时更加得心应手,轻松高效。 接下来,我们将详细介绍如何使用 Node.js 在 AWS Lambda 上构建无服务器应用程序。 三、在 AWS Lambda 上使用 Node.js 构建无服务器应用程序 AWS Lambda 是一种无服务器计算服务,可以让开发者无需关心服务器的操作系统、虚拟机配置等问题,只需要专注于编写和上传代码即可。在Lambda这个平台上,咱们能够用Node.js来编写函数,就像变魔术一样把函数和触发器手牵手连起来,这样一来,就能轻松实现自动执行的酷炫效果啦! 以下是使用 Node.js 在 AWS Lambda 上构建无服务器应用程序的基本步骤: Step 1: 创建 AWS 帐户并登录 AWS 控制台 Step 2: 安装 AWS CLI 工具 Step 3: 创建 Lambda 函数 Step 4: 编写 Lambda 函数 Step 5: 配置 Lambda 函数触发器 Step 6: 测试 Lambda 函数 Step 7: 将 Lambda 函数部署到生产环境
2024-01-24 17:58:24
144
青春印记-t
Etcd
... 2.3 观察者模式 Etcd还有一个很酷的功能叫观察者模式,你可以监听某个key的变化,并实时做出反应。这对于监控系统状态或者触发某些事件非常有用。 比如: python for event in client.watch('/my-key'): print(event) 这段代码会一直监听/my-key的变化,一旦有更新就会打印出来。 --- 3. 实战演练 用Etcd实现分布式事务 现在咱们来实战一下,看看怎么用Etcd搞定分布式事务。假设我们要实现一个简单的库存管理系统。 3.1 场景描述 假设我们有两个服务A和服务B,服务A负责扣减库存,服务B负责记录日志。要让这两个步骤像一个整体似的,中间不能出岔子,那我们就得靠Etcd来管着分布式锁和事务了。 3.2 代码实现 Step 1: 初始化Etcd客户端 python import etcd3 client = etcd3.client(host='localhost', port=2379) Step 2: 获取分布式锁 python 创建一个租约,有效期为10秒 lease = client.lease(10) 尝试获取锁 lock_key = '/inventory-lock' try: lock_result = client.put(lock_key, 'locked', lease=lease) print("Lock acquired!") except Exception as e: print(f"Failed to acquire lock: {e}") Step 3: 执行事务操作 python 假设当前库存是100件 stock_key = '/inventory' current_stock = int(client.get(stock_key)[0].decode('utf-8')) if current_stock >= 10: 开始事务 success, _ = client.transaction( compare=[ client.transactions.version(stock_key) == current_stock ], success=[ client.transactions.put(stock_key, str(current_stock - 10)) ], failure=[] ) if success: print("Inventory updated successfully!") else: print("Failed to update inventory due to race condition.") else: print("Not enough stock available.") Step 4: 释放锁 python 租约到期后自动释放锁 lease.revoke() print("Lock released.") --- 4. 总结与展望 写到这里,我觉得咱们已经掌握了如何用Etcd来进行分布式事务管理。其实啊,事情没那么吓人!别看整个流程听着挺绕的,但只要你把分布式锁、事务操作还有观察者模式这些“法宝”都搞明白了,不管啥情况都能游刃有余地搞定,妥妥的! 不过,我也想提醒大家,分布式事务并不是万能药。有时候,过度依赖分布式事务反而会让系统变得更加复杂。所以,在实际开发中,我们需要根据业务需求权衡利弊。 最后,希望大家都能用好Etcd这个利器,让自己的分布式系统更加健壮和高效!如果你还有其他问题,欢迎随时来找我讨论,咱们一起进步!
2025-03-21 15:52:27
54
凌波微步
转载文章
...内容。 1、发布订阅模式 1.1 列表的局限 通过队列的 rpush 和 lpop 可以实现消息队列(队尾进队头出),但是消费者需要不停地调用 lpop 查看 List 中是否有等待处理的消息(比如写一个 while 循环)。 为了减少通信的消耗,可以 sleep()一段时间再消费,但是会有两个问题: 1、如果生产者生产消息的速度远大于消费者消费消息的速度,List 会占用大量的内存。 2、消息的实时性降低。 list 还提供了一个阻塞的命令:blpop,没有任何元素可以弹出的时候,连接会被阻塞。 基于 list 实现的消息队列,不支持一对多的消息分发。 1.2 发布订阅模式 除了通过 list 实现消息队列之外,Redis 还提供了一组命令实现发布/订阅模式。 这种方式,发送者和接收者没有直接关联(实现了解耦),接收者也不需要持续尝试获取消息。 1.2.1 订阅频道 首先,我们有很多的频道(channel),我们也可以把这个频道理解成 queue。订阅者可以订阅一个或者多个频道。消息的发布者(生产者)可以给指定的频道发布消息。只要有消息到达了频道,所有订阅了这个频道的订阅者都会收到这条消息。 需要注意的注意是,发出去的消息不会被持久化,因为它已经从队列里面移除了,所以消费者只能收到它开始订阅这个频道之后发布的消息。 下面我们来看一下发布订阅命令的使用方法。 订阅者订阅频道:可以一次订阅多个,比如这个客户端订阅了 3 个频道。 subscribe channel-1 channel-2 channel-3 发布者可以向指定频道发布消息(并不支持一次向多个频道发送消息): publish channel-1 2673 取消订阅(不能在订阅状态下使用): unsubscribe channel-1 1.2.2 按规则(Pattern)订阅频道 支持 ?和 占位符。? 代表一个字符, 代表 0 个或者多个字符。 消费端 1,关注运动信息: psubscribe sport 消费端 2,关注所有新闻: psubscribe news 消费端 3,关注天气新闻: psubscribe news-weather 生产者,发布 3 条信息 publish news-sport yaoming publish news-music jaychou publish news-weather rain 2、Redis 事务 2.1 为什么要用事务 我们知道 Redis 的单个命令是原子性的(比如 get set mget mset),如果涉及到多个命令的时候,需要把多个命令作为一个不可分割的处理序列,就需要用到事务。 例如我们之前说的用 setnx 实现分布式锁,我们先 set,然后设置对 key 设置 expire, 防止 del 发生异常的时候锁不会被释放,业务处理完了以后再 del,这三个动作我们就希望它们作为一组命令执行。 Redis 的事务有两个特点: 1、按进入队列的顺序执行。 2、不会受到其他客户端的请求的影响。 Redis 的事务涉及到四个命令:multi(开启事务),exec(执行事务),discard (取消事务),watch(监视) 2.2 事务的用法 案例场景:tom 和 mic 各有 1000 元,tom 需要向 mic 转账 100 元。tom 的账户余额减少 100 元,mic 的账户余额增加 100 元。 通过 multi 的命令开启事务。事务不能嵌套,多个 multi 命令效果一样。 multi 执行后,客户端可以继续向服务器发送任意多条命令,这些命令不会立即被执行,而是被放到一个队列中,当 exec 命令被调用时,所有队列中的命令才会被执行。 通过 exec 的命令执行事务。如果没有执行 exec,所有的命令都不会被执行。如果中途不想执行事务了,怎么办? 可以调用 discard 可以清空事务队列,放弃执行。 2.3 watch命令 在 Redis 中还提供了一个 watch 命令。 它可以为 Redis 事务提供 CAS 乐观锁行为(Check and Set / Compare and Swap),也就是多个线程更新变量的时候,会跟原值做比较,只有它没有被其他线程修改的情况下,才更新成新的值。 我们可以用 watch 监视一个或者多个 key,如果开启事务之后,至少有一个被监视 key 键在 exec 执行之前被修改了,那么整个事务都会被取消(key 提前过期除外)。可以用 unwatch 取消。 2.4 事务可能遇到的问题 我们把事务执行遇到的问题分成两种,一种是在执行 exec 之前发生错误,一种是在执行 exec 之后发生错误。 2.4.1 在执行 exec 之前发生错误 比如:入队的命令存在语法错误,包括参数数量,参数名等等(编译器错误)。 在这种情况下事务会被拒绝执行,也就是队列中所有的命令都不会得到执行。 2.4.2 在执行 exec 之后发生错误 比如,类型错误,比如对 String 使用了 Hash 的命令,这是一种运行时错误。 最后我们发现 set k1 1 的命令是成功的,也就是在这种发生了运行时异常的情况下, 只有错误的命令没有被执行,但是其他命令没有受到影响。 这个显然不符合我们对原子性的定义,也就是我们没办法用 Redis 的这种事务机制来实现原子性,保证数据的一致。 3、Lua脚本 Lua/ˈluə/是一种轻量级脚本语言,它是用 C 语言编写的,跟数据的存储过程有点类似。 使用 Lua 脚本来执行 Redis 命令的好处: 1、一次发送多个命令,减少网络开销。 2、Redis 会将整个脚本作为一个整体执行,不会被其他请求打断,保持原子性。 3、对于复杂的组合命令,我们可以放在文件中,可以实现程序之间的命令集复用。 3.1 在Redis中调用Lua脚本 使用 eval /ɪ’væl/ 方法,语法格式: redis> eval lua-script key-num [key1 key2 key3 ....] [value1 value2 value3 ....] eval代表执行Lua语言的命令。 lua-script代表Lua语言脚本内容。 key-num表示参数中有多少个key,需要注意的是Redis中key是从1开始的,如果没有key的参数,那么写0。 [key1key2key3…]是key作为参数传递给Lua语言,也可以不填,但是需要和key-num的个数对应起来。 [value1 value2 value3 …]这些参数传递给 Lua 语言,它们是可填可不填的。 示例,返回一个字符串,0 个参数: redis> eval "return 'Hello World'" 0 3.2 在Lua脚本中调用Redis命令 使用 redis.call(command, key [param1, param2…])进行操作。语法格式: redis> eval "redis.call('set',KEYS[1],ARGV[1])" 1 lua-key lua-value command是命令,包括set、get、del等。 key是被操作的键。 param1,param2…代表给key的参数。 注意跟 Java 不一样,定义只有形参,调用只有实参。 Lua 是在调用时用 key 表示形参,argv 表示参数值(实参)。 3.2.1 设置键值对 在 Redis 中调用 Lua 脚本执行 Redis 命令 redis> eval "return redis.call('set',KEYS[1],ARGV[1])" 1 gupao 2673 redis> get gupao 以上命令等价于 set gupao 2673。 在 redis-cli 中直接写 Lua 脚本不够方便,也不能实现编辑和复用,通常我们会把脚本放在文件里面,然后执行这个文件。 3.2.2 在 Redis 中调用 Lua 脚本文件中的命令,操作 Redis 创建 Lua 脚本文件: cd /usr/local/soft/redis5.0.5/src vim gupao.lua Lua 脚本内容,先设置,再取值: cd /usr/local/soft/redis5.0.5/src redis-cli --eval gupao.lua 0 得到返回值: root@localhost src] redis-cli --eval gupao.lua 0 "lua666" 3.2.3 案例:对 IP 进行限流 需求:在 X 秒内只能访问 Y 次。 设计思路:用 key 记录 IP,用 value 记录访问次数。 拿到 IP 以后,对 IP+1。如果是第一次访问,对 key 设置过期时间(参数 1)。否则判断次数,超过限定的次数(参数 2),返回 0。如果没有超过次数则返回 1。超过时间, key 过期之后,可以再次访问。 KEY[1]是 IP, ARGV[1]是过期时间 X,ARGV[2]是限制访问的次数 Y。 -- ip_limit.lua-- IP 限流,对某个 IP 频率进行限制 ,6 秒钟访问 10 次 local num=redis.call('incr',KEYS[1])if tonumber(num)==1 thenredis.call('expire',KEYS[1],ARGV[1])return 1elseif tonumber(num)>tonumber(ARGV[2]) thenreturn 0 elsereturn 1 end 6 秒钟内限制访问 10 次,调用测试(连续调用 10 次): ./redis-cli --eval "ip_limit.lua" app:ip:limit:192.168.8.111 , 6 10 app:ip:limit:192.168.8.111 是 key 值 ,后面是参数值,中间要加上一个空格和一个逗号,再加上一个空格 。 即:./redis-cli –eval [lua 脚本] [key…]空格,空格[args…] 多个参数之间用一个空格分割 。 代码:LuaTest.java 3.2.4 缓存 Lua 脚本 为什么要缓存 在脚本比较长的情况下,如果每次调用脚本都需要把整个脚本传给 Redis 服务端, 会产生比较大的网络开销。为了解决这个问题,Redis 提供了 EVALSHA 命令,允许开发者通过脚本内容的 SHA1 摘要来执行脚本。 如何缓存 Redis 在执行 script load 命令时会计算脚本的 SHA1 摘要并记录在脚本缓存中,执行 EVALSHA 命令时 Redis 会根据提供的摘要从脚本缓存中查找对应的脚本内容,如果找到了则执行脚本,否则会返回错误:“NOSCRIPT No matching script. Please use EVAL.” 127.0.0.1:6379> script load "return 'Hello World'" "470877a599ac74fbfda41caa908de682c5fc7d4b"127.0.0.1:6379> evalsha "470877a599ac74fbfda41caa908de682c5fc7d4b" 0 "Hello World" 3.2.5 自乘案例 Redis 有 incrby 这样的自增命令,但是没有自乘,比如乘以 3,乘以 5。我们可以写一个自乘的运算,让它乘以后面的参数: local curVal = redis.call("get", KEYS[1]) if curVal == false thencurVal = 0 elsecurVal = tonumber(curVal)endcurVal = curVal tonumber(ARGV[1]) redis.call("set", KEYS[1], curVal) return curVal 把这个脚本变成单行,语句之间使用分号隔开 local curVal = redis.call("get", KEYS[1]); if curVal == false then curVal = 0 else curVal = tonumber(curVal) end; curVal = curVal tonumber(ARGV[1]); redis.call("set", KEYS[1], curVal); return curVal script load ‘命令’ 127.0.0.1:6379> script load 'local curVal = redis.call("get", KEYS[1]); if curVal == false then curVal = 0 else curVal = tonumber(curVal) end; curVal = curVal tonumber(ARGV[1]); redis.call("set", KEYS[1], curVal); return curVal' "be4f93d8a5379e5e5b768a74e77c8a4eb0434441" 调用: 127.0.0.1:6379> set num 2OK127.0.0.1:6379> evalsha be4f93d8a5379e5e5b768a74e77c8a4eb0434441 1 num 6 (integer) 12 3.2.6 脚本超时 Redis 的指令执行本身是单线程的,这个线程还要执行客户端的 Lua 脚本,如果 Lua 脚本执行超时或者陷入了死循环,是不是没有办法为客户端提供服务了呢? eval 'while(true) do end' 0 为了防止某个脚本执行时间过长导致 Redis 无法提供服务,Redis 提供了 lua-time-limit 参数限制脚本的最长运行时间,默认为 5 秒钟。 lua-time-limit 5000(redis.conf 配置文件中) 当脚本运行时间超过这一限制后,Redis 将开始接受其他命令但不会执行(以确保脚本的原子性,因为此时脚本并没有被终止),而是会返回“BUSY”错误。 Redis 提供了一个 script kill 的命令来中止脚本的执行。新开一个客户端: script kill 如果当前执行的 Lua 脚本对 Redis 的数据进行了修改(SET、DEL 等),那么通过 script kill 命令是不能终止脚本运行的。 127.0.0.1:6379> eval "redis.call('set','gupao','666') while true do end" 0 因为要保证脚本运行的原子性,如果脚本执行了一部分终止,那就违背了脚本原子性的要求。最终要保证脚本要么都执行,要么都不执行。 127.0.0.1:6379> script kill(error) UNKILLABLE Sorry the script already executed write commands against the dataset. You can either wait the scripttermination or kill the server in a hard way using the SHUTDOWN NOSAVE command. 遇到这种情况,只能通过 shutdown nosave 命令来强行终止 redis。 shutdown nosave 和 shutdown 的区别在于 shutdown nosave 不会进行持久化操作,意味着发生在上一次快照后的数据库修改都会丢失。 4、Redis 为什么这么快? 4.1 Redis到底有多快? 根据官方的数据,Redis 的 QPS 可以达到 10 万左右(每秒请求数)。 4.2 Redis为什么这么快? 总结:1)纯内存结构、2)单线程、3)多路复用 4.2.1 内存 KV 结构的内存数据库,时间复杂度 O(1)。 第二个,要实现这么高的并发性能,是不是要创建非常多的线程? 恰恰相反,Redis 是单线程的。 4.2.2 单线程 单线程有什么好处呢? 1、没有创建线程、销毁线程带来的消耗 2、避免了上线文切换导致的 CPU 消耗 3、避免了线程之间带来的竞争问题,例如加锁释放锁死锁等等 4.2.3 异步非阻塞 异步非阻塞 I/O,多路复用处理并发连接。 4.3 Redis为什么是单线程的? 不是白白浪费了 CPU 的资源吗? 因为单线程已经够用了,CPU 不是 redis 的瓶颈。Redis 的瓶颈最有可能是机器内存或者网络带宽。既然单线程容易实现,而且 CPU 不会成为瓶颈,那就顺理成章地采用单线程的方案了。 4.4 单线程为什么这么快? 因为 Redis 是基于内存的操作,我们先从内存开始说起。 4.4.1 虚拟存储器(虚拟内存 Vitual Memory) 名词解释:主存:内存;辅存:磁盘(硬盘) 计算机主存(内存)可看作一个由 M 个连续的字节大小的单元组成的数组,每个字节有一个唯一的地址,这个地址叫做物理地址(PA)。早期的计算机中,如果 CPU 需要内存,使用物理寻址,直接访问主存储器。 这种方式有几个弊端: 1、在多用户多任务操作系统中,所有的进程共享主存,如果每个进程都独占一块物理地址空间,主存很快就会被用完。我们希望在不同的时刻,不同的进程可以共用同一块物理地址空间。 2、如果所有进程都是直接访问物理内存,那么一个进程就可以修改其他进程的内存数据,导致物理地址空间被破坏,程序运行就会出现异常。 为了解决这些问题,我们就想了一个办法,在 CPU 和主存之间增加一个中间层。CPU 不再使用物理地址访问,而是访问一个虚拟地址,由这个中间层把地址转换成物理地址,最终获得数据。这个中间层就叫做虚拟存储器(Virtual Memory)。 具体的操作如下所示: 在每一个进程开始创建的时候,都会分配一段虚拟地址,然后通过虚拟地址和物理地址的映射来获取真实数据,这样进程就不会直接接触到物理地址,甚至不知道自己调用的哪块物理地址的数据。 目前,大多数操作系统都使用了虚拟内存,如 Windows 系统的虚拟内存、Linux 系统的交换空间等等。Windows 的虚拟内存(pagefile.sys)是磁盘空间的一部分。 在 32 位的系统上,虚拟地址空间大小是 2^32bit=4G。在 64 位系统上,最大虚拟地址空间大小是多少? 是不是 2^64bit=10241014TB=1024PB=16EB?实际上没有用到 64 位,因为用不到这么大的空间,而且会造成很大的系统开销。Linux 一般用低 48 位来表示虚拟地址空间,也就是 2^48bit=256T。 cat /proc/cpuinfo address sizes : 40 bits physical, 48 bits virtual 实际的物理内存可能远远小于虚拟内存的大小。 总结:引入虚拟内存,可以提供更大的地址空间,并且地址空间是连续的,使得程序编写、链接更加简单。并且可以对物理内存进行隔离,不同的进程操作互不影响。还可以通过把同一块物理内存映射到不同的虚拟地址空间实现内存共享。 4.4.2 用户空间和内核空间 为了避免用户进程直接操作内核,保证内核安全,操作系统将虚拟内存划分为两部分,一部分是内核空间(Kernel-space)/ˈkɜːnl /,一部分是用户空间(User-space)。 内核是操作系统的核心,独立于普通的应用程序,可以访问受保护的内存空间,也有访问底层硬件设备的权限。 内核空间中存放的是内核代码和数据,而进程的用户空间中存放的是用户程序的代码和数据。不管是内核空间还是用户空间,它们都处于虚拟空间中,都是对物理地址的映射。 在 Linux 系统中, 内核进程和用户进程所占的虚拟内存比例是 1:3。 当进程运行在内核空间时就处于内核态,而进程运行在用户空间时则处于用户态。 进程在内核空间以执行任意命令,调用系统的一切资源;在用户空间只能执行简单的运算,不能直接调用系统资源,必须通过系统接口(又称 system call),才能向内核发出指令。 top 命令: us 代表 CPU 消耗在 User space 的时间百分比; sy 代表 CPU 消耗在 Kernel space 的时间百分比。 4.4.3 进程切换(上下文切换) 多任务操作系统是怎么实现运行远大于 CPU 数量的任务个数的? 当然,这些任务实际上并不是真的在同时运行,而是因为系统通过时间片分片算法,在很短的时间内,将 CPU 轮流分配给它们,造成多任务同时运行的错觉。 为了控制进程的执行,内核必须有能力挂起正在 CPU 上运行的进程,并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。 什么叫上下文? 在每个任务运行前,CPU 都需要知道任务从哪里加载、又从哪里开始运行,也就是说,需要系统事先帮它设置好 CPU 寄存器和程序计数器(ProgramCounter),这个叫做 CPU 的上下文。 而这些保存下来的上下文,会存储在系统内核中,并在任务重新调度执行时再次加载进来。这样就能保证任务原来的状态不受影响,让任务看起来还是连续运行。 在切换上下文的时候,需要完成一系列的工作,这是一个很消耗资源的操作。 4.4.4 进程的阻塞 正在运行的进程由于提出系统服务请求(如 I/O 操作),但因为某种原因未得到操作系统的立即响应,该进程只能把自己变成阻塞状态,等待相应的事件出现后才被唤醒。 进程在阻塞状态不占用 CPU 资源。 4.4.5 文件描述符 FD Linux 系统将所有设备都当作文件来处理,而 Linux 用文件描述符来标识每个文件对象。 文件描述符(File Descriptor)是内核为了高效管理已被打开的文件所创建的索引,用于指向被打开的文件,所有执行 I/O 操作的系统调用都通过文件描述符;文件描述符是一个简单的非负整数,用以表明每个被进程打开的文件。 Linux 系统里面有三个标准文件描述符。 0:标准输入(键盘); 1:标准输出(显示器); 2:标准错误输出(显示器)。 4.4.6 传统 I/O 数据拷贝 以读操作为例: 当应用程序执行 read 系统调用读取文件描述符(FD)的时候,如果这块数据已经存在于用户进程的页内存中,就直接从内存中读取数据。如果数据不存在,则先将数据从磁盘加载数据到内核缓冲区中,再从内核缓冲区拷贝到用户进程的页内存中。(两次拷贝,两次 user 和 kernel 的上下文切换)。 I/O 的阻塞到底阻塞在哪里? 4.4.7 Blocking I/O 当使用 read 或 write 对某个文件描述符进行过读写时,如果当前 FD 不可读,系统就不会对其他的操作做出响应。从设备复制数据到内核缓冲区是阻塞的,从内核缓冲区拷贝到用户空间,也是阻塞的,直到 copy complete,内核返回结果,用户进程才解除 block 的状态。 为了解决阻塞的问题,我们有几个思路。 1、在服务端创建多个线程或者使用线程池,但是在高并发的情况下需要的线程会很多,系统无法承受,而且创建和释放线程都需要消耗资源。 2、由请求方定期轮询,在数据准备完毕后再从内核缓存缓冲区复制数据到用户空间 (非阻塞式 I/O),这种方式会存在一定的延迟。 能不能用一个线程处理多个客户端请求? 4.4.8 I/O 多路复用(I/O Multiplexing) I/O 指的是网络 I/O。 多路指的是多个 TCP 连接(Socket 或 Channel)。 复用指的是复用一个或多个线程。它的基本原理就是不再由应用程序自己监视连接,而是由内核替应用程序监视文件描述符。 客户端在操作的时候,会产生具有不同事件类型的 socket。在服务端,I/O 多路复用程序(I/O Multiplexing Module)会把消息放入队列中,然后通过文件事件分派器(File event Dispatcher),转发到不同的事件处理器中。 多路复用有很多的实现,以 select 为例,当用户进程调用了多路复用器,进程会被阻塞。内核会监视多路复用器负责的所有 socket,当任何一个 socket 的数据准备好了,多路复用器就会返回。这时候用户进程再调用 read 操作,把数据从内核缓冲区拷贝到用户空间。 所以,I/O 多路复用的特点是通过一种机制一个进程能同时等待多个文件描述符,而这些文件描述符(套接字描述符)其中的任意一个进入读就绪(readable)状态,select() 函数就可以返回。 Redis 的多路复用, 提供了 select, epoll, evport, kqueue 几种选择,在编译的时 候来选择一种。 evport 是 Solaris 系统内核提供支持的; epoll 是 LINUX 系统内核提供支持的; kqueue 是 Mac 系统提供支持的; select 是 POSIX 提供的,一般的操作系统都有支撑(保底方案); 源码 ae_epoll.c、ae_select.c、ae_kqueue.c、ae_evport.c 5、内存回收 Reids 所有的数据都是存储在内存中的,在某些情况下需要对占用的内存空间进行回 收。内存回收主要分为两类,一类是 key 过期,一类是内存使用达到上限(max_memory) 触发内存淘汰。 5.1 过期策略 要实现 key 过期,我们有几种思路。 5.1.1 定时过期(主动淘汰) 每个设置过期时间的 key 都需要创建一个定时器,到过期时间就会立即清除。该策略可以立即清除过期的数据,对内存很友好;但是会占用大量的 CPU 资源去处理过期的 数据,从而影响缓存的响应时间和吞吐量。 5.1.2 惰性过期(被动淘汰) 只有当访问一个 key 时,才会判断该 key 是否已过期,过期则清除。该策略可以最大化地节省 CPU 资源,却对内存非常不友好。极端情况可能出现大量的过期 key 没有再次被访问,从而不会被清除,占用大量内存。 例如 String,在 getCommand 里面会调用 expireIfNeeded server.c expireIfNeeded(redisDb db, robj key) 第二种情况,每次写入 key 时,发现内存不够,调用 activeExpireCycle 释放一部分内存。 expire.c activeExpireCycle(int type) 5.1.3 定期过期 源码:server.h typedef struct redisDb { dict dict; / 所有的键值对 /dict expires; / 设置了过期时间的键值对 /dict blocking_keys; dict ready_keys; dict watched_keys; int id;long long avg_ttl;list defrag_later; } redisDb; 每隔一定的时间,会扫描一定数量的数据库的 expires 字典中一定数量的 key,并清除其中已过期的 key。该策略是前两者的一个折中方案。通过调整定时扫描的时间间隔和每次扫描的限定耗时,可以在不同情况下使得 CPU 和内存资源达到最优的平衡效果。 Redis 中同时使用了惰性过期和定期过期两种过期策略。 5.2 淘汰策略 Redis 的内存淘汰策略,是指当内存使用达到最大内存极限时,需要使用淘汰算法来决定清理掉哪些数据,以保证新数据的存入。 5.2.1 最大内存设置 redis.conf 参数配置: maxmemory <bytes> 如果不设置 maxmemory 或者设置为 0,64 位系统不限制内存,32 位系统最多使用 3GB 内存。 动态修改: redis> config set maxmemory 2GB 到达最大内存以后怎么办? 5.2.2 淘汰策略 https://redis.io/topics/lru-cache redis.conf maxmemory-policy noeviction 先从算法来看: LRU,Least Recently Used:最近最少使用。判断最近被使用的时间,目前最远的数据优先被淘汰。 LFU,Least Frequently Used,最不常用,4.0 版本新增。 random,随机删除。 如果没有符合前提条件的 key 被淘汰,那么 volatile-lru、volatile-random、 volatile-ttl 相当于 noeviction(不做内存回收)。 动态修改淘汰策略: redis> config set maxmemory-policy volatile-lru 建议使用 volatile-lru,在保证正常服务的情况下,优先删除最近最少使用的 key。 5.2.3 LRU 淘汰原理 问题:如果基于传统 LRU 算法实现 Redis LRU 会有什么问题? 需要额外的数据结构存储,消耗内存。 Redis LRU 对传统的 LRU 算法进行了改良,通过随机采样来调整算法的精度。如果淘汰策略是 LRU,则根据配置的采样值 maxmemory_samples(默认是 5 个), 随机从数据库中选择 m 个 key, 淘汰其中热度最低的 key 对应的缓存数据。所以采样参数m配置的数值越大, 就越能精确的查找到待淘汰的缓存数据,但是也消耗更多的CPU计算,执行效率降低。 问题:如何找出热度最低的数据? Redis 中所有对象结构都有一个 lru 字段, 且使用了 unsigned 的低 24 位,这个字段用来记录对象的热度。对象被创建时会记录 lru 值。在被访问的时候也会更新 lru 的值。 但是不是获取系统当前的时间戳,而是设置为全局变量 server.lruclock 的值。 源码:server.h typedef struct redisObject {unsigned type:4;unsigned encoding:4;unsigned lru:LRU_BITS;int refcount;void ptr; } robj; server.lruclock 的值怎么来的? Redis 中有个定时处理的函数 serverCron,默认每 100 毫秒调用函数 updateCachedTime 更新一次全局变量的 server.lruclock 的值,它记录的是当前 unix 时间戳。 源码:server.c void updateCachedTime(void) { time_t unixtime = time(NULL); atomicSet(server.unixtime,unixtime); server.mstime = mstime();struct tm tm; localtime_r(&server.unixtime,&tm);server.daylight_active = tm.tm_isdst; } 问题:为什么不获取精确的时间而是放在全局变量中?不会有延迟的问题吗? 这样函数 lookupKey 中更新数据的 lru 热度值时,就不用每次调用系统函数 time,可以提高执行效率。 OK,当对象里面已经有了 LRU 字段的值,就可以评估对象的热度了。 函数 estimateObjectIdleTime 评估指定对象的 lru 热度,思想就是对象的 lru 值和全局的 server.lruclock 的差值越大(越久没有得到更新),该对象热度越低。 源码 evict.c / Given an object returns the min number of milliseconds the object was never requested, using an approximated LRU algorithm. /unsigned long long estimateObjectIdleTime(robj o) {unsigned long long lruclock = LRU_CLOCK(); if (lruclock >= o->lru) {return (lruclock - o->lru) LRU_CLOCK_RESOLUTION; } else {return (lruclock + (LRU_CLOCK_MAX - o->lru)) LRU_CLOCK_RESOLUTION;} } server.lruclock 只有 24 位,按秒为单位来表示才能存储 194 天。当超过 24bit 能表 示的最大时间的时候,它会从头开始计算。 server.h define LRU_CLOCK_MAX ((1<<LRU_BITS)-1) / Max value of obj->lru / 在这种情况下,可能会出现对象的 lru 大于 server.lruclock 的情况,如果这种情况 出现那么就两个相加而不是相减来求最久的 key。 为什么不用常规的哈希表+双向链表的方式实现?需要额外的数据结构,消耗资源。而 Redis LRU 算法在 sample 为 10 的情况下,已经能接近传统 LRU 算法了。 问题:除了消耗资源之外,传统 LRU 还有什么问题? 如图,假设 A 在 10 秒内被访问了 5 次,而 B 在 10 秒内被访问了 3 次。因为 B 最后一次被访问的时间比 A 要晚,在同等的情况下,A 反而先被回收。 问题:要实现基于访问频率的淘汰机制,怎么做? 5.2.4 LFU server.h typedef struct redisObject {unsigned type:4;unsigned encoding:4;unsigned lru:LRU_BITS;int refcount;void ptr; } robj; 当这 24 bits 用作 LFU 时,其被分为两部分: 高 16 位用来记录访问时间(单位为分钟,ldt,last decrement time) 低 8 位用来记录访问频率,简称 counter(logc,logistic counter) counter 是用基于概率的对数计数器实现的,8 位可以表示百万次的访问频率。 对象被读写的时候,lfu 的值会被更新。 db.c——lookupKey void updateLFU(robj val) {unsigned long counter = LFUDecrAndReturn(val); counter = LFULogIncr(counter);val->lru = (LFUGetTimeInMinutes()<<8) | counter;} 增长的速率由,lfu-log-factor 越大,counter 增长的越慢 redis.conf 配置文件。 lfu-log-factor 10 如果计数器只会递增不会递减,也不能体现对象的热度。没有被访问的时候,计数器怎么递减呢? 减少的值由衰减因子 lfu-decay-time(分钟)来控制,如果值是 1 的话,N 分钟没有访问就要减少 N。 redis.conf 配置文件 lfu-decay-time 1 6、持久化机制 https://redis.io/topics/persistence Redis 速度快,很大一部分原因是因为它所有的数据都存储在内存中。如果断电或者宕机,都会导致内存中的数据丢失。为了实现重启后数据不丢失,Redis 提供了两种持久化的方案,一种是 RDB 快照(Redis DataBase),一种是 AOF(Append Only File)。 6.1 RDB RDB 是 Redis 默认的持久化方案。当满足一定条件的时候,会把当前内存中的数据写入磁盘,生成一个快照文件 dump.rdb。Redis 重启会通过加载 dump.rdb 文件恢复数据。 什么时候写入 rdb 文件? 6.1.1 RDB 触发 1、自动触发 a)配置规则触发。 redis.conf, SNAPSHOTTING,其中定义了触发把数据保存到磁盘的触发频率。 如果不需要 RDB 方案,注释 save 或者配置成空字符串""。 save 900 1 900 秒内至少有一个 key 被修改(包括添加) save 300 10 400 秒内至少有 10 个 key 被修改save 60 10000 60 秒内至少有 10000 个 key 被修改 注意上面的配置是不冲突的,只要满足任意一个都会触发。 RDB 文件位置和目录: 文件路径,dir ./ 文件名称dbfilename dump.rdb 是否是LZF压缩rdb文件 rdbcompression yes 开启数据校验 rdbchecksum yes 问题:为什么停止 Redis 服务的时候没有 save,重启数据还在? RDB 还有两种触发方式: b)shutdown 触发,保证服务器正常关闭。 c)flushall,RDB 文件是空的,没什么意义(删掉 dump.rdb 演示一下)。 2、手动触发 如果我们需要重启服务或者迁移数据,这个时候就需要手动触 RDB 快照保存。Redis 提供了两条命令: a)save save 在生成快照的时候会阻塞当前 Redis 服务器, Redis 不能处理其他命令。如果内存中的数据比较多,会造成 Redis 长时间的阻塞。生产环境不建议使用这个命令。 为了解决这个问题,Redis 提供了第二种方式。 执行 bgsave 时,Redis 会在后台异步进行快照操作,快照同时还可以响应客户端请求。 具体操作是 Redis 进程执行 fork 操作创建子进程(copy-on-write),RDB 持久化过程由子进程负责,完成后自动结束。它不会记录 fork 之后后续的命令。阻塞只发生在 fork 阶段,一般时间很短。 用 lastsave 命令可以查看最近一次成功生成快照的时间。 6.1.2 RDB 数据的恢复(演示) 1、shutdown 持久化添加键值 添加键值 redis> set k1 1 redis> set k2 2 redis> set k3 3 redis> set k4 4 redis> set k5 5 停服务器,触发 save redis> shutdown 备份 dump.rdb 文件 cp dump.rdb dump.rdb.bak 启动服务器 /usr/local/soft/redis-5.0.5/src/redis-server /usr/local/soft/redis-5.0.5/redis.conf 啥都没有: redis> keys 3、通过备份文件恢复数据停服务器 redis> shutdown 重命名备份文件 mv dump.rdb.bak dump.rdb 启动服务器 /usr/local/soft/redis-5.0.5/src/redis-server /usr/local/soft/redis-5.0.5/redis.conf 查看数据 redis> keys 6.1.3 RDB 文件的优势和劣势 一、优势 1.RDB 是一个非常紧凑(compact)的文件,它保存了 redis 在某个时间点上的数据集。这种文件非常适合用于进行备份和灾难恢复。 2.生成 RDB 文件的时候,redis 主进程会 fork()一个子进程来处理所有保存工作,主进程不需要进行任何磁盘 IO 操作。 3.RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。 二、劣势 1、RDB 方式数据没办法做到实时持久化/秒级持久化。因为 bgsave 每次运行都要执行 fork 操作创建子进程,频繁执行成本过高。 2、在一定间隔时间做一次备份,所以如果 redis 意外 down 掉的话,就会丢失最后一次快照之后的所有修改(数据有丢失)。 如果数据相对来说比较重要,希望将损失降到最小,则可以使用 AOF 方式进行持久化。 6.2 AOF Append Only File AOF:Redis 默认不开启。AOF 采用日志的形式来记录每个写操作,并追加到文件中。开启后,执行更改 Redis 数据的命令时,就会把命令写入到 AOF 文件中。 Redis 重启时会根据日志文件的内容把写指令从前到后执行一次以完成数据的恢复工作。 6.2.1 AOF 配置 配置文件 redis.conf 开关appendonly no 文件名appendfilename "appendonly.aof" AOF 文件的内容(vim 查看): 问题:数据都是实时持久化到磁盘吗? 由于操作系统的缓存机制,AOF 数据并没有真正地写入硬盘,而是进入了系统的硬盘缓存。什么时候把缓冲区的内容写入到 AOF 文件? 问题:文件越来越大,怎么办? 由于 AOF 持久化是 Redis 不断将写命令记录到 AOF 文件中,随着 Redis 不断的进行,AOF 的文件会越来越大,文件越大,占用服务器内存越大以及 AOF 恢复要求时间越长。 例如 set xxx 666,执行 1000 次,结果都是 xxx=666。 为了解决这个问题,Redis 新增了重写机制,当 AOF 文件的大小超过所设定的阈值时,Redis 就会启动 AOF 文件的内容压缩,只保留可以恢复数据的最小指令集。 可以使用命令 bgrewriteaof 来重写。 AOF 文件重写并不是对原文件进行重新整理,而是直接读取服务器现有的键值对,然后用一条命令去代替之前记录这个键值对的多条命令,生成一个新的文件后去替换原来的 AOF 文件。 重写触发机制 auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb 问题:重写过程中,AOF 文件被更改了怎么办? 另外有两个与 AOF 相关的参数: 6.2.2 AOF 数据恢复 重启 Redis 之后就会进行 AOF 文件的恢复。 6.2.3 AOF 优势与劣势 优点: 1、AOF 持久化的方法提供了多种的同步频率,即使使用默认的同步频率每秒同步一次,Redis 最多也就丢失 1 秒的数据而已。 缺点: 1、对于具有相同数据的的 Redis,AOF 文件通常会比 RDB 文件体积更大(RDB 存的是数据快照)。 2、虽然 AOF 提供了多种同步的频率,默认情况下,每秒同步一次的频率也具有较高的性能。在高并发的情况下,RDB 比 AOF 具好更好的性能保证。 6.3 两种方案比较 那么对于 AOF 和 RDB 两种持久化方式,我们应该如何选择呢? 如果可以忍受一小段时间内数据的丢失,毫无疑问使用 RDB 是最好的,定时生成 RDB 快照(snapshot)非常便于进行数据库备份, 并且 RDB 恢复数据集的速度也要比 AOF 恢复的速度要快。 否则就使用 AOF 重写。但是一般情况下建议不要单独使用某一种持久化机制,而是应该两种一起用,在这种情况下,当 redis 重启的时候会优先载入 AOF 文件来恢复原始的数据,因为在通常情况下 AOF 文件保存的数据集要比 RDB 文件保存的数据集要完整。 本篇文章为转载内容。原文链接:https://blog.csdn.net/zhoutaochun/article/details/120075092。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2024-03-18 12:25:04
541
转载
CSS
...重复引用问题。同时,Webpack、Rollup等构建工具对其提供了原生支持,使得开发者可以更加便捷地在实际项目中应用这一技术。 另一方面,CSS-in-JS理念倡导将CSS直接编写在JavaScript中,利用JS的强大功能如变量、函数、条件语句等实现动态样式,这不仅可以减少全局作用域下的样式污染,还能实现按需加载,提高页面性能。 近期,框架社区围绕Tailwind CSS展开了热议,它提供了一套实用、可复用的原子类库,提倡使用预定义的实用类替代自定义CSS,从源头上避免了样式重复的问题,并与组件化开发模式完美契合,成为当下热门的CSS实践方案。 此外,关注未来的Web标准,如层叠样式表层级(CSS Houdini)项目的推进,为开发者提供了更低级别的CSS API,有望在未来解决更多复杂场景下的样式难题,进一步推动前端CSS模块化的深度发展。 综上所述,在应对样式重复引用问题时,我们不仅可以通过传统的CSS模块化策略进行优化,更应关注并探索新的技术和设计理念,以适应不断变化的前端开发需求,提升代码质量和开发效率。
2023-09-11 12:29:02
408
算法侠
VUE
...,诸如使用Vue配合Webpack进行图片懒加载、预加载等技术方案,已成为前端开发者的必备技能。例如,Vue官方文档推荐的vue-lazyload插件,就可以轻松实现图片的按需加载,有效提高了页面加载速度和用户体验。 深入探究,Vue与现代CSS Grid布局结合,能够创造出更多样化的布局形态,包括复杂的网格系统、瀑布流布局等。在实际项目中,熟练掌握这些技术将极大地丰富前端界面设计的可能性,让Vue在图片排版乃至整个Web应用构建领域大放异彩。 综上所述,Vue框架及其生态系统为前端图片处理提供了强大的支持,从基本的图片排版到更高级的图片优化策略,都展现出Vue作为主流前端框架的强大实力和广泛适用性。
2023-10-22 16:29:35
173
算法侠
VUE
...和社区最佳实践,结合Webpack、Vite等现代化构建工具,进一步优化项目构建流程及提升应用加载速度。同时,对于无障碍访问(a11y)、SEO友好性等方面的考量也是现代前端开发的重要组成部分,Vue.js也在这些方面提供了相应的解决方案。 不仅如此,Vue.js在移动端领域也有广泛的应用,如配合Weex或Vant UI构建高性能跨平台移动应用。而随着Serverless架构和Jamstack的兴起,VuePress和Nuxt.js等基于Vue的静态站点生成器和SSR框架也成为了热门话题,为开发者提供了全新的内容驱动应用开发模式。 总之,学习Vue.js不仅停留在对基础知识的理解和运用上,更要紧跟技术潮流,了解并掌握最新的框架特性、生态工具以及行业发展趋势,才能更好地应对复杂多变的前端开发需求,创造出更优质的产品和服务。
2023-04-23 13:30:02
69
算法侠
Element-UI
...-table切换编辑模式后,部分单元格中出现了el-select组件,此时页面渲染卡顿的时间很长,这是怎么回事呢?我们又该如何解决呢? 首先,我们要明白el-select组件的特点。el-select是个挺厉害的选择器,它能让你既可以单选又可以多选,不过这家伙有点儿特别,需要加载大量的数据才能把所有的选项都摆出来。所以,你要是频繁地在el-table里用到el-select,那可能会让页面上要渲染的DOM元素数量蹭蹭上涨,这样一来,就可能拖慢整体的性能表现。 那么,面对这个问题,我们应该如何去解决呢?下面我就为大家提供几个可行的解决方案。 一、优化el-select组件 1. 减少el-select中的数据量 我们可以将所有选项分页加载,并且只加载当前页面可见的部分。这样可以大大减少DOM的数量,提高页面渲染的速度。 css 2. 使用懒加载的方式 对于需要从服务器获取的选项,我们可以使用懒加载的方式,即在用户滚动到某个位置时才请求数据,这样也可以减少DOM的数量。 js data() { return { options: [], lazyLoadMore: false, }; }, watch: { lazyLoadMore(newValue) { if (newValue) { this.$http.get('/api/loadmore').then((res) => { this.options.push(...res.data); this.lazyLoadMore = false; }); } }, }, mounted() { this.loadPage(1); }, methods: { loadPage(index) { this.lazyLoadMore = true; this.$http.get(/api/page/${index}).then((res) => { this.options = [...this.options, ...res.data]; if (res.total < res.page res.size) { this.lazyLoadMore = false; } }); }, }, 二、优化el-table组件 1. 设置el-table的高度 设置el-table的高度可以限制渲染的DOM数量,避免页面渲染过慢。 html 2. 使用虚拟滚动 虚拟滚动是一种通过显示用户当前正在查看的内容,而不是所有的内容,来提高页面性能的方法。在Vue2.x中,我们可以使用vue-virtual-scroll-list库来实现虚拟滚动。 html 以上就是我给大家提供的几种解决方案,希望能帮到大家。 如果你还有其他的问题或者建议,欢迎在评论区留言,我们一起讨论,共同进步! 祝各位读者朋友们,编程愉快!
2023-05-13 13:31:23
491
风轻云淡_t
VUE
...此外,Vue还支持与Webpack等现代前端构建工具深度集成,借助Vue CLI可以快速初始化项目并配置自动化流程,使得博客网站的开发工作更加便捷高效。未来,随着Vue技术的持续发展和完善,我们有理由期待它将在博客制作领域发挥更大的作用,帮助开发者们创造出更多优质的在线内容分享平台。
2023-02-07 16:45:07
118
数据库专家
VUE
...tion"开启多选模式,此时每一行都会有一个复选框供用户选择。但在某些业务场景下,比如需要动态取消已选中的某一行或多行的状态,这就需要我们深入理解和操作iview table的数据绑定机制。 2. 数据绑定与默认行为 首先,我们需要明确iview table的选中状态是基于数据驱动的。当我们勾选某一行时,该行对应的记录会被添加到表格的selection属性中。举个例子: vue 在上述代码中,当用户勾选或取消勾选行时,会触发on-select-change事件,并更新selectedRows数组。 3. 动态取消选中状态 那么,如何主动取消某一行的选中状态呢?关键在于根据业务需求去更新selectedRows数组。假设我们想要取消id为2的项的选中状态: vue // 在methods中增加一个方法 unselectRow(id) { this.selectedRows = this.selectedRows.filter(row => row.id !== id); } // 调用该方法 this.unselectRow(2); 上面的unselectRow方法通过filter函数移除了selectedRows中id为2的项,这样在视图层上对应id为2的行就会自动变为未选中状态。 4. 深入思考与探讨 实际上,取消选中状态的过程并不是直接对table组件进行操作,而是通过操作绑定的数据源间接影响了组件的状态。这体现了Vue的核心思想——数据驱动视图,也展示了iview table组件设计的灵活性。 当然,实际项目中可能还会涉及更复杂的交互逻辑,例如批量取消、联动其他组件等,但只要遵循“数据驱动”的原则,灵活运用Vue的数据绑定和计算属性等功能,都能迎刃而解。同时,也要注意适时地利用生命周期钩子或者watcher来监听数据变化,确保视图及时响应数据的变化,以提供流畅的用户体验。 总的来说,理解并掌握iview table组件数据绑定机制以及Vue的数据驱动特性,对于处理这类问题至关重要。在编程的世界里,我们在摸爬滚打的探索旅程中,不断挠头苦思、动手尝试、优化打磨,直到最后能把实际问题迎刃而解,这就是编程让人着迷的地方啦!
2023-05-25 23:04:41
88
雪落无痕_
ReactJS
...18版本引入了“并发模式”和“Suspense”,使得React能够更智能地进行渲染优化,比如分片渲染和延迟加载,从而显著提升了用户体验。 此外,针对大型应用的状态管理问题,除了Redux以外,如今也有了MobX、 Recoil等更为轻量级的解决方案。它们尝试简化状态管理逻辑,并允许开发者更直观地追踪和更新状态变化,进一步提升应用性能。 同时,前端工程化领域的Webpack 5对模块懒加载功能进行了大幅升级,结合React的代码分割特性,可有效减少初始加载时间及不必要的组件重新渲染,这也是提高React应用性能的重要手段之一。 深入到具体场景,如Google在其Material-UI库中推荐使用memoization库如reselect来缓存计算结果,避免在组件树中进行无谓的重复计算,这为React组件性能优化提供了实用而高效的策略。 总之,在React性能优化领域,不论是框架本身的功能改进,还是第三方库的创新实践,都为我们提供了丰富的工具和思路,帮助开发者更好地提升React应用性能,满足用户对高质量交互体验的需求。
2023-12-05 22:17:14
108
雪落无痕-t
VUE
...认为1 }; }, watch: { currentStep(newVal) { localStorage.setItem('currentStep', newVal); // 当currentStep改变时,同步更新到localStorage } } 3. 解决方案与实现 通过上述代码,我们实现了在用户进行步骤切换时自动将当前步骤保存到localStorage中。现在,就算页面突然刷新了,我们也能像变魔术一样从localStorage这个小仓库里把上次的步骤进度给拽出来,这样一来,就不用担心会一下子跳回起点重新来过了。 总结一下整个过程,首先,我们在初始化Vue实例时从localStorage加载currentStep的值;其次,通过watch监听器实时更新localStorage中的值。这样一来,哪怕页面突然刷个新,也能稳稳地让用户留在他们最后操作的那个环节上,这可真是把用户体验往上提了一大截呢! 这种处理方式体现了Vue在状态管理上的灵活性和高效性,同时也提醒我们在设计交互流程时,不仅要关注功能实现,更要注重用户在实际使用过程中的体验细节。对于开发者而言,每一次思考和优化都是一次对技术深入理解和运用的实践。
2023-08-05 21:43:30
98
岁月如歌_
ZooKeeper
...3000, new Watcher() { @Override public void process(WatchedEvent event) { System.out.println("Received watch event : " + event); } }); byte[] data = new byte[10]; String path = "/node"; try { zk.create(path, data, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL); } catch (InterruptedException e) { Thread.currentThread().interrupt(); throw new RuntimeException(e); } } catch (IOException | KeeperException e) { e.printStackTrace(); } 在这个示例中,我们首先创建了一个 ZooKeeper 对象,并设置了超时时间为 3 秒钟。然后,我们创建了一个节点,并将节点的数据设置为 null。如果在创建过程中不小心遇到 InterruptedException 这个小插曲,我们会把当前线程的状态给恢复原状,然后抛出一个新的 RuntimeException,就像把一个突然冒出来的小麻烦重新打包成一个新异常扔出去一样。 五、总结 在 ZooKeeper 中,我们可以通过设置创建模式为 EPHEMERAL_SEQUENTIAL 来自动删除节点,从而避免因长时间未删除节点而导致的数据泄露问题。同时呢,咱们也得留意一下,得妥善处理那个 InterruptedException,可别小看了它,要是没整对的话,可能会让程序闹脾气直接罢工。
2023-05-26 10:23:50
114
幽谷听泉-t
VUE
...着前端工程化的发展,Webpack、Rollup等打包工具对于export default的支持也在不断进化。例如,Webpack 5引入了Tree Shaking优化,可以智能分析并排除未使用的export default导出内容,从而减小最终生成的代码体积,提升应用性能。 总之,在持续关注Vue.js及JavaScript生态发展的同时,深入学习和理解export default等模块化概念和技术细节,将有助于我们构建更高质量的Web应用程序,适应快速发展的前端技术趋势。
2024-01-30 10:58:47
103
雪域高原_t
Kubernetes
... ["get", "watch", "list", "update", "patch", "delete"] 然后,我们可以将这个角色绑定到某个用户或者组上: yaml apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: my-app-admin-binding subjects: - kind: User name: user1 roleRef: kind: Role name: my-app-admin apiGroup: rbac.authorization.k8s.io 2. 使用PodSecurityPolicy 除了RBAC,Kubernetes还提供了另一种称为PodSecurityPolicy(PSP)的安全策略模型,我们也可以通过它来实现更细粒度的权限控制。 例如,我们可以创建一个PSP,该PSP只允许用户创建只读存储卷的Pod: yaml apiVersion: policy/v1beta1 kind: PodSecurityPolicy metadata: name: allow-read-only-volumes spec: fsGroup: rule: RunAsAny runAsUser: rule: RunAsAny seLinux: rule: RunAsAny supplementalGroups: rule: RunAsAny volumes: - configMap - emptyDir - projected - secret - downwardAPI - hostPath allowedHostPaths: - pathPrefix: /var/run/secrets/kubernetes.io/serviceaccount type: "" 五、结论 总的来说,通过使用Kubernetes提供的RBAC和PSP等工具,我们可以有效地实现对容器的细粒度的权限控制,从而保障我们的应用的安全性和合规性。当然啦,咱们也要明白一个道理,权限控制这玩意儿虽然厉害,但它可不是什么灵丹妙药,能解决所有安全问题。咱们还得配上其他招数,比如监控啊、审计这些手段,全方位地给咱的安全防护上个“双保险”,这样才能更安心嘛。
2023-01-04 17:41:32
99
雪落无痕-t
JQuery
...染页面内容。 近日,Webpack 5新特性之一是支持模块化路由配置,这为构建复杂单页应用提供了更高效便捷的方式。开发人员可以精确控制每个路由对应的组件及数据加载逻辑,并在组件内部通过JavaScript内置API(如window.location)实时监测和操作URL,实现精细化的页面状态管理。 另外,在处理URL参数时,除了原生方法URLSearchParams之外,越来越多的开发者开始采用第三方库如query-string,它提供了更丰富的查询字符串解析和构建功能,尤其适用于处理RESTful API请求中的复杂参数场景。 值得注意的是,尽管AJAX技术极大地改善了用户体验,但过度依赖异步加载也可能影响SEO效果。为此,现代前端框架及服务器端渲染(SSR)技术应运而生,它们可以在服务端生成包含完整数据的HTML,从而让搜索引擎爬虫能够抓取到基于AJAX动态加载的内容所对应的正确URL。 综上所述,掌握URL的获取与解析仅仅是Web开发中URL管理的一部分,随着技术发展和最佳实践的演进,深入理解和运用前沿的路由技术和SEO优化策略,将更好地助力我们应对日益复杂的Web应用程序需求。
2023-02-17 17:07:14
56
红尘漫步_
VUE
...引发错误。 侦听器(Watcher) , 在Vue.js中,侦听器是一个核心概念,用于监听特定数据属性的变化。开发者可以在组件实例的watch选项中定义侦听器,指定需要观察的属性及其对应的回调函数。当被观察的属性值发生变化时,Vue会触发相应的回调函数执行,从而实现对数据变化的实时响应和处理,如进行异步操作、更新其他相关联的数据或执行副作用等。在文章中提到,若在watch对象中监听一个未初始化或未定义的属性,也会触发错误。
2023-12-20 22:40:22
82
断桥残雪_
Redis
...s Hash,并利用WATCH/MULTI/EXEC命令构建了一种乐观锁机制,有效防止了并发修改导致的数据不一致情况。 此外,Redis 7.0版本引入了多线程IO处理能力,以及改进的Stream数据类型,使得Redis在实时数据分析和流处理场景下的表现更为出色。开发团队可以通过深入了解这些新特性和最佳实践,避免因操作不当引发的“命令不支持当前数据类型或状态”错误,同时提升系统的整体性能和稳定性。 另外,对于Redis实例的状态管理,诸如集群模式下的主从切换、读写分离策略以及过期键的删除策略等高级主题,也是值得广大开发者持续关注和研究的方向。了解并掌握这些知识,有助于我们设计出更加高效且健壮的应用架构,充分发挥Redis这一强大工具的潜力。
2024-03-12 11:22:48
174
追梦人
转载文章
.../ $scope.$watch('paginationConf.currentPage + paginationConf.postPoints', reSearch(0));}) 第一次用angular分页,处理的有些简陋,还有一些疑问留着下次解答: 1.ng-controller放在排序的外层包裹内容显示不出来,也不报错,放在最外层或者body下面包裹的第一层上才显示数据 在angular的函数里面获取元素de属性值,可通过click方法传参($event.target),相当于jquery的this 更多参考:https://www.cnblogs.com/sxz2008/p/6379427.html 本篇文章为转载内容。原文链接:https://blog.csdn.net/samscat/article/details/103328461。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-10-12 14:36:16
72
转载
站内搜索
用于搜索本网站内部文章,支持栏目切换。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
head -n 10 file.txt
- 显示文件开头的10行内容。
推荐内容
推荐本栏目内的其它文章,看看还有哪些文章让你感兴趣。
2023-04-28
2023-08-09
2023-06-18
2023-04-14
2023-02-18
2023-04-17
2024-01-11
2023-10-03
2023-09-09
2023-06-13
2023-08-07
2023-03-11
历史内容
快速导航到对应月份的历史文章列表。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"