[无效操作异常 DbContext已释放和...]的搜索结果

DbContext , DbContext是Entity Framework Core中的核心类，它充当应用程序与数据库之间的桥梁。在实际开发中，开发者通过继承DbContext类来定义自己的上下文类，该上下文包含了对实体集合的引用以及用于执行数据库操作的方法。DbContext负责跟踪对实体对象的更改、将更改保存到数据库以及从数据库检索数据。在文章语境中，错误地管理和使用DbContext（如提前释放或未在事务范围内）会导致“InvalidOperationException”异常。 dispose() , dispose()方法是.NET框架中实现IDisposable接口的对象用来释放非托管资源和可选地释放托管资源的一种机制。在Entity Framework Core中，当DbContext实例不再需要时，调用dispose()方法可以确保数据库连接被正确关闭，避免资源泄露。若在进行数据库操作过程中，DbContext对象已被dispose()，则后续对该DbContext的操作会引发异常，因为其已无法访问数据库。 事务（Transaction） , 在数据库系统中，事务是一个包含一系列操作的完整工作单元，这些操作必须全部成功完成或者全部不执行以保持数据的一致性。在文章所讨论的Entity Framework Core场景下，如果DbContext不在有效的事务范围内，那么当需要进行事务性数据库操作（例如插入、更新或删除多条记录，并希望这些操作要么都成功，要么都不成功）时，就可能会抛出“DbContext已经被dispose或不在事务范围内”的异常。为了保证数据完整性，应确保在处理事务时，DbContext实例在整个事务生命周期内均有效且处于正确的事务上下文中。

...他锁或独占锁。当一个事务对表、行或其他资源获取了 ExclusiveLock，其他任何事务都无法在同一资源上获取任何类型的锁，直到持有 ExclusiveLock 的事务结束。在文章的上下文中，问题表现为由于某个后台进程对目标表持有 ExclusiveLock，导致其他操作（包括删除表）无法执行。 pg_terminate_backend() , pg_terminate_backend 是 PostgreSQL 提供的一个系统级函数，用于向指定的后台进程发送 SIGTERM 信号，强制终止该进程以及其所关联的所有事务。这个函数需要超级用户权限，并且会立即结束进程，释放所有持有的锁，同时回滚未提交的事务。在解决文章中描述的问题时，通过查找锁定表的后台进程 ID 并调用此函数来解除表的锁定状态。 pg_cancel_backend() , pg_cancel_backend 是 PostgreSQL 另一个系统级函数，作用是向指定的后台进程发送 SIGINT 信号，尝试以更温和的方式取消当前正在执行的事务，从而释放对该事务所占用资源的锁定。与 pg_terminate_backend() 不同，它并不会立即结束进程，而是尝试让进程自行回滚事务并退出。在实际应用中，如果不需要立即结束整个会话，可以优先考虑使用 pg_cancel_backend() 来尝试解决问题。 pg_locks 表 , 在 PostgreSQL 系统中，pg_locks 是一个系统视图，用于显示当前所有的锁信息，包括锁的类型、级别、归属进程等详细情况。通过查询 pg_locks 表，管理员能够识别出哪些事务或进程持有特定资源的锁，这对于诊断和解决诸如表无法删除这样的并发控制问题至关重要。 pg_class 表 , pg_class 是 PostgreSQL 系统中的一个系统目录表，记录了数据库中的所有表、索引、视图等对象的基本信息，如名称（relname）、OID（唯一标识符）等。在处理本文所述问题时，通过联合查询 pg_class 表和其他系统表，可以找到与被锁定表相关的后台进程信息。 pg_stat_activity 表 , pg_stat_activity 是 PostgreSQL 内置的一个系统视图，提供了关于数据库当前活动会话及其执行状态的信息，包括会话 ID（pid）、启动时间（backend_start）、应用程序名（application_name）、查询开始时间（query_start）、等待状态（waiting）、事务状态（state）以及当前执行的查询语句（query）等。在排查锁定问题时，通过查询 pg_stat_activity 表可了解哪些会话可能对问题表进行了锁定操作。

...n 2、Redis 事务 2.1 为什么要用事务 我们知道 Redis 的单个命令是原子性的(比如 get set mget mset)，如果涉及到多个命令的时候，需要把多个命令作为一个不可分割的处理序列，就需要用到事务。 例如我们之前说的用 setnx 实现分布式锁，我们先 set，然后设置对 key 设置 expire， 防止 del 发生异常的时候锁不会被释放，业务处理完了以后再 del，这三个动作我们就希望它们作为一组命令执行。 Redis 的事务有两个特点: 1、按进入队列的顺序执行。 2、不会受到其他客户端的请求的影响。 Redis 的事务涉及到四个命令:multi(开启事务)，exec(执行事务)，discard (取消事务)，watch(监视) 2.2 事务的用法 案例场景:tom 和 mic 各有 1000 元，tom 需要向 mic 转账 100 元。tom 的账户余额减少 100 元，mic 的账户余额增加 100 元。 通过 multi 的命令开启事务。事务不能嵌套，多个 multi 命令效果一样。 multi 执行后，客户端可以继续向服务器发送任意多条命令，这些命令不会立即被执行，而是被放到一个队列中，当 exec 命令被调用时，所有队列中的命令才会被执行。 通过 exec 的命令执行事务。如果没有执行 exec，所有的命令都不会被执行。如果中途不想执行事务了，怎么办? 可以调用 discard 可以清空事务队列，放弃执行。 2.3 watch命令 在 Redis 中还提供了一个 watch 命令。 它可以为 Redis 事务提供 CAS 乐观锁行为(Check and Set / Compare and Swap)，也就是多个线程更新变量的时候，会跟原值做比较，只有它没有被其他线程修改的情况下，才更新成新的值。 我们可以用 watch 监视一个或者多个 key，如果开启事务之后，至少有一个被监视 key 键在 exec 执行之前被修改了，那么整个事务都会被取消(key 提前过期除外)。可以用 unwatch 取消。 2.4 事务可能遇到的问题 我们把事务执行遇到的问题分成两种，一种是在执行 exec 之前发生错误，一种是在执行 exec 之后发生错误。 2.4.1 在执行 exec 之前发生错误 比如：入队的命令存在语法错误，包括参数数量，参数名等等(编译器错误)。 在这种情况下事务会被拒绝执行，也就是队列中所有的命令都不会得到执行。 2.4.2 在执行 exec 之后发生错误 比如，类型错误，比如对 String 使用了 Hash 的命令，这是一种运行时错误。 最后我们发现 set k1 1 的命令是成功的，也就是在这种发生了运行时异常的情况下， 只有错误的命令没有被执行，但是其他命令没有受到影响。 这个显然不符合我们对原子性的定义，也就是我们没办法用 Redis 的这种事务机制来实现原子性，保证数据的一致。 3、Lua脚本 Lua/ˈluə/是一种轻量级脚本语言，它是用 C 语言编写的，跟数据的存储过程有点类似。 使用 Lua 脚本来执行 Redis 命令的好处: 1、一次发送多个命令，减少网络开销。 2、Redis 会将整个脚本作为一个整体执行，不会被其他请求打断，保持原子性。 3、对于复杂的组合命令，我们可以放在文件中，可以实现程序之间的命令集复用。 3.1 在Redis中调用Lua脚本 使用 eval /ɪ’væl/ 方法，语法格式: redis> eval lua-script key-num [key1 key2 key3 ....] [value1 value2 value3 ....] eval代表执行Lua语言的命令。 lua-script代表Lua语言脚本内容。 key-num表示参数中有多少个key，需要注意的是Redis中key是从1开始的，如果没有key的参数，那么写0。 [key1key2key3…]是key作为参数传递给Lua语言，也可以不填，但是需要和key-num的个数对应起来。 [value1 value2 value3 …]这些参数传递给 Lua 语言，它们是可填可不填的。 示例，返回一个字符串，0 个参数: redis> eval "return 'Hello World'" 0 3.2 在Lua脚本中调用Redis命令 使用 redis.call(command, key [param1, param2…])进行操作。语法格式: redis> eval "redis.call('set',KEYS[1],ARGV[1])" 1 lua-key lua-value command是命令，包括set、get、del等。 key是被操作的键。 param1,param2…代表给key的参数。 注意跟 Java 不一样，定义只有形参，调用只有实参。 Lua 是在调用时用 key 表示形参，argv 表示参数值(实参)。 3.2.1 设置键值对 在 Redis 中调用 Lua 脚本执行 Redis 命令 redis> eval "return redis.call('set',KEYS[1],ARGV[1])" 1 gupao 2673 redis> get gupao 以上命令等价于 set gupao 2673。 在 redis-cli 中直接写 Lua 脚本不够方便，也不能实现编辑和复用，通常我们会把脚本放在文件里面，然后执行这个文件。 3.2.2 在 Redis 中调用 Lua 脚本文件中的命令，操作 Redis 创建 Lua 脚本文件: cd /usr/local/soft/redis5.0.5/src vim gupao.lua Lua 脚本内容，先设置，再取值: cd /usr/local/soft/redis5.0.5/src redis-cli --eval gupao.lua 0 得到返回值: root@localhost src] redis-cli --eval gupao.lua 0 "lua666" 3.2.3 案例:对 IP 进行限流 需求：在 X 秒内只能访问 Y 次。 设计思路：用 key 记录 IP，用 value 记录访问次数。 拿到 IP 以后，对 IP+1。如果是第一次访问，对 key 设置过期时间(参数 1)。否则判断次数，超过限定的次数(参数 2)，返回 0。如果没有超过次数则返回 1。超过时间， key 过期之后，可以再次访问。 KEY[1]是 IP， ARGV[1]是过期时间 X，ARGV[2]是限制访问的次数 Y。 -- ip_limit.lua-- IP 限流，对某个 IP 频率进行限制 ，6 秒钟访问 10 次 local num=redis.call('incr',KEYS[1])if tonumber(num)==1 thenredis.call('expire',KEYS[1],ARGV[1])return 1elseif tonumber(num)>tonumber(ARGV[2]) thenreturn 0 elsereturn 1 end 6 秒钟内限制访问 10 次，调用测试(连续调用 10 次): ./redis-cli --eval "ip_limit.lua" app:ip:limit:192.168.8.111 , 6 10 app:ip:limit:192.168.8.111 是 key 值 ，后面是参数值，中间要加上一个空格和一个逗号，再加上一个空格 。 即:./redis-cli –eval [lua 脚本] [key…]空格,空格[args…] 多个参数之间用一个空格分割 。 代码:LuaTest.java 3.2.4 缓存 Lua 脚本 为什么要缓存 在脚本比较长的情况下，如果每次调用脚本都需要把整个脚本传给 Redis 服务端， 会产生比较大的网络开销。为了解决这个问题，Redis 提供了 EVALSHA 命令，允许开发者通过脚本内容的 SHA1 摘要来执行脚本。 如何缓存 Redis 在执行 script load 命令时会计算脚本的 SHA1 摘要并记录在脚本缓存中，执行 EVALSHA 命令时 Redis 会根据提供的摘要从脚本缓存中查找对应的脚本内容，如果找到了则执行脚本，否则会返回错误:“NOSCRIPT No matching script. Please use EVAL.” 127.0.0.1:6379> script load "return 'Hello World'" "470877a599ac74fbfda41caa908de682c5fc7d4b"127.0.0.1:6379> evalsha "470877a599ac74fbfda41caa908de682c5fc7d4b" 0 "Hello World" 3.2.5 自乘案例 Redis 有 incrby 这样的自增命令，但是没有自乘，比如乘以 3，乘以 5。我们可以写一个自乘的运算，让它乘以后面的参数： local curVal = redis.call("get", KEYS[1]) if curVal == false thencurVal = 0 elsecurVal = tonumber(curVal)endcurVal = curVal tonumber(ARGV[1]) redis.call("set", KEYS[1], curVal) return curVal 把这个脚本变成单行，语句之间使用分号隔开 local curVal = redis.call("get", KEYS[1]); if curVal == false then curVal = 0 else curVal = tonumber(curVal) end; curVal = curVal tonumber(ARGV[1]); redis.call("set", KEYS[1], curVal); return curVal script load ‘命令’ 127.0.0.1:6379> script load 'local curVal = redis.call("get", KEYS[1]); if curVal == false then curVal = 0 else curVal = tonumber(curVal) end; curVal = curVal tonumber(ARGV[1]); redis.call("set", KEYS[1], curVal); return curVal' "be4f93d8a5379e5e5b768a74e77c8a4eb0434441" 调用: 127.0.0.1:6379> set num 2OK127.0.0.1:6379> evalsha be4f93d8a5379e5e5b768a74e77c8a4eb0434441 1 num 6 (integer) 12 3.2.6 脚本超时 Redis 的指令执行本身是单线程的，这个线程还要执行客户端的 Lua 脚本，如果 Lua 脚本执行超时或者陷入了死循环，是不是没有办法为客户端提供服务了呢? eval 'while(true) do end' 0 为了防止某个脚本执行时间过长导致 Redis 无法提供服务，Redis 提供了 lua-time-limit 参数限制脚本的最长运行时间，默认为 5 秒钟。 lua-time-limit 5000(redis.conf 配置文件中) 当脚本运行时间超过这一限制后，Redis 将开始接受其他命令但不会执行(以确保脚本的原子性，因为此时脚本并没有被终止)，而是会返回“BUSY”错误。 Redis 提供了一个 script kill 的命令来中止脚本的执行。新开一个客户端: script kill 如果当前执行的 Lua 脚本对 Redis 的数据进行了修改(SET、DEL 等)，那么通过 script kill 命令是不能终止脚本运行的。 127.0.0.1:6379> eval "redis.call('set','gupao','666') while true do end" 0 因为要保证脚本运行的原子性，如果脚本执行了一部分终止，那就违背了脚本原子性的要求。最终要保证脚本要么都执行，要么都不执行。 127.0.0.1:6379> script kill(error) UNKILLABLE Sorry the script already executed write commands against the dataset. You can either wait the scripttermination or kill the server in a hard way using the SHUTDOWN NOSAVE command. 遇到这种情况，只能通过 shutdown nosave 命令来强行终止 redis。 shutdown nosave 和 shutdown 的区别在于 shutdown nosave 不会进行持久化操作，意味着发生在上一次快照后的数据库修改都会丢失。 4、Redis 为什么这么快? 4.1 Redis到底有多快？ 根据官方的数据，Redis 的 QPS 可以达到 10 万左右(每秒请求数)。 4.2 Redis为什么这么快? 总结:1)纯内存结构、2)单线程、3)多路复用 4.2.1 内存 KV 结构的内存数据库，时间复杂度 O(1)。 第二个，要实现这么高的并发性能，是不是要创建非常多的线程? 恰恰相反，Redis 是单线程的。 4.2.2 单线程 单线程有什么好处呢? 1、没有创建线程、销毁线程带来的消耗 2、避免了上线文切换导致的 CPU 消耗 3、避免了线程之间带来的竞争问题，例如加锁释放锁死锁等等 4.2.3 异步非阻塞 异步非阻塞 I/O，多路复用处理并发连接。 4.3 Redis为什么是单线程的? 不是白白浪费了 CPU 的资源吗? 因为单线程已经够用了，CPU 不是 redis 的瓶颈。Redis 的瓶颈最有可能是机器内存或者网络带宽。既然单线程容易实现，而且 CPU 不会成为瓶颈，那就顺理成章地采用单线程的方案了。 4.4 单线程为什么这么快? 因为 Redis 是基于内存的操作，我们先从内存开始说起。 4.4.1 虚拟存储器(虚拟内存 Vitual Memory) 名词解释:主存:内存;辅存:磁盘(硬盘) 计算机主存(内存)可看作一个由 M 个连续的字节大小的单元组成的数组，每个字节有一个唯一的地址，这个地址叫做物理地址(PA)。早期的计算机中，如果 CPU 需要内存，使用物理寻址，直接访问主存储器。 这种方式有几个弊端: 1、在多用户多任务操作系统中，所有的进程共享主存，如果每个进程都独占一块物理地址空间，主存很快就会被用完。我们希望在不同的时刻，不同的进程可以共用同一块物理地址空间。 2、如果所有进程都是直接访问物理内存，那么一个进程就可以修改其他进程的内存数据，导致物理地址空间被破坏，程序运行就会出现异常。 为了解决这些问题，我们就想了一个办法，在 CPU 和主存之间增加一个中间层。CPU 不再使用物理地址访问，而是访问一个虚拟地址，由这个中间层把地址转换成物理地址，最终获得数据。这个中间层就叫做虚拟存储器(Virtual Memory)。 具体的操作如下所示: 在每一个进程开始创建的时候，都会分配一段虚拟地址，然后通过虚拟地址和物理地址的映射来获取真实数据，这样进程就不会直接接触到物理地址，甚至不知道自己调用的哪块物理地址的数据。 目前，大多数操作系统都使用了虚拟内存，如 Windows 系统的虚拟内存、Linux 系统的交换空间等等。Windows 的虚拟内存(pagefile.sys)是磁盘空间的一部分。 在 32 位的系统上，虚拟地址空间大小是 2^32bit=4G。在 64 位系统上，最大虚拟地址空间大小是多少? 是不是 2^64bit=10241014TB=1024PB=16EB?实际上没有用到 64 位，因为用不到这么大的空间，而且会造成很大的系统开销。Linux 一般用低 48 位来表示虚拟地址空间，也就是 2^48bit=256T。 cat /proc/cpuinfo address sizes : 40 bits physical, 48 bits virtual 实际的物理内存可能远远小于虚拟内存的大小。 总结：引入虚拟内存，可以提供更大的地址空间，并且地址空间是连续的，使得程序编写、链接更加简单。并且可以对物理内存进行隔离，不同的进程操作互不影响。还可以通过把同一块物理内存映射到不同的虚拟地址空间实现内存共享。 4.4.2 用户空间和内核空间 为了避免用户进程直接操作内核，保证内核安全，操作系统将虚拟内存划分为两部分，一部分是内核空间(Kernel-space)/ˈkɜːnl /，一部分是用户空间(User-space)。 内核是操作系统的核心，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的权限。 内核空间中存放的是内核代码和数据，而进程的用户空间中存放的是用户程序的代码和数据。不管是内核空间还是用户空间，它们都处于虚拟空间中，都是对物理地址的映射。 在 Linux 系统中, 内核进程和用户进程所占的虚拟内存比例是 1:3。 当进程运行在内核空间时就处于内核态，而进程运行在用户空间时则处于用户态。 进程在内核空间以执行任意命令，调用系统的一切资源;在用户空间只能执行简单的运算，不能直接调用系统资源，必须通过系统接口(又称 system call)，才能向内核发出指令。 top 命令: us 代表 CPU 消耗在 User space 的时间百分比; sy 代表 CPU 消耗在 Kernel space 的时间百分比。 4.4.3 进程切换(上下文切换) 多任务操作系统是怎么实现运行远大于 CPU 数量的任务个数的? 当然，这些任务实际上并不是真的在同时运行，而是因为系统通过时间片分片算法，在很短的时间内，将 CPU 轮流分配给它们，造成多任务同时运行的错觉。 为了控制进程的执行，内核必须有能力挂起正在 CPU 上运行的进程，并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。 什么叫上下文? 在每个任务运行前，CPU 都需要知道任务从哪里加载、又从哪里开始运行，也就是说，需要系统事先帮它设置好 CPU 寄存器和程序计数器(ProgramCounter)，这个叫做 CPU 的上下文。 而这些保存下来的上下文，会存储在系统内核中，并在任务重新调度执行时再次加载进来。这样就能保证任务原来的状态不受影响，让任务看起来还是连续运行。 在切换上下文的时候，需要完成一系列的工作，这是一个很消耗资源的操作。 4.4.4 进程的阻塞 正在运行的进程由于提出系统服务请求(如 I/O 操作)，但因为某种原因未得到操作系统的立即响应，该进程只能把自己变成阻塞状态，等待相应的事件出现后才被唤醒。 进程在阻塞状态不占用 CPU 资源。 4.4.5 文件描述符 FD Linux 系统将所有设备都当作文件来处理，而 Linux 用文件描述符来标识每个文件对象。 文件描述符(File Descriptor)是内核为了高效管理已被打开的文件所创建的索引，用于指向被打开的文件，所有执行 I/O 操作的系统调用都通过文件描述符;文件描述符是一个简单的非负整数，用以表明每个被进程打开的文件。 Linux 系统里面有三个标准文件描述符。 0:标准输入(键盘); 1:标准输出(显示器); 2:标准错误输出(显示器)。 4.4.6 传统 I/O 数据拷贝 以读操作为例: 当应用程序执行 read 系统调用读取文件描述符(FD)的时候，如果这块数据已经存在于用户进程的页内存中，就直接从内存中读取数据。如果数据不存在，则先将数据从磁盘加载数据到内核缓冲区中，再从内核缓冲区拷贝到用户进程的页内存中。(两次拷贝，两次 user 和 kernel 的上下文切换)。 I/O 的阻塞到底阻塞在哪里? 4.4.7 Blocking I/O 当使用 read 或 write 对某个文件描述符进行过读写时，如果当前 FD 不可读，系统就不会对其他的操作做出响应。从设备复制数据到内核缓冲区是阻塞的，从内核缓冲区拷贝到用户空间，也是阻塞的，直到 copy complete，内核返回结果，用户进程才解除 block 的状态。 为了解决阻塞的问题，我们有几个思路。 1、在服务端创建多个线程或者使用线程池，但是在高并发的情况下需要的线程会很多，系统无法承受，而且创建和释放线程都需要消耗资源。 2、由请求方定期轮询，在数据准备完毕后再从内核缓存缓冲区复制数据到用户空间 (非阻塞式 I/O)，这种方式会存在一定的延迟。 能不能用一个线程处理多个客户端请求? 4.4.8 I/O 多路复用(I/O Multiplexing) I/O 指的是网络 I/O。 多路指的是多个 TCP 连接(Socket 或 Channel)。 复用指的是复用一个或多个线程。它的基本原理就是不再由应用程序自己监视连接，而是由内核替应用程序监视文件描述符。 客户端在操作的时候，会产生具有不同事件类型的 socket。在服务端，I/O 多路复用程序(I/O Multiplexing Module)会把消息放入队列中，然后通过文件事件分派器(File event Dispatcher)，转发到不同的事件处理器中。 多路复用有很多的实现，以 select 为例，当用户进程调用了多路复用器，进程会被阻塞。内核会监视多路复用器负责的所有 socket，当任何一个 socket 的数据准备好了，多路复用器就会返回。这时候用户进程再调用 read 操作，把数据从内核缓冲区拷贝到用户空间。 所以，I/O 多路复用的特点是通过一种机制一个进程能同时等待多个文件描述符，而这些文件描述符(套接字描述符)其中的任意一个进入读就绪(readable)状态，select() 函数就可以返回。 Redis 的多路复用， 提供了 select, epoll, evport, kqueue 几种选择，在编译的时 候来选择一种。 evport 是 Solaris 系统内核提供支持的; epoll 是 LINUX 系统内核提供支持的; kqueue 是 Mac 系统提供支持的; select 是 POSIX 提供的，一般的操作系统都有支撑(保底方案); 源码 ae_epoll.c、ae_select.c、ae_kqueue.c、ae_evport.c 5、内存回收 Reids 所有的数据都是存储在内存中的，在某些情况下需要对占用的内存空间进行回 收。内存回收主要分为两类，一类是 key 过期，一类是内存使用达到上限(max_memory) 触发内存淘汰。 5.1 过期策略 要实现 key 过期，我们有几种思路。 5.1.1 定时过期(主动淘汰) 每个设置过期时间的 key 都需要创建一个定时器，到过期时间就会立即清除。该策略可以立即清除过期的数据，对内存很友好;但是会占用大量的 CPU 资源去处理过期的 数据，从而影响缓存的响应时间和吞吐量。 5.1.2 惰性过期(被动淘汰) 只有当访问一个 key 时，才会判断该 key 是否已过期，过期则清除。该策略可以最大化地节省 CPU 资源，却对内存非常不友好。极端情况可能出现大量的过期 key 没有再次被访问，从而不会被清除，占用大量内存。 例如 String，在 getCommand 里面会调用 expireIfNeeded server.c expireIfNeeded(redisDb db, robj key) 第二种情况，每次写入 key 时，发现内存不够，调用 activeExpireCycle 释放一部分内存。 expire.c activeExpireCycle(int type) 5.1.3 定期过期 源码:server.h typedef struct redisDb { dict dict; / 所有的键值对 /dict expires; / 设置了过期时间的键值对 /dict blocking_keys; dict ready_keys; dict watched_keys; int id;long long avg_ttl;list defrag_later; } redisDb; 每隔一定的时间，会扫描一定数量的数据库的 expires 字典中一定数量的 key，并清除其中已过期的 key。该策略是前两者的一个折中方案。通过调整定时扫描的时间间隔和每次扫描的限定耗时，可以在不同情况下使得 CPU 和内存资源达到最优的平衡效果。 Redis 中同时使用了惰性过期和定期过期两种过期策略。 5.2 淘汰策略 Redis 的内存淘汰策略，是指当内存使用达到最大内存极限时，需要使用淘汰算法来决定清理掉哪些数据，以保证新数据的存入。 5.2.1 最大内存设置 redis.conf 参数配置: maxmemory <bytes> 如果不设置 maxmemory 或者设置为 0，64 位系统不限制内存，32 位系统最多使用 3GB 内存。 动态修改: redis> config set maxmemory 2GB 到达最大内存以后怎么办? 5.2.2 淘汰策略 https://redis.io/topics/lru-cache redis.conf maxmemory-policy noeviction 先从算法来看: LRU，Least Recently Used:最近最少使用。判断最近被使用的时间，目前最远的数据优先被淘汰。 LFU，Least Frequently Used，最不常用，4.0 版本新增。 random，随机删除。 如果没有符合前提条件的 key 被淘汰，那么 volatile-lru、volatile-random、 volatile-ttl 相当于 noeviction(不做内存回收)。 动态修改淘汰策略: redis> config set maxmemory-policy volatile-lru 建议使用 volatile-lru，在保证正常服务的情况下，优先删除最近最少使用的 key。 5.2.3 LRU 淘汰原理 问题：如果基于传统 LRU 算法实现 Redis LRU 会有什么问题? 需要额外的数据结构存储，消耗内存。 Redis LRU 对传统的 LRU 算法进行了改良，通过随机采样来调整算法的精度。如果淘汰策略是 LRU，则根据配置的采样值 maxmemory_samples(默认是 5 个), 随机从数据库中选择 m 个 key, 淘汰其中热度最低的 key 对应的缓存数据。所以采样参数m配置的数值越大, 就越能精确的查找到待淘汰的缓存数据,但是也消耗更多的CPU计算,执行效率降低。 问题：如何找出热度最低的数据? Redis 中所有对象结构都有一个 lru 字段, 且使用了 unsigned 的低 24 位，这个字段用来记录对象的热度。对象被创建时会记录 lru 值。在被访问的时候也会更新 lru 的值。 但是不是获取系统当前的时间戳，而是设置为全局变量 server.lruclock 的值。 源码：server.h typedef struct redisObject {unsigned type:4;unsigned encoding:4;unsigned lru:LRU_BITS;int refcount;void ptr; } robj; server.lruclock 的值怎么来的? Redis 中有个定时处理的函数 serverCron，默认每 100 毫秒调用函数 updateCachedTime 更新一次全局变量的 server.lruclock 的值，它记录的是当前 unix 时间戳。 源码:server.c void updateCachedTime(void) { time_t unixtime = time(NULL); atomicSet(server.unixtime,unixtime); server.mstime = mstime();​struct tm tm; localtime_r(&server.unixtime,&tm);server.daylight_active = tm.tm_isdst; } 问题:为什么不获取精确的时间而是放在全局变量中?不会有延迟的问题吗? 这样函数 lookupKey 中更新数据的 lru 热度值时,就不用每次调用系统函数 time，可以提高执行效率。 OK，当对象里面已经有了 LRU 字段的值，就可以评估对象的热度了。 函数 estimateObjectIdleTime 评估指定对象的 lru 热度，思想就是对象的 lru 值和全局的 server.lruclock 的差值越大(越久没有得到更新)，该对象热度越低。 源码 evict.c / Given an object returns the min number of milliseconds the object was never requested, using an approximated LRU algorithm. /unsigned long long estimateObjectIdleTime(robj o) {unsigned long long lruclock = LRU_CLOCK(); if (lruclock >= o->lru) {return (lruclock - o->lru) LRU_CLOCK_RESOLUTION; } else {return (lruclock + (LRU_CLOCK_MAX - o->lru)) LRU_CLOCK_RESOLUTION;} } server.lruclock 只有 24 位，按秒为单位来表示才能存储 194 天。当超过 24bit 能表 示的最大时间的时候，它会从头开始计算。 server.h define LRU_CLOCK_MAX ((1<<LRU_BITS)-1) / Max value of obj->lru / 在这种情况下，可能会出现对象的 lru 大于 server.lruclock 的情况，如果这种情况 出现那么就两个相加而不是相减来求最久的 key。 为什么不用常规的哈希表+双向链表的方式实现?需要额外的数据结构，消耗资源。而 Redis LRU 算法在 sample 为 10 的情况下，已经能接近传统 LRU 算法了。 问题:除了消耗资源之外，传统 LRU 还有什么问题? 如图，假设 A 在 10 秒内被访问了 5 次，而 B 在 10 秒内被访问了 3 次。因为 B 最后一次被访问的时间比 A 要晚，在同等的情况下，A 反而先被回收。 问题:要实现基于访问频率的淘汰机制，怎么做? 5.2.4 LFU server.h typedef struct redisObject {unsigned type:4;unsigned encoding:4;unsigned lru:LRU_BITS;int refcount;void ptr; } robj; 当这 24 bits 用作 LFU 时，其被分为两部分: 高 16 位用来记录访问时间(单位为分钟，ldt，last decrement time) 低 8 位用来记录访问频率，简称 counter(logc，logistic counter) counter 是用基于概率的对数计数器实现的，8 位可以表示百万次的访问频率。 对象被读写的时候，lfu 的值会被更新。 db.c——lookupKey void updateLFU(robj val) {unsigned long counter = LFUDecrAndReturn(val); counter = LFULogIncr(counter);val->lru = (LFUGetTimeInMinutes()<<8) | counter;} 增长的速率由，lfu-log-factor 越大，counter 增长的越慢 redis.conf 配置文件。 lfu-log-factor 10 如果计数器只会递增不会递减，也不能体现对象的热度。没有被访问的时候，计数器怎么递减呢? 减少的值由衰减因子 lfu-decay-time(分钟)来控制，如果值是 1 的话，N 分钟没有访问就要减少 N。 redis.conf 配置文件 lfu-decay-time 1 6、持久化机制 https://redis.io/topics/persistence Redis 速度快，很大一部分原因是因为它所有的数据都存储在内存中。如果断电或者宕机，都会导致内存中的数据丢失。为了实现重启后数据不丢失，Redis 提供了两种持久化的方案，一种是 RDB 快照(Redis DataBase)，一种是 AOF(Append Only File)。 6.1 RDB RDB 是 Redis 默认的持久化方案。当满足一定条件的时候，会把当前内存中的数据写入磁盘，生成一个快照文件 dump.rdb。Redis 重启会通过加载 dump.rdb 文件恢复数据。 什么时候写入 rdb 文件? 6.1.1 RDB 触发 1、自动触发 a)配置规则触发。 redis.conf， SNAPSHOTTING，其中定义了触发把数据保存到磁盘的触发频率。 如果不需要 RDB 方案，注释 save 或者配置成空字符串""。 save 900 1 900 秒内至少有一个 key 被修改(包括添加) save 300 10 400 秒内至少有 10 个 key 被修改save 60 10000 60 秒内至少有 10000 个 key 被修改 注意上面的配置是不冲突的，只要满足任意一个都会触发。 RDB 文件位置和目录: 文件路径，dir ./ 文件名称dbfilename dump.rdb 是否是LZF压缩rdb文件 rdbcompression yes 开启数据校验 rdbchecksum yes 问题：为什么停止 Redis 服务的时候没有 save，重启数据还在? RDB 还有两种触发方式: b)shutdown 触发，保证服务器正常关闭。 c)flushall，RDB 文件是空的，没什么意义(删掉 dump.rdb 演示一下)。 2、手动触发 如果我们需要重启服务或者迁移数据，这个时候就需要手动触 RDB 快照保存。Redis 提供了两条命令: a)save save 在生成快照的时候会阻塞当前 Redis 服务器， Redis 不能处理其他命令。如果内存中的数据比较多，会造成 Redis 长时间的阻塞。生产环境不建议使用这个命令。 为了解决这个问题，Redis 提供了第二种方式。 执行 bgsave 时，Redis 会在后台异步进行快照操作，快照同时还可以响应客户端请求。 具体操作是 Redis 进程执行 fork 操作创建子进程(copy-on-write)，RDB 持久化过程由子进程负责，完成后自动结束。它不会记录 fork 之后后续的命令。阻塞只发生在 fork 阶段，一般时间很短。 用 lastsave 命令可以查看最近一次成功生成快照的时间。 6.1.2 RDB 数据的恢复(演示) 1、shutdown 持久化添加键值 添加键值 redis> set k1 1 redis> set k2 2 redis> set k3 3 redis> set k4 4 redis> set k5 5 停服务器，触发 save redis> shutdown 备份 dump.rdb 文件 cp dump.rdb dump.rdb.bak 启动服务器 /usr/local/soft/redis-5.0.5/src/redis-server /usr/local/soft/redis-5.0.5/redis.conf 啥都没有: redis> keys 3、通过备份文件恢复数据停服务器 redis> shutdown 重命名备份文件 mv dump.rdb.bak dump.rdb 启动服务器 /usr/local/soft/redis-5.0.5/src/redis-server /usr/local/soft/redis-5.0.5/redis.conf 查看数据 redis> keys 6.1.3 RDB 文件的优势和劣势 一、优势 1.RDB 是一个非常紧凑(compact)的文件，它保存了 redis 在某个时间点上的数据集。这种文件非常适合用于进行备份和灾难恢复。 2.生成 RDB 文件的时候，redis 主进程会 fork()一个子进程来处理所有保存工作，主进程不需要进行任何磁盘 IO 操作。 3.RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。 二、劣势 1、RDB 方式数据没办法做到实时持久化/秒级持久化。因为 bgsave 每次运行都要执行 fork 操作创建子进程，频繁执行成本过高。 2、在一定间隔时间做一次备份，所以如果 redis 意外 down 掉的话，就会丢失最后一次快照之后的所有修改(数据有丢失)。 如果数据相对来说比较重要，希望将损失降到最小，则可以使用 AOF 方式进行持久化。 6.2 AOF Append Only File AOF:Redis 默认不开启。AOF 采用日志的形式来记录每个写操作，并追加到文件中。开启后，执行更改 Redis 数据的命令时，就会把命令写入到 AOF 文件中。 Redis 重启时会根据日志文件的内容把写指令从前到后执行一次以完成数据的恢复工作。 6.2.1 AOF 配置 配置文件 redis.conf 开关appendonly no 文件名appendfilename "appendonly.aof" AOF 文件的内容(vim 查看): 问题：数据都是实时持久化到磁盘吗? 由于操作系统的缓存机制，AOF 数据并没有真正地写入硬盘，而是进入了系统的硬盘缓存。什么时候把缓冲区的内容写入到 AOF 文件? 问题:文件越来越大，怎么办? 由于 AOF 持久化是 Redis 不断将写命令记录到 AOF 文件中，随着 Redis 不断的进行，AOF 的文件会越来越大，文件越大，占用服务器内存越大以及 AOF 恢复要求时间越长。 例如 set xxx 666，执行 1000 次，结果都是 xxx=666。 为了解决这个问题，Redis 新增了重写机制，当 AOF 文件的大小超过所设定的阈值时，Redis 就会启动 AOF 文件的内容压缩，只保留可以恢复数据的最小指令集。 可以使用命令 bgrewriteaof 来重写。 AOF 文件重写并不是对原文件进行重新整理，而是直接读取服务器现有的键值对，然后用一条命令去代替之前记录这个键值对的多条命令，生成一个新的文件后去替换原来的 AOF 文件。 重写触发机制 auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb 问题:重写过程中，AOF 文件被更改了怎么办? 另外有两个与 AOF 相关的参数: 6.2.2 AOF 数据恢复 重启 Redis 之后就会进行 AOF 文件的恢复。 6.2.3 AOF 优势与劣势 优点: 1、AOF 持久化的方法提供了多种的同步频率，即使使用默认的同步频率每秒同步一次，Redis 最多也就丢失 1 秒的数据而已。 缺点: 1、对于具有相同数据的的 Redis，AOF 文件通常会比 RDB 文件体积更大(RDB 存的是数据快照)。 2、虽然 AOF 提供了多种同步的频率，默认情况下，每秒同步一次的频率也具有较高的性能。在高并发的情况下，RDB 比 AOF 具好更好的性能保证。 6.3 两种方案比较 那么对于 AOF 和 RDB 两种持久化方式，我们应该如何选择呢? 如果可以忍受一小段时间内数据的丢失，毫无疑问使用 RDB 是最好的，定时生成 RDB 快照(snapshot)非常便于进行数据库备份， 并且 RDB 恢复数据集的速度也要比 AOF 恢复的速度要快。 否则就使用 AOF 重写。但是一般情况下建议不要单独使用某一种持久化机制，而是应该两种一起用，在这种情况下,当 redis 重启的时候会优先载入 AOF 文件来恢复原始的数据，因为在通常情况下 AOF 文件保存的数据集要比 RDB 文件保存的数据集要完整。 本篇文章为转载内容。原文链接：https://blog.csdn.net/zhoutaochun/article/details/120075092。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...套屏幕图像分享和远程操作软件，底层通信为RFB协议，由剑桥某实验室开发，后1999年并入AT&T，2002年关停实验室与项目，VNC开源发布。 VNC本被设计用在局域网环境，且诞生背景决定其更倾向研究性质，商用级安全的缺失始终是个问题。后续有若干新的实现软件，如TightVNC、RealVNC，在公众认知中，AT&T版本已死，后起之秀一定程度上修正了问题。 目前各种更优秀的远程控制和分享协议取代了VNC的位置，尽管例如苹果仍然系统內建VNC作为远程方式。但在非桌面领域，VNC还有我们想不到的重要性，比如工控领域需要远程屏幕传输的场景，这也是为什么这系列漏洞作者会关注这一块。 漏洞技术概况 Pavel总结到，在阶段漏洞挖掘中共上报11个漏洞。在披露邮件中描述了其中4个的技术细节，均在协议数据包处理代码中，漏洞类型古典，分别是全局缓冲区溢出、堆溢出和空指针解引用。其中缓冲区溢出类型漏洞可方便构造PoC，实现远程任意代码执行的漏洞利用。 漏洞本身原理简单，也并不是关键。以其中一个为例，Pavel在发现时负责任地向LibVNC作者提交了issue，并跟进漏洞修复过程；在第一次修复之后，复核并指出修复代码无效，给出了有效patch。这个过程是常规操作。 漏洞疑点 有意思的是，在漏洞披露邮件中，Pavel重点谈了自己对这系列漏洞的一些周边发现，也是这里提到的原因。其中，关于存在漏洞的代码，作者表述： 我最初认为，这些问题是libvnc开发者自己代码中的错误，但看起来并非如此。其中有一些（如CoRRE数据处理函数中的堆缓冲区溢出），出现在AT&T实验室1999年的代码中，而后被很多软件开发者原样复制（在Github上搜索一下HandleCoRREBPP函数，你就知道），LibVNC和TightVNC也是如此。 为了证实，翻阅了这部分代码，确实在其中数据处理相关代码文件看到了剑桥和AT&T实验室的文件头GPL声明注释，中国菜刀 这证实这些文件是直接从最初剑桥实验室版本VNC移植过来的，且使用方式是 直接代码包含，而非独立库引用方式。在官方开源发布并停止更新后，LibVNC使用的这部分代码基本没有改动——除了少数变量命名方式的统一，以及本次漏洞修复。通过搜索，我找到了2000年发布的相关代码文件，确认这些文件与LibVNC中引入的原始版本一致。 另外，Pavel同时反馈了TightVNC中相同的问题。TightVNC与LibVNC没有继承和直接引用关系，但上述VNC代码同样被TightVNC使用，问题的模式不约而同。Pavel测试发现在Ubuntu最新版本TightVNC套件（1.3.10版本）中同样存在该问题，上报给当前软件所有者GlavSoft公司，但对方声称目前精力放在不受GPL限制的TightVNC 2.x版本开发中，对开源的1.x版本漏洞代码“可能会进行修复”。看起来，这个问题被踢给了各大Linux发行版社区来焦虑了——如果他们愿意接锅。 问题思考 在披露邮件中，Pavel认为，这些代码bug“如此明显，让人无法相信之前没被人发现过……也许是因为某些特殊理由才始终没得到修复”。 事实上，我们都知道目前存在一些对开源基础软件进行安全扫描的大型项目，例如Google的OSS；同时，仍然存活的开源项目也越来越注重自身代码发布前的安全扫描，Fortify、Coverity的扫描也成为很多项目和平台的标配。在这样一些眼睛注视下，为什么还有这样的问题？我认为就这个具体事例来说，可能有如下两个因素： ·上游已死。仍然在被维护的代码，存在版本更迭，也存在外界的持续关注、漏洞报告和修复、开发的迭代，对于负责人的开发者，持续跟进、评估、同步代码的改动是可能的。但是一旦一份代码走完了生命周期，就像一段史实一样会很少再被改动。 ·对第三方上游代码的无条件信任。我们很多人都有过基础组件、中间件的开发经历，不乏有人使用Coverity开启全部规则进行代码扫描、严格修复所有提示的问题甚至编程规范warning；报告往往很长，其中也包括有源码形式包含的第三方代码中的问题。但是，我们一方面倾向于认为这些被广泛使用的代码不应存在问题（不然早就被人挖过了），一方面考虑这些引用的代码往往是组件或库的形式被使用，应该有其上下文才能认定是否确实有可被利用的漏洞条件，现在单独扫描这部分代码一般出来的都是误报。所以这些代码的问题都容易被忽视。 但是透过这个具体例子，再延伸思考相关的实践，这里最根本的问题可以总结为一个模式： 复制粘贴风险。复制粘贴并不简单意味着剽窃，实际是当前软件领域、互联网行业发展的基础模式，但其中有一些没人能尝试解决的问题： ·在传统代码领域，如C代码中，对第三方代码功能的复用依赖，往往通过直接进行库的引入实现，第三方代码独立而完整，也较容易进行整体更新；这是最简单的情况，只需要所有下游使用者保证仅使用官方版本，跟进官方更新即可；但在实践中很难如此贯彻，这是下节讨论的问题。 ·有些第三方发布的代码，模式就是需要被源码形式包含到其他项目中进行统一编译使用（例如腾讯的开源Json解析库RapidJSON，就是纯C++头文件形式）。在开源领域有如GPL等规约对此进行规范，下游开发者遵循协议，引用代码，强制或可选地显式保留其GPL声明，可以进行使用和更改。这样的源码依赖关系，结合规范化的changelog声明代码改动，侧面也是为开发过程中跟进考虑。但是一个成型的产品，比如企业自有的服务端底层产品、中间件，新版本的发版更新是复杂的过程，开发者在旧版本仍然“功能正常”的情况下往往倾向于不跟进新版本；而上游代码如果进行安全漏洞修复，通常也都只在其最新版本代码中改动，安全修复与功能迭代并存，如果没有类似Linux发行版社区的努力，旧版本代码完全没有干净的安全更新patch可用。 ·在特定场景下，有些开发实践可能不严格遵循开源代码协议限定，引入了GPL等协议保护的代码而不做声明（以规避相关责任），丢失了引入和版本的信息跟踪；在另一些场景下，可能存在对开源代码进行大刀阔斧的修改、剪裁、定制，以符合自身业务的极端需求，但是过多的修改、人员的迭代造成与官方代码严重的失同步，丧失可维护性。 ·更一般的情况是，在开发中，开发者个体往往心照不宣的存在对网上代码文件、代码片段的复制-粘贴操作。被参考的代码，可能有上述的开源代码，也可能有各种Github作者练手项目、技术博客分享的代码片段、正式开源项目仅用来说明用法的不完备示例代码。这些代码的引入完全无迹可寻，即便是作者自己也很难解释用了什么。这种情况下，上面两条认定的那些与官方安全更新失同步的问题同样存在，且引入了独特的风险：被借鉴的代码可能只是原作者随手写的、仅仅是功能成立的片段，甚至可能是恶意作者随意散布的有安全问题的代码。由此，问题进入了最大的发散空间。 在Synopsys下BLACKDUCK软件之前发布的《2018 Open Source Security and Risk Analysis Report》中分析，96%的应用中包含有开源组件和代码，开源代码在应用全部代码中的占比约为57%，78%的应用中在引用的三方开源代码中存在历史漏洞。也就是说，现在互联网上所有厂商开发的软件、应用，其开发人员自己写的代码都是一少部分，多数都是借鉴来的。而这还只是可统计、可追溯的；至于上面提到的非规范的代码引用，如果也纳入进来考虑，三方代码占应用中的比例会上升到多少？曾经有分析认为至少占80%，我们只期望不会更高。 Ⅱ. 从碎片到乱刃：OpenSSH在野后门一览 在进行基础软件梳理时，回忆到反病毒安全软件提供商ESET在2018年十月发布的一份白皮书《THE DARK SIDE OF THE FORSSHE: A landscape of OpenSSH backdoors》。其站在一个具有广泛用户基础的软件提供商角度，给出了一份分析报告，数据和结论超出我们对于当前基础软件使用全景的估量。以下以我的角度对其中一方面进行解读。 一些必要背景 SSH的作用和重要性无需赘言；虽然我们站在传统互联网公司角度，可以认为SSH是通往生产服务器的生命通道，但当前多样化的产业环境已经不止于此（如之前libssh事件中，不幸被我言中的，SSH在网络设备、IoT设备上（如f5）的广泛使用）。 OpenSSH是目前绝大多数SSH服务端的基础软件，有完备的开发团队、发布规范、维护机制，本身是靠谱的。如同绝大多数基础软件开源项目的做法，OpenSSH对漏洞有及时的响应，针对最新版本代码发出安全补丁，但是各大Linux发行版使用的有各种版本的OpenSSH，这些社区自行负责将官方开发者的安全补丁移植到自己系统搭载的低版本代码上。天空彩 白皮书披露的现状 如果你是一个企业的运维管理人员，需要向企业生产服务器安装OpenSSH或者其它基础软件，最简单的方式当然是使用系统的软件管理安装即可。但是有时候，出于迁移成本考虑，可能企业需要在一个旧版本系统上，使用较新版本的OpenSSL、OpenSSH等基础软件，这些系统不提供，需要自行安装；或者需要一个某有种特殊特性的定制版本。这时，可能会选择从某些rpm包集中站下载某些不具名第三方提供的现成的安装包，或者下载非官方的定制化源码本地编译后安装，总之从这里引入了不确定性。 这种不确定性有多大？我们粗估一下，似乎不应成为问题。但这份白皮书给我们看到了鲜活的数据。 ESET研究人员从OpenSSH的一次历史大规模Linux服务端恶意软件Windigo中获得启示，采用某种巧妙的方式，面向在野的服务器进行数据采集，主要是系统与版本、安装的OpenSSH版本信息以及服务端程序文件的一个特殊签名。整理一个签名白名单，包含有所有能搜索到的官方发布二进制版本、各大Linux发行版本各个版本所带的程序文件版本，将这些标定为正常样本进行去除。最终结论是： ·共发现了几百个非白名单版本的OpenSSH服务端程序文件ssh和sshd； ·分析这些样本，将代码部分完全相同，仅仅是数据和配置不同的合并为一类，且分析判定确认有恶意代码的，共归纳为 21个各异的恶意OpenSSH家族； ·在21个恶意家族中，有12个家族在10月份时完全没有被公开发现分析过；而剩余的有一部分使用了历史上披露的恶意代码样本，甚至有源代码； ·所有恶意样本的实现，从实现复杂度、代码混淆和自我保护程度到代码特征有很大跨度的不同，但整体看，目的以偷取用户凭证等敏感信息、回连外传到攻击者为主，其中有的攻击者回连地址已经存在并活跃数年之久； ·这些后门的操控者，既有传统恶意软件黑产人员，也有APT组织； ·所有恶意软件或多或少都在被害主机上有未抹除的痕迹。ESET研究者尝试使用蜜罐引诱出攻击者，但仍有许多未解之谜。这场对抗，仍未取胜。 白皮书用了大篇幅做技术分析报告，此处供细节分析，不展开分析，以下为根据恶意程序复杂度描绘的21个家族图谱： 问题思考 问题引入的可能渠道，我在开头进行了一点推测，主要是由人的原因切入的，除此以外，最可能的是恶意攻击者在利用各种方法入侵目标主机后，主动替换了目标OpenSSH为恶意版本，从而达成攻击持久化操作。但是这些都是止血的安全运维人员该考虑的事情；关键问题是，透过表象，这显露了什么威胁形式？ 这个问题很好回答，之前也曾经反复说过：基础软件碎片化。 如上一章节简单提到，在开发过程中有各种可能的渠道引入开发者不完全了解和信任的代码；在运维过程中也是如此。二者互相作用，造成了软件碎片化的庞杂现状。在企业内部，同一份基础软件库，可能不同的业务线各自定制一份，放到企业私有软件仓库源中，有些会有人持续更新供自己产品使用，有些由系统软件基础设施维护人员单独维护，有些则可能是开发人员临时想起来上传的，他们自己都不记得；后续用到的这个基础软件的开发和团队，在这个源上搜索到已有的库，很大概率会倾向于直接使用，不管来源、是否有质量背书等。长此以往问题会持续发酵。而我们开最坏的脑洞，是否可能有黑产人员入职到内部，提交个恶意基础库之后就走人的可能？现行企业安全开发流程中审核机制的普遍缺失给这留下了空位。 将源码来源碎片化与二进制使用碎片化并起来考虑，我们不难看到一个远远超过OpenSSH事件威胁程度的图景。但这个问题不是仅仅靠开发阶段规约、运维阶段规范、企业内部管控、行业自查、政府监管就可以根除的，最大的问题归根结底两句话： 不可能用一场战役对抗持续威胁；不可能用有限分析对抗无限未知。 Ⅲ. 从自信到自省：RHEL、CentOS backport版本BIND漏洞 2018年12月20日凌晨，在备战冬至的软件供应链安全大赛决赛时，我注意到漏洞预警平台捕获的一封邮件。但这不是一个漏洞初始披露邮件，而是对一个稍早已披露的BIND在RedHat、CentOS发行版上特定版本的1day漏洞CVE-2018-5742，由BIND的官方开发者进行额外信息澄(shuǎi)清(guō)的邮件。 一些必要背景 关于BIND 互联网的一个古老而基础的设施是DNS，这个概念在读者不应陌生。而BIND“是现今互联网上最常使用的DNS软件，使用BIND作为服务器软件的DNS服务器约占所有DNS服务器的九成。BIND现在由互联网系统协会负责开发与维护参考。”所以BIND的基础地位即是如此，因此也一向被大量白帽黑帽反复测试、挖掘漏洞，其开发者大概也一直处在紧绷着应对的处境。 关于ISC和RedHat 说到开发者，上面提到BIND的官方开发者是互联网系统协会（ISC）。ISC是一个老牌非营利组织，目前主要就是BIND和DHCP基础设施的维护者。而BIND本身如同大多数历史悠久的互联网基础开源软件，是4个UCB在校生在DARPA资助下于1984年的实验室产物，直到2012年由ISC接管。 那么RedHat在此中是什么角色呢？这又要提到我之前提到的Linux发行版和自带软件维护策略。Red Hat Enterprise Linux（RHEL）及其社区版CentOS秉持着稳健的软件策略，每个大的发行版本的软件仓库，都只选用最必要且质量久经时间考验的软件版本，哪怕那些版本实在是老掉牙。这不是一种过分的保守，事实证明这种策略往往给RedHat用户在最新漏洞面前提供了保障——代码总是跑得越少，潜在漏洞越多。 但是这有两个关键问题。一方面，如果开源基础软件被发现一例有历史沿革的代码漏洞，那么官方开发者基本都只为其最新代码负责，在当前代码上推出修复补丁。另一方面，互联网基础设施虽然不像其上的应用那样爆发性迭代，但依然持续有一些新特性涌现，其中一些是必不可少的，但同样只在最新代码中提供。两个刚需推动下，各Linux发行版对长期支持版本系统的软件都采用一致的策略，即保持其基础软件在一个固定的版本，但对于这些版本软件的最新漏洞、必要的最新软件特性，由发行版维护者将官方开发者最新代码改动“向后移植”到旧版本代码中，即backport。这就是基础软件的“官宣”碎片化的源头。 讲道理，Linux发行版维护者与社区具有比较靠谱的开发能力和监督机制，backport又基本就是一些复制粘贴工作，应当是很稳当的……但真是如此吗？ CVE-2018-5742漏洞概况 CVE-2018-5742是一个简单的缓冲区溢出类型漏洞，官方评定其漏洞等级moderate，认为危害不大，漏洞修复不积极，披露信息不多，也没有积极给出代码修复patch和新版本rpm包。因为该漏洞仅在设置DEBUG_LEVEL为10以上才会触发，由远程攻击者构造畸形请求造成BIND服务崩溃，在正常的生产环境几乎不可能具有危害，RedHat官方也只是给出了用户自查建议。 这个漏洞只出现在RHEL和CentOS版本7中搭载的BIND 9.9.4-65及之后版本。RedHat同ISC的声明中都证实，这个漏洞的引入原因，是RedHat在尝试将BIND 9.11版本2016年新增的NTA机制向后移植到RedHat 7系中固定搭载的BIND 9.9版本代码时，偶然的代码错误。NTA是DNS安全扩展（DNSSEC）中，用于在特定域关闭DNSSEC校验以避免不必要的校验失败的机制；但这个漏洞不需要对NTA本身有进一步了解。 漏洞具体分析 官方没有给出具体分析，但根据CentOS社区里先前有用户反馈的bug，我得以很容易还原漏洞链路并定位到根本原因。 若干用户共同反馈，其使用的BIND 9.9.4-RedHat-9.9.4-72.el7发生崩溃（coredump），并给出如下的崩溃时调用栈backtrace： 这个调用过程的逻辑为，在9 dns_message_logfmtpacket函数判断当前软件设置是否DEBUG_LEVEL大于10，若是，对用户请求数据包做日志记录，先后调用8 dns_message_totext、7 dns_message_sectiontotext、6 dns_master_rdatasettotext、5 rdataset_totext将请求进行按协议分解分段后写出。 由以上关键调用环节，联动RedHat在9.9.4版本BIND源码包中关于引入NTA特性的源码patch，进行代码分析，很快定位到问题产生的位置，在上述backtrace中的5，masterdump.c文件rdataset_totext函数。漏洞相关代码片段中，RedHat进行backport后，这里引入的代码为： 这里判断对于请求中的注释类型数据，直接通过isc_buffer_putstr宏对缓存进行操作，在BIND工程中自定义维护的缓冲区结构对象target上，附加一字节字符串（一个分号）。而漏洞就是由此产生：isc_buffer_putstr中不做缓冲区边界检查保证，这里在缓冲区已满情况下将造成off-by-one溢出，并触发了缓冲区实现代码中的assertion。 而ISC上游官方版本的代码在这里是怎么写的呢？找到ISC版本BIND 9.11代码，这里是这样的： 这里可以看到，官方代码在做同样的“附加一个分号”这个操作时，审慎的使用了做缓冲区剩余空间校验的str_totext函数，并额外做返回值成功校验。而上述提到的str_totext函数与RETERR宏，在移植版本的masterdump.c中，RedHat开发者也都做了保留。但是，查看代码上下文发现，在RedHat开发者进行代码移植过程中，对官方代码进行了功能上的若干剪裁，包括一些细分数据类型记录的支持；而这里对缓冲区写入一字节，也许开发者完全没想到溢出的可能，所以自作主张地简化了代码调用过程。 问题思考 这个漏洞本身几乎没什么危害，但是背后足以引起思考。 没有人在“借”别人代码时能不出错 不同于之前章节提到的那种场景——将代码文件或片段复制到自己类似的代码上下文借用——backport作为一种官方且成熟的做法，借用的代码来源、粘贴到的代码上下文，是具有同源属性的，而且开发者一般是追求稳定性优先的社区开发人员，似乎质量应该有足够保障。但是这里的关键问题是：代码总要有一手、充分的语义理解，才能有可信的使用保障；因此，只要是处理他人的代码，因为不够理解而错误使用的风险，只可能减小，没办法消除。 如上分析，本次漏洞的产生看似只是做代码移植的开发者“自作主张”之下“改错了”。但是更广泛且可能的情况是，原始开发者在版本迭代中引入或更新大量基础数据结构、API的定义，并用在新的特性实现代码中；而后向移植开发人员仅需要最小规模的功能代码，所以会对增量代码进行一定规模的修改、剪裁、还原，以此适应旧版本基本代码。这些过程同样伴随着第三方开发人员不可避免的“望文生义”，以及随之而来的风险。后向移植操作也同样助长了软件碎片化过程，其中每一个碎片都存在这样的问题；每一个碎片在自身生命周期也将有持续性影响。 多级复制粘贴无异于雪上加霜 这里简单探讨的是企业通行的系统和基础软件建设实践。一些国内外厂商和社区发布的定制化Linux发行版，本身是有其它发行版，如CentOS特定版本渊源的，在基础软件上即便同其上游发行版最新版本间也存在断层滞后。RedHat相对于基础软件开发者之间已经隔了一层backport，而我们则人为制造了二级风险。 在很多基础而关键的软件上，企业系统基础设施的维护者出于与RedHat类似的初衷，往往会决定自行backport一份拷贝；通过早年心脏滴血事件的洗礼，即暴露出来OpenSSL一个例子。无论是需要RHEL还没来得及移植的新版本功能特性，还是出于对特殊使用上下文场景中更高执行效率的追求，企业都可能自行对RHEL上基础软件源码包进行修改定制重打包。这个过程除了将风险幂次放大外，也进一步加深了代码的不可解释性（包括基础软件开发人员流动性带来的不可解释）。 Ⅳ. 从武功到死穴：从systemd-journald信息泄露一窥API误用 1月10日凌晨两点，漏洞预警平台爬收取一封漏洞披露邮件。披露者是Qualys，那就铁定是重型发布了。最后看披露漏洞的目标，systemd？这就非常有意思了。 一些必要背景 systemd是什么，不好简单回答。Linux上面软件命名，习惯以某软件名后带个‘d’表示后台守护管理程序；所以systemd就可以说是整个系统的看守吧。而即便现在描述了systemd是什么，可能也很快会落伍，因为其初始及核心开发者Lennart Poettering（供职于Red Hat）描述它是“永无开发完结完整、始终跟进技术进展的、统一所有发行版无止境的差异”的一种底层软件。笼统讲有三个作用：中央化系统及设置管理；其它软件开发的基础框架；应用程序和系统内核之间的胶水。如今几乎所有Linux发行版已经默认提供systemd，包括RHEL/CentOS 7及后续版本。总之很基础、很底层、很重要就对了。systemd本体是个主要实现init系统的框架，但还有若干关键组件完成其它工作；这次被爆漏洞的是其journald组件，是负责系统事件日志记录的看守程序。 额外地还想简单提一句Qualys这个公司。该公司创立于1999年，官方介绍为信息安全与云安全解决方案企业，to B的安全业务非常全面，有些也是国内企业很少有布局的方面；例如上面提到的涉及碎片化和代码移植过程的历史漏洞移动，也在其漏洞管理解决方案中有所体现。但是我们对这家公司粗浅的了解来源于其安全研究团队近几年的发声，这两年间发布过的，包括有『stack clash』、『sudo get_tty_name提权』、『OpenSSH信息泄露与堆溢出』、『GHOST：glibc gethostbyname缓冲区溢出』等大新闻（仅截至2017年年中）。从中可见，这个研究团队专门啃硬骨头，而且还总能开拓出来新的啃食方式，往往爆出来一些别人没想到的新漏洞类型。从这个角度，再联想之前刷爆朋友圈的《安全研究者的自我修养》所倡导的“通过看历史漏洞、看别人的最新成果去举一反三”的理念，可见差距。 CVE-2018-16866漏洞详情 这次漏洞披露，打包了三个漏洞： ·16864和16865是内存破坏类型 ·16866是信息泄露 ·而16865和16866两个漏洞组和利用可以拿到root shell。 漏洞分析已经在披露中写的很详细了，这里不复述；而针对16866的漏洞成因来龙去脉，Qualys跟踪的结果留下了一点想象和反思空间，我们来看一下。 漏洞相关代码片段是这样的（漏洞修复前）： 读者可以先肉眼过一遍这段代码有什么问题。实际上我一开始也没看出来，向下读才恍然大悟。 这段代码中，外部信息输入通过buf传入做记录处理。输入数据一般包含有空白字符间隔，需要分隔开逐个记录，有效的分隔符包括空格、制表符、回车、换行，代码中将其写入常量字符串；在逐字符扫描输入数据字符串时，将当前字符使用strchr在上述间隔符字符串中检索是否匹配，以此判断是否为间隔符；在240行，通过这样的判断，跳过记录单元字符串的头部连续空白字符。 但是问题在于，strchr这个极其基础的字符串处理函数，对于C字符串终止字符'\0'的处理上有个坑：'\0'也被认为是被检索字符串当中的一个有效字符。所以在240行，当当前扫描到的字符为字符串末尾的NULL时，strchr返回的是WHITESPACE常量字符串的终止位置而非NULL，这导致了越界。 看起来，这是一个典型的问题：API误用（API mis-use），只不过这个被误用的库函数有点太基础，让我忍不住想是不是还会有大量的类似漏洞……当然也反思我自己写的代码是不是也有同样情况，然而略一思考就释然了——我那么笨的代码都用for循环加if判断了:) 漏洞引入和消除历史 有意思的是，Qualys研究人员很贴心地替我做了一步漏洞成因溯源，这才是单独提这个漏洞的原因。漏洞的引入是在2015年的一个commit中： 在GitHub中，定位到上述2015年的commit信息，这里commit的备注信息为： journald: do not strip leading whitespace from messages. Keep leading whitespace for compatibility with older syslog implementations. Also useful when piping formatted output to the logger command. Keep removing trailing whitespace. OK，看起来是一个兼容性调整，对记录信息不再跳过开头所有连续空白字符，只不过用strchr的简洁写法比较突出开发者精炼的开发风格（并不），说得过去。 之后在2018年八月的一个当时尚未推正式版的另一次commit中被修复了，先是还原成了ec5ff4那次commit之前的写法，然后改成了加校验的方式： 虽然Qualys研究者认为上述的修改是“无心插柳”的改动，但是在GitHub可以看到，a6aadf这次commit是因为有外部用户反馈了输入数据为单个冒号情况下journald堆溢出崩溃的issue，才由开发者有目的性地修复的；而之后在859510这个commit再次改动回来，理由是待记录的消息都是使用单个空格作为间隔符的，而上一个commit粗暴地去掉了这种协议兼容性特性。 如果没有以上纠结的修改和改回历史，也许我会倾向于怀疑，在最开始漏洞引入的那个commit，既然改动代码没有新增功能特性、没有解决什么问题（毕竟其后三年，这个改动的代码也没有被反映issue），也并非出于代码规范等考虑，那么这么轻描淡写的一次提交，难免有人为蓄意引入漏洞的嫌疑。当然，看到几次修复的原因，这种可能性就不大了，虽然大家仍可以保留意见。但是抛开是否人为这个因素，单纯从代码的漏洞成因看，一个传统但躲不开的问题仍值得探讨：API误用。 API误用：程序员何苦为难程序员 如果之前的章节给读者留下了我反对代码模块化和复用的印象，那么这里需要正名一下，我们认可这是当下开发实践不可避免的趋势，也增进了社会开发速度。而API的设计决定了写代码和用代码的双方“舒适度”的问题，由此而来的API误用问题，也是一直被当做单纯的软件工程课题讨论。在此方面个人并没有什么研究，自然也没办法系统地给出分类和学术方案，只是谈一下自己的经验和想法。 一篇比较新的学术文章总结了API误用的研究，其中一个独立章节专门分析Java密码学组件API误用的实际，当中引述之前论文认为，密码学API是非常容易被误用的，比如对期望输入数据（数据类型，数据来源，编码形式）要求的混淆，API的必需调用次序和依赖缺失（比如缺少或冗余多次调用了初始化函数、主动资源回收函数）等。凑巧在此方面我有一点体会：曾经因为业务方需要，需要使用C++对一个Java的密码基础中间件做移植。Java对密码学组件支持，有原生的JDK模块和权威的BouncyCastle包可用；而C/C++只能使用第三方库，考虑到系统平台最大兼容和最小代码量，使用Linux平台默认自带的OpenSSL的密码套件。但在开发过程中感受到了OpenSSL满满的恶意：其中的API设计不可谓不反人类，很多参数没有明确的说明（比如同样是表示长度的函数参数，可能在不同地方分别以字节/比特/分组数为计数单位）；函数的线程安全没有任何解释标注，需要自行试验；不清楚函数执行之后，是其自行做了资源释放还是需要有另外API做gc，不知道资源释放操作时是否规规矩矩地先擦除后释放……此类问题不一而足，导致经过了漫长的测试之后，这份中间件才提供出来供使用。而在业务场景中，还会存在比如其它语言调用的情形，这些又暴露出来OpenSSL API误用的一些完全无从参考的问题。这一切都成为了噩梦；当然这无法为我自己开解是个不称职开发的指责，但仅就OpenSSL而言其API设计之恶劣也是始终被人诟病的问题，也是之后其他替代者宣称改进的地方。 当然，问题是上下游都脱不了干系的。我们自己作为高速迭代中的开发人员，对于二方、三方提供的中间件、API，又有多少人能自信地说自己仔细、认真地阅读过开发指南和API、规范说明呢？做过通用产品技术运营的朋友可能很容易理解，自己产品的直接用户日常抛出不看文档的愚蠢问题带来的困扰。对于密码学套件，这个问题还好办一些，毕竟如果在没有背景知识的情况下对API望文生义地一通调用，绝大多数情况下都会以抛异常形式告终；但还是有很多情况，API误用埋下的是长期隐患。 不是所有API误用情形最终都有机会发展成为可利用的安全漏洞，但作为一个由人的因素引入的风险，这将长期存在并困扰软件供应链（虽然对安全研究者、黑客与白帽子是很欣慰的事情）。可惜，传统的白盒代码扫描能力，基于对代码语义的理解和构建，但是涉及到API则需要预先的抽象，这一点目前似乎仍然是需要人工干预的事情；或者轻量级一点的方案，可以case by case地分析，为所有可能被误用的API建模并单独扫描，这自然也有很强局限性。在一个很底层可信的开发者还对C标准库API存在误用的现实内，我们需要更多的思考才能说接下来的解法。 Ⅴ. 从规则到陷阱：NASA JIRA误配置致信息泄露血案 软件的定义包括了代码组成的程序，以及相关的配置、文档等。当我们说软件的漏洞、风险时，往往只聚焦在其中的代码中；关于软件供应链安全风险，我们的比赛、前面分析的例子也都聚焦在了代码的问题；但是真正的威胁都来源于不可思议之处，那么代码之外有没有可能存在来源于上游的威胁呢？这里就借助实例来探讨一下，在“配置”当中可能栽倒的坑。 引子：发不到500英里以外的邮件？ 让我们先从一个轻松愉快的小例子引入。这个例子初见于Linux中国的一篇译文。 简单说，作者描述了这么一个让人啼笑皆非的问题：单位的邮件服务器发送邮件，发送目标距离本地500英里范围之外的一律失败，邮件就像悠悠球一样只能飞出一定距离。这个问题本身让描述者感到尴尬，就像一个技术人员被老板问到“为什么从家里笔记本上Ctrl-C后不能在公司台式机上Ctrl-V”一样。 经过令人窒息的分析操作后，笔者定位到了问题原因：笔者作为负责的系统管理员，把SunOS默认安装的Senmail从老旧的版本5升级到了成熟的版本8，且对应于新版本诸多的新特性进行了对应配置，写入配置文件sendmail.cf；但第三方服务顾问在对单位系统进行打补丁升级维护时，将系统软件“升级”到了系统提供的最新版本，因此将Sendmail实际回退到了版本5，却为了软件行为一致性，原样保留了高版本使用的配置文件。但Sendmail并没有在大版本间保证配置文件兼容性，这导致很多版本5所需的配置项不存在于保留下来的sendmail.cf文件中，程序按默认值0处理；最终引起问题的就是，邮件服务器与接收端通信的超时时间配置项，当取默认配置值0时，邮件服务器在1个单位时间（约3毫秒）内没有收到网络回包即认为超时，而这3毫秒仅够电信号打来回飞出500英里。 这个“故事”可能会给技术人员一点警醒，错误的配置会导致预期之外的软件行为，但是配置如何会引入软件供应链方向的安全风险呢？这就引出了下一个重磅实例。 JIRA配置错误致NASA敏感信息泄露案例 我们都听过一个事情，马云在带队考察美国公司期间问Google CEO Larry Page自视谁为竞争对手，Larry的回答是NASA，因为最优秀的工程师都被NASA的梦想吸引过去了。由此我们显然能窥见NASA的技术水位之高，这样的人才团队大概至少是不会犯什么低级错误的。 但也许需要重新定义“低级错误”……1月11日一篇技术文章披露，NASA某官网部署使用的缺陷跟踪管理系统JIRA存在错误的配置，可分别泄漏内部员工（JIRA系统用户）的全部用户名和邮件地址，以及内部项目和团队名称到公众，如下： 问题的原因解释起来也非常简单：JIRA系统的过滤器和配置面板中，对于数据可见性的配置选项分别选定为All users和Everyone时，系统管理人员想当然地认为这意味着将数据对所有“系统用户”开放查看，但是JIRA的这两个选项的真实效果逆天，是面向“任意人”开放，即不限于系统登录用户，而是任何查看页面的人员。看到这里，我不厚道地笑了……“All users”并不意味着“All ‘users’”，意不意外，惊不惊喜？ 但是这种字面上把戏，为什么没有引起NASA工程师的注意呢，难道这样逆天的配置项没有在产品手册文档中加粗标红提示吗？本着为JIRA产品设计找回尊严的态度，我深入挖掘了一下官方说明，果然在Atlassian官方的一份confluence文档（看起来更像是一份增补的FAQ）中找到了相关说明： 所有未登录访客访问时，系统默认认定他们是匿名anonymous用户，所以各种权限配置中的all users或anyone显然应该将匿名用户包括在内。在7.2及之后版本中，则提供了“所有登录用户”的选项。 可以说是非常严谨且贴心了。比较讽刺的是，在我们的软件供应链安全大赛·C源代码赛季期间，我们设计圈定的恶意代码攻击目标还包括JIRA相关的敏感信息的窃取，但是却想不到有这么简单方便的方式，不动一行代码就可以从JIRA中偷走数据。 软件的使用，你“配”吗？ 无论是开放的代码还是成型的产品，我们在使用外部软件的时候，都是处于软件供应链下游的消费者角色，为了要充分理解上游开发和产品的真实细节意图，需要我们付出多大的努力才够“资格”？ 上一章节我们讨论过源码使用中必要细节信息缺失造成的“API误用”问题，而软件配置上的“误用”问题则复杂多样得多。从可控程度上讨论，至少有这几种因素定义了这个问题： ·软件用户对必要配置的现有文档缺少了解。这是最简单的场景，但又是完全不可避免的，这一点上我们所有有开发、产品或运营角色经验的应该都曾经体会过向不管不顾用户答疑的痛苦，而所有软件使用者也可以反省一下对所有软件的使用是否都以完整细致的文档阅读作为上手的准备工作，所以不必多说。 ·软件拥有者对配置条目缺少必要明确说明文档。就JIRA的例子而言，将NASA工程师归为上一条错误有些冤枉，而将JIRA归为这条更加合适。在边角但重要问题上的说明通过社区而非官方文档形式发布是一种不负责任的做法，但未引发安全事件的情况下还有多少这样的问题被默默隐藏呢？我们没办法要求在使用软件之前所有用户将软件相关所有文档、社区问答实现全部覆盖。这个问题范围内一个代表性例子是对配置项的默认值以及对应效果的说明缺失。 ·配置文件版本兼容性带来的误配置和安全问题。实际上，上面的SunOS Sendmail案例足以点出这个问题的存在性，但是在真实场景下，很可能不会以这么戏剧性形式出现。在企业的系统运维中，系统的版本迭代常见，但为软件行为一致性，配置的跨版本迁移是不可避免的操作；而且软件的更新迭代也不只会由系统更新推动，还有大量出于业务性能要求而主动进行的定制化升级，对于中小企业基础设施建设似乎是一个没怎么被提及过的问题。 ·配置项组合冲突问题。尽管对于单个配置项可能明确行为与影响，但是特定的配置项搭配可能造成不可预知的效果。这完全有可能是由于开发者与用户在信息不对等的情况下产生：开发者认为用户应该具有必需的背景知识，做了用户应当具备规避配置冲突能力的假设。一个例子是，对称密码算法在使用ECB、CBC分组工作模式时，从密码算法上要求输入数据长度必须是分组大小的整倍数，但如果用户搭配配置了秘钥对数据不做补齐（nopadding），则引入了非确定性行为：如果密码算法库对这种组合配置按某种默认补齐方式操作数据则会引起歧义，但如果在算法库代码层面对这种组合抛出错误则直接影响业务。 ·程序对配置项处理过程的潜在暗箱操作。这区别于简单的未文档化配置项行为，仅特指可能存在的蓄意、恶意行为。从某种意义上，上述“All users”也可以认为是这样的一种陷阱，通过浅层次暗示，引导用户做出错误且可能引起问题的配置。另一种情况是特定配置组合情况下触发恶意代码的行为，这种触发条件将使恶意代码具有规避检测的能力，且在用户基数上具有一定概率的用户命中率。当然这种情况由官方开发者直接引入的可能性很低，但是在众包开发的情况下如果存在，那么扫描方案是很难检测的。 Ⅵ. 从逆流到暗流：恶意代码溯源后的挑战 如果说前面所说的种种威胁都是面向关键目标和核心系统应该思考的问题，那么最后要抛出一个会把所有人拉进赛场的理由。除了前面所有那些在软件供应链下游被动污染受害的情况，还有一种情形：你有迹可循的代码，也许在不经意间会“反哺”到黑色产业链甚至特殊武器中；而现在研究用于对程序进行分析和溯源的技术，则会让你陷入百口莫辩的境地。 案例：黑产代码模块溯源疑云 1月29日，猎豹安全团队发布技术分析通报文章《电信、百度客户端源码疑遭泄漏，驱魔家族窃取隐私再起波澜》，矛头直指黑产上游的恶意信息窃取代码模块，认定其代码与两方产品存在微妙的关联：中国电信旗下“桌面3D动态天气”等多款软件，以及百度旗下“百度杀毒”等软件（已不可访问）。 文章中举证有三个关键点。 首先最直观的，是三者使用了相同的特征字符串、私有文件路径、自定义内部数据字段格式； 其次，在关键代码位置，三者在二进制程序汇编代码层面具有高度相似性； 最终，在一定范围的非通用程序逻辑上，三者在经过反汇编后的代码语义上显示出明显的雷同，并提供了如下两图佐证（图片来源）： 文章指出的涉事相关软件已经下线，对于上述样本文件的相似度试验暂不做复现，且无法求证存在相似、疑似同源的代码在三者中占比数据。对于上述指出的代码雷同现象，猎豹安全团队认为： 我们怀疑该病毒模块的作者通过某种渠道(比如“曾经就职”)，掌握有中国电信旗下部分客户端/服务端源码，并加以改造用于制作窃取用户隐私的病毒，另外在该病毒模块的代码中，我们还发现“百度”旗下部分客户端的基础调试日志函数库代码痕迹，整个“驱魔”病毒家族疑点重重，其制作传播背景愈发扑朔迷离。 这样的推断，固然有过于直接的依据（例如三款代码中均使用含有“baidu”字样的特征注册表项）；但更进一步地，需要注意到，三个样本在所指出的代码位置，具有直观可见的二进制汇编代码结构的相同，考虑到如果仅仅是恶意代码开发者先逆向另外两份代码后借鉴了代码逻辑，那么在面临反编译、代码上下文适配重构、跨编译器和选项的编译结果差异等诸多不确定环节，仍能保持二进制代码的雷同，似乎确实是只有从根本上的源代码泄漏（抄袭）且保持相同的开发编译环境才能成立。 但是我们却又无法做出更明确的推断。这一方面当然是出于严谨避免过度解读；而从另一方面考虑，黑产代码的一个关键出发点就是“隐藏自己”，而这里居然如此堂而皇之地照搬了代码，不但没有进行任何代码混淆、变形，甚至没有抹除疑似来源的关键字符串，如果将黑产视为智商在线的对手，那这里背后是否有其它考量，就值得琢磨了。 代码的比对、分析、溯源技术水准 上文中的安全团队基于大量样本和粗粒度比对方法，给出了一个初步的判断和疑点。那么是否有可能获得更确凿的分析结果，来证实或证伪同源猜想呢？ 无论是源代码还是二进制，代码比对技术作为一种基础手段，在软件供应链安全分析上都注定仍然有效。在我们的软件供应链安全大赛期间，针对PE二进制程序类型的题目，参赛队伍就纷纷采用了相关技术手段用于目标分析，包括：同源性分析，用于判定与目标软件相似度最高的同软件官方版本；细粒度的差异分析，用于尝试在忽略编译差异和特意引入的混淆之外，定位特意引入的恶意代码位置。当然，作为比赛中针对性的应对方案，受目标和环境引导约束，这些方法证明了可行性，却难以保证集成有最新技术方案。那么做一下预言，在不计入情报辅助条件下，下一代的代码比对将能够到达什么水准？ 这里结合近一年和今年内，已发表和未发表的学术领域顶级会议的相关文章来简单展望： ·针对海量甚至全量已知源码，将可以实现准确精细化的“作者归属”判定。在ACM CCS‘18会议上曾发表的一篇文章《Large-Scale and Language-Oblivious Code Authorship Identification》，描述了使用RNN进行大规模代码识别的方案，在圈定目标开发者，并预先提供每个开发者的5-7份已知的代码文件后，该技术方案可以很有效地识别大规模匿名代码仓库中隶属于每个开发者的代码：针对1600个Google Code Jam开发者8年间的所有代码可以实现96%的成功识别率，而针对745个C代码开发者于1987年之后在GitHub上面的全部公开代码仓库，识别率也高达94.38%。这样的结果在当下的场景中，已经足以实现对特定人的代码识别和跟踪（例如，考虑到特定开发人员可能由于编码习惯和规范意识，在时间和项目跨度上犯同样的错误）；可以预见，在该技术方向上，完全可以期望摆脱特定已知目标人的现有数据集学习的过程，并实现更细粒度的归属分析，例如代码段、代码行、提交历史。 ·针对二进制代码，更准确、更大规模、更快速的代码主程序分析和同源性匹配。近年来作为一项程序分析基础技术研究，二进制代码相似性分析又重新获得了学术界和工业界的关注。在2018年和2019（已录用）的安全领域四大顶级会议上，每次都会有该方向最新成果的展示，如S&P‘2019上录用的《Asm2Vec: Boosting Static Representation Robustness for Binary Clone Search against Code Obfuscation and Compiler Optimization》，实现无先验知识的条件下的最优汇编代码级别克隆检测，针对漏洞库的漏洞代码检测可实现0误报、100%召回。而2018年北京HITB会议上，Google Project Zero成员、二进制比对工具BinDiff原始作者Thomas Dullien，探讨了他借用改造Google自家SimHash算法思想，用于针对二进制代码控制流图做相似性检测的尝试和阶段结果；这种引入规模数据处理的思路，也可期望能够在目前其他技术方案大多精细化而低效的情况下，为高效、快速、大规模甚至全量代码克隆检测勾出未来方案。 ·代码比对方案对编辑、优化、变形、混淆的对抗。近年所有技术方案都以对代码“变种”的检测有效性作为关键衡量标准，并一定程度上予以保证。上文CCS‘18论文工作，针对典型源代码混淆（如Tigress）处理后的代码，大规模数据集上可有93.42%的准确识别率；S&P‘19论文针对跨编译器和编译选项、业界常用的OLLVM编译时混淆方案进行试验，在全部可用的混淆方案保护之下的代码仍然可以完成81%以上的克隆检测。值得注意的是以上方案都并非针对特定混淆方案单独优化的，方法具有通用价值；而除此以外还有很多针对性的的反混淆研究成果可用；因此，可以认为在采用常规商用代码混淆方案下，即便存在隐藏内部业务逻辑不被逆向的能力，但仍然可以被有效定位代码复用和开发者自然人。 代码溯源技术面前的“挑战” 作为软件供应链安全的独立分析方，健壮的代码比对技术是决定性的基石；而当脑洞大开，考虑到行业的发展，也许以下两种假设的情景，将把每一个“正当”的产品、开发者置于尴尬的境地。 代码仿制 在本章节引述的“驱魔家族”代码疑云案例中，黑产方面通过某种方式获得了正常代码中，功能逻辑可以被自身复用的片段，并以某种方法将其在保持原样的情况下拼接形成了恶意程序。即便在此例中并非如此，但这却暴露了隐忧：将来是不是有这种可能，我的正常代码被泄漏或逆向后出现在恶意软件中，被溯源后扣上黑锅？ 这种担忧可能以多种渠道和形式成为现实。 从上游看，内部源码被人为泄漏是最简单的形式（实际上，考虑到代码的完整生命周期似乎并没有作为企业核心数据资产得到保护，目前实质上有没有这样的代码在野泄漏还是个未知数），而通过程序逆向还原代码逻辑也在一定程度上可获取原始代码关键特征。 从下游看，则可能有多种方式将恶意代码伪造得像正常代码并实现“碰瓷”。最简单地，可以大量复用关键代码特征（如字符串，自定义数据结构，关键分支条件，数据记录和交换私有格式等）。考虑到在进行溯源时，分析者实际上不需要100%的匹配度才会怀疑，因此仅仅是仿造原始程序对于第三方公开库代码的特殊定制改动，也足以将公众的疑点转移。而近年来类似自动补丁代码搜索生成的方案也可能被用来在一份最终代码中包含有二方甚至多方原始代码的特征和片段。 基于开发者溯源的定点渗透 既然在未来可能存在准确将代码与自然人对应的技术，那么这种技术也完全可能被黑色产业利用。可能的忧患包括强针对性的社会工程，结合特定开发者历史代码缺陷的漏洞挖掘利用，联动第三方泄漏人员信息的深层渗透，等等。这方面暂不做联想展开。 〇. 没有总结 作为一场旨在定义“软件供应链安全”威胁的宣言，阿里安全“功守道”大赛将在后续给出详细的分解和总结，其意义价值也许会在一段时间之后才能被挖掘。 但是威胁的现状不容乐观，威胁的发展不会静待；这一篇随笔仅仅挑选六个侧面做摘录分析，可即将到来的趋势一定只会进入更加发散的境地，因此这里，没有总结。 本篇文章为转载内容。原文链接：https://blog.csdn.net/systemino/article/details/90114743。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...able是所有错误和异常的超类，它包括Error和Exception两个子类。当程序运行时出现可捕获的问题或严重错误时，会抛出一个Throwable的实例。程序员通常关注并处理的是Exception类型的子类，而Error类型的子类则通常代表严重的系统级问题，不建议也不方便在程序中进行捕获和处理。 try-catch块 , try-catch块是Java语言中的异常处理结构，用于检测和处理代码块中可能发生的异常情况。在try块中，程序员编写可能会抛出异常的代码；如果该代码执行过程中抛出了异常，控制权将立即转移到与之匹配的catch块，由catch块中的代码来执行相应的异常处理逻辑。 finally块 , finally块在Java异常处理机制中扮演着重要角色，它总是在try和catch语句之后执行，无论try块中的代码是否抛出异常或者catch块是否有匹配到并处理了异常。通常，finally块用于放置那些必须被执行的清理代码，如关闭打开的文件流、数据库连接等资源，以确保资源能够得到及时释放，避免内存泄漏等问题的发生。 异常类型匹配规则 , 在Java编程中，catch块需要指定具体的异常类型以便准确捕获对应的异常。这意味着只有当try块中抛出的异常与catch块后声明的具体异常类型相匹配（或者是其子类）时，该catch块才会被执行。例如，若try块内可能出现NullPointerException，那么需要有一个catch(NullPointerException e)块来捕获和处理这种类型的异常。 throw关键字 , throw是Java中用于手动抛出异常的关键字。程序员可以在代码中使用throw显式地抛出一个异常对象，这通常发生在检测到某种不可接受的状态或条件时，比如参数无效、资源未找到等情况。通过抛出异常，可以强制程序中断当前执行流程，并将控制权转移给能处理此异常的上层代码逻辑。 try-with-resources语句 , Java 7引入的一种简化资源管理的语法结构，允许在try语句后面直接定义和初始化资源，这些资源会在try代码块结束时自动关闭，无需在finally块中手动处理。这样不仅提高了代码的简洁性，还降低了因忘记关闭资源而导致的潜在风险。例如，在读写文件操作中，我们可以直接在try关键字后的括号内声明FileInputStream对象，编译器会确保在try块结束后正确关闭这个输入流。

...再关闭，从而避免数据丢失、不完整的事务处理以及用户体验下降等问题。 Go Iris , Go Iris是用Go语言编写的高性能、轻量级且功能丰富的Web框架。它提供了易于使用的API和强大的中间件支持，使开发者能够快速构建安全、稳定且高效的Web应用程序。Iris框架内建了对Graceful Shutdown的支持，使得开发者能轻松实现服务在接收到关闭信号时的优雅退出。 SIGINT/SIGTERM , SIGINT和SIGTERM是Unix/Linux操作系统中用于向进程发送信号的术语。其中，SIGINT通常由用户按下Ctrl+C组合键触发，表示请求中断程序；而SIGTERM则是程序终止信号，通常由系统管理员或其他程序发出，用于通知目标进程应该以正常方式结束自己的执行。在本文的上下文中，Go应用通过os/signal包监听这些信号来实现Graceful Shutdown，在接收到SIGINT或SIGTERM时启动优雅关机流程。

...，极大地简化了数据库操作。然而，在使用过程中，我们可能会遇到一些棘手的问题，比如“TransactionRequiredException: Executing an update/delete query”异常。这篇文章将带领大家深入剖析这个问题的根源，并通过实例代码进行演示和探讨解决方案。 2. 问题初识 在使用Hibernate执行更新或删除操作时，如果你没有正确地在一个事务上下文中执行这些操作，Hibernate将会抛出一个org.hibernate.TransactionRequiredException异常。这个状况常常意味着，你正打算进行的SQL更新或删除操作，就像是在跟数据库玩一场“原子游戏”，需要在一个完整的“交易回合”里完成。而现在呢，就像你两手空空，发现并没有一个有效的“交易回合”正在进行，所以游戏暂时没法玩下去啦。 例如，假设我们有一个简单的User实体类，并尝试在没有开启事务的情况下直接删除： java Session session = sessionFactory.openSession(); session.createQuery("delete from User where id = :id").setParameter("id", userId).executeUpdate(); 运行上述代码，你会遭遇TransactionRequiredException，这是因为Hibernate要求对数据库状态修改的操作必须在一个事务中进行，以确保数据的一致性和完整性。 3. 事务的重要性 为什么Hibernate要求在事务中执行更新/删除操作？ 在数据库领域，事务是一个非常重要的概念，它保证了数据库操作的ACID特性（原子性、一致性、隔离性和持久性）。当你在进行更新或者删除这类操作的时候，如果没有事务安全机制保驾护航，一旦碰上个啥意外状况，比如程序突然罢工、网络说断就断，很可能出现的情况就是：有的操作成功了，有的却失败了。这样一来，数据的一致性可就被破坏得乱七八糟啦。 因此，Hibernate强制要求我们必须在一个开启的事务内执行这类可能改变数据库状态的操作，确保即使在出现问题时，也能通过事务的回滚机制恢复到一个一致的状态。 4. 解决方案及示例代码 如何正确地在Hibernate中开启并管理事务？ 对于上述问题，我们需要在执行更新/删除操作前显式地开启一个事务，并在操作完成后根据业务需求提交或回滚事务。 下面是一个使用Hibernate Session API手动管理事务的例子： java Session session = sessionFactory.openSession(); Transaction transaction = null; try { // 开启事务 transaction = session.beginTransaction(); // 执行删除操作 session.createQuery("delete from User where id = :id").setParameter("id", userId).executeUpdate(); // 提交事务，确认更改 transaction.commit(); } catch (Exception e) { if (transaction != null && transaction.isActive()) { // 如果有异常发生，回滚事务 transaction.rollback(); } throw e; } finally { // 关闭Session session.close(); } 另外，对于更复杂的场景，我们可以借助Spring框架提供的事务管理功能，让事务管理变得更加简洁高效： java @Transactional public void deleteUser(Long userId) { Session session = sessionFactory.getCurrentSession(); session.createQuery("delete from User where id = :id").setParameter("id", userId).executeUpdate(); } 在此例子中，通过Spring的@Transactional注解，我们可以在方法级别自动管理事务，无需手动控制事务的开启、提交和回滚。 5. 结论 理解并正确处理Hibernate中的TransactionRequiredException异常是每个Hibernate开发者必备技能之一。通过妥善处理各项事务，咱们不仅能有效防止这类异常情况的发生，更能稳稳地保证系统数据的完整无缺和一致性，这样一来，整个应用程序就会健壮得像头牛，坚如磐石。希望本文能帮助你在面对类似问题时，能够迅速定位原因并采取恰当措施解决。记住，无论何时，当你打算修改数据库状态时，请始终不忘那个守护数据安全的“金钟罩”——事务。

...RabbitMQ中的事务性消息发送功能。 二、什么是事务性消息发送？ 在RabbitMQ中，事务性消息发送是一种特殊的处理方式，它可以在消息传递过程中提供原子性的操作保障，即所有的操作要么全部成功，要么全部失败，不存在中间状态。说白了，就是假设有这么个情况，我们在发消息的时候突然出了点岔子，这时候RabbitMQ可机灵着呢，它会自动把已经发出的所有消息都撤回来，这样一来，咱的消息就能保持原汁原味，完整性妥妥的得到保障啦。 三、如何在RabbitMQ中实现事务性消息发送？ 要实现事务性消息发送，我们需要首先创建一个事务管理器，并将其绑定到RabbitMQ连接上。接下来，我们可以直接用这个事务管理器开启一个新的交易，然后在新开的这个交易里头，放心大胆地发送消息就对了。最后，我们需要调用事务管理器的commit方法来提交事务，或者调用其rollback方法来回滚事务。 下面是一个具体的示例： java import com.rabbitmq.client.; public class TransactionalProducer { private final Connection connection; private final Channel channel; public TransactionalProducer(String host, int port) throws IOException { // 创建连接和通道 this.connection = new Connection(host, port); this.channel = connection.createChannel(); } public void sendMessage(String exchangeName, String routingKey, String message) throws IOException { // 开始一个新的事务 channel.txSelect(); // 发送消息 channel.basicPublish(exchangeName, routingKey, null, message.getBytes()); // 提交事务 channel.txCommit(); } public static void main(String[] args) throws IOException { TransactionalProducer producer = new TransactionalProducer("localhost", 5672); producer.sendMessage("hello-exchange", "hello-routing-key", "Hello World!"); } } 在这个示例中，我们首先创建了一个新的交易连接，并从中获取到了一个交易频道。接着呢，我们就像这样操作的：在把消息发送出去之前，先启动了一个全新的事务，这一步就是通过调用txSelect方法来完成的。而等到消息成功发送出去之后，咱们再潇洒地执行txCommit方法，这就意味着那个事务被顺利提交啦。这样，即使在发送消息的过程中出现了异常，RabbitMQ也会自动撤销已经发送的所有消息，从而保证了消息的完整性和一致性。 四、结论 总的来说，在RabbitMQ中实现事务性消息发送是一项非常重要的功能，它可以为我们提供原子性的操作保障，避免因为单个操作失败而导致的数据丢失或损坏。而通过上面的示例，我们也看到其实现起来并不复杂，只需要简单地几步操作即可。所以，如果你正在用RabbitMQ搞数据传输、处理消息这些活儿，那你就得把这个功能玩得溜溜的，确保在关键时刻能把它物尽其用，一点儿不浪费。

...安全感。不过，在实际操作的时候，我们可能会碰上消息丢失这档子事，这可是会对系统的稳定性带来不小的影响。那么，如何处理RabbitMQ中的消息丢失问题呢？ 二、了解RabbitMQ的消息丢失机制 RabbitMQ采用的是分布式事务模型，当Producer发送消息时，会先将消息放入本地缓存队列，然后通过网络发送给Broker。如果网络闹情绪，导致消息没找准目的地，这时候Broker这个小机灵鬼就会把消息暂时挪到一个叫死信队列的“小黑屋”里，并且还会贴心地把这个状况如实告诉Producer。 三、分析RabbitMQ消息丢失的原因 1. 网络问题 网络问题是导致RabbitMQ消息丢失的主要原因之一，包括网络中断、超时等问题。 2. Broker宕机 当Broker发生故障或者重启时，已经发送到Broker的消息会丢失。 3. 死信队列满 当死信队列满时，新来的消息无法进入死信队列，从而导致消息丢失。 四、解决RabbitMQ消息丢失的方法 1. 使用确认机制 RabbitMQ提供了确认机制，可以在Consumer端获取到消息后发送确认信号给Producer，告诉Producer这条消息已经被成功消费。这样可以避免因为Consumer端出现异常而导致消息丢失。例如： java Exchange exchange = ExchangeBuilder.direct("exchange").build(); Binding binding = BindingBuilder.bind(exchange).toQueue("queue"); channel.queueDeclare(queueName, false, false, true, null); binding.bind(channel); channel.basicConsume(queueName, true, new DefaultConsumer(channel) { @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String message = new String(body, StandardCharsets.UTF_8); System.out.println("Received: " + message); channel.basicAck(deliveryTag, false); // 发送确认信号给Producer } }); 2. 设置最大重试次数 对于那些由于网络问题导致的消息丢失，我们可以设置一个最大重试次数，超过这个次数就不再尝试发送。例如： php-template public function sendMessage($message, $maxRetries = 5) { for ($retryCount = 0; $retryCount < $maxRetries; $retryCount++) { try { $this->connection->publish($message); return; } catch (AMQPConnectionException $e) { if ($retryCount == $maxRetries - 1) { throw $e; } sleep(rand(1, 3)); // 随机等待一段时间再重试 } } } 3. 自定义死信队列 如果我们发现死信队列满的情况比较频繁，可以考虑自定义死信队列，定期清理死信队列。例如： css // 定义死信队列 $deadLetterQueue = new Queue('dead_letter_queue', false, false, true, false); // 创建DeadLetterExchange $deadLetterExchange = new DirectExchange('dlx'); $deadLetterExchange->setType(DirectExchange::TYPE_FANOUT); $deadLetterExchange->setArguments([ 'x-dead-letter-exchange' => 'amq.direct', 'x-dead-letter-routing-key' => 'dlx', ]); // 绑定死信队列到DeadLetterExchange $channel->bindQueue( $deadLetterQueue, $deadLetterExchange->getName(), $deadLetterQueue->getName() ); // 消费队列并处理死信 $consumer = new Consumer($channel, new Callback(function (MessageInterface $msg) { if (!$msg instanceof RecoverableExceptionMessageInterface) { return; } try { $msg->requeue(); // 将消息重新加入队列 } catch (\Throwable $e) { $msg->redeliver(); // 将消息再次发送给消费者 } })); $channel->consume($deadLetterQueue, '', false, false, false, $consumer); 4. 使用持久化存储 为了避免因网络问题导致消息丢失，我们可以选择使用持久化存储，这样即使在网络中断的情况下，消息也可以保存下来。例如： java Exchange exchange = ExchangeBuilder.direct("exchange").build(); Binding binding = BindingBuilder.bind(exchange).toQueue("queue"); channel.queueDeclare(queueName, true, false, true, null); // 设置持久化标志位 binding.bind(channel); channel.basicConsume(queueName, true, new DefaultConsumer(channel) { @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String message = new String(body, StandardCharsets.UTF_8); System.out.println("Received: " + message); channel.basicAck(deliveryTag, false); // 发送确认信号给Producer } });

...供了一种直观的方式来操作数据库。然而，就像你用一把高级多功能工具时，时不时会碰到一些不按常理出牌的问题一样，在我们使用过程中，也可能会遇到些小插曲。这之中，“EntityException”就是一个时常跳出来捣乱的家伙，它十有八九是和实体框架的操作打交道时出现的报错类型。这篇东西，咱们就一起溜达溜达进EntityException的大千世界，通过实实在在的例子和接地气的探讨方式，手牵手揭开这个看似有点儿让人头疼的错误真相哈！ 2. EntityException 初识庐山真面目 EntityException是.NET中用于表示实体框架相关错误的一个类。当我们的APP在跟数据库打交道，做些查询、插入、更新或者删除数据的操作时，万一碰到连接不上数据库、SQL命令执行不给力，或者是实体状态管理出了岔子这些状况，就有可能会抛出一个EntityException异常。这个异常通常包含了详细的错误信息，是我们定位问题的关键线索。 3. 实战篇 EntityException的常见应用场景及代码示例 (1) 连接数据库失败 csharp using (var context = new MyDbContext()) { try { var blog = context.Blogs.Find(1); // 假设数据库服务器未启动 } catch (EntityException ex) { Console.WriteLine($"发生EntityException: {ex.Message}"); // 输出可能类似于：“未能打开与 SQL Server 的连接。” } } 在上述代码中，由于无法建立到数据库的连接，因此会抛出EntityException。 (2) SQL命令执行错误 csharp using (var context = new MyDbContext()) { try { context.Database.ExecuteSqlCommand("Invalid SQL Command"); // 无效的SQL命令 } catch (EntityException ex) { Console.WriteLine($"执行SQL命令时发生EntityException: {ex.InnerException?.Message}"); // 输出可能是SQL语句的具体错误信息。 } } 这段代码试图执行一个无效的SQL命令，导致数据库引擎返回错误，进而引发EntityException。 4. 探讨与思考 如何有效处理EntityException 面对EntityException，我们首先要做的是阅读异常信息，理解其背后的真实原因。然后，根据具体情况采取相应措施： - 检查数据库连接字符串是否正确； - 确认执行的SQL命令是否存在语法错误或者逻辑问题； - 验证实体的状态以及事务管理是否恰当； - 在并发场景下，考虑检查并调整实体的并发策略。 5. 结论 EntityException虽然看起来让人头疼，但它实际上是我们程序安全运行的重要守门人，通过捕捉并合理处理这些异常，可以确保我们的应用在面临数据库层面的问题时仍能保持稳定性和可靠性。记住了啊，每一个出现的bug或者异常情况，其实都是在给我们的代码质量打分呢，更是我们修炼编程技术、提升自我技能的一次绝佳机会哈！让我们在实战中不断积累经验，共同成长吧！ 以上所述，只是EntityException众多应用场景的一部分，实际开发中还需结合具体情境去理解和应对。无论何时何地，咱都要保持那颗热衷于探索和解决问题的心劲儿。这样一来，就算突然冒出个“EntityException”这样的拦路大怪兽，咱也能淡定地把它变成咱前进道路上的小台阶，一脚踩过去，继续前行。

...加上那牛哄哄的原子性操作，妥妥地帮咱们在分布式锁这块儿打开了新世界的大门。 3. 利用HBase实现分布式锁的基本思路 在HBase中，我们可以创建一个特定的表，用于表示锁的状态。每一行代表一把锁，RowKey可以是锁的名称或者需要锁定的资源标识。每个行只有一个列族（例如："Lock"），并且这个列族下的唯一一个列（例如："lock"）的值并不重要，我们只需要关注它的存在与否来判断锁是否被占用。 4. 示例代码详解 下面是一个使用Java API实现HBase分布式锁的示例： java import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.client.Table; public class HBaseDistributedLock { private final Connection connection; private final TableName lockTable = TableName.valueOf("distributed_locks"); public HBaseDistributedLock(Configuration conf) throws IOException { this.connection = ConnectionFactory.createConnection(conf); } // 尝试获取锁 public boolean tryLock(String lockName) throws IOException { Table table = connection.getTable(lockTable); Put put = new Put(Bytes.toBytes(lockName)); put.addColumn("Lock".getBytes(), "lock".getBytes(), System.currentTimeMillis(), null); try { table.put(put); // 如果这行已存在，则会抛出异常，表示锁已被占用 return true; // 无异常则表示成功获取锁 } catch (ConcurrentModificationException e) { return false; // 表示锁已被其他客户端占有 } finally { table.close(); } } // 释放锁 public void unlock(String lockName) throws IOException { Table table = connection.getTable(lockTable); Delete delete = new Delete(Bytes.toBytes(lockName)); table.delete(delete); table.close(); } } 5. 分析与讨论 上述代码展示了如何借助HBase实现分布式锁的核心逻辑。当你试着去拿锁的时候，就相当于你要在一张表里插一条新记录。如果发现这条记录竟然已经存在了（这就意味着这把锁已经被别的家伙抢先一步拿走了），系统就会毫不客气地抛出一个异常，然后告诉你“没戏，锁没拿到”，也就是返回个false。而在解锁时，只需删除对应的行即可。 然而，这种简单实现并未考虑超时、锁续期等问题，实际应用中还需要结合Zookeeper进行优化，如借助Zookeeper的临时有序节点特性实现更完善的分布式锁服务。 6. 结语 HBase的分布式锁实现是一种基于数据库事务特性的方法，它简洁且直接。不过呢，每种技术方案都有它能施展拳脚的地方，也有它的局限性。就好比选择分布式锁的实现方式，咱们得看实际情况，比如应用场景的具体需求、对性能的高标准严要求，还有团队掌握的技术工具箱。这就好比选工具干活，得看活儿是什么、要干得多精细，再看看咱手头有什么趁手的家伙事儿，综合考虑才能选对最合适的那个。明白了这个原理之后，咱们就可以动手实操起来，并且不断摸索、优化它，让这玩意儿更好地为我们设计的分布式系统架构服务，让它发挥更大的作用。

...能。 此外，深入理解操作系统层面的线程调度策略，也有助于更好地运用Java中的线程控制方法。在实际应用中，Linux内核5.x版本对CPU调度器进行了一系列调整，如CFS（完全公平调度器）算法的升级，这些底层技术更新对Java线程的执行效率有着间接但重要的影响。 同时，针对现代多核处理器环境下的并行计算需求，研究者和工程师们不断探索如何优化Java线程的性能表现。有文章专门探讨了在高并发场景下，合理结合使用join和yield等方法以及锁、信号量等并发工具，以减少上下文切换开销，提升系统整体吞吐量和响应速度。 最后，对于异常处理机制如InterruptedException的研究也不容忽视。在复杂的多线程环境中，如何正确捕获和处理这类异常，确保程序健壮性和一致性，是每个Java开发者需要深入思考的问题。建议阅读相关教程或案例分析，掌握在实际编程中妥善应对中断请求的最佳实践。

...ption找不到目录异常 引言 在进行大规模数据处理时，可能会遇到各种各样的问题，其中一个常见的问题是NoSuchDirectoryException找不到目录异常。这个异常通常会在我们尝试访问一个不存在的文件或目录时抛出。今天呢，咱们就来一起唠唠嗑，探讨一下如何借助这个超牛的搜索引擎工具——Apache Lucene，来把这个问题给妥妥地解决了哈！ 什么是Apache Lucene？ Apache Lucene是一个开源的全文搜索库，主要用于对文本进行索引和搜索。它支持多种语言，并且可以运行在多个操作系统上。Lucene的性能非常高，可以快速地对大量文本进行搜索。 NoSuchDirectoryException找不到目录异常 当我们在使用Lucene时，如果试图访问一个不存在的目录，就会抛出NoSuchDirectoryException异常。这是因为Lucene在启动的时候，得先建一个文件目录来存放索引和其它相关的那些文件啦。要是这个目录没影儿了，那就没法继续给Lucene走初始化流程了，这时候就得抛出个异常来提醒你。 例如，下面的代码尝试初始化一个名为test的Lucene实例： java Directory directory = FSDirectory.open(new File("test")); Analyzer analyzer = new StandardAnalyzer(); IndexWriterConfig config = new IndexWriterConfig(analyzer); IndexWriter writer = new IndexWriter(directory, config); 如果test目录不存在，这段代码就会抛出NoSuchDirectoryException异常。 解决NoSuchDirectoryException找不到目录异常的方法 为了解决这个问题，我们需要在初始化Lucene之前，先创建这个目录。我们可以使用Java的File类来创建这个目录。以下是一个示例： java try { File dir = new File("test"); if (!dir.exists()) { boolean success = dir.mkdir(); if (!success) { throw new RuntimeException("Failed to create directory."); } } Directory directory = FSDirectory.open(dir); Analyzer analyzer = new StandardAnalyzer(); IndexWriterConfig config = new IndexWriterConfig(analyzer); IndexWriter writer = new IndexWriter(directory, config); } catch (IOException e) { // Handle IOExceptions here. } 在这个示例中，我们首先检查test目录是否已经存在。如果不存在，我们就尝试创建它。如果创建失败，我们就抛出一个运行时异常。如果创建成功，我们就使用这个目录来初始化Lucene。 这样，即使test目录不存在，我们的代码也可以正常运行，并且能够创建一个新的目录。 结论 总的来说，NoSuchDirectoryException找不到目录异常是我们在使用Lucene时经常会遇到的问题。但是，只要我们掌握了正确的解决方案，就可以轻松地解决这个问题。在我们动手初始化Lucene之前，有个小窍门可以确保目录已经准备就绪，那就是用Java里的File类来亲手创建这个目录，这样一来，一切就能稳妥进行啦！这样一来，哪怕目录压根不存在，我们的代码也能稳稳地运行起来，并且顺手就把新的目录给创建了。

...ion是一个单线程的上下文环境，用于创建和管理消息生产者（Producer）、消费者（Consumer）以及消息的发送和接收过程。在一个Session内可以执行事务性操作，例如保证一批消息的发送要么全部成功要么全部失败。同时，Session还负责维护消息的确认模式，如自动确认、手动确认等。

...Exception异常，错误信息为“数据库' MyDB '不存在”。 2. 数据库不存在 如果我们的应用程序试图操作一个不存在的数据库，那么也会引发DatabaseNotFoundException。比如说，如果我们想要从一个叫做"MyDB"的数据库里捞点数据出来，但是这个数据库压根不存在，这时候，系统就会毫不犹豫地抛出一个异常来提醒我们。 csharp string connectionString = "Server=.;Database=MyDB;User ID=myUsername;Password=myPassword;"; using (SqlConnection connection = new SqlConnection(connectionString)) { string query = "SELECT FROM Customers"; using (SqlCommand command = new SqlCommand(query, connection)) { command.Connection.Open(); SqlDataReader reader = command.ExecuteReader(); // ... } } 这段代码会抛出一个System.Data.SqlClient.SqlException异常，错误信息为“由于空间不足，未能创建文件。” 3. SQL查询语法错误 如果我们的SQL查询语句有误，那么数据库服务器也无法执行它，从而抛出DatabaseNotFoundException。例如，如果我们试图执行一个错误的查询，如下面这样： csharp string connectionString = "Server=.;Database=MyDB;User ID=myUsername;Password=myPassword;"; using (SqlConnection connection = new SqlConnection(connectionString)) { string query = "SELECT FROm Customers"; using (SqlCommand command = new SqlCommand(query, connection)) { command.Connection.Open(); SqlDataReader reader = command.ExecuteReader(); // ... } } 这段代码会抛出一个System.Data.SqlClient.SqlException异常，错误信息为“无效的命令。” 三、解决方案 知道了问题的原因之后，我们就可以采取相应的措施来解决了。 1. 检查数据库连接字符串 如果我们的数据库连接字符串有误，那么就需要修改它。确保所有的参数都是正确的，并且服务器可以访问到。 2. 创建数据库 如果我们的数据库不存在，那么就需要先创建它。你可以在SQL Server Management Studio这个工具里头亲手创建一个新的数据库，就像在厨房里烹饪一道新菜一样。另外呢，如果你更喜欢编码的方式，也可以在.NET代码里运用SqlCreateDatabaseCommand这个类，像乐高积木搭建一样创造出你需要的数据库。 3. 检查SQL查询语法 如果我们的SQL查询语句有误，那么就需要修正它。瞧一瞧，确保所有关键词的拼写都没毛病哈，还有那些表的名字、字段名，甚至函数名啥的，都得瞅瞅是不是准确无误。 总的来说，解决DatabaseNotFoundException：找不到数据库。的问题需要我们先找出它的原因，然后再针对性地进行修复。希望这篇小文能够帮助你更好地理解和解决这个问题。

...L注入攻击。在本文的上下文中，当通过SqlHelper类执行插入操作时，使用SqlParameter对象来封装待插入的数据，并与数据库字段相对应，从而实现安全、类型匹配的数据插入。 参数化查询 , 参数化查询是一种编程技术，允许开发者预定义SQL语句结构并在运行时动态地提供值（作为参数）。相比直接拼接字符串形成SQL命令，参数化查询能显著提升安全性，因为它可以阻止恶意用户通过输入构造可能改变原SQL语义的字符串，进而避免SQL注入攻击。在文章中，作者提倡始终使用参数化查询以保障数据插入操作的安全性。 事务管理 , 事务管理是数据库系统中的核心概念，它确保一组数据库操作要么全部成功完成（提交），要么全部不执行（回滚）。在处理批量插入或其他需要保持数据一致性的情景时，利用事务机制可以保证即使在部分操作失败的情况下，也能恢复到事务开始前的状态，维持数据库的一致性和完整性。在本文示例中，通过SqlTransaction对象启动并管理事务，在循环插入多个学生记录的过程中，如果所有插入操作都成功，则提交事务；否则，在发生异常时进行回滚，以保护数据库不受破坏性影响。

...数据传输问题。在实际操作中，我们得对RabbitMQ这个家伙进行实时的“看护”，好比有个小雷达时刻扫描着它，一旦有啥风吹草动，能立马发现并把问题给妥妥地解决掉。那么，怎样才能有效地监控RabbitMQ呢？在这篇文章里，咱们打算从两个接地气的维度来聊聊这个问题：首先，深入浅出地解析一下RabbitMQ的各种监控指标；其次，一起探讨分析这些数据的实用方法。 二、RabbitMQ的监控指标 RabbitMQ提供了丰富的监控指标，包括内存占用、磁盘空间、网络连接数、队列数量等等。通过这些监控指标，我们可以了解RabbitMQ的运行状态，并及时发现问题。 1.1 内存占用 RabbitMQ会将消息存储在内存中，如果内存占用过高，可能会导致消息丢失或者系统崩溃。因此，我们需要定期检查RabbitMQ的内存占用情况。可以通过命令行工具进行查看： bash sudo rabbitmqctl list_pids sudo rabbitmqctl memory_info 1.2 磁盘空间 RabbitMQ会在磁盘上创建大量的文件，如交换机文件、队列文件等。如果磁盘空间不足，可能会导致RabbitMQ无法正常工作。因此，我们需要定期检查RabbitMQ的磁盘空间使用情况： bash df -h /var/lib/rabbitmq/mnesia/ du -sh /var/lib/rabbitmq/mnesia/ 1.3 网络连接数 RabbitMQ支持多种网络协议，如TCP、TLS、HTTP等。如果网络连接数过多，可能会导致RabbitMQ的性能下降。因此，我们需要定期检查RabbitMQ的网络连接数： bash sudo netstat -an | grep 'LISTEN' | grep 'amqp' 1.4 队列数量 RabbitMQ中的队列数量可以反映出系统的负载情况。如果队列数量过多，可能会导致系统响应缓慢。因此，我们需要定期检查RabbitMQ的队列数量： bash rabbitmqctl list_queues name messages count 三、RabbitMQ的监控分析方法 除了监控RabbitMQ的各种指标外，我们还需要对其进行分析，以便更好地理解其运行状态。以下是几种常用的分析方法。 2.1 基于阈值的监控 基于阈值的监控是一种常见的监控方式。我们可以通过设置一些阈值来判断RabbitMQ的运行状态是否正常。比如，假定咱们给内存占用量设了个阀值，比如说80%，一旦这内存占用蹭蹭地超过了这个界限，那咱们就得行动起来啦，可以考虑加个内存条，或者把程序优化一下，诸如此类的方法来解决这个问题。 2.2 基于趋势的监控 基于趋势的监控是指我们根据RabbitMQ的历史数据来预测未来的运行状态。比如，我们能瞅瞅RabbitMQ过去内存使用的变化情况，然后像个先知一样预测未来的内存占用走势，这样一来，咱们就能早早地做好应对准备啦！ 2.3 基于报警的监控 基于报警的监控是指我们在RabbitMQ出现异常时立即发出警报。这样，我们就可以及时发现问题，并采取措施防止问题进一步扩大。 四、结论 RabbitMQ是一个强大的消息队列中间件，我们需要对其进行全面的监控和分析，以便及时发现并解决问题。同时呢，咱们也得把RabbitMQ的安全性放在心上，别一不留神让安全问题钻了空子，把咱的重要数据泄露出去，或者惹出其他乱子来。 以上就是本文对于“RabbitMQ的监控指标及其分析方法”的探讨，希望能够对你有所帮助。如果有任何疑问，请随时联系我。

...park编程中，一切操作都始于SparkContext的初始化： python from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("MyApp").setMaster("local") sc = SparkContext(conf=conf) 上述代码片段展示了如何在Python环境下初始化一个SparkContext。当你把SparkContext成功启动后，它就变成了我们和Spark集群之间沟通交流的“桥梁”或者说“牵线人”，没有这个家伙在中间搭桥铺路，咱们就甭想对Spark做任何操作了。 3. “SparkContext already stopped or not initialized”之谜 那么，当我们遇到“SparkContextalready stopped or not initialized”这个错误提示时，通常有以下两种情况： 3.1 SparkContext已停止 在一个Spark应用程序中，一旦SparkContext被显式地调用stop()方法或者因为程序异常结束，该上下文就会关闭。例如： python sc.stop() 显式停止SparkContext 或者在出现异常后，未被捕获导致程序退出 try: some_spark_operation() except Exception as e: print(e) 这里并未捕获异常，导致程序退出，SparkContext也会自动关闭 在以上两种情况下，如果你试图再次使用sc执行任何Spark操作，就会触发“SparkContext already stopped”的错误。 3.2 SparkContext未初始化 另一种常见的情况是在尝试使用SparkContext之前，忘记或者错误地初始化它。如下所示： python 错误示例：忘记初始化SparkContext data = sc.textFile("input.txt") 此处sc并未初始化，将抛出"NotInitializedError" 在这种场景下，系统会反馈“SparkContext not initialized”的错误，提示我们需要先正确初始化SparkContext才能继续执行后续操作。 4. 解决之道 明智地管理和初始化SparkContext - 确保只初始化一次：由于Spark设计上不支持在同一进程中创建多个SparkContext，所以务必确保你的代码中仅有一个初始化SparkContext的逻辑。 - 妥善处理异常：在可能发生异常的代码块周围使用try-except结构，确保在发生异常时SparkContext不会意外关闭，同时也能捕获和处理异常。 - 合理安排生命周期：对于长时间运行的服务，可能需要考虑每次处理请求时创建新的SparkContext。尽管这会增加一些开销，但能避免因长期运行导致的资源泄露等问题。 总之，“SparkContext already stopped or not initialized”这类错误是我们探索Spark世界的道路上可能会遭遇的一个小小挑战。只要咱们把SparkContext的运作原理摸得门儿清，老老实实地按照正确的使用方法来操作，再碰到什么异常情况也能灵活应对、妥善处理，这样一来，就能轻轻松松跨过这道坎儿，继续痛痛快快地享受Spark带给我们那种高效又便捷的数据处理体验啦。每一次我们解决问题的经历，其实都是咱们技术能力升级、理解力深化的关键一步，就像打怪升级一样，每解决一个问题，就离大神的境界更近一步啦！

...削峰的作用。在本文的上下文中，RocketMQ就是一种高性能、高可用的消息队列产品，生产者将消息发送到消息队列中，消费者从队列中拉取消息进行处理。 Broker , 在RocketMQ架构中，Broker是消息队列的核心服务节点，负责接收、存储并转发消息。每个Broker可以管理多个主题（Topic）下的消息队列，生产者向Broker发送消息，消费者则从Broker拉取消息进行消费。为了避免重试时总是将消息发往同一台Broker导致压力集中，文章提出了随机选择或动态切换Broker的策略。 事务消息 , 在分布式系统中，事务消息是指支持分布式事务处理的消息类型，它确保了消息要么被成功投递并且与业务操作同时完成（即本地事务和消息发送都成功），要么两者都失败回滚。RocketMQ 5.0版本引入了事务消息2.0特性，即使在数据中心级别故障切换的情况下也能保证消息的一致性和可靠性。 云原生 , 云原生是一种构建和运行应用程序的方法，它充分利用云计算的优势来实现敏捷开发、持续交付和高效运维。在本文语境下，RocketMQ积极拥抱云原生理念，通过与Kubernetes等容器编排技术集成，使得RocketMQ集群可以在云环境中得到更便捷的部署和管理，适应大规模分布式系统的复杂需求。

...QL语句中。在文章的上下文中，参数化SQL用于防止SQL注入攻击，通过为SQL查询中的每个动态值使用参数占位符（如@name），确保数据被正确转义和类型化处理，从而避免恶意用户通过构造特定字符串来改变原SQL语句的意图。 SQL注入 , SQL注入是一种常见的安全漏洞，攻击者通过在用户输入字段中插入恶意SQL代码，利用应用程序不正确的SQL命令构建方式，篡改原本预设的SQL命令逻辑，以达到非法获取、修改或删除数据库信息的目的。在本文中，作者通过实例说明了如何通过使用参数化SQL有效防止SQL注入问题。 连接池 , 连接池是一种数据库资源管理机制，它预先创建并维护一定数量的数据库连接对象，并在应用程序需要时从池中取出连接进行数据库操作，操作完成后将连接归还至池中供后续复用，而非每次请求都新建和关闭连接。在文章中提到的SqlHelper类设计中，正确管理和关闭数据库连接是解决数据库连接池资源耗尽问题的关键，确保连接在使用完毕后能及时释放回池中，以便其他请求继续使用。

...，尤其是在处理I/O操作时。 kotlin import kotlinx.coroutines. suspend fun doSomeWork(): String { delay(1000L) return "Done!" } fun main() = runBlocking { val job = launch { val result = doSomeWork() println(result) } // 主线程可以继续做其他事情... println("Doing other work...") job.join() // 等待协程完成 } 在这段代码中，doSomeWork是一个挂起函数，它会在执行到delay时暂停协程，但不会阻塞主线程。这样，主线程可以继续执行其他任务（如打印"Doing other work..."），直到协程完成后再获取结果。 思考一下： - 挂起函数是如何帮助你编写非阻塞代码的？ - 你能想象在你的应用中使用这种技术来提升用户体验吗？ 4. 协程上下文与调度器 最后，我们来谈谈协程的上下文和调度器。协程上下文包含了运行协程所需的所有信息，包括调度器、异常处理器等。调度器决定了协程在哪个线程上执行。Kotlin提供了多种调度器，如Dispatchers.Default用于CPU密集型任务，Dispatchers.IO用于I/O密集型任务。 kotlin import kotlinx.coroutines. fun main() = runBlocking { withContext(Dispatchers.IO) { println("Running on ${Thread.currentThread().name}") } } 在这段代码中，我们使用withContext切换到了Dispatchers.IO调度器，这样协程就会在专门处理I/O操作的线程上执行。这种方式可以帮助你更好地管理和优化协程的执行环境。 思考一下： - 你知道如何根据不同的任务类型选择合适的调度器吗？ - 这种策略对于提高应用性能有多大的影响？ 结语 好了，朋友们，这就是今天的分享。读了这篇文章后，我希望大家能对Kotlin里的协程和并发编程有个初步的认识，说不定还能勾起大家深入了解协程的兴趣呢！记住，编程不仅仅是解决问题，更是享受创造的过程。希望你们在学习的过程中也能找到乐趣！ 如果你有任何问题或者想了解更多内容，请随时留言交流。我们一起进步，一起成长！

...使用Go处理文件系统操作的最佳实践经验总结 在编程世界中，文件系统操作是任何项目都难以避免的基本需求。Go语言，也被称为Golang，它那简单明了的语法加上卓越高效的性能，实实在在给开发者们带来了一箩筐强大的文件系统API工具，轻松解决各种需求，让开发工作既高效又省心。这篇东西，我将带你一步步走进如何用Go这个强大的工具，既高效又安全地玩转文件系统操作。咱会结合一些实实在在的代码例子，手把手展示那些被大家公认的、超级实用的最佳实践。 1. 理解并使用os和io/ioutil包 在Go中，主要通过os和io/ioutil这两个标准库来进行文件系统的操作。 - os包提供了一系列与操作系统交互的功能，包括文件和目录的创建、删除、读写等基础操作。 go import "os" // 创建一个新文件 file, err := os.Create("newfile.txt") if err != nil { panic(err) } defer file.Close() // 写入内容 _, err = file.WriteString("Hello, Gophers!") if err != nil { panic(err) } - io/ioutil包则封装了一些方便的I/O操作，如一次性读取或写入整个文件内容。 go import ( "io/ioutil" "log" ) // 读取整个文件内容 content, err := ioutil.ReadFile("newfile.txt") if err != nil { log.Fatal(err) } fmt.Println(string(content)) 2. 异常处理和错误检查 在进行文件操作时，我们必须重视异常处理。在Go语言里，它选择了一种不那么抛出异常的方式来处理问题，而是通过返回错误信息的方式。这就意味着，每当我们要对文件进行操作的时候，都得小心翼翼地去瞅瞅函数返回的结果，看看是否藏着什么错误消息。 go // 检查文件是否存在 _, err := os.Stat("myfile.txt") if os.IsNotExist(err) { fmt.Println("File does not exist.") } else if err != nil { // 处理其他非预期的错误 panic(err) } 3. 使用上下文(Context)进行控制 在处理大文件或者网络文件系统时，可能会涉及长时间运行的操作。Go的context包能帮助我们优雅地取消长时间运行的任务。例如，在读取大文件时，我们可以适时地中止IO操作。 go import ( "context" "io/ioutil" "time" ) ctx, cancel := context.WithTimeout(context.Background(), 5time.Second) defer cancel() data, err := ioutil.ReadAll(ctx, openFile("largefile.bin")) if err != nil { select { case <-ctx.Done(): fmt.Println("Read operation timed out.") default: panic(err) } } 4. 并发操作 同步与互斥 Go的并发特性使得同时对多个文件进行操作变得轻而易举，但同时也需要注意同步问题。在日常使用中，比如大家伙都在同一个文件夹里操作文件的时候，咱们得聪明点，巧妙运用像sync.Mutex这样的同步工具，来避免出现资源争夺的情况哈。就像是大家一起玩一个游戏，要轮流来，不能抢，这样才能保证每个人的操作都能顺利完成，不乱套。 go import ( "os" "sync" ) var mutex = &sync.Mutex{} func writeFile(filename string, content string) { mutex.Lock() defer mutex.Unlock() file, err := os.Create(filename) if err != nil { panic(err) } defer file.Close() _, err = file.WriteString(content) if err != nil { panic(err) } } // 在多个goroutine中调用writeFile函数，此时它们会按照顺序依次执行 总之，熟练掌握Go语言进行文件系统操作的关键在于理解并正确应用相关API，严谨对待错误处理，充分利用Go的并发特性并妥善解决由此带来的同步问题。希望以上的探讨和实例代码能实实在在帮到你，让你更溜地掌握Go语言在操作文件系统方面的绝活儿，这样一来，你的程序设计不仅效率更高，还更稳更靠谱！