[数据处理流程中利用隐式转换简化操作]的搜索结果

...供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠科技。阿里云服务着制造、金融、政务、交通、医疗、电信、能源等众多领域的领军企业，包括中国联通、12306、中石化、中石油、飞利浦、华大基因等大型企业客户，以及微博、知乎、锤子科技等明星互联网公司。在天猫双11全球狂欢节、12306春运购票等极富挑战的应用场景中，阿里云保持着良好的运行纪录 阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本 猿辅导、中泰证券、小米、媛福达、Soul和当贝，这些我们耳熟能详的APP或企业中，阿里云给他们提供了性能强大、安全、稳定的云产品与服务。 计算，容器，存储，网络与CDN，安全、中间件、数据库、大数据计算、人工智能与机器学习、媒体服务、企业服务与云通信、物联网、开发工具、迁移与运维管理和专有云等方面，阿里云都做的很不错。 2.2 证件照生成背景 传统做法：通常是人工进行P图，不仅费时费力，而且效果也很难保障，容易有瑕疵。 机器学习做法：通常利用边缘检测算法进行人物轮廓提取。 深度学习做法：通常使用分割算法进行人物分割。例如U-Net网络。 2.3 图像分割算法 《BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass Networks》里的SeedNet网络是很经典的网络，它把分割任务转变成多个任务。作者的思想是：尽可能的通过多任务学习收拢语义，这样或许会分割的更好或姿态估计的更好。其实这个模型就是多阶段学习网络的一部分，作者想通过中间监督来提高网络的性能。 我提取bihand网络中的SeedNet与训练权重，进行分割结果展示如下 我是用的模型不是全程的，是第一阶段的。为了可视化出最好的效果，我把第一阶段也就是SeedNet网络的输出分别采用不同的方式可视化。 从左边数第一张图为原图，第二张图为sigmoid后利用plt.imshow(colored_mask, cmap=‘jet’)进行彩色映射。第三张图为网络输出的张量经过sigmoid后，二色分割图，阀闸值0.5。第四张为网络的直接输出，利用直接产生的张量图进行颜色映射。第五张为使用sigmoid处理张量后进行的颜色映射。第六张为使用sigmoid处理张量后进行0,1分割掩码映射。使用原模型和网络需要添加很多代码。下面为修改后的的代码： 下面为修改后的net_seedd代码： Copyright (c) Lixin YANG. All Rights Reserved.r"""Networks for heatmap estimation from RGB images using Hourglass Network"Stacked Hourglass Networks for Human Pose Estimation", Alejandro Newell, Kaiyu Yang, Jia Deng, ECCV 2016"""import numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as Ffrom skimage import io,transform,utilfrom termcolor import colored, cprintfrom bihand.models.bases.bottleneck import BottleneckBlockfrom bihand.models.bases.hourglass import HourglassBisectedimport bihand.utils.func as funcimport matplotlib.pyplot as pltfrom bihand.utils import miscimport matplotlib.cm as cmdef color_mask(output_ok): 颜色映射cmap = plt.cm.get_cmap('jet') 将张量转换为numpy数组mask_array = output_ok.detach().numpy() 创建彩色图像cmap = cm.get_cmap('jet')colored_mask = cmap(mask_array)return colored_mask 可视化 plt.imshow(colored_mask, cmap='jet') plt.axis('off') plt.show()def two_color(mask_tensor): 将张量转换为numpy数组mask_array = mask_tensor.detach().numpy() 将0到1之间的值转换为二值化掩码threshold = 0.5 阈值，大于阈值的为白色，小于等于阈值的为黑色binary_mask = np.where(mask_array > threshold, 1, 0)return binary_mask 可视化 plt.imshow(binary_mask, cmap='gray') plt.axis('off') plt.show()class SeedNet(nn.Module):def __init__(self,nstacks=2,nblocks=1,njoints=21,block=BottleneckBlock,):super(SeedNet, self).__init__()self.njoints = njointsself.nstacks = nstacksself.in_planes = 64self.conv1 = nn.Conv2d(3, self.in_planes, kernel_size=7, stride=2, padding=3, bias=True)self.bn1 = nn.BatchNorm2d(self.in_planes)self.relu = nn.ReLU(inplace=True)self.maxpool = nn.MaxPool2d(2, stride=2)self.layer1 = self._make_residual(block, nblocks, self.in_planes, 2self.in_planes) current self.in_planes is 64 2 = 128self.layer2 = self._make_residual(block, nblocks, self.in_planes, 2self.in_planes) current self.in_planes is 128 2 = 256self.layer3 = self._make_residual(block, nblocks, self.in_planes, self.in_planes)ch = self.in_planes 256hg2b, res1, res2, fc1, _fc1, fc2, _fc2= [],[],[],[],[],[],[]hm, _hm, mask, _mask = [], [], [], []for i in range(nstacks): 2hg2b.append(HourglassBisected(block, nblocks, ch, depth=4))res1.append(self._make_residual(block, nblocks, ch, ch))res2.append(self._make_residual(block, nblocks, ch, ch))fc1.append(self._make_fc(ch, ch))fc2.append(self._make_fc(ch, ch))hm.append(nn.Conv2d(ch, njoints, kernel_size=1, bias=True))mask.append(nn.Conv2d(ch, 1, kernel_size=1, bias=True))if i < nstacks-1:_fc1.append(nn.Conv2d(ch, ch, kernel_size=1, bias=False))_fc2.append(nn.Conv2d(ch, ch, kernel_size=1, bias=False))_hm.append(nn.Conv2d(njoints, ch, kernel_size=1, bias=False))_mask.append(nn.Conv2d(1, ch, kernel_size=1, bias=False))self.hg2b = nn.ModuleList(hg2b) hgs: hourglass stackself.res1 = nn.ModuleList(res1)self.fc1 = nn.ModuleList(fc1)self._fc1 = nn.ModuleList(_fc1)self.res2 = nn.ModuleList(res2)self.fc2 = nn.ModuleList(fc2)self._fc2 = nn.ModuleList(_fc2)self.hm = nn.ModuleList(hm)self._hm = nn.ModuleList(_hm)self.mask = nn.ModuleList(mask)self._mask = nn.ModuleList(_mask)def _make_fc(self, in_planes, out_planes):bn = nn.BatchNorm2d(in_planes)conv = nn.Conv2d(in_planes, out_planes, kernel_size=1, bias=False)return nn.Sequential(conv, bn, self.relu)def _make_residual(self, block, nblocks, in_planes, out_planes):layers = []layers.append( block( in_planes, out_planes) )self.in_planes = out_planesfor i in range(1, nblocks):layers.append(block( self.in_planes, out_planes))return nn.Sequential(layers)def forward(self, x):l_hm, l_mask, l_enc = [], [], []x = self.conv1(x) x: (N,64,128,128)x = self.bn1(x)x = self.relu(x)x = self.layer1(x)x = self.maxpool(x) x: (N,128,64,64)x = self.layer2(x)x = self.layer3(x)for i in range(self.nstacks): 2y_1, y_2, _ = self.hg2b[i](x)y_1 = self.res1[i](y_1)y_1 = self.fc1[i](y_1)est_hm = self.hm[i](y_1)l_hm.append(est_hm)y_2 = self.res2[i](y_2)y_2 = self.fc2[i](y_2)est_mask = self.mask[i](y_2)l_mask.append(est_mask)if i < self.nstacks-1:_fc1 = self._fc1[i](y_1)_hm = self._hm[i](est_hm)_fc2 = self._fc2[i](y_2)_mask = self._mask[i](est_mask)x = x + _fc1 + _fc2 + _hm + _maskl_enc.append(x)else:l_enc.append(x + y_1 + y_2)assert len(l_hm) == self.nstacksreturn l_hm, l_mask, l_encif __name__ == '__main__':a = torch.randn(10, 3, 256, 256) SeedNetmodel = SeedNet() output1,output2,output3 = SeedNetmodel(a) print(output1,output2,output3)total_params = sum(p.numel() for p in SeedNetmodel.parameters())/1000000print("Total parameters: ", total_params)pretrained_weights_path = 'E:/bihand/released_checkpoints/ckp_seednet_all.pth.tar'img_rgb_path=r"E:\FreiHAND\training\rgb\00000153.jpg"img=io.imread(img_rgb_path)resized_img = transform.resize(img, (256, 256), anti_aliasing=True)img256=util.img_as_ubyte(resized_img)plt.imshow(resized_img)plt.axis('off') 关闭坐标轴plt.show()''' implicit HWC -> CHW, 255 -> 1 '''img1 = func.to_tensor(img256).float() 转换为张量并且进行标准化处理''' 0-mean, 1 std, [0,1] -> [-0.5, 0.5] '''img2 = func.normalize(img1, [0.5, 0.5, 0.5], [1, 1, 1])img3 = torch.unsqueeze(img2, 0)ok=img3print(img.shape)SeedNetmodel = SeedNet()misc.load_checkpoint(SeedNetmodel, pretrained_weights_path)加载权重output1, output2, output3 = SeedNetmodel(img3)mask_tensor = torch.rand(1, 64, 64)output=output2[1] 1,1,64,64output_1=output[0] 1,64,64output_ok=torch.sigmoid(output_1[0])output_real=output_1[0].detach().numpy()直接产生的张量图color_mask=color_mask(output_ok) 显示彩色分割图two_color=two_color(output_ok)显示黑白分割图see=output_ok.detach().numpy() 使用Matplotlib库显示分割掩码 plt.imshow(see, cmap='gray') plt.axis('off') plt.show() print(output1, output2, output3)images = [resized_img, color_mask, two_color,output_real,see,see]rows = 1cols = 4 创建子图并展示图像fig, axes = plt.subplots(1, 6, figsize=(30, 5)) 遍历图像列表，并在每个子图中显示图像for i, image in enumerate(images):ax = axes[i] if cols > 1 else axes 如果只有一列，则直接使用axesif i ==5:ax.imshow(image, cmap='gray')else:ax.imshow(image)ax.imshowax.axis('off') 调整子图之间的间距plt.subplots_adjust(wspace=0.1, hspace=0.1) 展示图像plt.show() 上述的代码文件是在bihand/models/net_seed.py中，全部代码链接在https://github.com/lixiny/bihand。 把bihand/models/net_seed.p中的代码修改为我提供的代码即可使用作者训练好的模型和进行各种可视化。（预训练模型根据作者代码提示下载） 3.调用阿里云API进行证件照生成实例 3.1 准备工作 1.找到接口 进入下面链接即可快速访问 link 2.购买试用包 3.查看APPcode 4.下载代码 5.参数说明 3.2 实验代码 !/usr/bin/python encoding: utf-8"""===========================证件照制作接口==========================="""import requestsimport jsonimport base64import hashlibclass Idphoto:def __init__(self, appcode, timeout=7):self.appcode = appcodeself.timeout = timeoutself.make_idphoto_url = 'https://idp2.market.alicloudapi.com/idphoto/make'self.headers = {'Authorization': 'APPCODE ' + appcode,}def get_md5_data(self, body):"""md5加密:param body_json::return:"""md5lib = hashlib.md5()md5lib.update(body.encode("utf-8"))body_md5 = md5lib.digest()body_md5 = base64.b64encode(body_md5)return body_md5def get_photo_base64(self, file_path):with open(file_path, 'rb') as fp:photo_base64 = base64.b64encode(fp.read())photo_base64 = photo_base64.decode('utf8')return photo_base64def aiseg_request(self, url, data, headers):resp = requests.post(url=url, data=data, headers=headers, timeout=self.timeout)res = {"status_code": resp.status_code}try:res["data"] = json.loads(resp.text)return resexcept Exception as e:print(e)def make_idphoto(self, file_path, bk, spec="2"):"""证件照制作接口:param file_path::param bk::param spec::return:"""photo_base64 = self.get_photo_base64(file_path)body_json = {"photo": photo_base64,"bk": bk,"with_photo_key": 1,"spec": spec,"type": "jpg"}body = json.dumps(body_json)body_md5 = self.get_md5_data(body=body)self.headers.update({'Content-MD5': body_md5})data = self.aiseg_request(url=self.make_idphoto_url, data=body, headers=self.headers)return dataif __name__ == "__main__":file_path = "图片地址"idphoto = Idphoto(appcode="你的appcode")d = idphoto.make_idphoto(file_path, "red", "2")print(d) 3.3 实验结果与分析 原图片 背景为红色生成的证件照 背景为蓝色生成的证件照 另外尝试了使用柴犬照片做实验，也生成了证件照 原图 背景为红色生成的证件照 参考（可供参考的链接和引用文献） 1.参考：BiHand: Recovering Hand Mesh with Multi-stage Bisected Hourglass Networks（BMVC2020） 论文链接：https://arxiv.org/pdf/2008.05079.pdf 本篇文章为转载内容。原文链接：https://blog.csdn.net/m0_37758063/article/details/131128967。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...确性好，但是耗时长、流程复杂，无法实现原位检测或远程快速检测。使用激光诱导击穿光谱(LIBS)可以有效改善上述问题，但是其准确率低，存在相邻特征谱线干扰。激光诱导击穿光谱联合激光诱导荧光技术(LIBS-LIF)则是对LIBS技术的进一步强化升级，满足了检测需求。文章首先介绍了LIBS技术以及LIBS-LIF技术的基本原理；接着简要介绍LIBS-LIF技术在土壤监测的应用情况，介绍了技术的应用起源和研究进展；然后介绍LIBS技术和LIBS-LIF技术在水质监测方面的应用，由于液体检测中对于预处理的方式最为重要，因此此处简要归纳了液体检测样品预处理的方法，最后对LIBS-LIF技术在环境方面的应用做出总结和展望。LIBS-LIF技术具有着传统实验室检测无法比拟的优势，也正处于热门研究方向，未来潜力无限。 关键词： 激光诱导击穿光谱(LIBS)；激光诱导击穿光谱联合激光诱导荧光技术(LIBS-LIF)；环境监测；土壤监测；水质监测 Elemental Analysis Application of Laser Induced Breakdown Spectroscopy assisted with Laser Induced fluorescence(LIBS-LIF) Technology in Environmental Monitoring Abstract: The importance of environmental monitoring is becoming more and more significant under the background of increasingly prominent environmental problems. Among the environmental problems, soil problem and water quality problem is one of the very important topics. Element analysis is often used for soil monitoring and water quality monitoring. Although the traditional laboratory detection method has high accuracy and good accuracy, it takes a long time and the process is complex, so it is impossible to realize in-situ detection or remote rapid detection. Laser induced breakdown spectroscopy (LIBS) can effectively improve the above problems, but its accuracy is low and there is interference between adjacent characteristic lines. Laser-induced breakdown spectroscopy assisted with laser-induced fluorescence (LIBS-LIF) is a further enhancement and upgrade of LIBS technology to meet the detection needs. This paper first introduces the basic principles of LIBS technology and LIBS-LIF technology, then briefly introduces the application of LIBS-LIF technology in soil monitoring, and introduces the application origin and research progress of LIBS-LIF technology. Then it introduces the application of LIBS technology and LIBS-LIF technology in water quality monitoring. Because the way of pretreatment is the most important in liquid detection, the pretreatment methods of liquid testing samples are briefly summarized here. Finally, the application of LIBS-LIF technology in the environment is summarized and prospected. LIBS-LIF technology has incomparable advantages over traditional laboratory testing, and it is also in a hot research direction, with unlimited potential in the future. Keywords: Laser induced breakdown spectroscopy(LIBS); Laser induced breakdown spectroscopy assisted with Laser Induced fluorescence(LIBS-LIF); Environmental monitoring; Soil monitoring; Water quality monitoring 　 Completion time: 2021-11 目录 0. 引言 1. 技术简介 1.1 LIBS技术简介 1.1.1 LIBS技术的基本原理 1.1.2 LIBS技术的定量分析 1.1.3 LIBS技术的优缺点 1.2 LIBS-LIF技术 1.2.1 LIF技术的基本原理 1.2.2 Co原子的LIBS-LIF增强原理 2. LIBS-LIF技术用于土壤监测 2.1 早期研究 2.2 近期研究现状 3. LIBS及LIBS-LIF技术用于水质监测 3.1液体直接检测 3.2液固转换检测 3.2.1吸附法 3.2.2成膜法 3.2.3微萃取法 3.2.4冷冻法 3.2.5电沉积法 3.3液气转换检测 4. 总结与展望 参考文献 　 0. 引言   随着经济的发展，人们物质生活水平提高的同时，环境的问题也愈发突出，其中，土壤问题和水体问题十分突出。   土壤是包括人类在内的一切生物体生存的载体，土壤的质量与农作物的生长息息相关，而农作物的收成则是人类发展的基石。在工业化发展的影响下，土壤重金属污染和积累成为了一个世界性的问题，尤其在中国特别是长三角地区尤为严重[1]。   水是生命之源，水体问题直接关系到所有生物体的生存。环境中的水体问题，主要集中在工业废水的治理与监测上。工业废水中含有大量重金属元素，其难以生物降解，重金属元素会随着水体流动而扩散。   物质元素分析在土壤分析和水质分析上是常用的方式。传统的分析方法是基于实验室的元素光谱分析法，其具有高精度、高稳定的特点，如：原子吸收光谱法(Atomic absorption spectrometry, AAS)、电感耦合等离子体质谱法(Inductively coupled plasma mass spectrometry, ICP-MS)、电感耦合等离子体原子发射光谱法(Inductively coupled plasma atomic emission spectrometry, ICP-AES)等，但是此类光谱的检测样品预处理复杂、检测操作难度高、需要庞大复杂的实验设备，且对样品造成损坏，有所不便[2,3]。   激光诱导击穿光谱(Laser induced breakdown spectroscopy，LIBS)是一种基于原子光谱分析技术，与传统的光谱分析技术相比，其实验装置简单便携、操作简便、应用广泛、可远程测量，同时有在简单预处理样品或根本不预处理的情况下进行现场测量的潜力。因此，其满足在环境监测中，特别是土壤监测和水质监测此类希望可以在现场检测、快速便捷检测，同时精度较高的需求。LIBS技术很容易与其他技术如激光诱导荧光技术(Laser induced fluorescence, LIF)、拉曼光谱(Raman)等技术联用，进一步提高了 LIBS技术的检测准确度和竞争力[4]。 　 1. 技术简介 1.1 LIBS技术简介   LIBS技术最早可以追溯到20世纪60年代Brech, F.和Cross, L.所做的激光诱导火花散射实验，其中的一项实验使用红宝石激光器产生的激光照射材料后产生等离子体羽流。经过了几十年的发展，LIBS技术得到了显著发展，其在环境检测、文物保护鉴定、岩石检测、宇宙探索等领域中被广泛应用。 1.1.1 LIBS技术的基本原理   LIBS技术的装置主要由脉冲激光器、光谱仪、样品装载平台和计算机组成，光谱仪和计算机之间常常由光电倍增管或CCD等光电转换器件连接，如图 1所示[3]。 图 1 LIBS实验装置图[3]   首先，通过脉冲激光器产生强脉冲激光后由透镜聚焦到样品上，被聚焦区域的样品吸收，产生初始自由电子，并在持续的激光脉冲作用下加速。初始自由电子获取到足够高的能量之后，会轰击原子电离产生新的自由电子。随着激光脉冲作用的持续，自由电子和原子的作用如此往复碰撞，在短时间内形成等离子体，形成烧蚀坑。接着，激光脉冲结束，等离子体温度逐渐降低，产生连续背景辐射并产生原子或离子的发射光谱。通过光谱仪采集信号，在计算机上分析特征谱线的波长和强度信息就可以对样本中的元素进行定性和定量分析[2]。 1.1.2 LIBS技术的定量分析   由文献[2]可知，LIBS技术的定量分析方法通常有外标法、内标法和自由校准法(CF)。其中，最简单方便的是外标法。 外标法由光谱分析基本定量公式Lomakin-Scheibe公式 I=aCb(1)I=aC^b \tag{1} I=aCb(1) 式中III为光谱强度，aaa为比例系数，CCC为元素浓度，bbb为自吸收系数。自吸收系数bbb会随着元素浓度CCC的减小而增大，当元素浓度CCC很小时，b=1b=1b=1。使用同组仪器测量时aaa和bbb的值为定值。 将式（1）左右两边取对数，得 lg⁡I=blg⁡C+lg⁡a(2)lg⁡I=blg⁡C+lg⁡a \tag{2} lg⁡I=blg⁡C+lg⁡a(2)   由式（2）可知，当b=1时，光谱强度和元素浓度呈线性关系。因此，可以通过检验一组标准样品的元素浓度和对应的光谱强度，绘制出对应的标准曲线，从而根据曲线的得到未知样品的浓度值。   如图 2 (a)(b)所示，通过使用LIBS技术多次测定一系列含有Co元素的标准样品的光谱强度后取平均可以绘制出图 2 (b)所示的校正曲线[5]。同时可以计算出曲线的相关系数R^2、交叉验证均方差(RMSECV)和样品中Co元素的检出限(LOD)。 图 2 用LIBS和LIBS-LIF技术测定有效钴元素的光谱和校准曲线[5] (a) (b)使用LIBS技术测定，(c) (d)使用LIBS-LIF技术测定 　 1.1.3 LIBS技术的优缺点   随着LIBS技术的提高和广泛应用，其自身独特的优势也显示出来，其主要优点主要如下[6]：   （1）样品不需要进行预处理或只需要稍微预处理。   （2）样品检测时间短，相较于传统的AAS、ICP-AES等技术检测需要几分钟到几小时的时间相比，LIBS技术检测只需要3-60秒。   （3）样品的检出限LOD高，对于低浓度样品检测更加灵敏精确。   （4）实验装置结构简单，便携性高。   （5）可用于远程遥感监测   （6）对于检测样品的损伤基本没有，十分适合对于文物遗迹等方面进行应用   LIBS技术也有着自身的缺陷，其中问题最大的就是相较于传统的AAS、ICP-AES等技术来说，LIBS的检测准确性低，只有5-20%。   但LIBS还有一个优点在于很容易与其他技术如激光诱导荧光技术(Laser induced fluorescence, LIF)、拉曼光谱(Raman)等技术联用，可以弥补LIBS技术的检测准确率低的缺陷，同时结合其他技术的优势提高竞争力[7]。 1.2 LIBS-LIF技术   LIBS技术常常与LIF技术联合使用，即LIBS-LIF技术。通过LIF技术对特征曲线信号的选择性加强作用，有效的提高了检测的准确率，改善了单独使用LIBS检测准确率低的缺陷。   LIBS-LIF技术在1979年由Measures, R. M.和Kwong, H. S.首次使用，用于各种样品中微量铬元素的选择性激发。 1.2.1 LIF技术的基本原理   LIF技术，是通过激光辐射激发原子或者分子，之后被照射的原子或分子自发发射出的荧光。   首先，调节入射激光的波长，从而改变入射激光的能量。之后，当入射激光的能量与检测区域中的气态分子或原子的能级差相同时，分子或原子将被激光共振激发跃迁至激发态，但是这种激发态并不稳定，会通过自发辐射释放出另一个光子能量并向下跃迁，同时发射出分子或原子荧光，这便是激光诱导荧光。   其中，分子或原子发射荧光的跃迁过程主要有共振荧光、直越线荧光、阶跃线荧光和多光子荧光四种，如图3所示[2]。元素被激发的直跃线荧光往往强度大，散射光干扰弱，故被常用。 图 3 分子或原子发射荧光的跃迁过程[2] 　 1.2.2 Co原子的LIBS-LIF增强原理   下面将以Co元素为例，说明LIBS-LIF技术的原理。   Co元素直跃线荧光的产生原理图如图 4所示[5]。波长为304.40nm的激光能量刚好等于Co原子基态到高能态(4.07eV)的能级差，Co原子被304.40nm的激发照射后跃迁至该能级。随后，该能级上的Co原子通过自发辐射释放能量跃迁至低能态(0.43eV)，同时发出波长为304.51nm的荧光。因此，采用LIF的激发波长为304.40nm，光谱仪对应的检测波长为304.51nm。 图 4 Co元素直跃线荧光产生原理图[5]   LIBS-LIF技术的装置如图 5所示[5]，与LIBS装置不同的是其增加了一台可调激光器，如染料激光器、OPO激光器等。其用于激发特定元素的被之前LIBS激发出的等离子体。该激光平行于样品表面照射，不会对样品产生损伤。 图 5 LIBS-LIF实验装置图[5]   在本次Co元素的检测中，OPO激光器的波长为304.40nm。样品首先通过脉冲激光器垂直照射后产生等离子体，原理和LIBS技术一致。之后使用OPO激光器产生的304.40nm的激光照射等离子体，激发荧光信号，增强特征谱线的强度。最后通过光谱仪采集信号，在计算机上分析特征谱线。   LIBS-LIF技术对Co原子测定的光谱和校正曲线如图 2 (c）(d)所示。通过与(a)(b)图对可得到，使用LIBS-LIF技术明显增强了Co原子的特征谱线强度，同时定量分析得到的校正曲线的相关系数R^2、交叉验证均方差(RMSECV)和样品中Co元素的检出限(LOD)数值都有很好的改善。 　　 2. LIBS-LIF技术用于土壤监测   土壤监测是LIBS-LIF技术的最传统应用方向之一。土壤成分复杂，蕴含多种微量元素，这些元素必须维持在合理的范围内。若如铬等相关微量元素过低，则会对作物的生长产生影响；而若铅等重金属元素过高，则表明土地受到了污染，种植出的作物可能存在重金属残留的问题。 2.1 早期研究   LIBS-LIF技术用于大气压下的土壤元素检测可以最早追溯到1997年Gornushkin等人使用LIBS技术联合大气紫外线测定石墨、土壤和钢中钴元素的可行性[8]，其紫外线即起到作为LIF光源的作用。   之后，为了评估该技术在现场快速检测分析中的可行性，其使用了可以同时检测分析22种元素的Paschen-Runge光谱仪以发挥LIBS技术可以快速检测多种元素的优势。同时使用染料激光器作为LIF光源，使用LIBS-LIF技术对Cd和TI元素进行了信号选择性增强测量，排除了邻近元素谱线的干扰。但是对于Pb元素还无法检测[9]。 2.2 近期研究现状   华中科技大学GAO等人在2018年对土壤中难以检测的Sb元素使用LIBS-LIF技术进行检验，排除了检验Sb元素时邻近Si元素的干扰，并探讨了使用常规LIBS时在287nm-289nm的波长下不同的ICCD延时长度对信号强度的影响，以及使用LIBS-LIF技术时作为LIF光源的OPO激光器激光能量对Sb元素特征谱线信号强度与信噪比的影响、激光光源脉冲间延时长度对Sb元素特征谱线信号强度与信噪比的影响，由相关结果得到了最优实验条件[10]，如图 6至图 8所示。 图 6 不同ICCD延迟时间下样品在287.0-289.0 nm波段的光谱 　 图 7 LIBS-LIF和常规LIBS得到的光谱比较 　 图 8 Sb特征谱线的强度和信噪比曲线 (A)Sb特征谱线的强度和信噪比随OPO激光能量的变化关系；(B)Sb特征谱线的强度和信噪比随两个激光器之间脉冲延迟的变化关系 　 　   近期，该实验室研究了利用LIBS-LIF测定土壤中的有效钴含量。该实验着重于研究检测土壤中能被植物吸收的元素，即有效元素，强化研究的实际意义；利用DPTA提取样品，增大检测浓度；使用LIBS-LIF测定有效钴含量，排除了相邻元素的干扰。 　 3. LIBS及LIBS-LIF技术用于水质监测   LIBS及LIBS-LIF技术用于水质检测的原理和流程土壤检测基本一致，但是面临着更多的挑战。在水样的元素定量测定中，水的溅射会干扰到光的传播和收集，从而降低采集的灵敏度；由于水中羟基(OH)的猝灭作用会使得激发的等离子体寿命较短，因此等离子体的辐射强度低，进而影响分析灵敏度[2]。同时，由于部分实验方式造成使用LIBS-LIF技术不太方便，只能使用传统LIBS技术。   因此，在使用LIBS技术进行检验时还需要做相关改进。最常见的就是进行样品的预处理，在样品制备上进行改进。   由文献[11]整理可知，样品的预处理主要可以分为液体直接检测、液固转换检测、液气转换检测三种。 3.1液体直接检测   液体直接检测主要有两种方式：将光聚焦在静态液体测量和将光聚焦在流动的液体测量两种。   最早期使用LIBS技术进行检验的就是直接将光聚焦在静态液体表面测量。但其精确度和灵敏度往往比将光聚焦在流动的液体测量低。Barreda等人比较了在静态、液体喷射态和液体流动态下硅油中的铂元素使用LIBS进行检测，最后液体喷射态和液体流动态下的LOD比静态下降低了7倍[12]。   但上述实验是在有气体保护下进行的结果。总体上看，液体直接检测并不是一个很好的选择。 图 9 液体分析的三种不同实验装置图[12] a液体喷射分析，b静态液体分析，c通道流动液体分析 　 3.2液固转换检测   液固转换法是检测中最常用的方法，其主要可以分为以下几类： 3.2.1吸附法   吸附法是最常用的预处理方式，利用可吸附材料吸收液体中的微量元素。常用的材料有碳平板、离子交换聚合物膜，或者滤纸、竹片等将液体转换为固体，从而进行分析。   2008年，华南理工大学Chen等人以木片作为基底吸附水溶液的方式测定了Cr、Mn、Cu、Cd、Pb五种金属元素在微量浓度下的校正曲线，其检出限比激光聚焦在页面上直接分析高出2-3个数量级[13]。之后2017年，同实验室的Kang等人以木片作为基底吸附水溶液的方式，使用LIBS-LIF技术对水中的痕量铅进行了高灵敏度测量，最后得到的铅元素的LOD为~0.32ppb，超过了传统实验室检测技术ICP-AES的检测方式，为国际领先水平[14]。 3.2.2成膜法   与吸附法相反，成膜法是将水样滴在非吸水性衬底上，如Si+SiO2衬底和多空电纺超细纤维等，然后干燥成膜，从而转化为固体进行分析。 3.2.3微萃取法   微萃取法是利用萃取剂和溶液中的微量元素化学反应来实现富集。其中，分散液液体微萃取(Dispersion liquid-liquid microextraction, DLLME)是一种简单、经济、富集倍数高、萃取效率高的方法，被广泛使用。 3.2.4冷冻法   将液体冷冻成为冰是液固转化的一种直接预处理方式，冰的消融可以防止液体飞溅和摇晃，从而改善液体分析性能。 3.2.5电沉积法   电沉积法是利用电化学反应，将液体中的样品转化为固体样品并进行预浓缩，之后用于检测。该方法可以使得灵敏度大大提高，但是实验设备也变得复杂，预处理工作量也有变大。 3.3液气转换检测   将液体转化为气溶胶可以使得样品更加稳定，从而产生更稳定的检测信号。可以使用超声波雾化器和膜干燥器等产生气溶胶，再进行常规的LIBS-LIF检测。   Aras等人使用超声波雾化器和薄膜干燥器单元产生亚微米级的气溶胶，实现了液气体转换，并在实际水样上测试了该超声雾化-LIBS系统的适用性，相关实验装置如图 10、图 11所示[15]。 图 10 用于金属气溶胶分析的LIBS实验装置图[15] M：532 nm反射镜，L：聚焦准直透镜，W：石英，P：泵浦，BD：光束转储 　 图 11 样品导入部分结构图[15] (A)与薄膜干燥器相连的USN颗粒发生器去溶装置(加热器和冷凝器)；(B)与5个武装聚四氟乙烯等离子电池相连的薄膜干燥器。G：进气口，DU：脱溶装置，W：废料，MD：薄膜干燥机，L：激光束方向，C：样品池，M：反射镜，F.L.：聚焦透镜 　 　 　 4. 总结与展望   本文简要介绍了LIBS和LIBS-LIF的原理，并对LIBS-LIF在环境监测中的土壤监测和水质检测做了简要的介绍和分类。   LIBS-LIF在土壤监测的技术已经逐渐成熟，基本实现了土壤的快速检测，同时也有相关便携式设备的研究正在进行。对于水质监测方面，使用LIBS-LIF检测往往集中在液固转换法的使用上，对于气体和液体直接检测，由于部分实验装置的限制，联用LIF技术往往比较困难，只能使用传统的LIBS技术。   LIBS-LIF技术快速检测、不需要样品预处理或只需要简单处理、可以实现就地检测等优势与传统实验室检测相比有着独到的优势，虽然目前由于技术限制精度还不够高，但是在当前该领域的火热研究趋势下，相信未来该技术必定可以大放异彩，为绿色中国奉献光学领域的智慧。 　 　 　 参考文献 [1] Hu B, Jia X, Hu J, et al.Assessment of Heavy Metal Pollution and Health Risks in the Soil-Plant-Human System in the Yangtze River Delta, China[J].International Journal of Environmental Research and Public Health,2017, 14 (9): 1042. [2] 康娟. 基于激光剥离的物质元素高分辨高灵敏分析的新技术研究[D]. 华南理工大学,2020. [3] 马菲, 周健民, 杜昌文.激光诱导击穿原子光谱在土壤分析中的应用[J].土壤学报: 1-11. [4] Gaudiuso R, Dell'aglio M, De Pascale O, et al.Laser Induced Breakdown Spectroscopy for Elemental Analysis in Environmental, Cultural Heritage and Space Applications: A Review of Methods and Results[J].Sensors,2010, 10 (8): 7434-7468. [5] Zhou R, Liu K, Tang Z, et al.High-sensitivity determination of available cobalt in soil using laser-induced breakdown spectroscopy assisted with laser-induced fluorescence[J].Applied Optics,2021, 60 (29): 9062-9066. [6] Hussain Shah S K, Iqbal J, Ahmad P, et al.Laser induced breakdown spectroscopy methods and applications: A comprehensive review[J].Radiation Physics and Chemistry,2020, 170. [7] V S D, George S D, Kartha V B, et al.Hybrid LIBS-Raman-LIF systems for multi-modal spectroscopic applications: a topical review[J].Applied Spectroscopy Reviews,2020, 56 (6): 1-29. [8] Gornushkin I B, Kim J E, Smith B W, et al.Determination of Cobalt in Soil, Steel, and Graphite Using Excited-State Laser Fluorescence Induced in a Laser Spark[J].Applied Spectroscopy,1997, 51 (7): 1055-1059. [9] Hilbk-Kortenbruck F, Noll R, Wintjens P, et al.Analysis of heavy metals in soils using laser-induced breakdown spectrometry combined with laser-induced fluorescence[J].Spectrochimica Acta Part B-Atomic Spectroscopy,2001, 56 (6): 933-945. [10] Gao P, Yang P, Zhou R, et al.Determination of antimony in soil using laser-induced breakdown spectroscopy assisted with laser-induced fluorescence[J].Appl Opt,2018, 57 (30): 8942-8946. [11] Zhang Y, Zhang T, Li H.Application of laser-induced breakdown spectroscopy (LIBS) in environmental monitoring[J].Spectrochimica Acta Part B: Atomic Spectroscopy,2021, 181: 106218. [12] Barreda F A, Trichard F, Barbier S, et al.Fast quantitative determination of platinum in liquid samples by laser-induced breakdown spectroscopy[J].Anal Bioanal Chem,2012, 403 (9): 2601-10. [13] Chen Z, Li H, Liu M, et al.Fast and sensitive trace metal analysis in aqueous solutions by laser-induced breakdown spectroscopy using wood slice substrates[J].Spectrochimica Acta Part B: Atomic Spectroscopy,2008, 63 (1): 64-68. [14] Kang J, Li R, Wang Y, et al.Ultrasensitive detection of trace amounts of lead in water by LIBS-LIF using a wood-slice substrate as a water absorber[J].Journal of Analytical Atomic Spectrometry,2017, 32 (11): 2292-2299. [15] Aras N, Yeşiller S Ü, Ateş D A, et al.Ultrasonic nebulization-sample introduction system for quantitative analysis of liquid samples by laser-induced breakdown spectroscopy[J].Spectrochimica Acta Part B: Atomic Spectroscopy,2012, 74-75: 87-94. 本篇文章为转载内容。原文链接：https://blog.csdn.net/yyyyang666/article/details/129210164。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...套屏幕图像分享和远程操作软件，底层通信为RFB协议，由剑桥某实验室开发，后1999年并入AT&T，2002年关停实验室与项目，VNC开源发布。 VNC本被设计用在局域网环境，且诞生背景决定其更倾向研究性质，商用级安全的缺失始终是个问题。后续有若干新的实现软件，如TightVNC、RealVNC，在公众认知中，AT&T版本已死，后起之秀一定程度上修正了问题。 目前各种更优秀的远程控制和分享协议取代了VNC的位置，尽管例如苹果仍然系统內建VNC作为远程方式。但在非桌面领域，VNC还有我们想不到的重要性，比如工控领域需要远程屏幕传输的场景，这也是为什么这系列漏洞作者会关注这一块。 漏洞技术概况 Pavel总结到，在阶段漏洞挖掘中共上报11个漏洞。在披露邮件中描述了其中4个的技术细节，均在协议数据包处理代码中，漏洞类型古典，分别是全局缓冲区溢出、堆溢出和空指针解引用。其中缓冲区溢出类型漏洞可方便构造PoC，实现远程任意代码执行的漏洞利用。 漏洞本身原理简单，也并不是关键。以其中一个为例，Pavel在发现时负责任地向LibVNC作者提交了issue，并跟进漏洞修复过程；在第一次修复之后，复核并指出修复代码无效，给出了有效patch。这个过程是常规操作。 漏洞疑点 有意思的是，在漏洞披露邮件中，Pavel重点谈了自己对这系列漏洞的一些周边发现，也是这里提到的原因。其中，关于存在漏洞的代码，作者表述： 我最初认为，这些问题是libvnc开发者自己代码中的错误，但看起来并非如此。其中有一些（如CoRRE数据处理函数中的堆缓冲区溢出），出现在AT&T实验室1999年的代码中，而后被很多软件开发者原样复制（在Github上搜索一下HandleCoRREBPP函数，你就知道），LibVNC和TightVNC也是如此。 为了证实，翻阅了这部分代码，确实在其中数据处理相关代码文件看到了剑桥和AT&T实验室的文件头GPL声明注释，中国菜刀 这证实这些文件是直接从最初剑桥实验室版本VNC移植过来的，且使用方式是 直接代码包含，而非独立库引用方式。在官方开源发布并停止更新后，LibVNC使用的这部分代码基本没有改动——除了少数变量命名方式的统一，以及本次漏洞修复。通过搜索，我找到了2000年发布的相关代码文件，确认这些文件与LibVNC中引入的原始版本一致。 另外，Pavel同时反馈了TightVNC中相同的问题。TightVNC与LibVNC没有继承和直接引用关系，但上述VNC代码同样被TightVNC使用，问题的模式不约而同。Pavel测试发现在Ubuntu最新版本TightVNC套件（1.3.10版本）中同样存在该问题，上报给当前软件所有者GlavSoft公司，但对方声称目前精力放在不受GPL限制的TightVNC 2.x版本开发中，对开源的1.x版本漏洞代码“可能会进行修复”。看起来，这个问题被踢给了各大Linux发行版社区来焦虑了——如果他们愿意接锅。 问题思考 在披露邮件中，Pavel认为，这些代码bug“如此明显，让人无法相信之前没被人发现过……也许是因为某些特殊理由才始终没得到修复”。 事实上，我们都知道目前存在一些对开源基础软件进行安全扫描的大型项目，例如Google的OSS；同时，仍然存活的开源项目也越来越注重自身代码发布前的安全扫描，Fortify、Coverity的扫描也成为很多项目和平台的标配。在这样一些眼睛注视下，为什么还有这样的问题？我认为就这个具体事例来说，可能有如下两个因素： ·上游已死。仍然在被维护的代码，存在版本更迭，也存在外界的持续关注、漏洞报告和修复、开发的迭代，对于负责人的开发者，持续跟进、评估、同步代码的改动是可能的。但是一旦一份代码走完了生命周期，就像一段史实一样会很少再被改动。 ·对第三方上游代码的无条件信任。我们很多人都有过基础组件、中间件的开发经历，不乏有人使用Coverity开启全部规则进行代码扫描、严格修复所有提示的问题甚至编程规范warning；报告往往很长，其中也包括有源码形式包含的第三方代码中的问题。但是，我们一方面倾向于认为这些被广泛使用的代码不应存在问题（不然早就被人挖过了），一方面考虑这些引用的代码往往是组件或库的形式被使用，应该有其上下文才能认定是否确实有可被利用的漏洞条件，现在单独扫描这部分代码一般出来的都是误报。所以这些代码的问题都容易被忽视。 但是透过这个具体例子，再延伸思考相关的实践，这里最根本的问题可以总结为一个模式： 复制粘贴风险。复制粘贴并不简单意味着剽窃，实际是当前软件领域、互联网行业发展的基础模式，但其中有一些没人能尝试解决的问题： ·在传统代码领域，如C代码中，对第三方代码功能的复用依赖，往往通过直接进行库的引入实现，第三方代码独立而完整，也较容易进行整体更新；这是最简单的情况，只需要所有下游使用者保证仅使用官方版本，跟进官方更新即可；但在实践中很难如此贯彻，这是下节讨论的问题。 ·有些第三方发布的代码，模式就是需要被源码形式包含到其他项目中进行统一编译使用（例如腾讯的开源Json解析库RapidJSON，就是纯C++头文件形式）。在开源领域有如GPL等规约对此进行规范，下游开发者遵循协议，引用代码，强制或可选地显式保留其GPL声明，可以进行使用和更改。这样的源码依赖关系，结合规范化的changelog声明代码改动，侧面也是为开发过程中跟进考虑。但是一个成型的产品，比如企业自有的服务端底层产品、中间件，新版本的发版更新是复杂的过程，开发者在旧版本仍然“功能正常”的情况下往往倾向于不跟进新版本；而上游代码如果进行安全漏洞修复，通常也都只在其最新版本代码中改动，安全修复与功能迭代并存，如果没有类似Linux发行版社区的努力，旧版本代码完全没有干净的安全更新patch可用。 ·在特定场景下，有些开发实践可能不严格遵循开源代码协议限定，引入了GPL等协议保护的代码而不做声明（以规避相关责任），丢失了引入和版本的信息跟踪；在另一些场景下，可能存在对开源代码进行大刀阔斧的修改、剪裁、定制，以符合自身业务的极端需求，但是过多的修改、人员的迭代造成与官方代码严重的失同步，丧失可维护性。 ·更一般的情况是，在开发中，开发者个体往往心照不宣的存在对网上代码文件、代码片段的复制-粘贴操作。被参考的代码，可能有上述的开源代码，也可能有各种Github作者练手项目、技术博客分享的代码片段、正式开源项目仅用来说明用法的不完备示例代码。这些代码的引入完全无迹可寻，即便是作者自己也很难解释用了什么。这种情况下，上面两条认定的那些与官方安全更新失同步的问题同样存在，且引入了独特的风险：被借鉴的代码可能只是原作者随手写的、仅仅是功能成立的片段，甚至可能是恶意作者随意散布的有安全问题的代码。由此，问题进入了最大的发散空间。 在Synopsys下BLACKDUCK软件之前发布的《2018 Open Source Security and Risk Analysis Report》中分析，96%的应用中包含有开源组件和代码，开源代码在应用全部代码中的占比约为57%，78%的应用中在引用的三方开源代码中存在历史漏洞。也就是说，现在互联网上所有厂商开发的软件、应用，其开发人员自己写的代码都是一少部分，多数都是借鉴来的。而这还只是可统计、可追溯的；至于上面提到的非规范的代码引用，如果也纳入进来考虑，三方代码占应用中的比例会上升到多少？曾经有分析认为至少占80%，我们只期望不会更高。 Ⅱ. 从碎片到乱刃：OpenSSH在野后门一览 在进行基础软件梳理时，回忆到反病毒安全软件提供商ESET在2018年十月发布的一份白皮书《THE DARK SIDE OF THE FORSSHE: A landscape of OpenSSH backdoors》。其站在一个具有广泛用户基础的软件提供商角度，给出了一份分析报告，数据和结论超出我们对于当前基础软件使用全景的估量。以下以我的角度对其中一方面进行解读。 一些必要背景 SSH的作用和重要性无需赘言；虽然我们站在传统互联网公司角度，可以认为SSH是通往生产服务器的生命通道，但当前多样化的产业环境已经不止于此（如之前libssh事件中，不幸被我言中的，SSH在网络设备、IoT设备上（如f5）的广泛使用）。 OpenSSH是目前绝大多数SSH服务端的基础软件，有完备的开发团队、发布规范、维护机制，本身是靠谱的。如同绝大多数基础软件开源项目的做法，OpenSSH对漏洞有及时的响应，针对最新版本代码发出安全补丁，但是各大Linux发行版使用的有各种版本的OpenSSH，这些社区自行负责将官方开发者的安全补丁移植到自己系统搭载的低版本代码上。天空彩 白皮书披露的现状 如果你是一个企业的运维管理人员，需要向企业生产服务器安装OpenSSH或者其它基础软件，最简单的方式当然是使用系统的软件管理安装即可。但是有时候，出于迁移成本考虑，可能企业需要在一个旧版本系统上，使用较新版本的OpenSSL、OpenSSH等基础软件，这些系统不提供，需要自行安装；或者需要一个某有种特殊特性的定制版本。这时，可能会选择从某些rpm包集中站下载某些不具名第三方提供的现成的安装包，或者下载非官方的定制化源码本地编译后安装，总之从这里引入了不确定性。 这种不确定性有多大？我们粗估一下，似乎不应成为问题。但这份白皮书给我们看到了鲜活的数据。 ESET研究人员从OpenSSH的一次历史大规模Linux服务端恶意软件Windigo中获得启示，采用某种巧妙的方式，面向在野的服务器进行数据采集，主要是系统与版本、安装的OpenSSH版本信息以及服务端程序文件的一个特殊签名。整理一个签名白名单，包含有所有能搜索到的官方发布二进制版本、各大Linux发行版本各个版本所带的程序文件版本，将这些标定为正常样本进行去除。最终结论是： ·共发现了几百个非白名单版本的OpenSSH服务端程序文件ssh和sshd； ·分析这些样本，将代码部分完全相同，仅仅是数据和配置不同的合并为一类，且分析判定确认有恶意代码的，共归纳为 21个各异的恶意OpenSSH家族； ·在21个恶意家族中，有12个家族在10月份时完全没有被公开发现分析过；而剩余的有一部分使用了历史上披露的恶意代码样本，甚至有源代码； ·所有恶意样本的实现，从实现复杂度、代码混淆和自我保护程度到代码特征有很大跨度的不同，但整体看，目的以偷取用户凭证等敏感信息、回连外传到攻击者为主，其中有的攻击者回连地址已经存在并活跃数年之久； ·这些后门的操控者，既有传统恶意软件黑产人员，也有APT组织； ·所有恶意软件或多或少都在被害主机上有未抹除的痕迹。ESET研究者尝试使用蜜罐引诱出攻击者，但仍有许多未解之谜。这场对抗，仍未取胜。 白皮书用了大篇幅做技术分析报告，此处供细节分析，不展开分析，以下为根据恶意程序复杂度描绘的21个家族图谱： 问题思考 问题引入的可能渠道，我在开头进行了一点推测，主要是由人的原因切入的，除此以外，最可能的是恶意攻击者在利用各种方法入侵目标主机后，主动替换了目标OpenSSH为恶意版本，从而达成攻击持久化操作。但是这些都是止血的安全运维人员该考虑的事情；关键问题是，透过表象，这显露了什么威胁形式？ 这个问题很好回答，之前也曾经反复说过：基础软件碎片化。 如上一章节简单提到，在开发过程中有各种可能的渠道引入开发者不完全了解和信任的代码；在运维过程中也是如此。二者互相作用，造成了软件碎片化的庞杂现状。在企业内部，同一份基础软件库，可能不同的业务线各自定制一份，放到企业私有软件仓库源中，有些会有人持续更新供自己产品使用，有些由系统软件基础设施维护人员单独维护，有些则可能是开发人员临时想起来上传的，他们自己都不记得；后续用到的这个基础软件的开发和团队，在这个源上搜索到已有的库，很大概率会倾向于直接使用，不管来源、是否有质量背书等。长此以往问题会持续发酵。而我们开最坏的脑洞，是否可能有黑产人员入职到内部，提交个恶意基础库之后就走人的可能？现行企业安全开发流程中审核机制的普遍缺失给这留下了空位。 将源码来源碎片化与二进制使用碎片化并起来考虑，我们不难看到一个远远超过OpenSSH事件威胁程度的图景。但这个问题不是仅仅靠开发阶段规约、运维阶段规范、企业内部管控、行业自查、政府监管就可以根除的，最大的问题归根结底两句话： 不可能用一场战役对抗持续威胁；不可能用有限分析对抗无限未知。 Ⅲ. 从自信到自省：RHEL、CentOS backport版本BIND漏洞 2018年12月20日凌晨，在备战冬至的软件供应链安全大赛决赛时，我注意到漏洞预警平台捕获的一封邮件。但这不是一个漏洞初始披露邮件，而是对一个稍早已披露的BIND在RedHat、CentOS发行版上特定版本的1day漏洞CVE-2018-5742，由BIND的官方开发者进行额外信息澄(shuǎi)清(guō)的邮件。 一些必要背景 关于BIND 互联网的一个古老而基础的设施是DNS，这个概念在读者不应陌生。而BIND“是现今互联网上最常使用的DNS软件，使用BIND作为服务器软件的DNS服务器约占所有DNS服务器的九成。BIND现在由互联网系统协会负责开发与维护参考。”所以BIND的基础地位即是如此，因此也一向被大量白帽黑帽反复测试、挖掘漏洞，其开发者大概也一直处在紧绷着应对的处境。 关于ISC和RedHat 说到开发者，上面提到BIND的官方开发者是互联网系统协会（ISC）。ISC是一个老牌非营利组织，目前主要就是BIND和DHCP基础设施的维护者。而BIND本身如同大多数历史悠久的互联网基础开源软件，是4个UCB在校生在DARPA资助下于1984年的实验室产物，直到2012年由ISC接管。 那么RedHat在此中是什么角色呢？这又要提到我之前提到的Linux发行版和自带软件维护策略。Red Hat Enterprise Linux（RHEL）及其社区版CentOS秉持着稳健的软件策略，每个大的发行版本的软件仓库，都只选用最必要且质量久经时间考验的软件版本，哪怕那些版本实在是老掉牙。这不是一种过分的保守，事实证明这种策略往往给RedHat用户在最新漏洞面前提供了保障——代码总是跑得越少，潜在漏洞越多。 但是这有两个关键问题。一方面，如果开源基础软件被发现一例有历史沿革的代码漏洞，那么官方开发者基本都只为其最新代码负责，在当前代码上推出修复补丁。另一方面，互联网基础设施虽然不像其上的应用那样爆发性迭代，但依然持续有一些新特性涌现，其中一些是必不可少的，但同样只在最新代码中提供。两个刚需推动下，各Linux发行版对长期支持版本系统的软件都采用一致的策略，即保持其基础软件在一个固定的版本，但对于这些版本软件的最新漏洞、必要的最新软件特性，由发行版维护者将官方开发者最新代码改动“向后移植”到旧版本代码中，即backport。这就是基础软件的“官宣”碎片化的源头。 讲道理，Linux发行版维护者与社区具有比较靠谱的开发能力和监督机制，backport又基本就是一些复制粘贴工作，应当是很稳当的……但真是如此吗？ CVE-2018-5742漏洞概况 CVE-2018-5742是一个简单的缓冲区溢出类型漏洞，官方评定其漏洞等级moderate，认为危害不大，漏洞修复不积极，披露信息不多，也没有积极给出代码修复patch和新版本rpm包。因为该漏洞仅在设置DEBUG_LEVEL为10以上才会触发，由远程攻击者构造畸形请求造成BIND服务崩溃，在正常的生产环境几乎不可能具有危害，RedHat官方也只是给出了用户自查建议。 这个漏洞只出现在RHEL和CentOS版本7中搭载的BIND 9.9.4-65及之后版本。RedHat同ISC的声明中都证实，这个漏洞的引入原因，是RedHat在尝试将BIND 9.11版本2016年新增的NTA机制向后移植到RedHat 7系中固定搭载的BIND 9.9版本代码时，偶然的代码错误。NTA是DNS安全扩展（DNSSEC）中，用于在特定域关闭DNSSEC校验以避免不必要的校验失败的机制；但这个漏洞不需要对NTA本身有进一步了解。 漏洞具体分析 官方没有给出具体分析，但根据CentOS社区里先前有用户反馈的bug，我得以很容易还原漏洞链路并定位到根本原因。 若干用户共同反馈，其使用的BIND 9.9.4-RedHat-9.9.4-72.el7发生崩溃（coredump），并给出如下的崩溃时调用栈backtrace： 这个调用过程的逻辑为，在9 dns_message_logfmtpacket函数判断当前软件设置是否DEBUG_LEVEL大于10，若是，对用户请求数据包做日志记录，先后调用8 dns_message_totext、7 dns_message_sectiontotext、6 dns_master_rdatasettotext、5 rdataset_totext将请求进行按协议分解分段后写出。 由以上关键调用环节，联动RedHat在9.9.4版本BIND源码包中关于引入NTA特性的源码patch，进行代码分析，很快定位到问题产生的位置，在上述backtrace中的5，masterdump.c文件rdataset_totext函数。漏洞相关代码片段中，RedHat进行backport后，这里引入的代码为： 这里判断对于请求中的注释类型数据，直接通过isc_buffer_putstr宏对缓存进行操作，在BIND工程中自定义维护的缓冲区结构对象target上，附加一字节字符串（一个分号）。而漏洞就是由此产生：isc_buffer_putstr中不做缓冲区边界检查保证，这里在缓冲区已满情况下将造成off-by-one溢出，并触发了缓冲区实现代码中的assertion。 而ISC上游官方版本的代码在这里是怎么写的呢？找到ISC版本BIND 9.11代码，这里是这样的： 这里可以看到，官方代码在做同样的“附加一个分号”这个操作时，审慎的使用了做缓冲区剩余空间校验的str_totext函数，并额外做返回值成功校验。而上述提到的str_totext函数与RETERR宏，在移植版本的masterdump.c中，RedHat开发者也都做了保留。但是，查看代码上下文发现，在RedHat开发者进行代码移植过程中，对官方代码进行了功能上的若干剪裁，包括一些细分数据类型记录的支持；而这里对缓冲区写入一字节，也许开发者完全没想到溢出的可能，所以自作主张地简化了代码调用过程。 问题思考 这个漏洞本身几乎没什么危害，但是背后足以引起思考。 没有人在“借”别人代码时能不出错 不同于之前章节提到的那种场景——将代码文件或片段复制到自己类似的代码上下文借用——backport作为一种官方且成熟的做法，借用的代码来源、粘贴到的代码上下文，是具有同源属性的，而且开发者一般是追求稳定性优先的社区开发人员，似乎质量应该有足够保障。但是这里的关键问题是：代码总要有一手、充分的语义理解，才能有可信的使用保障；因此，只要是处理他人的代码，因为不够理解而错误使用的风险，只可能减小，没办法消除。 如上分析，本次漏洞的产生看似只是做代码移植的开发者“自作主张”之下“改错了”。但是更广泛且可能的情况是，原始开发者在版本迭代中引入或更新大量基础数据结构、API的定义，并用在新的特性实现代码中；而后向移植开发人员仅需要最小规模的功能代码，所以会对增量代码进行一定规模的修改、剪裁、还原，以此适应旧版本基本代码。这些过程同样伴随着第三方开发人员不可避免的“望文生义”，以及随之而来的风险。后向移植操作也同样助长了软件碎片化过程，其中每一个碎片都存在这样的问题；每一个碎片在自身生命周期也将有持续性影响。 多级复制粘贴无异于雪上加霜 这里简单探讨的是企业通行的系统和基础软件建设实践。一些国内外厂商和社区发布的定制化Linux发行版，本身是有其它发行版，如CentOS特定版本渊源的，在基础软件上即便同其上游发行版最新版本间也存在断层滞后。RedHat相对于基础软件开发者之间已经隔了一层backport，而我们则人为制造了二级风险。 在很多基础而关键的软件上，企业系统基础设施的维护者出于与RedHat类似的初衷，往往会决定自行backport一份拷贝；通过早年心脏滴血事件的洗礼，即暴露出来OpenSSL一个例子。无论是需要RHEL还没来得及移植的新版本功能特性，还是出于对特殊使用上下文场景中更高执行效率的追求，企业都可能自行对RHEL上基础软件源码包进行修改定制重打包。这个过程除了将风险幂次放大外，也进一步加深了代码的不可解释性（包括基础软件开发人员流动性带来的不可解释）。 Ⅳ. 从武功到死穴：从systemd-journald信息泄露一窥API误用 1月10日凌晨两点，漏洞预警平台爬收取一封漏洞披露邮件。披露者是Qualys，那就铁定是重型发布了。最后看披露漏洞的目标，systemd？这就非常有意思了。 一些必要背景 systemd是什么，不好简单回答。Linux上面软件命名，习惯以某软件名后带个‘d’表示后台守护管理程序；所以systemd就可以说是整个系统的看守吧。而即便现在描述了systemd是什么，可能也很快会落伍，因为其初始及核心开发者Lennart Poettering（供职于Red Hat）描述它是“永无开发完结完整、始终跟进技术进展的、统一所有发行版无止境的差异”的一种底层软件。笼统讲有三个作用：中央化系统及设置管理；其它软件开发的基础框架；应用程序和系统内核之间的胶水。如今几乎所有Linux发行版已经默认提供systemd，包括RHEL/CentOS 7及后续版本。总之很基础、很底层、很重要就对了。systemd本体是个主要实现init系统的框架，但还有若干关键组件完成其它工作；这次被爆漏洞的是其journald组件，是负责系统事件日志记录的看守程序。 额外地还想简单提一句Qualys这个公司。该公司创立于1999年，官方介绍为信息安全与云安全解决方案企业，to B的安全业务非常全面，有些也是国内企业很少有布局的方面；例如上面提到的涉及碎片化和代码移植过程的历史漏洞移动，也在其漏洞管理解决方案中有所体现。但是我们对这家公司粗浅的了解来源于其安全研究团队近几年的发声，这两年间发布过的，包括有『stack clash』、『sudo get_tty_name提权』、『OpenSSH信息泄露与堆溢出』、『GHOST：glibc gethostbyname缓冲区溢出』等大新闻（仅截至2017年年中）。从中可见，这个研究团队专门啃硬骨头，而且还总能开拓出来新的啃食方式，往往爆出来一些别人没想到的新漏洞类型。从这个角度，再联想之前刷爆朋友圈的《安全研究者的自我修养》所倡导的“通过看历史漏洞、看别人的最新成果去举一反三”的理念，可见差距。 CVE-2018-16866漏洞详情 这次漏洞披露，打包了三个漏洞： ·16864和16865是内存破坏类型 ·16866是信息泄露 ·而16865和16866两个漏洞组和利用可以拿到root shell。 漏洞分析已经在披露中写的很详细了，这里不复述；而针对16866的漏洞成因来龙去脉，Qualys跟踪的结果留下了一点想象和反思空间，我们来看一下。 漏洞相关代码片段是这样的（漏洞修复前）： 读者可以先肉眼过一遍这段代码有什么问题。实际上我一开始也没看出来，向下读才恍然大悟。 这段代码中，外部信息输入通过buf传入做记录处理。输入数据一般包含有空白字符间隔，需要分隔开逐个记录，有效的分隔符包括空格、制表符、回车、换行，代码中将其写入常量字符串；在逐字符扫描输入数据字符串时，将当前字符使用strchr在上述间隔符字符串中检索是否匹配，以此判断是否为间隔符；在240行，通过这样的判断，跳过记录单元字符串的头部连续空白字符。 但是问题在于，strchr这个极其基础的字符串处理函数，对于C字符串终止字符'\0'的处理上有个坑：'\0'也被认为是被检索字符串当中的一个有效字符。所以在240行，当当前扫描到的字符为字符串末尾的NULL时，strchr返回的是WHITESPACE常量字符串的终止位置而非NULL，这导致了越界。 看起来，这是一个典型的问题：API误用（API mis-use），只不过这个被误用的库函数有点太基础，让我忍不住想是不是还会有大量的类似漏洞……当然也反思我自己写的代码是不是也有同样情况，然而略一思考就释然了——我那么笨的代码都用for循环加if判断了:) 漏洞引入和消除历史 有意思的是，Qualys研究人员很贴心地替我做了一步漏洞成因溯源，这才是单独提这个漏洞的原因。漏洞的引入是在2015年的一个commit中： 在GitHub中，定位到上述2015年的commit信息，这里commit的备注信息为： journald: do not strip leading whitespace from messages. Keep leading whitespace for compatibility with older syslog implementations. Also useful when piping formatted output to the logger command. Keep removing trailing whitespace. OK，看起来是一个兼容性调整，对记录信息不再跳过开头所有连续空白字符，只不过用strchr的简洁写法比较突出开发者精炼的开发风格（并不），说得过去。 之后在2018年八月的一个当时尚未推正式版的另一次commit中被修复了，先是还原成了ec5ff4那次commit之前的写法，然后改成了加校验的方式： 虽然Qualys研究者认为上述的修改是“无心插柳”的改动，但是在GitHub可以看到，a6aadf这次commit是因为有外部用户反馈了输入数据为单个冒号情况下journald堆溢出崩溃的issue，才由开发者有目的性地修复的；而之后在859510这个commit再次改动回来，理由是待记录的消息都是使用单个空格作为间隔符的，而上一个commit粗暴地去掉了这种协议兼容性特性。 如果没有以上纠结的修改和改回历史，也许我会倾向于怀疑，在最开始漏洞引入的那个commit，既然改动代码没有新增功能特性、没有解决什么问题（毕竟其后三年，这个改动的代码也没有被反映issue），也并非出于代码规范等考虑，那么这么轻描淡写的一次提交，难免有人为蓄意引入漏洞的嫌疑。当然，看到几次修复的原因，这种可能性就不大了，虽然大家仍可以保留意见。但是抛开是否人为这个因素，单纯从代码的漏洞成因看，一个传统但躲不开的问题仍值得探讨：API误用。 API误用：程序员何苦为难程序员 如果之前的章节给读者留下了我反对代码模块化和复用的印象，那么这里需要正名一下，我们认可这是当下开发实践不可避免的趋势，也增进了社会开发速度。而API的设计决定了写代码和用代码的双方“舒适度”的问题，由此而来的API误用问题，也是一直被当做单纯的软件工程课题讨论。在此方面个人并没有什么研究，自然也没办法系统地给出分类和学术方案，只是谈一下自己的经验和想法。 一篇比较新的学术文章总结了API误用的研究，其中一个独立章节专门分析Java密码学组件API误用的实际，当中引述之前论文认为，密码学API是非常容易被误用的，比如对期望输入数据（数据类型，数据来源，编码形式）要求的混淆，API的必需调用次序和依赖缺失（比如缺少或冗余多次调用了初始化函数、主动资源回收函数）等。凑巧在此方面我有一点体会：曾经因为业务方需要，需要使用C++对一个Java的密码基础中间件做移植。Java对密码学组件支持，有原生的JDK模块和权威的BouncyCastle包可用；而C/C++只能使用第三方库，考虑到系统平台最大兼容和最小代码量，使用Linux平台默认自带的OpenSSL的密码套件。但在开发过程中感受到了OpenSSL满满的恶意：其中的API设计不可谓不反人类，很多参数没有明确的说明（比如同样是表示长度的函数参数，可能在不同地方分别以字节/比特/分组数为计数单位）；函数的线程安全没有任何解释标注，需要自行试验；不清楚函数执行之后，是其自行做了资源释放还是需要有另外API做gc，不知道资源释放操作时是否规规矩矩地先擦除后释放……此类问题不一而足，导致经过了漫长的测试之后，这份中间件才提供出来供使用。而在业务场景中，还会存在比如其它语言调用的情形，这些又暴露出来OpenSSL API误用的一些完全无从参考的问题。这一切都成为了噩梦；当然这无法为我自己开解是个不称职开发的指责，但仅就OpenSSL而言其API设计之恶劣也是始终被人诟病的问题，也是之后其他替代者宣称改进的地方。 当然，问题是上下游都脱不了干系的。我们自己作为高速迭代中的开发人员，对于二方、三方提供的中间件、API，又有多少人能自信地说自己仔细、认真地阅读过开发指南和API、规范说明呢？做过通用产品技术运营的朋友可能很容易理解，自己产品的直接用户日常抛出不看文档的愚蠢问题带来的困扰。对于密码学套件，这个问题还好办一些，毕竟如果在没有背景知识的情况下对API望文生义地一通调用，绝大多数情况下都会以抛异常形式告终；但还是有很多情况，API误用埋下的是长期隐患。 不是所有API误用情形最终都有机会发展成为可利用的安全漏洞，但作为一个由人的因素引入的风险，这将长期存在并困扰软件供应链（虽然对安全研究者、黑客与白帽子是很欣慰的事情）。可惜，传统的白盒代码扫描能力，基于对代码语义的理解和构建，但是涉及到API则需要预先的抽象，这一点目前似乎仍然是需要人工干预的事情；或者轻量级一点的方案，可以case by case地分析，为所有可能被误用的API建模并单独扫描，这自然也有很强局限性。在一个很底层可信的开发者还对C标准库API存在误用的现实内，我们需要更多的思考才能说接下来的解法。 Ⅴ. 从规则到陷阱：NASA JIRA误配置致信息泄露血案 软件的定义包括了代码组成的程序，以及相关的配置、文档等。当我们说软件的漏洞、风险时，往往只聚焦在其中的代码中；关于软件供应链安全风险，我们的比赛、前面分析的例子也都聚焦在了代码的问题；但是真正的威胁都来源于不可思议之处，那么代码之外有没有可能存在来源于上游的威胁呢？这里就借助实例来探讨一下，在“配置”当中可能栽倒的坑。 引子：发不到500英里以外的邮件？ 让我们先从一个轻松愉快的小例子引入。这个例子初见于Linux中国的一篇译文。 简单说，作者描述了这么一个让人啼笑皆非的问题：单位的邮件服务器发送邮件，发送目标距离本地500英里范围之外的一律失败，邮件就像悠悠球一样只能飞出一定距离。这个问题本身让描述者感到尴尬，就像一个技术人员被老板问到“为什么从家里笔记本上Ctrl-C后不能在公司台式机上Ctrl-V”一样。 经过令人窒息的分析操作后，笔者定位到了问题原因：笔者作为负责的系统管理员，把SunOS默认安装的Senmail从老旧的版本5升级到了成熟的版本8，且对应于新版本诸多的新特性进行了对应配置，写入配置文件sendmail.cf；但第三方服务顾问在对单位系统进行打补丁升级维护时，将系统软件“升级”到了系统提供的最新版本，因此将Sendmail实际回退到了版本5，却为了软件行为一致性，原样保留了高版本使用的配置文件。但Sendmail并没有在大版本间保证配置文件兼容性，这导致很多版本5所需的配置项不存在于保留下来的sendmail.cf文件中，程序按默认值0处理；最终引起问题的就是，邮件服务器与接收端通信的超时时间配置项，当取默认配置值0时，邮件服务器在1个单位时间（约3毫秒）内没有收到网络回包即认为超时，而这3毫秒仅够电信号打来回飞出500英里。 这个“故事”可能会给技术人员一点警醒，错误的配置会导致预期之外的软件行为，但是配置如何会引入软件供应链方向的安全风险呢？这就引出了下一个重磅实例。 JIRA配置错误致NASA敏感信息泄露案例 我们都听过一个事情，马云在带队考察美国公司期间问Google CEO Larry Page自视谁为竞争对手，Larry的回答是NASA，因为最优秀的工程师都被NASA的梦想吸引过去了。由此我们显然能窥见NASA的技术水位之高，这样的人才团队大概至少是不会犯什么低级错误的。 但也许需要重新定义“低级错误”……1月11日一篇技术文章披露，NASA某官网部署使用的缺陷跟踪管理系统JIRA存在错误的配置，可分别泄漏内部员工（JIRA系统用户）的全部用户名和邮件地址，以及内部项目和团队名称到公众，如下： 问题的原因解释起来也非常简单：JIRA系统的过滤器和配置面板中，对于数据可见性的配置选项分别选定为All users和Everyone时，系统管理人员想当然地认为这意味着将数据对所有“系统用户”开放查看，但是JIRA的这两个选项的真实效果逆天，是面向“任意人”开放，即不限于系统登录用户，而是任何查看页面的人员。看到这里，我不厚道地笑了……“All users”并不意味着“All ‘users’”，意不意外，惊不惊喜？ 但是这种字面上把戏，为什么没有引起NASA工程师的注意呢，难道这样逆天的配置项没有在产品手册文档中加粗标红提示吗？本着为JIRA产品设计找回尊严的态度，我深入挖掘了一下官方说明，果然在Atlassian官方的一份confluence文档（看起来更像是一份增补的FAQ）中找到了相关说明： 所有未登录访客访问时，系统默认认定他们是匿名anonymous用户，所以各种权限配置中的all users或anyone显然应该将匿名用户包括在内。在7.2及之后版本中，则提供了“所有登录用户”的选项。 可以说是非常严谨且贴心了。比较讽刺的是，在我们的软件供应链安全大赛·C源代码赛季期间，我们设计圈定的恶意代码攻击目标还包括JIRA相关的敏感信息的窃取，但是却想不到有这么简单方便的方式，不动一行代码就可以从JIRA中偷走数据。 软件的使用，你“配”吗？ 无论是开放的代码还是成型的产品，我们在使用外部软件的时候，都是处于软件供应链下游的消费者角色，为了要充分理解上游开发和产品的真实细节意图，需要我们付出多大的努力才够“资格”？ 上一章节我们讨论过源码使用中必要细节信息缺失造成的“API误用”问题，而软件配置上的“误用”问题则复杂多样得多。从可控程度上讨论，至少有这几种因素定义了这个问题： ·软件用户对必要配置的现有文档缺少了解。这是最简单的场景，但又是完全不可避免的，这一点上我们所有有开发、产品或运营角色经验的应该都曾经体会过向不管不顾用户答疑的痛苦，而所有软件使用者也可以反省一下对所有软件的使用是否都以完整细致的文档阅读作为上手的准备工作，所以不必多说。 ·软件拥有者对配置条目缺少必要明确说明文档。就JIRA的例子而言，将NASA工程师归为上一条错误有些冤枉，而将JIRA归为这条更加合适。在边角但重要问题上的说明通过社区而非官方文档形式发布是一种不负责任的做法，但未引发安全事件的情况下还有多少这样的问题被默默隐藏呢？我们没办法要求在使用软件之前所有用户将软件相关所有文档、社区问答实现全部覆盖。这个问题范围内一个代表性例子是对配置项的默认值以及对应效果的说明缺失。 ·配置文件版本兼容性带来的误配置和安全问题。实际上，上面的SunOS Sendmail案例足以点出这个问题的存在性，但是在真实场景下，很可能不会以这么戏剧性形式出现。在企业的系统运维中，系统的版本迭代常见，但为软件行为一致性，配置的跨版本迁移是不可避免的操作；而且软件的更新迭代也不只会由系统更新推动，还有大量出于业务性能要求而主动进行的定制化升级，对于中小企业基础设施建设似乎是一个没怎么被提及过的问题。 ·配置项组合冲突问题。尽管对于单个配置项可能明确行为与影响，但是特定的配置项搭配可能造成不可预知的效果。这完全有可能是由于开发者与用户在信息不对等的情况下产生：开发者认为用户应该具有必需的背景知识，做了用户应当具备规避配置冲突能力的假设。一个例子是，对称密码算法在使用ECB、CBC分组工作模式时，从密码算法上要求输入数据长度必须是分组大小的整倍数，但如果用户搭配配置了秘钥对数据不做补齐（nopadding），则引入了非确定性行为：如果密码算法库对这种组合配置按某种默认补齐方式操作数据则会引起歧义，但如果在算法库代码层面对这种组合抛出错误则直接影响业务。 ·程序对配置项处理过程的潜在暗箱操作。这区别于简单的未文档化配置项行为，仅特指可能存在的蓄意、恶意行为。从某种意义上，上述“All users”也可以认为是这样的一种陷阱，通过浅层次暗示，引导用户做出错误且可能引起问题的配置。另一种情况是特定配置组合情况下触发恶意代码的行为，这种触发条件将使恶意代码具有规避检测的能力，且在用户基数上具有一定概率的用户命中率。当然这种情况由官方开发者直接引入的可能性很低，但是在众包开发的情况下如果存在，那么扫描方案是很难检测的。 Ⅵ. 从逆流到暗流：恶意代码溯源后的挑战 如果说前面所说的种种威胁都是面向关键目标和核心系统应该思考的问题，那么最后要抛出一个会把所有人拉进赛场的理由。除了前面所有那些在软件供应链下游被动污染受害的情况，还有一种情形：你有迹可循的代码，也许在不经意间会“反哺”到黑色产业链甚至特殊武器中；而现在研究用于对程序进行分析和溯源的技术，则会让你陷入百口莫辩的境地。 案例：黑产代码模块溯源疑云 1月29日，猎豹安全团队发布技术分析通报文章《电信、百度客户端源码疑遭泄漏，驱魔家族窃取隐私再起波澜》，矛头直指黑产上游的恶意信息窃取代码模块，认定其代码与两方产品存在微妙的关联：中国电信旗下“桌面3D动态天气”等多款软件，以及百度旗下“百度杀毒”等软件（已不可访问）。 文章中举证有三个关键点。 首先最直观的，是三者使用了相同的特征字符串、私有文件路径、自定义内部数据字段格式； 其次，在关键代码位置，三者在二进制程序汇编代码层面具有高度相似性； 最终，在一定范围的非通用程序逻辑上，三者在经过反汇编后的代码语义上显示出明显的雷同，并提供了如下两图佐证（图片来源）： 文章指出的涉事相关软件已经下线，对于上述样本文件的相似度试验暂不做复现，且无法求证存在相似、疑似同源的代码在三者中占比数据。对于上述指出的代码雷同现象，猎豹安全团队认为： 我们怀疑该病毒模块的作者通过某种渠道(比如“曾经就职”)，掌握有中国电信旗下部分客户端/服务端源码，并加以改造用于制作窃取用户隐私的病毒，另外在该病毒模块的代码中，我们还发现“百度”旗下部分客户端的基础调试日志函数库代码痕迹，整个“驱魔”病毒家族疑点重重，其制作传播背景愈发扑朔迷离。 这样的推断，固然有过于直接的依据（例如三款代码中均使用含有“baidu”字样的特征注册表项）；但更进一步地，需要注意到，三个样本在所指出的代码位置，具有直观可见的二进制汇编代码结构的相同，考虑到如果仅仅是恶意代码开发者先逆向另外两份代码后借鉴了代码逻辑，那么在面临反编译、代码上下文适配重构、跨编译器和选项的编译结果差异等诸多不确定环节，仍能保持二进制代码的雷同，似乎确实是只有从根本上的源代码泄漏（抄袭）且保持相同的开发编译环境才能成立。 但是我们却又无法做出更明确的推断。这一方面当然是出于严谨避免过度解读；而从另一方面考虑，黑产代码的一个关键出发点就是“隐藏自己”，而这里居然如此堂而皇之地照搬了代码，不但没有进行任何代码混淆、变形，甚至没有抹除疑似来源的关键字符串，如果将黑产视为智商在线的对手，那这里背后是否有其它考量，就值得琢磨了。 代码的比对、分析、溯源技术水准 上文中的安全团队基于大量样本和粗粒度比对方法，给出了一个初步的判断和疑点。那么是否有可能获得更确凿的分析结果，来证实或证伪同源猜想呢？ 无论是源代码还是二进制，代码比对技术作为一种基础手段，在软件供应链安全分析上都注定仍然有效。在我们的软件供应链安全大赛期间，针对PE二进制程序类型的题目，参赛队伍就纷纷采用了相关技术手段用于目标分析，包括：同源性分析，用于判定与目标软件相似度最高的同软件官方版本；细粒度的差异分析，用于尝试在忽略编译差异和特意引入的混淆之外，定位特意引入的恶意代码位置。当然，作为比赛中针对性的应对方案，受目标和环境引导约束，这些方法证明了可行性，却难以保证集成有最新技术方案。那么做一下预言，在不计入情报辅助条件下，下一代的代码比对将能够到达什么水准？ 这里结合近一年和今年内，已发表和未发表的学术领域顶级会议的相关文章来简单展望： ·针对海量甚至全量已知源码，将可以实现准确精细化的“作者归属”判定。在ACM CCS‘18会议上曾发表的一篇文章《Large-Scale and Language-Oblivious Code Authorship Identification》，描述了使用RNN进行大规模代码识别的方案，在圈定目标开发者，并预先提供每个开发者的5-7份已知的代码文件后，该技术方案可以很有效地识别大规模匿名代码仓库中隶属于每个开发者的代码：针对1600个Google Code Jam开发者8年间的所有代码可以实现96%的成功识别率，而针对745个C代码开发者于1987年之后在GitHub上面的全部公开代码仓库，识别率也高达94.38%。这样的结果在当下的场景中，已经足以实现对特定人的代码识别和跟踪（例如，考虑到特定开发人员可能由于编码习惯和规范意识，在时间和项目跨度上犯同样的错误）；可以预见，在该技术方向上，完全可以期望摆脱特定已知目标人的现有数据集学习的过程，并实现更细粒度的归属分析，例如代码段、代码行、提交历史。 ·针对二进制代码，更准确、更大规模、更快速的代码主程序分析和同源性匹配。近年来作为一项程序分析基础技术研究，二进制代码相似性分析又重新获得了学术界和工业界的关注。在2018年和2019（已录用）的安全领域四大顶级会议上，每次都会有该方向最新成果的展示，如S&P‘2019上录用的《Asm2Vec: Boosting Static Representation Robustness for Binary Clone Search against Code Obfuscation and Compiler Optimization》，实现无先验知识的条件下的最优汇编代码级别克隆检测，针对漏洞库的漏洞代码检测可实现0误报、100%召回。而2018年北京HITB会议上，Google Project Zero成员、二进制比对工具BinDiff原始作者Thomas Dullien，探讨了他借用改造Google自家SimHash算法思想，用于针对二进制代码控制流图做相似性检测的尝试和阶段结果；这种引入规模数据处理的思路，也可期望能够在目前其他技术方案大多精细化而低效的情况下，为高效、快速、大规模甚至全量代码克隆检测勾出未来方案。 ·代码比对方案对编辑、优化、变形、混淆的对抗。近年所有技术方案都以对代码“变种”的检测有效性作为关键衡量标准，并一定程度上予以保证。上文CCS‘18论文工作，针对典型源代码混淆（如Tigress）处理后的代码，大规模数据集上可有93.42%的准确识别率；S&P‘19论文针对跨编译器和编译选项、业界常用的OLLVM编译时混淆方案进行试验，在全部可用的混淆方案保护之下的代码仍然可以完成81%以上的克隆检测。值得注意的是以上方案都并非针对特定混淆方案单独优化的，方法具有通用价值；而除此以外还有很多针对性的的反混淆研究成果可用；因此，可以认为在采用常规商用代码混淆方案下，即便存在隐藏内部业务逻辑不被逆向的能力，但仍然可以被有效定位代码复用和开发者自然人。 代码溯源技术面前的“挑战” 作为软件供应链安全的独立分析方，健壮的代码比对技术是决定性的基石；而当脑洞大开，考虑到行业的发展，也许以下两种假设的情景，将把每一个“正当”的产品、开发者置于尴尬的境地。 代码仿制 在本章节引述的“驱魔家族”代码疑云案例中，黑产方面通过某种方式获得了正常代码中，功能逻辑可以被自身复用的片段，并以某种方法将其在保持原样的情况下拼接形成了恶意程序。即便在此例中并非如此，但这却暴露了隐忧：将来是不是有这种可能，我的正常代码被泄漏或逆向后出现在恶意软件中，被溯源后扣上黑锅？ 这种担忧可能以多种渠道和形式成为现实。 从上游看，内部源码被人为泄漏是最简单的形式（实际上，考虑到代码的完整生命周期似乎并没有作为企业核心数据资产得到保护，目前实质上有没有这样的代码在野泄漏还是个未知数），而通过程序逆向还原代码逻辑也在一定程度上可获取原始代码关键特征。 从下游看，则可能有多种方式将恶意代码伪造得像正常代码并实现“碰瓷”。最简单地，可以大量复用关键代码特征（如字符串，自定义数据结构，关键分支条件，数据记录和交换私有格式等）。考虑到在进行溯源时，分析者实际上不需要100%的匹配度才会怀疑，因此仅仅是仿造原始程序对于第三方公开库代码的特殊定制改动，也足以将公众的疑点转移。而近年来类似自动补丁代码搜索生成的方案也可能被用来在一份最终代码中包含有二方甚至多方原始代码的特征和片段。 基于开发者溯源的定点渗透 既然在未来可能存在准确将代码与自然人对应的技术，那么这种技术也完全可能被黑色产业利用。可能的忧患包括强针对性的社会工程，结合特定开发者历史代码缺陷的漏洞挖掘利用，联动第三方泄漏人员信息的深层渗透，等等。这方面暂不做联想展开。 〇. 没有总结 作为一场旨在定义“软件供应链安全”威胁的宣言，阿里安全“功守道”大赛将在后续给出详细的分解和总结，其意义价值也许会在一段时间之后才能被挖掘。 但是威胁的现状不容乐观，威胁的发展不会静待；这一篇随笔仅仅挑选六个侧面做摘录分析，可即将到来的趋势一定只会进入更加发散的境地，因此这里，没有总结。 本篇文章为转载内容。原文链接：https://blog.csdn.net/systemino/article/details/90114743。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...者提供简便的图片模糊处理功能。这款插件适用于各种场景，无论是个人项目还是商业网站，都能轻松实现图片的模糊效果，增强页面视觉体验。Blurify.js最大的特点是其高度的兼容性和灵活性，它能在浏览器不支持CSS模糊滤镜的情况下，自动切换至Canvas技术，确保在所有设备上都能呈现出一致的模糊效果。使用Blurify.js，你可以快速地将任何图片元素转换为模糊状态，只需简单的几行代码即可完成。插件的设计理念在于简化操作流程，即使是没有深厚编程基础的用户也能轻松上手。此外，Blurify.js还提供了丰富的自定义选项，允许用户调整模糊的程度、边缘平滑度等参数，以满足不同设计需求。无论你是想为背景图添加梦幻效果，还是希望突出显示特定区域，Blurify.js都能帮你实现目标，让网页设计更加丰富多彩。总之，Blurify.js凭借其小巧的体积、强大的功能以及良好的兼容性，在众多图片模糊效果插件中脱颖而出，成为提升网页视觉效果的理想选择。无论是用于创建动态背景、焦点图，还是增强用户体验，Blurify.js都是你不可多得的好帮手。 点我下载 文件大小：55.59 KB 您将下载一个JQuery插件资源包，该资源包内部文件的目录结构如下： 本网站提供JQuery插件下载功能，旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容，请立即告知我们，我们将迅速响应并删除相关内容。 免责声明：站内所有资源仅供个人学习研究及参考之用，严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果，由使用者承担责任。

...表单插件"是一款专为简化复杂注册流程而设计的创新工具。它利用jQuery的强大功能，将传统的单一页面注册形式分解为一系列易于管理的小页面，通过流畅的滑动动画实现页面间的平滑过渡，为用户带来沉浸式的交互体验。这款插件不仅提升了用户体验，还通过内置的简单验证机制，确保了输入数据的有效性和安全性。在使用过程中，用户只需按照指引依次填写信息，每完成一个步骤，页面便会自动滑动至下一个部分，清晰直观地引导用户完成全部注册流程。这种分步操作模式显著降低了用户因一次性处理大量信息而导致的挫败感，使得注册过程变得更加轻松愉快。此外，"jQuery滑动式分步注册表单插件"还具备一定的自定义能力，允许开发者根据具体需求调整界面风格、动画效果以及验证规则，从而满足不同网站或应用的个性化需求。无论是电商平台、社交平台还是任何需要用户注册的在线服务，此插件都能提供高效、便捷的解决方案，提升用户留存率和满意度。总之，"jQuery滑动式分步注册表单插件"通过其独特的设计思路和功能特性，为注册表单的呈现与交互带来了革命性的改变，是现代网站开发中不可或缺的工具之一。 点我下载 文件大小：45.65 KB 您将下载一个JQuery插件资源包，该资源包内部文件的目录结构如下： 本网站提供JQuery插件下载功能，旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容，请立即告知我们，我们将迅速响应并删除相关内容。 免责声明：站内所有资源仅供个人学习研究及参考之用，严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果，由使用者承担责任。

在前端开发中，字符串处理是不可或缺的一部分，而JavaScript原生提供的split()方法无疑是其中的关键工具。然而，在大型项目或更复杂的场景下，开发者可能需要更高级的字符串解析功能，例如处理嵌套分隔符、正则表达式匹配等。为此，可以关注近期发布的JavaScript库如lodash和ramda，它们提供了丰富的字符串操作函数，增强了对复杂字符串处理的能力。 举例来说，lodash库中的_.split()函数不仅支持基础的字符串分割，还能结合lodash的其他函数实现深度字符串处理逻辑。另外，对于CSV、JSON等特殊格式的字符串转换，可以借助于专门的数据处理库如papaparse（CSV）和json5（JSON），这些库能帮助开发者高效准确地将字符串内容转化为可进一步操作的数据结构。 同时，随着ES6及后续版本的发布，JavaScript语言本身也在不断强化对字符串操作的支持，诸如模板字面量、扩展运算符以及新增的String.prototype.matchAll()等方法，都为字符串处理提供了更为强大的内建能力。 因此，前端开发者在面对字符串分割问题时，除了掌握基础的split()方法之外，还应持续关注和学习现代JavaScript特性和相关工具库的发展，以便在实际项目中更加灵活高效地进行字符串处理。通过深入了解并合理运用这些资源，能够有效提升代码质量与开发效率，更好地应对各种前端开发挑战。

在进行MySQL数据迁移或导入导出操作时，除了上述基本步骤外，了解一些进阶技巧和最新动态将有助于提升工作效率和确保数据安全。近期，MySQL 8.0版本推出了一系列改进，例如增强的并行复制功能，能够显著加快大规模数据迁移的速度。同时，MySQL团队也优化了mysqldump工具，支持更多参数选项以适应不同场景需求，如--single-transaction参数可在保证数据一致性的同时进行在线备份。 此外，在处理敏感信息时，MySQL企业版提供了加密功能，可以对导出的数据文件进行加密处理，保障数据在传输过程中的安全性。而对于数据库表结构复杂、数据量庞大的情况，采用分批次导入或者利用中间过渡表的方式可有效避免内存溢出等问题。 值得注意的是，随着云服务的普及，许多云服务商（如AWS RDS、阿里云RDS等）提供了便捷的数据迁移服务，用户可以直接通过控制台界面完成MySQL数据库之间的迁移任务，极大简化了操作流程，并具备良好的容灾备份能力。 深入解读方面，对于那些需要频繁进行数据库同步的企业来说，熟悉并掌握Percona Toolkit、pt-online-schema-change等第三方工具也是必不可少的，它们能够在不影响业务的情况下实现在线修改表结构和数据迁移。 综上所述，MySQL数据导入导出是一个涉及广泛且不断演进的话题，结合最新技术发展与最佳实践，不仅可以提高日常运维效率，还能更好地应对各类复杂的数据库管理挑战。

...面应用设计，通过双向数据绑定、指令系统和依赖注入等功能，简化了开发者在构建动态网页应用时的操作流程和复杂性。 ngsubmit , ngsubmit 是 AngularJS 指令中的一种，用于处理表单提交事件。当表单触发 submit 事件时，ngsubmit 指令会调用关联的方法或表达式进行预定义的操作，如数据验证、异步请求等，从而实现对表单提交行为的自定义控制。 布尔类型 , 布尔类型是编程语言中的基本数据类型之一，在本文语境中特指 AngularJS 表达式返回的结果应符合的数据类型要求。布尔类型只有两个值，即 true 和 false。在 ngsubmit 表达式中，返回值必须为布尔型，以便 AngularJS 根据该结果判断是否执行表单提交操作。如果表达式的返回值不是布尔类型，那么 AngularJS 就无法正确判断表单提交的状态，进而可能导致异常。

...应用容器引擎，它使用操作系统级的虚拟化技术，将应用程序及其依赖项打包到一个可移植的容器中。在本文语境下，Docker通过提供标准化、轻量级的运行环境，使得开发人员能够更高效地构建、部署和运行应用程序，且最近宣布支持x86架构，意味着在基于x86硬件的设备上可以直接运行Docker容器，无需额外配置或转换。 x86架构 , x86架构是Intel公司开发的一种微处理器系列所采用的指令集架构，广泛应用于个人电脑、服务器以及其他各种计算设备中。在本文中，Docker官方开始支持x86架构意味着用户能够在所有符合x86标准的硬件平台上无缝使用Docker容器技术，降低了学习和应用门槛，提升了跨平台兼容性。 容器化技术 , 容器化技术是一种轻量级的虚拟化方式，通过操作系统级别的隔离机制，在单一操作系统内核上创建多个独立的、安全的、资源受限的运行环境（即容器）。在文章内容中，Docker利用容器化技术，将应用程序与其依赖关系封装成一个可移植的单元，使得应用程序可以在任何安装了Docker的环境中以一致的方式运行，从而简化了软件交付流程并提升了开发运维效率。对于x86架构的支持，则进一步扩展了Docker容器化的适用范围和便捷性。

...Python编程语言处理正数求和问题后，我们可以进一步探索其在实际应用场景中的价值。近期，数据分析领域的一项实时研究引起了广泛关注：科研人员利用Python进行大规模气象数据处理时，面临了类似的问题。由于原始数据中包含正负数值，研究人员需要快速准确地计算特定参数（如温度增量）的正向变化总和。通过借鉴文中提到的Python正数筛选与累加方法，并结合abs()函数确保结果正确性，成功实现了对复杂数据集的有效分析。 此外，在金融风控领域，Python同样扮演着关键角色。在评估投资组合收益时，分析师需要精确计算正收益部分的累积和，以排除亏损交易的影响。运用文中介绍的条件判断循环结构，结合Python强大的pandas库进行数据清洗和计算，使得复杂的财务数据分析变得更为高效且精准。 更进一步，Python内置函数的强大性和灵活性，不仅体现在abs()这样的数学运算上，还表现在众多其他场景中。例如，Python 3.9版本引入了新特性——":= walrus operator"，它可以简化if条件语句内部的赋值操作，使代码更加简洁易读。这一更新对于解决类似本文所述问题的程序编写具有重要意义，让开发者能够更好地应对实际编程挑战，提升代码质量及执行效率。 综上所述，无论是基础的正数求和问题，还是前沿的数据科学、金融分析等领域，Python以其丰富全面的功能和不断优化的语法设计，持续赋能广大开发者实现高效、准确的数据处理与业务逻辑构建。

...程中，工程师们就巧妙利用了逻辑运算符的短路特性（Short-Circuit Evaluation），在某些条件检查场景下显著提升了代码执行效率。他们通过合理组织if语句中的逻辑表达式顺序，使得在满足特定条件时，无需计算后续复杂的或不必要的逻辑分支，从而减少CPU资源消耗，提升用户体验。 此外，对于初学者或者进阶开发者来说，理解逻辑运算符在并发编程、函数式编程以及数据库查询语句中的应用也非常重要。例如，在多线程环境下的锁机制实现时，常常会用到逻辑与(&&)来确保多个条件同时满足才进行特定操作，以避免竞态条件的发生；而在SQL查询中，WHERE子句中的AND、OR等逻辑运算符则是构建复杂查询的基础元素。 更进一步，逻辑运算符不仅仅局限于二元操作，还有诸如三元运算符（Ternary Operator）和逻辑非（Not Operator）等形式，它们在简化代码结构、增强可读性方面同样发挥着不可忽视的作用。因此，持续探索和实践逻辑运算符在不同编程场景下的应用，将有助于我们编写出更加精炼、高效且易于维护的代码。

...aScript库，它简化了HTML文档遍历、事件处理、动画和Ajax交互等功能，极大提高了前端开发效率。在本文中，虽然提到了jQuery，但.join()方法实际上是JavaScript内置Array对象的方法，并非由jQuery提供。 JavaScript Array对象 , JavaScript Array对象是JavaScript编程语言中的基本数据结构之一，用于存储有序的元素集合，可以容纳任何类型的数据（包括数字、字符串、对象等）。数组中的每个元素可以通过其索引进行访问和操作，而.join()方法则是Array对象的一个内建方法，用于将数组的所有元素连接成一个字符串，元素之间可以自定义分隔符。 AJAX（Asynchronous JavaScript and XML） , AJAX是一种创建快速动态网页的技术，通过在后台与服务器交换少量数据并更新部分网页内容，而无需重新加载整个页面。在前端开发中，jQuery和其他库提供了对AJAX请求的便捷封装，尽管文章并未直接涉及AJAX，但.join()方法可用于序列化数据以准备发送至服务器，这是AJAX请求中的常见场景。例如，可以将用户填写的表单数据转换为字符串形式以便通过AJAX提交给后端处理。

...我们还可以进一步探究数据库管理的更多实用技巧与最新动态。近日，MySQL 8.0版本推出了多项重大更新，包括增强安全性、性能优化以及对JSON数据类型支持的改进。对于企业级用户而言，掌握新版本特性并进行升级迁移，能够有效提升数据处理效率和安全性。 与此同时，随着云计算和容器化技术的发展，越来越多的企业选择将MySQL部署在如Docker或云服务器上。例如，AWS RDS（Amazon Relational Database Service）提供了一键式部署MySQL服务的功能，并集成了自动备份、故障切换等高级特性，大大简化了数据库运维工作。 另外，针对数据库优化及安全防护方面，定期审计MySQL日志、合理设置索引策略、采用SSL加密通信协议以保护数据传输安全等也是现代数据库管理员必备的知识点。近期，业界还提出了通过机器学习算法预测数据库性能瓶颈，提前进行资源调度的新方法，这一创新研究为MySQL数据库的高效稳定运行提供了新的可能。 综上所述，在实际操作MySQL服务的基础上，关注其最新版本特性、云端部署趋势以及数据库优化和安全领域的前沿动态，将有助于我们在日常工作中更高效地利用MySQL这一强大而灵活的关系型数据库管理系统。

...深入了解了MySQL数据库中表基本信息的基础操作后，进一步掌握更高级的SQL查询语句和优化策略将有助于提升数据管理与分析效率。近期，MySQL 8.0版本推出了一系列新特性，如窗口函数、JSON字段支持全文检索等，使得复杂查询与大数据处理更为便捷（来源：MySQL官网，2022年更新公告）。同时，随着云服务的普及，AWS RDS for MySQL、阿里云RDS等托管数据库服务提供了自动备份、性能监控、一键扩展等功能，极大地简化了MySQL的运维工作。 此外，对于表结构设计及索引优化的理解至关重要。一篇来自DBA Stack Exchange社区的热门讨论帖（发布日期：2022年5月）深入剖析了如何根据业务场景合理设计表关系，以及何时应创建唯一索引、复合索引以提高查询性能。而一篇发表于InfoQ的技术文章《MySQL性能调优实战》则从实战角度出发，详细解读了如何通过EXPLAIN分析查询执行计划、利用慢查询日志定位瓶颈，并结合实例探讨了分区表、分库分表策略在高并发场景下的应用。 综上所述，无论是紧跟MySQL最新技术动态，还是深化对数据库内部机制和性能优化的理解，都将为您的数据库管理工作带来显著提升。持续学习并实践这些进阶知识，能够帮助您更好地应对日益增长的数据管理和分析挑战。

...何将jQuery数组转换为原生JavaScript数组之后，我们可以进一步探索现代Web开发中数组操作的前沿技术和最佳实践。随着JavaScript引擎性能的不断提升以及新特性的不断引入，如ES6中的Array.from()方法和扩展运算符，开发者在处理数组转换时拥有了更多选择。 近期一篇来自Mozilla Developer Network（MDN）的技术文章《利用现代JavaScript特性高效处理数组》指出，Array.from()方法不仅能够将类数组对象转换为真正的数组，还可以用于实现类似jQuery.toArray()的功能。此外，该文还探讨了如何结合Map、Set、flatMap等新API提升数组操作的效率和代码可读性。 与此同时，React和Vue等主流前端框架在处理数据更新与渲染时，对原生数组操作有着深度优化。例如，在Vue3中，通过响应式系统对数组变化进行追踪，开发者可以更自然地操作数组，而无需显式调用特定的转换方法。 另外，对于那些依然广泛使用jQuery库但寻求性能优化方案的项目，有专家建议适时评估并逐步替换部分jQuery功能，转而采用原生JavaScript或者轻量级的替代品，以减少冗余代码并提高页面加载速度。这方面的案例分析和实战教程可以在许多技术博客和社区论坛上找到，如“重构：从jQuery到原生JavaScript的最佳实践”一文，提供了详细的步骤指导和性能对比测试。 总之，在当今快速发展的Web开发领域中，理解和掌握不同场景下最优的数组操作方式至关重要，无论是原生JavaScript还是第三方库提供的工具，都需要紧跟技术潮流，以便于构建高性能且易于维护的Web应用。

...深入理解Oracle数据库中CEIL和FLOOR函数的运用及它们与其他函数结合时可能出现的问题后，进一步的延伸阅读可关注近期数据库优化实践以及如何确保数据处理的准确性和性能。 近日，一篇关于Oracle 19c版本中数值函数性能提升的文章引起了广泛关注。文中详细介绍了新版本对CEIL、FLOOR等内建函数进行了底层优化，显著降低了处理大数据量时的CPU消耗，并通过实际测试案例展示了其在金融风控业务场景中的高效应用。例如，在处理涉及货币转换与金额四舍五入问题时，借助增强后的CEIL和FLOOR函数，能够更精确地执行批量数据处理任务，同时有效避免了因数据类型不匹配导致的错误。 此外，对于数据库开发者而言，深入理解SQL查询中的类型转换规则是至关重要的。Oracle官方社区近期发布的一篇技术解读文章，以丰富的实例阐述了NVL、TO_NUMBER、REPLACE等函数与CEIL、FLOOR函数联合使用时的最佳实践。作者强调，在进行复杂数据预处理时，务必注意隐式类型转换可能导致的潜在风险，如ORA-01722（无效数字）错误，提倡通过明确的数据类型转换操作确保函数调用的正确性。 综上所述，随着Oracle数据库技术的不断演进，用户在实际业务场景中灵活运用CEIL、FLOOR等数值函数的同时，也需紧跟官方更新动态和技术指南，以便更好地规避数据处理过程中可能遇到的问题，提升系统的稳定性和效率。

...文件中HTML代码的处理问题后，我们发现数据预处理是数据分析流程中的关键环节。近日，一项关于数据清洗的研究引起了业界广泛关注。据《Nature》杂志今年的一项报道，研究人员在分析大规模公开数据集时，强调了对非结构化或混合格式数据进行有效清洗的重要性。他们指出，在Web抓取的数据集中，HTML标签、JavaScript代码等非数据内容常会嵌入到CSV或其他文本格式的数据中，这不仅加大了数据解析难度，还可能引入误差。 实际上，许多现代数据处理工具如Pandas库和Apache NiFi等已经提供了应对此类问题的功能扩展。例如，Pandas可以通过自定义函数结合正则表达式实现对特定字段内HTML代码的清理，而Apache NiFi则支持实时数据流处理，可在数据流入系统时就完成格式转换和清洗工作。 此外，Python社区近期推出的一款专门针对Web数据抓取与清洗的库“BeautifulSoup”，它不仅能高效解析HTML文档结构，还能配合csv模块无缝衔接CSV文件处理，帮助用户更方便地从包含HTML元素的CSV数据中提取所需信息。 总的来说，理解和掌握如何识别并清除CSV文件中的HTML代码对于提升数据质量、确保后续分析结果准确至关重要。随着大数据时代的来临，关注并跟进此类实用技巧及最新研究进展，将有助于数据工作者更好地应对复杂多变的数据环境。

在易语言中处理JSON数据是现代Web开发和API交互的重要技能。随着易语言功能的不断丰富和完善，越来越多的开发者选择易语言进行项目开发，尤其是对于需要与服务器端频繁交换JSON格式数据的应用场景。近期，易语言官方发布了全新的JSON支持库，进一步优化了JSON数据的解析效率与内存占用，使得开发者能够更加便捷高效地操作JSON对象。 实际案例方面，某电商团队利用易语言开发了一款移动端管理工具，通过内建的HTTP客户端发送请求获取服务器返回的大量JSON数据，并利用易语言的JSON模块成功实现了复杂嵌套结构的数据提取与展示，极大地提高了业务处理速度与用户体验。 深入解读上，易语言对JSON的支持不仅体现在基础的读取、解析能力，更在于它如何将JSON数据映射为易语言中的数据结构，以及错误处理机制的设计。例如，当遇到无效或缺失的JSON键值时，易语言可以通过异常捕获机制确保程序稳定运行，同时提供详细的错误信息供开发者定位问题。 此外，为了帮助开发者更好地掌握JSON处理技术，易语言社区定期举办线上教程和实战训练营，邀请行业专家分享JSON在实际项目中的最佳实践，以及易语言与其他主流Web框架整合的最新方案。无论是初学者还是资深开发者，都能从中获得提升JSON数据处理能力的关键知识与技巧，紧跟时代步伐，适应日益增长的数据交换需求。

在理解了如何利用递归函数有效地清空JSON对象中的所有value之后，我们进一步探讨一下JSON数据处理的相关实践与最新动态。近年来，随着前端技术和API接口设计的快速发展，JSON数据交换格式的应用场景愈发广泛且深入。 例如，在2021年，Node.js发布了其最新稳定版本，其中对JSON模块进行了性能优化和功能增强，支持更高效的大规模JSON数据解析和生成。同时，一些主流的前端框架如React、Vue等也提供了更为便捷的方式来处理JSON数据，比如React Hooks中的useReducer可以用来简化复杂状态（包括JSON数据）的管理逻辑。 此外，针对安全性问题，JSON Schema作为一种用于描述和验证JSON数据结构的标准，被越来越多的开发者所关注和采用。通过预先定义JSON Schema，可以在数据交换过程中实时校验JSON数据的有效性，避免因数据格式错误导致的问题，并可实现对敏感字段的值进行清理或加密。 近期，业界还提出了一种名为“JSON Patch”的RFC标准（RFC 6902），它提供了一种描述JSON文档变更的方式，使得在网络传输中只传递差异部分成为可能，这无疑为JSON数据的更新操作提供了更为轻量级的解决方案，同时也间接涉及到JSON数据的部分属性值清零的需求。 总之，随着技术的发展，JSON数据处理的方法论和技术手段都在不断演进和完善，无论是对JSON value的清空操作，还是更深层次的数据校验、高效传输以及状态管理等方面，都有丰富的研究内容和最佳实践值得我们持续关注和学习。

...进一步探讨MySQL数据库的管理与优化。近日，MySQL 8.0版本推出了一系列新特性，如窗口函数的增强、JSON功能的升级以及性能改进等，这为数据库管理员提供了更高效便捷的操作手段。例如，基于新的窗口函数，可以更轻松地进行复杂的数据分析和统计计算；而JSON字段类型的增强则顺应了现代应用中大量非结构化数据处理的需求。 同时，对于MySQL实例的运维管理，安全性和稳定性至关重要。定期检查并更新MySQL服务器的配置文件、确保数据目录的安全权限设置，并合理利用缓存机制以提升查询效率，是每一位数据库管理人员应熟练掌握的基本功。此外，针对线上大规模并发访问场景，深入理解并运用MySQL的InnoDB存储引擎的事务处理机制、锁机制及索引策略，有助于提升系统整体性能和用户体验。 另外，在云服务日益普及的今天，各大云服务商（如AWS RDS、阿里云RDS等）提供了托管型MySQL服务，用户无需关心底层MySQL实例的具体安装位置，即可享受到便捷的数据库创建、备份恢复及监控告警等功能。但这也要求DBA们熟悉云环境下的MySQL管理工具和服务接口，以便更好地适应云计算时代的新挑战。 总之，无论是对MySQL实例进行精细的本地部署维护，还是依托于云平台实现高效便捷的数据库管理，都需要不断跟进MySQL技术的发展动态，深入理解其核心原理，并结合实际业务场景灵活运用各种优化策略，从而确保数据库系统的稳定、安全、高效运行。

...解如何将MySQL的数据导出到HTML后，进一步探索数据库与前端交互的实践和最新技术动态将有助于提升开发效率和用户体验。近期，随着Web应用复杂度的增加，数据可视化需求日益增强，各类JavaScript库如React、Vue.js结合现代模板引擎如Pug、Handlebars等提供了更为便捷高效的数据库数据到HTML转换方案。 例如，Next.js框架结合Apollo GraphQL能够实现实时从MySQL或其他数据库获取数据，并无缝渲染至前端界面。开发者可以利用GraphQL的强大查询能力，精确选择需要的数据字段，减少网络传输量，同时提高页面加载速度。 此外，针对大数据处理场景，Apache Superset等开源BI工具也支持直接连接MySQL数据库并生成丰富的交互式HTML报表，满足企业级数据分析和展示需求。 不仅如此，对于数据库内容的安全性和隐私保护，开发者应关注最新的GDPR等相关法规，确保在数据导出过程中遵循数据最小化原则，对敏感信息进行合理脱敏处理，避免在生成的HTML文件中泄露用户隐私。 综上所述，在实际项目中，根据具体业务需求和技术栈选择合适的数据库数据导出及前端展现策略，不仅限于上述提及的技术，更应持续关注领域内的新技术发展和最佳实践，以期达到高效、安全、易用的目标。

...制是一种预定义的错误处理方式，它允许程序在遇到非正常情况（如除数为零、文件未找到等）时抛出一个特定类型的对象（称为异常），并能够在调用栈的不同层级通过catch语句捕获并进行相应的错误处理，从而保证程序在面临错误条件时不会无故崩溃，提高软件的稳定性和健壮性。 Error , 在Java异常体系中，Error表示严重的系统级错误或故障，通常由Java虚拟机生成并报告，例如内存溢出错误（OutOfMemoryError）和系统错误（VirtualMachineError）。这些错误往往无法通过常规的编程手段来预防或恢复，因此程序员通常不对其进行捕获处理。 try-catch-finally结构 , 这是Java编程语言用于处理异常的一种关键语法结构。try块包含可能抛出异常的代码；如果try块中的代码执行过程中抛出了异常，控制权将立即转交给与之匹配的catch块，catch块负责捕获并处理这个异常；finally块则用来放置无论是否发生异常都必须执行的清理代码，如关闭打开的文件流或数据库连接等资源释放操作。这种结构确保了程序在遭遇异常情况下依然能够遵循一定的逻辑流程，并确保资源的安全回收。