前端技术
HTML
CSS
Javascript
前端框架和UI库
VUE
ReactJS
AngularJS
JQuery
NodeJS
JSON
Element-UI
Bootstrap
Material UI
服务端和客户端
Java
Python
PHP
Golang
Scala
Kotlin
Groovy
Ruby
Lua
.net
c#
c++
后端WEB和工程框架
SpringBoot
SpringCloud
Struts2
MyBatis
Hibernate
Tornado
Beego
Go-Spring
Go Gin
Go Iris
Dubbo
HessianRPC
Maven
Gradle
数据库
MySQL
Oracle
Mongo
中间件与web容器
Redis
MemCache
Etcd
Cassandra
Kafka
RabbitMQ
RocketMQ
ActiveMQ
Nacos
Consul
Tomcat
Nginx
Netty
大数据技术
Hive
Impala
ClickHouse
DorisDB
Greenplum
PostgreSQL
HBase
Kylin
Hadoop
Apache Pig
ZooKeeper
SeaTunnel
Sqoop
Datax
Flink
Spark
Mahout
数据搜索与日志
ElasticSearch
Apache Lucene
Apache Solr
Kibana
Logstash
数据可视化与OLAP
Apache Atlas
Superset
Saiku
Tesseract
系统与容器
Linux
Shell
Docker
Kubernetes
[时间戳与时间有效性 ]的搜索结果
这里是文章列表。热门标签的颜色随机变换,标签颜色没有特殊含义。
点击某个标签可搜索标签相关的文章。
点击某个标签可搜索标签相关的文章。
转载文章
...联系我们,我们将第一时间进行核实并删除相应内容。 1. 编写Scala工程代码,根据dwd层表统计每个地区、每个国家、每个月下单的数量和下单的总金额,存入MySQL数据库shtd_store的nationeverymonth表(表结构如下)中,然后在Linux的MySQL命令行中根据订单总数、消费总额、国家表主键三列均逆序排序的方式,查询出前5条,将SQL语句与执行结果截图粘贴至对应报告中; spark.sql("select nationkey,regexp_replace(nationname,'\'','') as nationname,regionkey,regexp_replace(regionname,'\'','') as regionname,sum(totalnum) as totalorder,sum(totalprice) as totalconsumption,year,month from nationeverymonth group by nationkey,regionkey,month,nationname,year,regionname;") 我为了方便查询和之后的操作,将上面的查询结果导入到新表nationeverymonths 查表 接下来将hive中的数据导入mysql中 package com.atguigu.spark.sqlimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSessionimport java.util.Propertiesobject DataHiveToMySQL {def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setMaster("local[]").setAppName("sparkSQL")val spark = SparkSession.builder().enableHiveSupport().config(sparkConf).getOrCreate()val result=spark.sql("select from ods.nationeverymonths")val props=new Properties()props.setProperty("user","root")props.setProperty("password","123456")props.setProperty("driver","com.mysql.jdbc.Driver")result.write.mode("overwrite").jdbc("jdbc:mysql://192.168.230.132:3306/user?serverTimezone=UTC&characterEncoding=UTF-8&useSSL=false", "nationeverymonth", props)println("导入成功")spark.stop()} } 运行可见导入成功 进入MySQL中查看结果 可见数据成功导入 接下来按照要求查询: 2.请根据dwd层表计算出某年每个国家的平均消费额和所有国家平均消费额相比较结果(“高/低/相同”),存入MySQL数据库shtd_store的nationavgcmp表(表结构如下)中,然后在Linux的MySQL命令行中根据订单总数、消费总额、国家表主键三列均逆序排序的方式,查询出前5条,将SQL语句与执行结果截图粘贴至对应报告中; 在解这道题的时候遇见一个问题,在求所有国家平均消费额的时候一直报错,由于没有数据这道题的题意还是有点没看明白,于是我就用了最简单的办法先新增一列,再单独将所有国家平均消费额求出来然后再插入,如果各位大佬有解决这个问题的办法希望能指导一下 先将每个国家的平均消费额求出来 spark.sql("select nationkey,nationname,avg(totalconsumption) as nationavgconsumption from nationeverymonths group by nationkey,nationname") 再新增一列所有国家平均消费额 spark.sql("alter table nationeverymonths add columns(avg_allstring)") 再将查询到的所有国家平均消费额导入进去 spark.sql("insert overwrite table nationeverymonths1 select nationkey,nationname,avg_totalconsumpt,1500 from nationeverymonths1") 再次查表 按照题意添加比较结果字段 spark.sql("select ,case when avg_totalconsumpt>avg_all then '高' when avg_totalconsumpt<avg_all then '低' when avg_totalconsumpt=avg_all then '相同' else 'null' end as comparison from nationeverymonths1").show 最后的排序语句和题一一样 本篇文章为转载内容。原文链接:https://blog.csdn.net/guo_0423/article/details/126352162。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-09-01 10:55:33
319
转载
转载文章
...联系我们,我们将第一时间进行核实并删除相应内容。 本文内容为海贼王全集的分章节目录介绍,还有本人在观看时候记录的精彩打斗剧集,可以方便大家直接定位想看的章节和精彩内容, 源文件已经上传到我的资源中,有需要的可以去看看, 我主页中的思维导图中内容大多从我的笔记中整理而来,相应技巧可在笔记中查找原题, 有兴趣的可以去 我的主页 了解更多计算机学科和考研的精品思维导图整理 本文可以转载,但请注明来处,觉得整理的不错的小伙伴可以点赞关注支持一下哦! 博客中思维导图的高清PDF版本,可关注公众号 一起学计算机 点击 资源获取 获得 目录 0.精彩打斗剧集 0.剧场版 1.东海冒险篇1-60 2.阿拉巴斯坦篇61-130 3.TV原创篇131-143 4.空岛篇144-195 5.海军要塞G8196-206 6.长链岛篇207-226 7.司法岛篇227-325 8.旗帜猎人篇326-336 9.恐怖三桅帆船篇337-383 10.香波地群岛篇384-407 11.女儿岛篇408-421 12.海底监狱篇422-456 13.大事件篇457-504 14.新世界前篇505-516 15.鱼人岛篇517-574 16.Z的野心篇575-578 17.庞克哈萨德篇579-628 18.德雷斯罗萨篇629-746 19.银之要塞篇747-750 20.佐乌篇751-782 21.托特兰篇783-877 22.世界会议篇878-889 23.和之国篇890-至今 我的更多精彩文章链接, 欢迎查看 经典动漫全集目录 精彩剧集 海贼王 动漫 全集目录 分章节 精彩打斗剧集 思维导图整理 火影忍者 动漫 全集目录 分章节 精彩打斗剧集 思维导图整理 死神 动漫 全集目录 分章节 精彩打斗剧集 思维导图整理 计算机专业知识 思维导图整理 Python 北理工慕课课程 知识点 常用代码/方法/库/数据结构/常见错误/经典思想 思维导图整理 C++ 知识点 清华大学郑莉版 东南大学软件工程初试906 思维导图整理 计算机网络 王道考研 经典5层结构 中英对照 框架 思维导图整理 算法分析与设计 北大慕课课程 知识点 思维导图整理 数据结构 王道考研 知识点 经典题型 思维导图整理 人工智能导论 王万良慕课课程 知识点 思维导图整理 红黑树 一张导图解决红黑树全部插入和删除问题 包含详细操作原理 情况对比 各种常见排序算法的时间/空间复杂度 是否稳定 算法选取的情况 改进 思维导图整理 人工智能课件 算法分析课件 Python课件 数值分析课件 机器学习课件 图像处理课件 考研相关科目 知识点 思维导图整理 考研经验--东南大学软件学院软件工程 东南大学 软件工程 906 数据结构 C++ 历年真题 思维导图整理 东南大学 软件工程 复试3门科目历年真题 思维导图整理 高等数学 做题技巧 易错点 知识点(张宇,汤家凤)思维导图整理 考研 线性代数 惯用思维 做题技巧 易错点 (张宇,汤家凤)思维导图整理 高等数学 中值定理 一张思维导图解决中值定理所有题型 考研思修 知识点 做题技巧 同类比较 重要会议 1800易错题 思维导图整理 考研近代史 知识点 做题技巧 同类比较 重要会议 1800易错题 思维导图整理 考研马原 知识点 做题技巧 同类比较 重要会议 1800易错题 思维导图整理 考研数学课程笔记 考研英语课程笔记 考研英语单词词根词缀记忆 考研政治课程笔记 Python相关技术 知识点 思维导图整理 Numpy常见用法全部OneNote笔记 全部笔记思维导图整理 Pandas常见用法全部OneNote笔记 全部笔记思维导图整理 Matplotlib常见用法全部OneNote笔记 全部笔记思维导图整理 PyTorch常见用法全部OneNote笔记 全部笔记思维导图整理 Scikit-Learn常见用法全部OneNote笔记 全部笔记思维导图整理 Java相关技术/ssm框架全部笔记 Spring springmvc Mybatis jsp 科技相关 小米手机 小米 红米 历代手机型号大全 发布时间 发布价格 常见手机品牌的各种系列划分及其特点 历代CPU和GPU的性能情况和常见后缀的含义 思维导图整理 本篇文章为转载内容。原文链接:https://blog.csdn.net/weixin_43959833/article/details/115670535。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2024-01-12 18:13:21
740
转载
Dubbo
...中碰到问题时,就能更有效率地避开陷阱,解决麻烦了。同时,我们也应该养成良好的编程习惯,比如定期检查环境变量和日志配置文件,确保它们的正确性。
2023-06-21 10:00:14
435
春暖花开-t
转载文章
...联系我们,我们将第一时间进行核实并删除相应内容。 1月19日,人人网发布一款语音产品,名字与啪啪非常类似,叫啵啵,并号称是中国首款带语音滤镜的语音社交产品。目前其首页已经放出安卓版本,iOS版暂时还未上线。雷锋网进行了试用,跟大家介绍。 从官方的介绍来看,啵啵这个应用主要有三个特色,最大的特点是声音滤镜。另外,还可以在应用内使用声音、图片和文字等元素进行信息表达。最后当然就是社交分享功能。 打开应用,首先是类似Path或者啪啪那样一片红色的开始界面。界面中从下部飘起三个气泡,分别是人人登录、新浪微博登录以及直接进入使用。啵啵可以无需注册直接进入应用进行发布消息。 进入主界面后,主界面以时间线的形式把用户所关注的人发的声音图片信息。每条信息中,表示声音的大图标覆盖在图片显眼位置,意味着啵啵想让用户知道声音才是这个应用的主要元素,图片是作为背景图的辅助元素出现的。另外,在背景图右边有表示喜欢和评论的按钮。 主界面下方中心有十分突出显眼的声音按钮,点击后首先进入录音界面。 录音完成后,应用立刻列出表示声音滤镜的各种可爱图标。选择了某种滤镜效果后,声音生成完毕。进入发布界面,此时可以选择是否添加图片。可选择把信息分享到人人网或者新浪微博。 添加图片完成后,同时下方还可以添加文字描述,果然是声音、图片和文字三位一体全方位出击之应用。虽然这里主打声音,但声音、图片和文字分离的形式才更为符合人们对信息介质的认知习惯,小编一直认为啪啪中的所谓声音图片的概念只是一个伪概念。 对于新用户来说,可以选择添加人人网好友或者新浪微博好友,当然,应用本身会推荐优质应用建议新用户进行关注。另外,用户的关注、喜欢等信息会出现在用户的消息中心中。 这是一个同样基于信息分享的移动社交产品,其本质其实与Instagram等图片分享社区、啪啪等语音分享社区一样。啪啪本来是最先进行声音信息分享的社区,但啪啪把声音与图片混合在一起生硬造出了一个声音图片的概念,反而留下了主打声音信息分享的切入点,现在人人就抓住了这个切入点推出啵啵这个产品。 事实上,从目前已经存在啵啵社区中的用户发的消息来看,其性质与啪啪并无很大区别。啵啵主打的声音滤镜功能,有一个非常非常严重的缺陷。图片分享社区的滤镜功能对图片的改造是美化,图片滤镜可以把一张普通的图片改的看上去非常的优美和文艺,因而大大增强了用户的分享欲望,让人人都有当一回摄影师的感觉。 但声音滤镜做不到这样的效果,至少从啵啵中看来达不到美化的效果,目前从社区中声音信息可知,声音经过滤镜处理之后变得非常怪异。本身声音美的用户尤其女孩子必然受不了这样的声音变化,声音不好听的用户,经过处理后,结果是更加的不堪回首。所以,从实际情况来看,大多数人都会直接发布不加滤镜的原音。 另外,应用中有个设置奇特的地方在于,如果发布信息时只发布声音不附加图片,这条信息的背景会有一大片的空白,效果比较差。别说应用制作者,用户们都会觉得很有违和感,因而绝大多数用户都会添加图片。 这时候,啵啵变得非常类似啪啪,虽然本身,其与啪啪就相差不大。 是的,这是啪啪披着声音滤镜的外衣,事实上笔者怀疑啪啪不做声音滤镜就是有声音滤镜反而丑化声音的考虑。据了解,这是本周重组后的人人公司新的无线事业部推出的两款移动应用之一。但如果说这就是一个上市大公司在移动端发力所能做到的全部,这无疑是稍让人失望的。而且,人人网能不能不要这么马虎对待自己的产品?所谓的@啵啵官博就只在1月18日发布了一条消息,之后这个微博账号再无动静。 如果按照许朝军解释啪啪名字的来源:啪=口+拍,声音加图片。那啵啵又作何解? 好吧,其实人人网解释是这样的:“语音产品,所以取拟声名字,明确定位”。 参考:http://www.hooxiao.com/index.php?m=content&c=index&a=show&catid=19&id=14864(2013-01-21 10:04:03) 本篇文章为转载内容。原文链接:https://blog.csdn.net/prairie79/article/details/8546911。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-08-17 12:49:28
487
转载
Scala
...输的一致性和准确性,有效降低跨服务间的沟通成本。 此外,类型alias还与现代编程语言的类型推断机制紧密结合。在Scala中,类型推断使得开发者能够专注于业务逻辑的实现,而无需过多关注类型细节。合理使用类型alias,可以进一步发挥类型推断的优势,使得代码更加简洁高效。 总之,类型alias是现代软件开发中不可或缺的一部分,尤其是在采用微服务架构、追求高效开发流程的场景下,其重要性愈发凸显。通过深入理解和灵活运用类型alias,开发者不仅可以提升代码质量,还能加速项目交付,满足日益增长的软件开发需求。
2024-09-03 15:49:39
85
山涧溪流
转载文章
...联系我们,我们将第一时间进行核实并删除相应内容。 B站视频网址:(本次仅涉及P40-P43和P60)【优极限】 HTML+CSS+JavaScript+jQuery前端必学教程,小白教学,前端基础全套完成版_哔哩哔哩_bilibili 菜鸟教程网址:HTML 教程 | 菜鸟教程 (runoob.com) 一、获取表单 <!-- 获取表单(前两种常用)1. document.getElementById("id属性值");通过form标签的id属性值获取表单对象2.document.表单的nane属性值:通过表单的name属性值获取表单对象3.document.forms[下标]: 通过指定下标获取表单元素4.document.forms[表单的name属性值];通过表单的name属性值获取表单对象document.forms:获取HTML文档中所有的表单对象--> <form id="myform1" name= "myform1" action=""></form><form id="myform2" name= "myform2" action=""></form><script type="text/javascript">// 1. document.getElementById("id属性值");console.log(document.getElementById("myform1"));// 2. document.表单的name属性值; console.log(document.myform2);console.log("----------------");//获取所有的表单对象console.log(document.forms); // 3. document.forms[下标];console.log(document.forms[0]);// 4. document.forms[表单的name属性值]; console.log(document.forms["myform2"]);</script> 运行效果截图: 二、获取表单元素 获取表单元素1.获取input元素1. document.getElementById("id属性值"): 通过元素的id属性值获取表单元素对象2.表单对象.表单元素的name属性值;通过表单对象中对应的元素的name属性值获取3. document.getELementsByName("name属性值");通过表单元素的name属性值获取4. document.getELementsByTagName("标签名/元素名");通过标签名获取表单元素对象2.获取单选按钮注:相同的一组单选按钮,需要设置相同的name属性值1. document.getElementByName("name属性值");通过name属性值获取2.判断单选按钮是否选中checked选中状态在JS代码中checked=true表示选中checked=false表示不选中在HTML标签中checked=checked或checked表示选中不设置checked属性表示不选中3.获取单选按钮的值元表.value;3.获取多选按钮与单选按钮相同4.获取下拉选项1.获取下拉框对象var对象 = document.getElementById("id属性值");2.获取下拉框的下拉选项列表var options = 下拉框对象.options;3.获取下拉框被选中项的索引var index = 下拉框对象.selectedIndex;4.获取下拉框被选中项的值var 值 = 下拉框对象.value;5.通过选中项的下标获取下拉框被选中项的值var 值 = 下拉框对象.options[index].value;6.获取下拉框被选中项的文本var文本值一下拉框对象.options[index].text;注:1.获取下拉框选中项的值时: (value)如果option标签设置了value属性值,则获取value属性对应的值;如果option标签未设置value属性值,则获取的是option双标签中的文本值2.下拉框的选中状态:选中状态: selected = selected、 selected、 selected = true未选中状态:不设置selected属性、 selected=false; <form id='myform' name="myform" action="" method="get">姓名:<input type="text" id="uname" name="uname" value="zs"/><br />密码:<input type= "password" id="upwd" name="upwd" value= "1234"/><br /><input type="hidden" id= "uno" name="uno" value="隐藏域"/>个人说明:<textarea name="intro" ></textarea><br><button type="button" onclick="getTxt();" >获取元素内容</button><hr><br><input type="text" name="inputName" class="test" value="aaa" /><input type="radio" name="rad" class="test" value="1" /> 男<input type="radio" name="rad" class="test" value="2" /> 女<button type="button" onclick="getRadio()">获取单选按钮</button><br><hr><br>全选/全不选: <input type="checkbox" id="control" onclick="checkAllOrNot()" /><button type="button" onclick= "checkFan()">反选</button><br><input type="checkbox" name= "hobby" value="sing" />唱歌<input type="checkbox" name= "hobby" value="dance" />跳舞<input type="checkbox" name= "hobby" value="rap" />说唱<button type="button" onclick="getCheckBox()">获取多选按钮</button><br><hr><br>来自:<select id="ufrom" name= "ufrom" ><option value = "" >请选择</option><option value = "Beijing" selected="selected" >北京</option><option value = "Shanghai">上海</option><option value = "Hangzhou">杭州</option></select><button type="button" onclick= "getSelect()" >获取下拉选项</button></form><script type=" text/javascript">function getTxt() {// 1. document.getElementById("id属性值");var uname = document.getElementById("uname").value;console.log(uname);// 2.表单对象.表单元表的name属性值;var pwd = document.getElementById("myform").upwd.value;console.log(pwd);// 3. document.getELementsByName("name属性值");var uno = document.getElementsByName("uno")[0].value;console.log(uno);// 4. document.getELementsByTagName("标签名/元素名");var intro = document.getElementsByTagName("textarea")[0].value;console.log(intro);}function getSelect() {//获取下拉框对象var ufrom = document.getElementById("ufrom");console.log(ufrom);//获取下拉框的下拉选项列表var opts = ufrom.options;console.log(opts);//获取下拉框被选中项的索引var index = ufrom.selectedIndex;console.log("选中项的下标:" + index);//获取下拉框被选中项的值var val = ufrom.value;console.log("被选中项的值:" + val);//通过选中项的下标获取下拉框被选中项的值var val2 = ufrom.options[index].value;console.log("被选中项的值:"+ val2);//获取下拉框被选中项的文本var txt=ufrom.options[index].text; console.log("被选中项的文本:"+ txt);}</script> 运行效果截图: 三、提交表单 提交表单一、使用普通按钮type="button"1.给按钮绑定click点击事件,绑定函数2.在函数中,进行表单校验(非空校验、 合法性校验等)3.如果校验通过,则手动提交表单表单对象.submit();二、使用提交按钮type="submit"1.给按钮绑定click点击事件,绑定函数2.函数需要有返回值,返回true或false (如果return false, 则表单不会提交:如果return true,则提交表单)onclick="return 函数名()"3.在函数中,进行表单校验(非空校验、 合法性校验等)4.如果校验通过,返回true;如果校验不通过,则返回false, 则表单不会提交:如果return true,则提交表单)三、使用提交按钮type="submit"1.给表单form元素绑定submit提交事件,绑定函数2.函数需要有返回值,返回true或false (如果return false, 则表单不会提交;如果return trueonsubmit="return函数名()" 3.在函数中,进行表单校验(非空校验、 合法性校验等)4.如果校验通过,返回true;如果校验不通过,则返回false <!--使用普逍按钮 type= "button"--><form id= 'myform' name= "myform" action="http://www.baidu.com" method="get" >姓名: <input name= "uname" id="uname"/> <span id = "msg" style="font-s1ze: 12px; color: red;"></span><br /><button type="button" onclick="submitForm1()">提交</button></form><!--使用提交按钮 type= "submit"--><form id= 'myform2' name= "myform2" action="http://www.baidu.com" method="get" >姓名: <input name= "uname2" id="uname2"/> <span id = "msg2" style="font-s1ze: 12px; color: red;"></span><br /><button type="submit" onclick="return submitForm2()">提交</button></form><!--使用提交按钮 type= "submit"--><form id= 'myform3' name= "myform3" action="http://www.baidu.com" method="get" onsubmit="return submitForm3()">姓名: <input name= "uname3" id="uname3"/> <span id = "msg3" style="font-s1ze: 12px; color: red;"></span><br /><button type="submit">提交</button></form><script type="text/javascript">// 表单校验// 提交表单function submitForm1() {//得到文本框的值var uname = document.getElementById("uname").value;//判断是否为空if (isEmpty(uname)) { //为空//设置提示信息(设置span元素的值)document.getElementById("msg").innerHTML="性名不能为空!" ;//阻止表单提交return;}//手动提交表单document.getElementById("myform").submit(); }function submitForm2() {//得到文本框的值var uname2 = document.getElementById("uname2").value;//判断是否为空if (isEmpty(uname2)) { //为空//设置提示信息(设置span元素的值)document.getElementById("msg2").innerHTML="性名不能为空!" ;//阻止表单提交return false;}return true;}function submitForm3() {//得到文本框的值var uname3 = document.getElementById("uname3").value;//判断是否为空if (isEmpty(uname3)) { //为空//设置提示信息(设置span元素的值)document.getElementById("msg3").innerHTML="性名不能为空!" ;//阻止表单提交return false;}return true;}/ 判断字符串是否为空如果为空,返回true如果非空,返回falsetrim() :字符串方法, 去除字符串前后空格@param {Object} str/function isEmpty(str) {//判断是否为空if (str == null || str.trim() == "") {return true;}return false;}</script> 运行效果截图: 四、原生Ajax实现流程 <!-- Ajax 异步无刷新技术原生Ajax的实现流程1.得到XMLHttpRequest对象var xhr = new XMLHttpRequest();2.打开请求xhr.open(method, uri, async) ;method:请求方式,通常是GEI|POSTurl:请求地址async:是否异步。如果是true表示异步,false表示同步3.发送请求xhr.send(params);params:请求时需要传递的参数如果是GET请求,设置nu11。 (GET请求的参数设置在url后面)如果是POST请求,无参数设置为null,有参数则设置参数4.接收响应xhr.status响应状态(200=响应成功, 404=资源末找到,500=服务器异常)xhr.responseText 得到响应结果 --> <script type="text/javascript">// 同步请求function text01() {// 1.得到XMLHttpRequest对象var xhr = new XMLHttpRequest();// 2.打开请求xhr.open("get", "js/date.json", false);// 3.发送请求xhr.send(null);// 4.判断响应状态if (xhr.status == 200) {console.log("响应成功");} else {console.log("状态码:" + xhr.status + ",原因:" + xhr.responseText)}console.log("同步请求...");}text01();// 异步请求function text02() {// 1.得到XMLHttpRequest对象var xhr = new XMLHttpRequest();// 2.打开请求xhr.open("get", "js/date.json", true);// 3.发送请求xhr.send(null);// 由于是异步请求,所以需要知道后台已经将请求处理完毕,才能获取响应结果// 遇过监听readyState的变化来得知后面的处理状态 4=完全处理xhr.onreadystatechange = function(){if(xhr.readyState == 4){// 4.判断响应状态if (xhr.status == 200) {// 得到响应结果 console.log(xhr.responseText);} else {console.log("状态码:" + xhr.status + ",原因:" + xhr.responseText)} }}console.log("异步请求...");}text02();</script> 运行效果截图: 本篇文章为转载内容。原文链接:https://blog.csdn.net/m0_61507413/article/details/122895643。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-10-22 17:32:41
521
转载
转载文章
...联系我们,我们将第一时间进行核实并删除相应内容。 D(x)=E{[x−E(x)]2} :相对于平均数差距的平方的期望; 数理统计一词的理解:mathematical stats,也即用数学的观点审视统计,为什么没有数理概率,因为概率本身即为数学,而对于统计,random variable 的性质并不全然了解,所以数理统计在一些书里又被称作:stats in inference(统计推论,已知 ⇒ 未知) 概率与统计的中心问题,都是random variable, PMF与PDF PMF:probability mass function,概率质量函数,是离散型随机变量在各特定取值上的概率。与概率密度函数(PDF:probability density function)的不同之处在于:概率质量函数是对离散型随机变量定义的,本身代表该值的概率;概率密度函数是针对连续型随机变量定义的,本身不是概率(连续型随机变量单点测度为0),只有在对连续随机变量的pdf在某一给定的区间内进行积分才是概率。 notation 假设X 是一个定义在可数样本空间S 上的离散型随机变量S⊆R ,则其概率质量函数PMF为: fX(x)={Pr(X=x),0,x∈Sx∈R∖S 注意这在所有实数上,包括那些X 不可能等于的实数值上,都定义了pmf,只不过在这些X 不可能取的实数值上,fX(x) 取值为0(x∈R∖S,Pr(X=x)=0 )。 离散型随机变量概率质量函数(pmf)的不连续性决定了其累积分布函数(cdf)也不连续。 共轭先验(conjugate prior) 所谓共轭(conjugate),描述刻画的是两者之间的关系,单独的事物不构成共轭,举个通俗的例子,兄弟这一概念,只能是两者才能构成兄弟。所以,我们讲这两个人是兄弟关系,A是B的兄弟,这两个分布成共轭分布关系,A是B的共轭分布。 p(θ|X)=p(θ)p(X|θ)p(x) p(X|θ) :似然(likelihood) p(θ) :先验(prior) p(X) :归一化常数(normalizing constant) 我们定义:如果先验分布(p(θ) )和似然函数(p(X|θ) )可以使得先验分布(p(θ) )和后验分布(p(θ|X) )有相同的形式(如,Beta(a+k, b+n-k)=Beta(a, b)binom(n, k)),那么就称先验分布与似然函数是共轭的(成Beta分布与二项分布是共轭的)。 几个常见的先验分布与其共轭分布 先验分布 共轭分布 伯努利分布 beta distribution Multinomial Dirichlet Distribution Gaussian, Given variance, mean unknown Gaussian Distribution Gaussian, Given mean, variance unknown Gamma Distribution Gaussian, both mean and variance unknown Gaussian-Gamma Distribution 最大似然估计(MLE) 首先来看,大名鼎鼎的贝叶斯公式: p(θ|X)=p(θ)p(X|θ)p(X) 可将θ 看成欲估计的分布的参数,X 表示样本,p(X|θ) 则表示似然。 现给定样本集\mathcal{D}=\{x_1,x_2,\ldots,x_N\}D={x1,x2,…,xN} ,似然函数为: p(\mathcal{D}|\theta)=\prod_{n=1}^Np(x_n|\theta) p(D|θ)=∏n=1Np(xn|θ) 为便于计算,再将其转换为对数似然函数形式: \ln p(\mathcal{D}|\theta)=\sum_{n=1}^N\ln p(x_n|\theta) lnp(D|θ)=∑n=1Nlnp(xn|θ) 我们不妨以伯努利分布为例,利用最大似然估计的方式计算其分布的参数(pp ),伯努利分布其概率密度函数(pdf)为: f_X(x)=p^x(1-p)^{1-x}=\left \{ \begin{array}{ll} p,&\mathrm{x=1},\\ q\equiv1-p ,&\mathrm{x=0},\\ 0,&\mathrm{otherwise} \end{array} \right. fX(x)=px(1−p)1−x=⎧⎩⎨⎪⎪p,q≡1−p,0,x=1,x=0,otherwise 整个样本集的对数似然函数为: \ln p(\mathcal{D}|\theta)=\sum_{n=1}^N\ln p(x_n|\theta)=\sum_{n=1}^N\ln (\theta^{x_n}(1-\theta)^{1-x_n})=\sum_{n=1}^Nx_n\ln\theta+(1-x_n)\ln(1-\theta) lnp(D|θ)=∑n=1Nlnp(xn|θ)=∑n=1Nln(θxn(1−θ)1−xn)=∑n=1Nxnlnθ+(1−xn)ln(1−θ) 等式两边对\thetaθ 求导: \frac{\partial \ln(\mathcal{D}|\theta)}{\partial \theta}=\frac{\sum_{n=1}^Nx_n}{\theta}-\frac{N}{1-\theta}+\frac{\sum_{n=1}^Nx_n}{1-\theta} ∂ln(D|θ)∂θ=∑Nn=1xnθ−N1−θ+∑Nn=1xn1−θ 令其为0,得: θml=∑Nn=1xnN Beta分布 f(μ|a,b)=Γ(a+b)Γ(a)Γ(b)μa−1(1−μ)b−1=1B(a,b)μa−1(1−μ)b−1 Beta 分布的峰值在a−1b+a−2 处取得。其中Γ(x)≡∫∞0ux−1e−udu 有如下性质: Γ(x+1)=xΓ(x)Γ(1)=1andΓ(n+1)=n! 我们来看当先验分布为 Beta 分布时的后验分布: p(θ)=1B(a,b)θa−1(1−θ)b−1p(X|θ)=(nk)θk(1−θ)n−kp(θ|X)=1B(a+k,b+n−k)θa+k−1(1−θ)b+n−k−1 对应于python中的math.gamma()及matlab中的gamma()函数(matlab中beta(a, b)=gamma(a)gamma(b)/gamma(a+b))。 条件概率(conditional probability) P(X|Y) 读作: P of X given Y ,下划线读作given X :所关心事件 Y :条件(观察到的,已发生的事件),conditional 条件概率的计算 仍然从样本空间(sample space)的角度出发。此时我们需要定义新的样本空间(给定条件之下的样本空间)。所以,所谓条件(conditional),本质是对样本空间的进一步收缩,或者叫求其子空间。 比如一个人答题,有A,B,C,D 四个选项,在答题者对题目一无所知的情况下,他答对的概率自然就是 14 ,而是如果具备一定的知识,排除了 A,C 两个错误选项,此时他答对的概率简单计算就增加到了 12 。 本质是样本空间从S={A,B,C,D} ,变为了S′={B,D} 。 新样本空间下P(A|排除A/C)=0,P(C|排除A/C)=0 ,归纳出来,也即某实验结果(outcome,oi )与某条件Y 不相交,则: P(oi|Y)=0 最后我们得到条件概率的计算公式: P(oi|Y)=P(oi)P(o1)+P(o2)+⋯+P(on)=P(oi)P(Y)Y={o1,o2,…,on} 考虑某事件X={o1,o2,q1,q2} ,已知条件Y={o1,o2,o3} 发生了,则: P(X|Y)=P(o1|Y)+P(o2|Y)+0+0=P(o1)P(Y)+P(o2)P(Y)=P(X∩Y)P(Y) 条件概率与贝叶斯公式 条件概率: P(X|Y)=P(X∩Y)P(Y) 贝叶斯公式: P(X|Y)=P(X)P(Y|X)P(Y) 其实是可从条件概率推导贝叶斯公式的: P(A|B)=P(B|A)=P(A|B)P(B)===P(B|A)=P(A∩B)P(B)P(A∩B)P(A)P(A∩B)P(B)P(B)P(A∩B)P(A)P(B|A)P(A|B)P(B)P(A) 证明:P(B,p|D)=P(B|p,D)P(p|D) P(B,p|D)====P(B,p,D)P(D)P(B|p,D)P(p,D)P(D)P(B|p,D)P(p,D)P(D)P(B|p,D)P(p|D) References [1] 概率质量函数 本篇文章为转载内容。原文链接:https://blog.csdn.net/lanchunhui/article/details/49799405。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2024-02-26 12:45:04
517
转载
转载文章
...联系我们,我们将第一时间进行核实并删除相应内容。 一、最新活动 1.安卓巴士诚招版主 http://www.apkbus.com/android-48399-1-1.html 2.积分商城好礼兑换 http://www.apkbus.com/plugin.php?id=auction 3.新浪官博之【创业者大会送票】活动 http://e.weibo.com/2975543812/zqr1yeSCe 4.安卓巴士项目小组 http://www.apkbus.com/group.php?gid=3 二、视频教程汇总 1.老罗Android开发视频教程 http://www.apkbus.com/Android-246-1.html 2. mars安卓开发视频教程 http://www.apkbus.com/Android-248-1.html 3.ios开发视频教程 http://iphone.apkbus.com/ 三、论坛经典内容汇总 1.美女象棋源码 http://www.apkbus.com/android-106605-1-1.html 2.Adnroid 安全卫士源码 http://www.apkbus.com/android-83653-1-1.html 3.百度地图SDK for Android 2.1版下载 http://www.apkbus.com/android-105237-1-1.html 4.eclipse不自定弹出提示(alt+/快捷键失效) http://www.apkbus.com/android-104663-1-1.html 5.Android即时通信系统的实现 http://www.apkbus.com/android-104564-1-1.html 6.Android编程14个很有用的代码片段 http://www.apkbus.com/android-104070-1-1.html 7.音乐播放器频谱绘制 http://www.apkbus.com/android-98147-1-1.html 8.Android开发手册(离线版)与(在线版)谭东编写 http://www.apkbus.com/android-97714-1-1.html 9.Sqlite+listview 的实例 http://www.apkbus.com/android-96910-1-1.html 10.iReader,QQ阅读书架效果的实现(附源码) http://www.apkbus.com/android-99130-1-1.html 11.Android 对话框(Dialog)大全 http://www.apkbus.com/android-98097-1-1.html 12.九宫格密码解锁(修正版) http://www.apkbus.com/android-97699-1-1.html 13.Android Chart图开源库AChartEngine教程 http://www.apkbus.com/android-94575-1-1.html 14.基于Socket的Android手机视频实时传输 http://www.apkbus.com/android-91517-1-1.html 15. 喷泉粒子系统源码 http://www.apkbus.com/android-106463-1-1.html 本篇文章为转载内容。原文链接:https://blog.csdn.net/m_3251388/article/details/8888970。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-04-15 17:53:42
321
转载
MySQL
...一个问题:如何快速、有效地将无限极分类转换为层级结构呢? 二、为什么要使用无限极分类? 首先,我们需要了解一下什么是无限极分类。无限极分类就像一棵大树,它的构造挺有趣。在这样的树形结构中,每一个小节点都有一个自己的‘老爹’节点,而这个‘老爹’呢,它还可能是其他许多小节点的‘老爹’。这样的构造方式,其实就像家谱一样,可以展示出各种级别的层次关系。比如说在商品分类里,就有爷爷辈的大类别、爸爸辈的中类别、儿子辈的小类别,甚至还有孙子辈的更细分的类别呢! 其次,无限极分类的优点在于它可以方便地进行扩展。假如我们想要新增一个类别,就像在家族树上添个新枝丫一样简单,你只需要在它的“老爸”类别下加一个新的“小子类别”,这样一来,数据的一致性和完整性就能轻轻松松地保持住啦! 三、什么是递归? 那么,如何使用递归来处理无限极分类呢?这就需要用到递归的概念。递归啊,就是那种函数自己调用自己的神奇操作。你想象一下,这个函数有点像一个超级有耐心的小助手,一遍又一遍地做着同一件事情,但每次做的时候都比上次更进一步。通过这种自我迭代的过程,我们竟然能解开很多看起来超级复杂、让人挠头的问题呢! 在处理无限极分类时,我们可以使用递归的方式,从根节点开始,一层一层地遍历下去,直到找到所有的叶子节点。然后,我们可以根据每层的节点,构建出相应的层级结构。 四、如何使用递归来处理无限极分类? 接下来,我们来看一下如何使用递归来处理无限极分类。假设我们有一个无限极分类的数据库表,其中包含id、parent_id和name三个字段。喏,你听我说哈,id呢,就相当于每个小节点的身份证号,是独一无二的。而parent_id呢,顾名思义,就是每个小节点它爹——父节点的身份证号啦。至于name嘛,简单易懂,那就是给每个小节点起的专属昵称哈! 我们可以定义一个函数,输入参数是一个父节点的id,输出是一个层级结构的数组。具体操作如下: php function getTree($id){ $sql = "SELECT FROM node WHERE parent_id = '$id'"; $result = mysqli_query($conn, $sql); $arr = array(); while($row = mysqli_fetch_assoc($result)){ $arr[] = $row; } foreach($arr as $value){ if($value['child'] > 0){ $arr = array_merge($arr, getTree($value['id'])); } } return $arr; } 以上就是使用递归来处理无限极分类的一个简单示例。这个例子嘛,我们先从某个特定的老爸节点下手,把它的所有小崽子(子节点)都给挖出来。接着呢,对每一个小崽子,如果它们自己还有更下一代的小崽子,那我们就得像孙悟空钻进葫芦娃的肚子里那样,一层层地往里递归调用这个过程,把那些隐藏更深的孙子辈节点也给找全了。最后呢,咱们把这一大家子所有的节点都聚到一块儿,拼成一个完整的、层层分明的家族结构。 然而,递归虽然强大,但也有它的局限性。当数据量大时,递归可能会导致栈溢出,影响程序的执行效率。因此,我们需要寻找其他的解决方案。 五、不使用递归,如何处理无限极分类? 那么,如果不使用递归,我们该如何处理无限极分类呢?答案就是使用非递归的方式,也就是我们常说的迭代法。 迭代法的基本思想是从根节点开始,每次只处理一层数据,直到处理完所有的数据。这种方法压根儿不需要递归调用,所以你完全不用担心什么栈溢出的问题。而且实话跟你说,通常情况下,它的工作效率要比递归高不少! 接下来,我们来看一下如何使用迭代法处理无限极分类。假设我们已经有了一个无限极分类的数据库表,其中包含id、parent_id和name三个字段。我们可以按照以下步骤进行处理: 1. 创建一个空的层级结构数组,用于存储所有的节点; 2. 获取根节点,将其添加到层级结构数组中; 3. 遍历所有的节点,对于每一个节点,如果它还没有被处理过,则对其进行处理,将其添加到层级结构数组中,然后处理它的所有子节点。 具体的代码实现如下: php function getTree($root){ $tree = array(); $queue = array($root); while(count($queue) > 0){ $node = array_shift($queue); $tree[$node['id']] = array( 'id' => $node['id'], 'parent_id' => $node['parent_id'], 'name' => $node['name'], 'children' => array() ); if($node['child'] > 0){ $queue = array_merge($queue, getChildren($conn, $node['id'])); } } return $tree; } function getChildren($conn, $id){ $sql = "SELECT FROM node WHERE parent_id = '$id'"; $result = mysqli_query($conn, $sql); $arr = array(); while($row = mysqli_fetch_assoc($result)){ $arr[] = $row; } return $arr; } 以上就是在非递归的情况下,处理无限极分类的一个简单示例。在举这个例子的时候,我们首先动手整了个空荡荡的层级结构数组出来,接着找准了那个根节点,把它给塞进了这个层级结构数组里头。然后,我们就像在超市排队结账一样,用一个队列来装那些等待被处理的节点。每当轮到一个节点时,我们就把它从队列里拽出来,塞进层级结构数组这个大篮子里,并且仔仔细细地处理它所有的“孩子”——也就是子节点。最后一步,咱们就像玩接龙游戏一样,把已经处理过的节点从队列里拿出来,然后美滋滋地接着处理下一个排着队的节点,就这么一直玩下去,直到队列里一个节点都不剩,就表示大功告成了! 总结来说,无论是使用递归还是非递归,都可以有效地处理无限极分类。但是,不同的方法适用于不同的场景,我们需要根据实际情况选择合适的方法。
2023-08-24 16:14:06
58
星河万里_t
Impala
...内存资源,确保其能够有效应对大数据量的查询任务。 - 优化分区策略:对于大数据表,采用合适的分区策略(如范围分区、哈希分区等),保证数据在集群中的均衡分布,减少热点问题。 - 调整并发控制参数:根据集群规模和业务特性,合理设置Impala的并发查询参数(如impalad.memory.limit、query.max-runtime等),以平衡系统资源分配。 - 数据预处理与缓存:对于经常访问的热数据,可以考虑进行适当的预处理和缓存,减轻Impala的在线处理压力。 综上所述,虽然Impala在处理大数据量时存在一定的局限性,但通过深入了解其内在工作机制,结合实际业务需求进行有针对性的优化,我们完全可以将其打造成高效的数据查询利器。在这个过程中,我们实实在在地感受到了人类智慧在挑战技术极限时的那股冲劲儿,同时,也亲眼目睹了科技与挑战之间一场永不停歇、像打乒乓球一样的精彩博弈。 结语 技术的发展总是在不断解决问题的过程中前行,Impala在大数据处理领域的挑战同样推动着我们在实践中去挖掘其潜力,寻求更优解。今后,随着软硬件技术的不断升级和突破,我们完全可以满怀信心地期待,Impala会在处理大数据这个大难题上更上一层楼,为大家带来更加惊艳、无可挑剔的服务体验。
2023-11-16 09:10:53
783
雪落无痕
c++
...化并行计算任务,同时有效地处理资源限制和错误情况。 结语:持续学习与实践的重要性 C++的复杂性和深度意味着,无论在学术研究还是工业实践中,都需要不断地探索和学习。std::length_error仅仅是众多C++特性之一,但它展示了异常处理在现代软件开发中的核心价值。通过实践和深入理解这些概念,开发人员不仅能构建更高质量的软件,还能为未来的挑战做好准备。 总之,随着技术的不断进步,对std::length_error的理解和应用不仅关乎当前项目的成功,更是对未来技术发展趋势的洞察。在这个快速变化的领域,持续学习和实践是实现个人和团队成长的关键。
2024-10-03 15:50:22
51
春暖花开
Golang
...看看如何在Go中实现有效的错误处理。 3.1 基础的错误检查 最基本也是最常见的错误处理方式,就是在函数调用后立即检查返回的错误值。如果错误不为nil,则进一步处理。 go func main() { file, err := os.Open("test.txt") if err != nil { fmt.Println("打开文件失败:", err) return } defer file.Close() // 继续处理文件... } 在这个例子中,我们尝试打开一个名为“test.txt”的文件。如果文件不存在或者权限不足等导致操作失败,os.Open()会返回一个非空的错误对象。通过检查这个错误对象,我们可以及时发现并处理问题。 3.2 使用错误链路 在复杂的应用中,一个操作可能会触发多个后续步骤,每个步骤都可能产生新的错误。在这种情况下,错误链路(即错误传播)变得尤为重要。我们可以利用Go语言的多返回值特性来实现这一点。 go func readConfig(filePath string) (map[string]string, error) { file, err := os.Open(filePath) if err != nil { return nil, fmt.Errorf("打开配置文件失败: %w", err) } defer file.Close() var config map[string]string decoder := json.NewDecoder(file) if err := decoder.Decode(&config); err != nil { return nil, fmt.Errorf("解析配置文件失败: %w", err) } return config, nil } func main() { config, err := readConfig("config.json") if err != nil { log.Fatalf("读取配置文件失败: %v", err) } // 使用配置... } 在这个例子中,readConfig函数尝试打开并解析一个JSON格式的配置文件。如果任何一步失败,我们都会返回一个包含原始错误的错误对象。这样做不仅可以让错误信息更加完整,还便于我们在调用方进行统一处理。 3.3 自定义错误类型 虽然标准库提供的error接口已经足够强大,但在某些场景下,我们可能需要更丰富的错误信息。这时,可以定义自己的错误类型来扩展功能。 go type MyError struct { Message string Code int } func (e MyError) Error() string { return fmt.Sprintf("错误代码%d: %s", e.Code, e.Message) } func doSomething() error { return &MyError{Message: "操作失败", Code: 500} } func main() { err := doSomething() if err != nil { log.Printf("发生错误: %v", err) } } 在这个例子中,我们定义了一个自定义错误类型MyError,它包含了一个消息和一个错误码。这样做的好处是可以根据不同的错误码采取不同的处理策略。 4. 错误信息的最佳实践 最后,我想分享一些我在日常开发中积累的经验,这些经验有助于写出更好的错误信息。 - 明确且具体:错误信息应该直接指出问题所在,避免模糊不清的描述。 - 用户友好的:对于最终用户可见的错误信息,尽量使用通俗易懂的语言。 - 提供解决方案:如果可能的话,给出一些基本的解决建议。 - 避免泄露敏感信息:在生成错误信息时,注意不要暴露敏感数据,如密码或密钥。 结语 错误信息是我们与程序之间的桥梁,它能帮助我们更好地理解问题所在,并找到解决问题的方法。在Go语言里,错误处理不仅仅是个技术活儿,它还代表着一种态度——就是要做出高质量的软件的那种执着精神。希望通过这篇文章,你能在未来的项目中更加重视错误信息的处理,从而写出更加健壮和可靠的代码。 --- 以上内容结合了理论与实践,旨在让你对Go语言中的错误处理有更深的理解。记住,好的错误信息就像是一位优秀的导游,它能带你穿越迷雾,找到正确的方向。
2024-11-09 16:13:46
127
桃李春风一杯酒
ActiveMQ
...设计的系统架构,可以有效地利用ActiveMQ的多语言支持特性,构建出高度灵活、可扩展且高效的分布式系统。 总之,多语言环境下的ActiveMQ部署是一个既具挑战性又充满机遇的领域。通过合理规划和实施,可以最大化利用ActiveMQ的性能和功能,构建出高效、稳定的分布式系统,从而满足日益增长的业务需求和技术挑战。
2024-10-09 16:20:47
65
素颜如水
转载文章
...联系我们,我们将第一时间进行核实并删除相应内容。 最近在学习java的爬虫技术,学的是黑马的视频资源,由于是几年前的视频啦,京东页面有些许变化,在此记录我遇到的问题,使用的爬虫技术是httpClient和jsoup,项目搭建使用的springboot+ jpa。 首先给出主页的代码: @Componentpublic classItemTask { @AutowiredprivateHttpUtils httpUtils; @AutowiredprivateItemService itemService;public static final ObjectMapper MAPPER = newObjectMapper();//设置定时任务执行完成后,再间隔100秒执行一次 @Scheduled(fixedDelay = 1000 100)public void process() throwsException {//分析页面发现访问的地址,页码page从1开始,下一页page加2 String url = "https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&suggest=1.his.0.0&wq=%E6%89%8B%E6%9C%BA&s=121&click=0&page=";//遍历执行,获取所有的数据 for (int i = 1; i < 10; i = i + 2) {//发起请求进行访问,获取页面数据,先访问第一页 String html = this.httpUtils.getHtml(url +i);//解析页面数据,保存数据到数据库中 this.parseHtml(html); } System.out.println("执行完成"); }//解析页面,并把数据保存到数据库中 private void parseHtml(String html) throwsException {//使用jsoup解析页面 Document document =Jsoup.parse(html);//获取商品数据 Elements spus = document.select("divJ_goodsList > ul > li");//遍历商品spu数据 for(Element spuEle : spus) {//获取商品spu String attr = spuEle.attr("data-spu");long spu = Long.parseLong(attr.equals("")?"0":attr);//Long spu = Long.parseLong(spuEle.attr("data-spu"));//获取商品sku数据 Elements skus = spuEle.select("li.ps-item img");for(Element skuEle : skus) {//获取商品sku Long sku = Long.parseLong(skuEle.attr("data-sku"));//判断商品是否被抓取过,可以根据sku判断 Item param = newItem(); param.setSku(sku); List list = this.itemService.findAll(param);//判断是否查询到结果 if (list.size() > 0) {//如果有结果,表示商品已下载,进行下一次遍历 continue; }//保存商品数据,声明商品对象 Item item = newItem();//商品spu item.setSpu(spu);//商品sku item.setSku(sku);//商品url地址 item.setUrl("https://item.jd.com/" + sku + ".html");//创建时间 item.setCreated(newDate());//修改时间 item.setUpdated(item.getCreated());//获取商品标题 String itemHtml = this.httpUtils.getHtml(item.getUrl()); String title= Jsoup.parse(itemHtml).select("div.sku-name").text(); item.setTitle(title);//获取商品价格 String priceUrl = "https://p.3.cn/prices/mgets?skuIds=J_"+sku; String priceJson= this.httpUtils.getHtml(priceUrl);//解析json数据获取商品价格 double price = MAPPER.readTree(priceJson).get(0).get("p").asDouble(); item.setPrice(price);//获取图片地址 String pic = "https:" + skuEle.attr("data-lazy-img").replace("/n9/","/n1/"); System.out.println(pic);//下载图片 String picName = this.httpUtils.getImage(pic); item.setPic(picName);//保存商品数据 this.itemService.save(item); } } } } 分享一下我学习中遇到的问题: 1.爬取数据为null,需要登录京东 看到这段代码应该就明白了吧,就是京东发现并非人为操作,需要登陆账号了。解决办法也很简单,只需要自己模拟浏览器登陆即可 在HttpUttils加上这段,两个方法中的HTTPGet对象都需要设置一下。 //设置请求头模拟浏览器 httpGet.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0"); 2.java.lang.NumberFormatException: For input string: "",获取的spu为空串,加上一个前置空串判断即可 解决如下: //获取商品spu String attr = spuEle.attr("data-spu");//判断是否为空串 long spu = Long.parseLong(attr.equals("")?"0":attr); 以上两个bug是我学习遇到的,现已解决,爬取数据如下: 本篇文章为转载内容。原文链接:https://blog.csdn.net/weixin_32161697/article/details/114506244。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-03-13 10:48:12
104
转载
ZooKeeper
...严格地按照它们发起的时间顺序进行处理,确保客户端无论何时何地都能看到一致且有序的数据视图。 最终一致性 (Eventual Consistency) , 最终一致性是一种弱一致性模型,它允许在一段时间内系统内部可能存在数据不一致的情况,但保证在没有新的更新发生后,所有副本的数据最终会达到一致状态。在ZooKeeper中,尽管其主要提供强一致性保障,但在特定场景下为了提高可用性和容错性,也采用了最终一致性策略。这意味着即使在网络分区或节点故障等异常情况下,一旦这些异常情况得到解决,ZooKeeper将自动调整以确保所有客户端最终看到的是相同的数据状态。 Watcher 监听器 , Watcher是ZooKeeper设计中的一个重要机制,它允许客户端注册对ZooKeeper服务器上特定节点的事件监听。当所关注的节点发生变化(例如创建、删除、更新数据等事件)时,ZooKeeper服务器会主动通知已注册的客户端。这种实时感知服务器状态变化的能力极大地增强了分布式应用的动态响应能力和协作效率,是实现分布式系统中可观察性的重要手段。
2024-02-15 10:59:33
31
人生如戏-t
Lua
...大大减少了开发成本和时间。 Lua在游戏服务器与网络编程中的应用 Lua在游戏服务器端的开发中展现出强大的潜力。其简洁的语法和高效的执行速度使得开发者能够快速搭建和维护游戏服务器,处理复杂的网络通信、并发请求等任务。此外,Lua还支持多种网络编程模型,如异步IO,这使得在高并发环境下保持良好的性能成为可能。 Lua与现代游戏技术的结合 随着虚拟现实(VR)、增强现实(AR)、云计算等技术的发展,Lua也在不断探索与这些前沿技术的结合点。例如,开发者可以使用Lua编写VR/AR游戏的逻辑,利用云服务实现大规模的分布式计算,优化游戏性能和用户体验。 Lua社区与生态系统的成长 Lua社区的活跃和生态系统的不断完善,为开发者提供了丰富的资源和工具。从开源库到专业服务,开发者可以根据项目需求快速找到合适的解决方案,加速项目进展。此外,社区活动、教程和文档的丰富也为新加入的开发者提供了友好的入门路径。 总的来说,Lua在游戏开发领域的应用正呈现出多元化、高效化和智能化的趋势。随着技术的进一步发展,Lua有望在游戏开发中发挥更加重要的作用,推动游戏产业向更高水平迈进。
2024-08-12 16:24:19
167
夜色朦胧
Apache Solr
...精细化的内存管理机制有效提升了大数据量下的全文检索效率。 同时,鉴于数据安全日益受到重视,Apache Solr 8.11加强了权限控制和审计功能,支持更为细致的用户角色管理和操作记录追踪,这有助于企业更好地遵守GDPR等数据保护法规要求。此外,官方文档也提供了关于如何进一步增强Solr部署安全性的最新指导,包括但不限于SSL加密通信、防火墙规则设定以及内建的安全插件使用方法。 对于那些致力于构建高可用性搜索服务的开发者来说,不妨关注一些行业内的最佳实践案例,了解他们是如何利用Zookeeper进行Solr集群状态管理,或者结合Kubernetes实现Solr云原生部署,从而提升系统的稳定性和扩展性。 总之,持续跟进Apache Solr的最新发展动态和技术实践,不仅有助于解决实际运维中的痛点问题,更能确保搜索服务始终处于行业领先水平,满足业务高速发展的需求。
2023-05-31 15:50:32
496
山涧溪流-t
转载文章
...联系我们,我们将第一时间进行核实并删除相应内容。 一、官方手册中的描述 1、Manual/Coroutines 函数在调用时, “从调用到返回” 都发生在一帧之内,想要处理 “随时间推移进行的事务”, 相比Update,使用协程来执行此类任务会更方便。 协程在创建时,通常是一个 “返回值类型 为 IEnumerator”、“函数体中包含 yield return 语句 ” 的函数。 yiled return 可以暂停协程的执行,并在恰当时候恢复。具体在何时恢复,由 yield 的返回值决定。 启动协程,必须使用 MonoBehaviour 的 StartCoroutine 方法。 停止协程,可以使用 MonoBehaviour 的 StopCoroutine 方法 或 StopAllCoroutine 方法。 注意:以下情况也可能使协程停止: 1)、销毁启动协程的组件(GameObject.Destory(component);) ==> 协程停止 2)、禁用启动协程的组件(component.enabled = false;)==> 协程不停止 3)、销毁启动协程的组件所在的物体(GameObject.Destory(gameobject);) ==> 协程停止 4)、隐藏启动协程的组件所在的物体(gameobject.SetActive(false);) ==> 协程停止 2、MonoBehaviour.StartCoroutine StartCoroutine 方法总是立刻返回一个 Coroutine 对象(同步返回)。 无法保证协同程序按其启动顺序结束,即使他们在同一帧中完成也是如此(异步无序完成)。 可以在一个协程中启动另一个协程(支持协程嵌套)。 二、Unity中的 yield 语句类型 1、yield break; //打断协程运行 2、yield return null; //挂起协程,并从下一帧继续 3、yield return + “任意数字”; //挂起协程,并从下一帧继续 4、yield return + “bool值”; //挂起协程,并从下一帧继续 5、yield return + “任意字符串”; //挂起协程,并从下一帧继续 6、yield return + “普通Object”; //挂起协程,并从下一帧继续 7、yield return + “任意实现了 IEnumerator 接口的对象”。重要!(可嵌套) Unity 中,常见的、直接或间接实现了 IEnumerator 接口的类有: ------------------------------------------------------------------------------------------------ CustomYieldInstruction (abstarct) ——|> IEnumerator (interface) ------------------------------------------------------------------------------------------------ WaitUnitil (sealed) ——|> CustomYieldInstruction WaitWhile (sealed) ——|> CustomYieldInstruction WaitForSecondsRealtime (非sealed,但未发现子类) ——|> CustomYieldInstruction WWW (非sealed,但未发现子类) ——|> CustomYieldInstruction ------------------------------------------------------------------------------------------------ 随着Unity更新或在一些可选的Package中,可能有更多。。。 ------------------------------------------------------------------------------------------------ 8、yield return + “任意继承了 YieldInstruction 类 ([UsedByNativeCode],源码C层中无具体实现) 的对象”。重要!(可嵌套) Unity 中,常见的、直接或间接继承了 YieldInstruction 类的类有: ------------------------------------------------------------------------------------------------ WaitForSeconds (sealed) ——|> YieldInstruction Coroutine (sealed) ——|> YieldInstruction (Coroutine 是 StartCoroutine方法的返回值,意味着协程中可嵌套协程) WaitForEndOfFrame (sealed) ——|> YieldInstruction WaitForFixedUpdate (sealed) ——|> YieldInstruction AsyncOperation ——|> YieldInstruction ------------------------------------------------------------------------------------------------ AssetBundleCreateRequest (非sealed,但未发现子类) ——|> AsyncOperation AssetBundleRecompressOperation (非sealed,但未发现子类) ——|> AsyncOperation AssetBundleRequest (非sealed,但未发现子类) ——|> AsyncOperation ResourceRequest (非sealed,但未发现子类) ——|> AsyncOperation UnityEngine.Networking.UnityWebRequestAsyncOperation (非sealed,但未发现子类) ——|> AsyncOperation UnityEngine.iOS.OnDemandResourcesRequest (sealed) ——|> AsyncOperation ------------------------------------------------------------------------------------------------ 随着Unity更新或在一些可选的Package中,可能有更多。。。 ------------------------------------------------------------------------------------------------ 测试验证 第2、3、4、5、6条 如下: using System.Collections;using UnityEngine;public class Test : MonoBehaviour{void Start(){StartCoroutine(Func1());}IEnumerator Func1(){Debug.Log("Time.frameCount: " + Time.frameCount);yield return null;Debug.Log("Time.frameCount: " + Time.frameCount);yield return 0;Debug.Log("Time.frameCount: " + Time.frameCount);yield return 1;Debug.Log("Time.frameCount: " + Time.frameCount);yield return 99; //其他整数Debug.Log("Time.frameCount: " + Time.frameCount);yield return 0.5f; //浮点数值Debug.Log("Time.frameCount: " + Time.frameCount);yield return false; //bool值Debug.Log("Time.frameCount: " + Time.frameCount);yield return "Hi NRatel!"; //字符串Debug.Log("Time.frameCount: " + Time.frameCount);yield return new Object(); //任意对象Debug.Log("Time.frameCount: " + Time.frameCount);} } 测试验证 第7条 如下: using System.Collections;using UnityEngine;public class Test : MonoBehaviour{void Start(){StartCoroutine(Func1());}IEnumerator Func1(){Debug.Log("Func1");yield return Func2();}IEnumerator Func2(){Debug.Log("Func2");yield return Func3();}IEnumerator Func3(){Debug.Log("Func3");yield return null;} } 三、Unity协程实现原理 1、C 的迭代器。 现在已经知道:协程肯定与IEnumerator有关,因为启动协程时需要一个 IEnumerator 对象。 而 IEnumerator 是C实现的 迭代器模式 中的 枚举器(用于迭代的游标)。 迭代器相关接口定义如下: namespace System.Collections{//可枚举(可迭代)对象接口public interface IEnumerable{IEnumerator GetEnumerator();}//迭代游标接口public interface IEnumerator{object Current { get; }bool MoveNext();void Reset();} } 参考 MSDN C文档中对于 IEnumerator、IEnumerable、迭代器 的描述。 利用 IEnumerator 对象,可以对与之关联的 IEnumerable 集合 进行迭代: 1)、通过 IEnumerator 的 Current 方法,可以获取集合中位于枚举数当前位置的元素。 2)、通过 IEnumerator 的 MoveNext 方法,可以将枚举数推进到集合的下一个元素。如果 MoveNext 越过集合的末尾, 则枚举器将定位在集合中最后一个元素之后, 同时 MoveNext 返回 false。 当枚举器位于此位置时, 对 MoveNext 的后续调用也将返回 false 。如果最后一次调用 MoveNext 时返回 false,则 Current 未定义(结果为null)。 3)、通过 IEnumerator 的 Reset 方法,可以将“迭代游标” 设置为其初始位置,该位置位于集合中第一个元素之前。 2、C 的 yield 关键字。 C编译器在生成IL代码时,会将一个返回值类型为 IEnumerator 的方法(其中包含一系列的 yield return 语句),构建为一个实现了 IEnumerator 接口的对象。 注意,yield 是C的关键字,而非Unity定义!IEnumerator 对象 也可以直接用于迭代,并非只能被Unity的 StartCoroutine 使用! using System.Collections;using UnityEngine;public class Test : MonoBehaviour{void Start(){IEnumerator e = Func();while (e.MoveNext()){Debug.Log(e.Current);} }IEnumerator Func(){yield return 1;yield return "Hi NRatel!";yield return 3;} } 对上边C代码生成的Dll进行反编译,查看IL代码: 3、Unity 的协程。 Unity 协程是在逐帧迭代的,这点可以从 Unity 脚本生命周期 中看出。 可以大胆猜测一下,实现出自己的协程(功能相似,能够说明逐帧迭代的原理,不是Unity源码): using System;using System.Collections;using System.Collections.Generic;using UnityEngine;public class Test : MonoBehaviour{private Dictionary<IEnumerator, IEnumerator> recoverDict; //key:当前迭代器 value:子迭代器完成后需要恢复的父迭代器private IEnumerator enumerator;private void Start(){//Unity自身的协程//StartCoroutine(Func1());//自己实现的协程StarMyCoroutine(Func1());}private void StarMyCoroutine(IEnumerator e){recoverDict = new Dictionary<IEnumerator, IEnumerator>();enumerator = e;recoverDict.Add(enumerator, null); //完成后不需要恢复任何迭代器}private void LateUpdate(){if (enumerator != null){DoEnumerate(enumerator);} }private void DoEnumerate(IEnumerator e){object current;if (e.MoveNext()){current = e.Current;}else{//迭代结束IEnumerator recoverE = recoverDict[e];if (recoverE != null){recoverDict.Remove(e);}//恢复至父迭代器, 若没有则会至为nullenumerator = recoverE;return;}//null,什么也不做,下一帧继续if (current == null) { return; }Type type = current.GetType();//基础类型,什么也不做,下一帧继续if (current is System.Int32) { return; }if (current is System.Boolean) { return; }if (current is System.String) { return; }//IEnumerator 类型, 等待内部嵌套的IEnumerator迭代完成再继续if (current is IEnumerator){//切换至子迭代器enumerator = current as IEnumerator;recoverDict.Add(enumerator, e);return;}//YieldInstruction 类型, 猜测也是类似IEnumerator的实现if (current is YieldInstruction){//省略实现return;} }IEnumerator Func1(){Debug.Log("Time.frameCount: " + Time.frameCount);yield return null;Debug.Log("Time.frameCount: " + Time.frameCount);yield return "Hi NRatel!";Debug.Log("Time.frameCount: " + Time.frameCount);yield return 3;Debug.Log("Time.frameCount: " + Time.frameCount);yield return new WaitUntil(() =>{return Time.frameCount == 20;});Debug.Log("Time.frameCount: " + Time.frameCount);yield return Func2();Debug.Log("Time.frameCount: " + Time.frameCount);}IEnumerator Func2(){Debug.Log("XXXXXXXXX");yield return null;Debug.Log("YYYYYYYYY");yield return Func3(); //嵌套 IEnumerator}IEnumerator Func3(){Debug.Log("AAAAAAAA");yield return null;Debug.Log("BBBBBBBB");yield return null;} } 对比结果,基本可以达成协程作用,包括 IEnumerator 嵌套。 但是 Time.frameCount 的结果不同,想来实现细节必然是有差别的。 四、部分Unity源码分析 1、CustomYieldInstruction 类 可以继承该类,并实现自己的、需要异步等待的类。 原理: 当协程中 yield return “一个CustomYieldInstruction的子类”; 其实就相当于在原来的 迭代器A 中,插入了一个 新的迭代器B。 当迭代程序进入 B ,如果 keepWaiting 为 true,MoveNext() 就总是返回 true。 上面已经说过,迭代器在迭代时,MoveNext() 返回false 才标志着迭代完成! 那么,B 就总是完不成,直到 keepWaiting 变为 false。 这样 A 运行至 B处就 处于了 等待B完成的状态,相当于A挂起了。 猜测 YieldInstruction 也是类似的实现。 // Unity C reference source// Copyright (c) Unity Technologies. For terms of use, see// https://unity3d.com/legal/licenses/Unity_Reference_Only_Licenseusing System.Collections;namespace UnityEngine{public abstract class CustomYieldInstruction : IEnumerator{public abstract bool keepWaiting{get;}public object Current{get{return null;} }public bool MoveNext() { return keepWaiting; } public void Reset() {} }} 2、WaitUntil 类 语义为 “等待...直到满足...” 继承自 CustomYieldInstruction,需要等待时让 m_Predicate 返回 false (keepWating为true)。 // Unity C reference source// Copyright (c) Unity Technologies. For terms of use, see// https://unity3d.com/legal/licenses/Unity_Reference_Only_Licenseusing System;namespace UnityEngine{public sealed class WaitUntil : CustomYieldInstruction{Func<bool> m_Predicate;public override bool keepWaiting { get { return !m_Predicate(); } }public WaitUntil(Func<bool> predicate) { m_Predicate = predicate; } }} 3、WaitWhile 类 语义为 “等待...如果满足...” 继承自 CustomYieldInstruction,需要等待时让 m_Predicate 返回 true (keepWating为true)。 与 WaitUntil 的实现恰好相反。 // Unity C reference source// Copyright (c) Unity Technologies. For terms of use, see// https://unity3d.com/legal/licenses/Unity_Reference_Only_Licenseusing System;namespace UnityEngine{public sealed class WaitWhile : CustomYieldInstruction{Func<bool> m_Predicate;public override bool keepWaiting { get { return m_Predicate(); } }public WaitWhile(Func<bool> predicate) { m_Predicate = predicate; } }} 本篇文章为转载内容。原文链接:https://blog.csdn.net/NRatel/article/details/102870744。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-11-24 16:50:42
389
转载
Kotlin
...的首选语言之一。随着时间的推移,Kotlin 的采用率持续上升,尤其是在大型企业和开源项目中,它的影响力不断扩大。本文将探讨 Kotlin 在开源社区的影响力及其对未来编程语言的趋势预测。 Kotlin 在开源项目的应用 随着越来越多的开发者和企业选择 Kotlin,开源社区中的 Kotlin 项目数量显著增长。例如,Kotlin 在 GitHub 上的开源项目数量已超过 100,000 个,其中包括知名项目如 Jetpack Compose、Ktor 和 Koin 等。这些项目不仅体现了 Kotlin 在构建现代应用程序中的灵活性和效率,也证明了 Kotlin 社区的活跃度和贡献能力。 社区参与与贡献 Kotlin 社区的积极参与和贡献是其成功的关键因素之一。Kotlin 的官方论坛、Slack 频道、Stack Overflow 问题以及 GitHub 存储库等,都是开发者分享知识、交流经验的重要平台。通过这些渠道,开发者可以获取最新的 Kotlin 功能更新、最佳实践和常见问题解决方案,进一步促进了社区的繁荣发展。 Kotlin 与现代编程范式的融合 Kotlin 不仅在语言特性上进行了创新,还在不断探索与现代编程范式的融合。例如,它与协程(Coroutines)的深度整合,提供了更高效、更简洁的并发编程方式,这使得 Kotlin 成为构建高性能、响应式应用程序的理想选择。此外,Kotlin 还与 Gradle、Docker 等工具的集成,简化了项目构建和部署流程,进一步增强了其在企业级应用开发中的竞争力。 未来趋势与挑战 展望未来,Kotlin 预计将在以下几个方面展现出更大的潜力: 1. 性能优化:随着 Kotlin 与 JVM 的进一步优化,其性能有望与原生 Java 相媲美,甚至在某些场景下超越 Java。 2. 多平台支持:Kotlin 的跨平台能力将进一步加强,不仅限于 Android,还将扩展至 Web、服务器端等更多领域。 3. 社区驱动的发展:Kotlin 社区将继续推动语言的演进,通过收集开发者反馈、引入新特性和改进现有机制,保持其在编程语言市场中的领先地位。 4. 教育与培训:随着 Kotlin 在企业中的普及,针对 Kotlin 的在线课程、书籍和教程将更加丰富,有助于更多开发者快速掌握这门语言。 总之,Kotlin 作为一门高效、安全且功能丰富的编程语言,已经在开源社区和现代应用开发中占据了重要地位。随着技术的不断进步和社区的持续发展,Kotlin 有望在未来继续引领编程语言的趋势,为开发者提供更强大、更便捷的工具,促进软件开发的创新与发展。
2024-07-25 00:16:35
266
风轻云淡
Maven
...帮咱们开发时节省不少时间,就像是有了个超级助手,能自动搞定那些繁琐的构建工作,让咱们的项目推进得飞快,没有那么多绊脚石挡道。是不是感觉挺酷的?咱们得好好加油,让这玩意儿成为咱们的拿手好戏! 六、结语 Maven作为项目构建管理工具,虽然强大且灵活,但也伴随着一定的复杂性和挑战。嘿!兄弟,这篇文章就是想给你支点招儿,让你在开发过程中遇到问题时能更顺手地找到解决方法,让编程这个事儿变得不那么头疼,提升你的码农体验感。别再为那些小bug烦恼了,跟着我的节奏,咱们一起搞定代码里的小麻烦,让编程之路畅通无阻!嘿,兄弟!听好了,每当你碰上棘手的问题,那可是你升级技能、长本事的绝佳机会!别急,拿出点好奇心,再添点耐心,咱们一起动手,一步步地去解谜,去学习,去挑战。就像在探险一样,慢慢你会发现自己的开发者之路越走越宽广,越来越精彩!所以啊,别怕困难,它们都是你的成长伙伴,加油,咱们一起成为更棒的开发者吧!
2024-08-09 16:06:13
93
初心未变
Mongo
...放弃思考。只要愿意花时间去研究和实践,总会找到解决问题的办法。希望大家都能从中受益匪浅! 好了,今天的分享就到这里啦!如果你也有类似的经历或者疑问,欢迎随时留言交流哦~
2025-04-28 15:38:33
17
柳暗花明又一村_
转载文章
...联系我们,我们将第一时间进行核实并删除相应内容。 接上一篇文章: 重学音视频?认识 MP4 视频(上) 文章的提到的资料都放在知识星球了,后续的内容更新还是以星球为主,也会放出一些干货在公众号的,现在加入星球还是优惠价,后面干货越多,涨价的可能性就越大了。 一个关于音视频领域专业问答的小圈子!! 为了方便大家的检索,我把专栏内容放在网页上了,地址如下: https://glumes.com/player_book/ 如图所示,就能访问专栏啦。 以下就是专栏的内容: 在前文介绍了 MP4 标准的缘由,现在要详细了解一下它的格式。 还是回到这张图: 重点看这里: 第十四部分(ISO/IEC 14496-14):MPEG-4(即MP4)文件格式:定义基于第十二部分的用于存储MPEG-4内容的视频文档格式。 也就是说 MP4 文件格式是定义在 MPEG-4 第 12 部分基础之上的,而第 12 部分的内容描述如下: 第十二部分(ISO/IEC 14496-12):基于ISO的媒体文件格式:定义一个存储媒体内容的文件格式。 所以,要学习 MP4 文件格式,要先了解 第 12 部分的内容,关于 MPEG-4 第 12 部分的文档,我也同步放在知识星球里面了,有需要的可以去下载。 网上关于 MP4 文件格式的文章内容,基本都可以在第 12 部分中找到,可以说它才是学习知识的源头,当做教科书来学肯定没问题。 有官方文档的情况下,会尽量根据文档来学习,而不是盲目的参考网络博客,那样得到的知识体系太零散了。 MP4 文件组成 摘录一段官方文档的内容: 关于 MP4 文件格式,参照文档说明:文件是由一系列叫做 Box 的对象组成的,所有的数据都存储在 Box 中。 官方文档中把这些由对象结构组成的文件叫做 Object-structured File ,算是一个比较广义的概念,但我们就当做 MP4 格式好了,狭义地理解一下,并且这种文件格式必须要包含 File Type 类型的 Box 。 MP4 中的 Box MP4 中的 Box 有很多类型,每个类型中的 Box 代表的含义还不相同,但他们的基础结构还是相同的,继续往下看文档: 每个 Box 是由 Header 和 Data 两部分组成的,Header 中包含了很多标识信息,而 Data 可以是纯数据也可以是其他的子 Box 。 参照文档内容,Header 中包含了 Box 的大小 Size 和类型 Type。 关于 Size 的说明,参考文档: size 字段包含了 Box 和子 Box 的大小,如果 size 为 1 ,说明实际的大小在 largesize 字段中,如果 size 为 0 ,说明这是文件最后一个 Box 了。 关于 Type 的说明,参考文档: type 字段表示该 Box 的类型,标准的 Box 类型都是用四个字母来表示的,如果是用户自定义的类型,就用 uuid 来表示。 另外,要强调一下 Box 的字节序是网络字节序,也就是大端序,关于 Box 结构的伪代码文档中也给出了: 根据伪代码再看 Box 的结构定义就一目了然了。 MP4 中的 FullBox Box 可以说是所有 Box 类型的基类,接下来要了解它的第一个子类 FullBox 。 FullBox 在 Box 的基础上多了 version 和 flags 字段。 其中 version 字段表示 Box 的版本,flags 字段是标志位。 如果 Box 遇到了无法识别的 version 或者 type 字段,就应该跳过或者忽略。 MP4 中更多的 Box MP4 中还有很多类型的 Box ,其实有些 Box 相当重要,甚至面试中还会经常问到,下面从文档中给大家摘录一下所有的 Box 类型。 这些内容在文档中都有,自行下载了,网络的一些资料可能还没有文档全面呢。 后面我们也会继续讲解这些 Box 类型的,以及使用工具来查看 Box 信息,这节就先到这里啦!!! 众所周知,开通了知识星球,邀请了一些在头条、快手等知名IT企业从事过音视频研发的朋友们做专业咨询,涉及的范围比较广,包括 Android/iOS 开发、Camera 开发、视频编辑、在线直播、WebRTC、播放器、OpenGL、C++ 等等,基本上涵盖了音视频工程领域的绝大部分内容。 关于音视频入门如何学习,学习了 FFmpeg 之后又该怎么办,跳槽选择哪个方向比较好,程序员职业软技能等等之类的问题,更是会以行业一线开发人员的角度帮你认真分析,出谋划策。 力求做到有问必答。在知识范围内,认真地对待每一个提问,不一定所有的问题都能答案,但每一个答案都是详细思考过的。 更多开发资料、博客源码、文档教程都会在星球内给出,白菜价即可加入,iOS 用户可以加我微信 ezglumes 拉你进去!!! 一个音视频领域专业问答的小圈子! 加我微信 ezglumes 拉你入技术交流群 推荐阅读: 音视频开发工作经验分享 || 视频版 OpenGL ES 学习资源分享 开通专辑 | 细数那些年写过的技术文章专辑 Android NDK 免费视频在线学习!!! 你想要的音视频开发资料库来了 推荐几个堪称教科书级别的 Android 音视频入门项目 觉得不错,点个在看呗~ 本篇文章为转载内容。原文链接:https://blog.csdn.net/zhying719/article/details/124464016。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2024-01-21 17:43:21
437
转载
站内搜索
用于搜索本网站内部文章,支持栏目切换。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
head -n 10 file.txt
- 显示文件开头的10行内容。
推荐内容
推荐本栏目内的其它文章,看看还有哪些文章让你感兴趣。
2023-04-28
2023-08-09
2023-06-18
2023-04-14
2023-02-18
2023-04-17
2024-01-11
2023-10-03
2023-09-09
2023-06-13
2023-08-07
2023-03-11
历史内容
快速导航到对应月份的历史文章列表。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"