前端技术
HTML
CSS
Javascript
前端框架和UI库
VUE
ReactJS
AngularJS
JQuery
NodeJS
JSON
Element-UI
Bootstrap
Material UI
服务端和客户端
Java
Python
PHP
Golang
Scala
Kotlin
Groovy
Ruby
Lua
.net
c#
c++
后端WEB和工程框架
SpringBoot
SpringCloud
Struts2
MyBatis
Hibernate
Tornado
Beego
Go-Spring
Go Gin
Go Iris
Dubbo
HessianRPC
Maven
Gradle
数据库
MySQL
Oracle
Mongo
中间件与web容器
Redis
MemCache
Etcd
Cassandra
Kafka
RabbitMQ
RocketMQ
ActiveMQ
Nacos
Consul
Tomcat
Nginx
Netty
大数据技术
Hive
Impala
ClickHouse
DorisDB
Greenplum
PostgreSQL
HBase
Kylin
Hadoop
Apache Pig
ZooKeeper
SeaTunnel
Sqoop
Datax
Flink
Spark
Mahout
数据搜索与日志
ElasticSearch
Apache Lucene
Apache Solr
Kibana
Logstash
数据可视化与OLAP
Apache Atlas
Superset
Saiku
Tesseract
系统与容器
Linux
Shell
Docker
Kubernetes
[Java元组库的使用方法 ]的搜索结果
这里是文章列表。热门标签的颜色随机变换,标签颜色没有特殊含义。
点击某个标签可搜索标签相关的文章。
点击某个标签可搜索标签相关的文章。
转载文章
...分析,屏蔽IP等; 使用updateStateByKey或者mapWithState进行不同地区广告点击排名的计算; Spark Streaming+Spark SQL+Spark Core等综合分析数据; 使用Window类型的操作; 高可用和性能调优等等; 流量趋势,一般会结合DB等; Spark Core / /package com.tom.spark.SparkApps.sparkstreaming;import java.util.Date;import java.util.HashMap;import java.util.Map;import java.util.Properties;import java.util.Random;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;/ 数据生成代码,Kafka Producer产生数据/public class MockAdClickedStat {/ @param args/public static void main(String[] args) {final Random random = new Random();final String[] provinces = new String[]{"Guangdong", "Zhejiang", "Jiangsu", "Fujian"};final Map<String, String[]> cities = new HashMap<String, String[]>();cities.put("Guangdong", new String[]{"Guangzhou", "Shenzhen", "Dongguan"});cities.put("Zhejiang", new String[]{"Hangzhou", "Wenzhou", "Ningbo"});cities.put("Jiangsu", new String[]{"Nanjing", "Suzhou", "Wuxi"});cities.put("Fujian", new String[]{"Fuzhou", "Xiamen", "Sanming"});final String[] ips = new String[] {"192.168.112.240","192.168.112.239","192.168.112.245","192.168.112.246","192.168.112.247","192.168.112.248","192.168.112.249","192.168.112.250","192.168.112.251","192.168.112.252","192.168.112.253","192.168.112.254",};/ Kafka相关的基本配置信息/Properties kafkaConf = new Properties();kafkaConf.put("serializer.class", "kafka.serializer.StringEncoder");kafkaConf.put("metadeta.broker.list", "Master:9092,Worker1:9092,Worker2:9092");ProducerConfig producerConfig = new ProducerConfig(kafkaConf);final Producer<Integer, String> producer = new Producer<Integer, String>(producerConfig);new Thread(new Runnable() {public void run() {while(true) {//在线处理广告点击流的基本数据格式:timestamp、ip、userID、adID、province、cityLong timestamp = new Date().getTime();String ip = ips[random.nextInt(12)]; //可以采用网络上免费提供的ip库int userID = random.nextInt(10000);int adID = random.nextInt(100);String province = provinces[random.nextInt(4)];String city = cities.get(province)[random.nextInt(3)];String clickedAd = timestamp + "\t" + ip + "\t" + userID + "\t" + adID + "\t" + province + "\t" + city;producer.send(new KeyedMessage<Integer, String>("AdClicked", clickedAd));try {Thread.sleep(50);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }} }).start();} } package com.tom.spark.SparkApps.sparkstreaming;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.util.ArrayList;import java.util.Arrays;import java.util.HashMap;import java.util.HashSet;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.Set;import java.util.concurrent.LinkedBlockingQueue;import kafka.serializer.StringDecoder;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import org.apache.spark.api.java.function.Function2;import org.apache.spark.api.java.function.PairFunction;import org.apache.spark.api.java.function.VoidFunction;import org.apache.spark.sql.DataFrame;import org.apache.spark.sql.Row;import org.apache.spark.sql.RowFactory;import org.apache.spark.sql.hive.HiveContext;import org.apache.spark.sql.types.DataTypes;import org.apache.spark.sql.types.StructType;import org.apache.spark.streaming.Durations;import org.apache.spark.streaming.api.java.JavaDStream;import org.apache.spark.streaming.api.java.JavaPairDStream;import org.apache.spark.streaming.api.java.JavaPairInputDStream;import org.apache.spark.streaming.api.java.JavaStreamingContext;import org.apache.spark.streaming.api.java.JavaStreamingContextFactory;import org.apache.spark.streaming.kafka.KafkaUtils;import com.google.common.base.Optional;import scala.Tuple2;/ 数据处理,Kafka消费者/public class AdClickedStreamingStats {/ @param args/public static void main(String[] args) {// TODO Auto-generated method stub//好处:1、checkpoint 2、工厂final SparkConf conf = new SparkConf().setAppName("SparkStreamingOnKafkaDirect").setMaster("hdfs://Master:7077/");final String checkpointDirectory = "hdfs://Master:9000/library/SparkStreaming/CheckPoint_Data";JavaStreamingContextFactory factory = new JavaStreamingContextFactory() {public JavaStreamingContext create() {// TODO Auto-generated method stubreturn createContext(checkpointDirectory, conf);} };/ 可以从失败中恢复Driver,不过还需要指定Driver这个进程运行在Cluster,并且在提交应用程序的时候制定--supervise;/JavaStreamingContext javassc = JavaStreamingContext.getOrCreate(checkpointDirectory, factory);/ 第三步:创建Spark Streaming输入数据来源input Stream: 1、数据输入来源可以基于File、HDFS、Flume、Kafka、Socket等 2、在这里我们指定数据来源于网络Socket端口,Spark Streaming连接上该端口并在运行的时候一直监听该端口的数据 (当然该端口服务首先必须存在),并且在后续会根据业务需要不断有数据产生(当然对于Spark Streaming 应用程序的运行而言,有无数据其处理流程都是一样的) 3、如果经常在每间隔5秒钟没有数据的话不断启动空的Job其实会造成调度资源的浪费,因为并没有数据需要发生计算;所以 实际的企业级生成环境的代码在具体提交Job前会判断是否有数据,如果没有的话就不再提交Job;///创建Kafka元数据来让Spark Streaming这个Kafka Consumer利用Map<String, String> kafkaParameters = new HashMap<String, String>();kafkaParameters.put("metadata.broker.list", "Master:9092,Worker1:9092,Worker2:9092");Set<String> topics = new HashSet<String>();topics.add("SparkStreamingDirected");JavaPairInputDStream<String, String> adClickedStreaming = KafkaUtils.createDirectStream(javassc, String.class, String.class, StringDecoder.class, StringDecoder.class,kafkaParameters, topics);/因为要对黑名单进行过滤,而数据是在RDD中的,所以必然使用transform这个函数; 但是在这里我们必须使用transformToPair,原因是读取进来的Kafka的数据是Pair<String,String>类型, 另一个原因是过滤后的数据要进行进一步处理,所以必须是读进的Kafka数据的原始类型 在此再次说明,每个Batch Duration中实际上讲输入的数据就是被一个且仅被一个RDD封装的,你可以有多个 InputDStream,但其实在产生job的时候,这些不同的InputDStream在Batch Duration中就相当于Spark基于HDFS 数据操作的不同文件来源而已罢了。/JavaPairDStream<String, String> filteredadClickedStreaming = adClickedStreaming.transformToPair(new Function<JavaPairRDD<String,String>, JavaPairRDD<String,String>>() {public JavaPairRDD<String, String> call(JavaPairRDD<String, String> rdd) throws Exception {/ 在线黑名单过滤思路步骤: 1、从数据库中获取黑名单转换成RDD,即新的RDD实例封装黑名单数据; 2、然后把代表黑名单的RDD的实例和Batch Duration产生的RDD进行Join操作, 准确的说是进行leftOuterJoin操作,也就是说使用Batch Duration产生的RDD和代表黑名单的RDD实例进行 leftOuterJoin操作,如果两者都有内容的话,就会是true,否则的话就是false 我们要留下的是leftOuterJoin结果为false; /final List<String> blackListNames = new ArrayList<String>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();jdbcWrapper.doQuery("SELECT FROM blacklisttable", null, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {while(result.next()){blackListNames.add(result.getString(1));} }});List<Tuple2<String, Boolean>> blackListTuple = new ArrayList<Tuple2<String,Boolean>>();for(String name : blackListNames) {blackListTuple.add(new Tuple2<String, Boolean>(name, true));}List<Tuple2<String, Boolean>> blacklistFromListDB = blackListTuple; //数据来自于查询的黑名单表并且映射成为<String, Boolean>JavaSparkContext jsc = new JavaSparkContext(rdd.context());/ 黑名单的表中只有userID,但是如果要进行join操作的话就必须是Key-Value,所以在这里我们需要 基于数据表中的数据产生Key-Value类型的数据集合/JavaPairRDD<String, Boolean> blackListRDD = jsc.parallelizePairs(blacklistFromListDB);/ 进行操作的时候肯定是基于userID进行join,所以必须把传入的rdd进行mapToPair操作转化成为符合格式的RDD/JavaPairRDD<String, Tuple2<String, String>> rdd2Pair = rdd.mapToPair(new PairFunction<Tuple2<String,String>, String, Tuple2<String, String>>() {public Tuple2<String, Tuple2<String, String>> call(Tuple2<String, String> t) throws Exception {// TODO Auto-generated method stubString userID = t._2.split("\t")[2];return new Tuple2<String, Tuple2<String,String>>(userID, t);} });JavaPairRDD<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> joined = rdd2Pair.leftOuterJoin(blackListRDD);JavaPairRDD<String, String> result = joined.filter(new Function<Tuple2<String,Tuple2<Tuple2<String,String>,Optional<Boolean>>>, Boolean>() {public Boolean call(Tuple2<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> tuple)throws Exception {// TODO Auto-generated method stubOptional<Boolean> optional = tuple._2._2;if(optional.isPresent() && optional.get()){return false;} else {return true;} }}).mapToPair(new PairFunction<Tuple2<String,Tuple2<Tuple2<String,String>,Optional<Boolean>>>, String, String>() {public Tuple2<String, String> call(Tuple2<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> t)throws Exception {// TODO Auto-generated method stubreturn t._2._1;} });return result;} });//广告点击的基本数据格式:timestamp、ip、userID、adID、province、cityJavaPairDStream<String, Long> pairs = filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t) throws Exception {String[] splited=t._2.split("\t");String timestamp = splited[0]; //YYYY-MM-DDString ip = splited[1];String userID = splited[2];String adID = splited[3];String province = splited[4];String city = splited[5]; String clickedRecord = timestamp + "_" +ip + "_"+userID+"_"+adID+"_"+province +"_"+city;return new Tuple2<String, Long>(clickedRecord, 1L);} });/ 第4.3步:在单词实例计数为1基础上,统计每个单词在文件中出现的总次数/JavaPairDStream<String, Long> adClickedUsers= pairs.reduceByKey(new Function2<Long, Long, Long>() {public Long call(Long i1, Long i2) throws Exception{return i1 + i2;} });/判断有效的点击,复杂化的采用机器学习训练模型进行在线过滤 简单的根据ip判断1天不超过100次;也可以通过一个batch duration的点击次数判断是否非法广告点击,通过一个batch来判断是不完整的,还需要一天的数据也可以每一个小时来判断。/JavaPairDStream<String, Long> filterClickedBatch = adClickedUsers.filter(new Function<Tuple2<String,Long>, Boolean>() {public Boolean call(Tuple2<String, Long> v1) throws Exception {if (1 < v1._2){//更新一些黑名单的数据库表return false;} else { return true;} }});//filterClickedBatch.print();//写入数据库filterClickedBatch.foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition) throws Exception {//使用数据库连接池的高效读写数据库的方式将数据写入数据库mysql//例如一次插入 1000条 records,使用insertBatch 或 updateBatch//插入的用户数据信息:userID,adID,clickedCount,time//这里面有一个问题,可能出现两条记录的key是一样的,此时需要更新累加操作List<UserAdClicked> userAdClickedList = new ArrayList<UserAdClicked>();while(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("\t");UserAdClicked userClicked = new UserAdClicked();userClicked.setTimestamp(splited[0]);userClicked.setIp(splited[1]);userClicked.setUserID(splited[2]);userClicked.setAdID(splited[3]);userClicked.setProvince(splited[4]);userClicked.setCity(splited[5]);userAdClickedList.add(userClicked);}final List<UserAdClicked> inserting = new ArrayList<UserAdClicked>();final List<UserAdClicked> updating = new ArrayList<UserAdClicked>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final UserAdClicked clicked : userAdClickedList) {jdbcWrapper.doQuery("SELECT clickedCount FROM adclicked WHERE"+ " timestamp =? AND userID = ? AND adID = ?",new Object[]{clicked.getTimestamp(), clicked.getUserID(),clicked.getAdID()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);clicked.setClickedCount(count);updating.add(clicked);} else {inserting.add(clicked);clicked.setClickedCount(1L);} }});}//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(UserAdClicked insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.getTimestamp(),insertRecord.getIp(),insertRecord.getUserID(),insertRecord.getAdID(),insertRecord.getProvince(),insertRecord.getCity(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclicked VALUES(?, ?, ?, ?, ?, ?, ?)", insertParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(UserAdClicked updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getTimestamp(),updateRecord.getIp(),updateRecord.getUserID(),updateRecord.getAdID(),updateRecord.getProvince(),updateRecord.getCity(),updateRecord.getClickedCount() + 1});}jdbcWrapper.doBatch("UPDATE adclicked SET clickedCount = ? WHERE"+ " timestamp =? AND ip = ? AND userID = ? AND adID = ? "+ "AND province = ? AND city = ?", updateParametersList);} });return null;} });//再次过滤,从数据库中读取数据过滤黑名单JavaPairDStream<String, Long> blackListBasedOnHistory = filterClickedBatch.filter(new Function<Tuple2<String,Long>, Boolean>() {public Boolean call(Tuple2<String, Long> v1) throws Exception {//广告点击的基本数据格式:timestamp,ip,userID,adID,province,cityString[] splited = v1._1.split("\t"); //提取key值String date =splited[0];String userID =splited[2];String adID =splited[3];//查询一下数据库同一个用户同一个广告id点击量超过50次列入黑名单//接下来 根据date、userID、adID条件去查询用户点击广告的数据表,获得总的点击次数//这个时候基于点击次数判断是否属于黑名单点击int clickedCountTotalToday = 81 ;if (clickedCountTotalToday > 50) {return true;}else {return false ;} }});//map操作,找出用户的idJavaDStream<String> blackListuserIDBasedInBatchOnhistroy =blackListBasedOnHistory.map(new Function<Tuple2<String,Long>, String>() {public String call(Tuple2<String, Long> v1) throws Exception {// TODO Auto-generated method stubreturn v1._1.split("\t")[2];} });//有一个问题,数据可能重复,在一个partition里面重复,这个好办;//但多个partition不能保证一个用户重复,需要对黑名单的整个rdd进行去重操作。//rdd去重了,partition也就去重了,一石二鸟,一箭双雕// 找出了黑名单,下一步就写入黑名单数据库表中JavaDStream<String> blackListUniqueuserBasedInBatchOnhistroy = blackListuserIDBasedInBatchOnhistroy.transform(new Function<JavaRDD<String>, JavaRDD<String>>() {public JavaRDD<String> call(JavaRDD<String> rdd) throws Exception {// TODO Auto-generated method stubreturn rdd.distinct();} });// 下一步写入到数据表中blackListUniqueuserBasedInBatchOnhistroy.foreachRDD(new Function<JavaRDD<String>, Void>() {public Void call(JavaRDD<String> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<String>>() {public void call(Iterator<String> t) throws Exception {// TODO Auto-generated method stub//插入的用户信息可以只包含:useID//此时直接插入黑名单数据表即可。//写入数据库List<Object[]> blackList = new ArrayList<Object[]>();while(t.hasNext()) {blackList.add(new Object[]{t.next()});}JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();jdbcWrapper.doBatch("INSERT INTO blacklisttable values (?)", blackList);} });return null;} });/广告点击累计动态更新,每个updateStateByKey都会在Batch Duration的时间间隔的基础上进行广告点击次数的更新, 更新之后我们一般都会持久化到外部存储设备上,在这里我们存储到MySQL数据库中/JavaPairDStream<String, Long> updateStateByKeyDSteam = filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t)throws Exception {String[] splited=t._2.split("\t");String timestamp = splited[0]; //YYYY-MM-DDString ip = splited[1];String userID = splited[2];String adID = splited[3];String province = splited[4];String city = splited[5]; String clickedRecord = timestamp + "_" +ip + "_"+userID+"_"+adID+"_"+province +"_"+city;return new Tuple2<String, Long>(clickedRecord, 1L);} }).updateStateByKey(new Function2<List<Long>, Optional<Long>, Optional<Long>>() {public Optional<Long> call(List<Long> v1, Optional<Long> v2)throws Exception {// v1:当前的Key在当前的Batch Duration中出现的次数的集合,例如{1,1,1,。。。,1}// v2:当前的Key在以前的Batch Duration中积累下来的结果;Long clickedTotalHistory = 0L; if(v2.isPresent()){clickedTotalHistory = v2.get();}for(Long one : v1) {clickedTotalHistory += one;}return Optional.of(clickedTotalHistory);} });updateStateByKeyDSteam.foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition) throws Exception {//使用数据库连接池的高效读写数据库的方式将数据写入数据库mysql//例如一次插入 1000条 records,使用insertBatch 或 updateBatch//插入的用户数据信息:timestamp、adID、province、city//这里面有一个问题,可能出现两条记录的key是一样的,此时需要更新累加操作List<AdClicked> AdClickedList = new ArrayList<AdClicked>();while(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("\t");AdClicked adClicked = new AdClicked();adClicked.setTimestamp(splited[0]);adClicked.setAdID(splited[1]);adClicked.setProvince(splited[2]);adClicked.setCity(splited[3]);adClicked.setClickedCount(record._2);AdClickedList.add(adClicked);}final List<AdClicked> inserting = new ArrayList<AdClicked>();final List<AdClicked> updating = new ArrayList<AdClicked>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final AdClicked clicked : AdClickedList) {jdbcWrapper.doQuery("SELECT clickedCount FROM adclickedcount WHERE"+ " timestamp = ? AND adID = ? AND province = ? AND city = ?",new Object[]{clicked.getTimestamp(), clicked.getAdID(),clicked.getProvince(), clicked.getCity()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);clicked.setClickedCount(count);updating.add(clicked);} else {inserting.add(clicked);clicked.setClickedCount(1L);} }});}//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdClicked insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.getTimestamp(),insertRecord.getAdID(),insertRecord.getProvince(),insertRecord.getCity(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclickedcount VALUES(?, ?, ?, ?, ?)", insertParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(AdClicked updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getClickedCount(),updateRecord.getTimestamp(),updateRecord.getAdID(),updateRecord.getProvince(),updateRecord.getCity()});}jdbcWrapper.doBatch("UPDATE adclickedcount SET clickedCount = ? WHERE"+ " timestamp =? AND adID = ? AND province = ? AND city = ?", updateParametersList);} });return null;} });/ 对广告点击进行TopN计算,计算出每天每个省份Top5排名的广告 因为我们直接对RDD进行操作,所以使用了transfomr算子;/updateStateByKeyDSteam.transform(new Function<JavaPairRDD<String,Long>, JavaRDD<Row>>() {public JavaRDD<Row> call(JavaPairRDD<String, Long> rdd) throws Exception {JavaRDD<Row> rowRDD = rdd.mapToPair(new PairFunction<Tuple2<String,Long>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, Long> t)throws Exception {// TODO Auto-generated method stubString[] splited=t._1.split("_");String timestamp = splited[0]; //YYYY-MM-DDString adID = splited[3];String province = splited[4];String clickedRecord = timestamp + "_" + adID + "_" + province;return new Tuple2<String, Long>(clickedRecord, t._2);} }).reduceByKey(new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 + v2;} }).map(new Function<Tuple2<String,Long>, Row>() {public Row call(Tuple2<String, Long> v1) throws Exception {// TODO Auto-generated method stubString[] splited=v1._1.split("_");String timestamp = splited[0]; //YYYY-MM-DDString adID = splited[3];String province = splited[4];return RowFactory.create(timestamp, adID, province, v1._2);} });StructType structType = DataTypes.createStructType(Arrays.asList(DataTypes.createStructField("timestamp", DataTypes.StringType, true),DataTypes.createStructField("adID", DataTypes.StringType, true),DataTypes.createStructField("province", DataTypes.StringType, true),DataTypes.createStructField("clickedCount", DataTypes.LongType, true)));HiveContext hiveContext = new HiveContext(rdd.context());DataFrame df = hiveContext.createDataFrame(rowRDD, structType);df.registerTempTable("topNTableSource");DataFrame result = hiveContext.sql("SELECT timestamp, adID, province, clickedCount, FROM"+ " (SELECT timestamp, adID, province,clickedCount, "+ "ROW_NUMBER() OVER(PARTITION BY province ORDER BY clickeCount DESC) rank "+ "FROM topNTableSource) subquery "+ "WHERE rank <= 5");return result.toJavaRDD();} }).foreachRDD(new Function<JavaRDD<Row>, Void>() {public Void call(JavaRDD<Row> rdd) throws Exception {// TODO Auto-generated method stubrdd.foreachPartition(new VoidFunction<Iterator<Row>>() {public void call(Iterator<Row> t) throws Exception {// TODO Auto-generated method stubList<AdProvinceTopN> adProvinceTopN = new ArrayList<AdProvinceTopN>();while(t.hasNext()) {Row row = t.next();AdProvinceTopN item = new AdProvinceTopN();item.setTimestamp(row.getString(0));item.setAdID(row.getString(1));item.setProvince(row.getString(2));item.setClickedCount(row.getLong(3));adProvinceTopN.add(item);}// final List<AdProvinceTopN> inserting = new ArrayList<AdProvinceTopN>();// final List<AdProvinceTopN> updating = new ArrayList<AdProvinceTopN>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();Set<String> set = new HashSet<String>();for(AdProvinceTopN item: adProvinceTopN){set.add(item.getTimestamp() + "_" + item.getProvince());}//表的字段timestamp、adID、province、clickedCountArrayList<Object[]> deleteParametersList = new ArrayList<Object[]>();for(String deleteRecord : set) {String[] splited = deleteRecord.split("_");deleteParametersList.add(new Object[]{splited[0],splited[1]});}jdbcWrapper.doBatch("DELETE FROM adprovincetopn WHERE timestamp = ? AND province = ?", deleteParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdProvinceTopN insertRecord : adProvinceTopN) {insertParametersList.add(new Object[] {insertRecord.getClickedCount(),insertRecord.getTimestamp(),insertRecord.getAdID(),insertRecord.getProvince()});}jdbcWrapper.doBatch("INSERT INTO adprovincetopn VALUES (?, ?, ?, ?)", insertParametersList);} });return null;} });/ 计算过去半个小时内广告点击的趋势 广告点击的基本数据格式:timestamp、ip、userID、adID、province、city/filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t)throws Exception {String splited[] = t._2.split("\t");String adID = splited[3];String time = splited[0]; //Todo:后续需要重构代码实现时间戳和分钟的转换提取。此处需要提取出该广告的点击分钟单位return new Tuple2<String, Long>(time + "_" + adID, 1L);} }).reduceByKeyAndWindow(new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 + v2;} }, new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 - v2;} }, Durations.minutes(30), Durations.milliseconds(5)).foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {// TODO Auto-generated method stubrdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition)throws Exception {List<AdTrendStat> adTrend = new ArrayList<AdTrendStat>();// TODO Auto-generated method stubwhile(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("_");String time = splited[0];String adID = splited[1];Long clickedCount = record._2;/ 在插入数据到数据库的时候具体需要哪些字段?time、adID、clickedCount; 而我们通过J2EE技术进行趋势绘图的时候肯定是需要年、月、日、时、分这个维度的,所以我们在这里需要 年月日、小时、分钟这些时间维度;/AdTrendStat adTrendStat = new AdTrendStat();adTrendStat.setAdID(adID);adTrendStat.setClickedCount(clickedCount);adTrendStat.set_date(time); //Todo:获取年月日adTrendStat.set_hour(time); //Todo:获取小时adTrendStat.set_minute(time);//Todo:获取分钟adTrend.add(adTrendStat);}final List<AdTrendStat> inserting = new ArrayList<AdTrendStat>();final List<AdTrendStat> updating = new ArrayList<AdTrendStat>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final AdTrendStat trend : adTrend) {final AdTrendCountHistory adTrendhistory = new AdTrendCountHistory();jdbcWrapper.doQuery("SELECT clickedCount FROM adclickedtrend WHERE"+ " date =? AND hour = ? AND minute = ? AND AdID = ?",new Object[]{trend.get_date(), trend.get_hour(), trend.get_minute(),trend.getAdID()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);adTrendhistory.setClickedCountHistoryLong(count);updating.add(trend);} else { inserting.add(trend);} }});}//表的字段date、hour、minute、adID、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdTrendStat insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.get_date(),insertRecord.get_hour(),insertRecord.get_minute(),insertRecord.getAdID(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclickedtrend VALUES(?, ?, ?, ?, ?)", insertParametersList);//表的字段date、hour、minute、adID、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(AdTrendStat updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getClickedCount(),updateRecord.get_date(),updateRecord.get_hour(),updateRecord.get_minute(),updateRecord.getAdID()});}jdbcWrapper.doBatch("UPDATE adclickedtrend SET clickedCount = ? WHERE"+ " date =? AND hour = ? AND minute = ? AND AdID = ?", updateParametersList);} });return null;} });;/ Spark Streaming 执行引擎也就是Driver开始运行,Driver启动的时候是位于一条新的线程中的,当然其内部有消息循环体,用于 接收应用程序本身或者Executor中的消息,/javassc.start();javassc.awaitTermination();javassc.close();}private static JavaStreamingContext createContext(String checkpointDirectory, SparkConf conf) {// If you do not see this printed, that means the StreamingContext has been loaded// from the new checkpointSystem.out.println("Creating new context");// Create the context with a 5 second batch sizeJavaStreamingContext ssc = new JavaStreamingContext(conf, Durations.seconds(10));ssc.checkpoint(checkpointDirectory);return ssc;} }class JDBCWrapper {private static JDBCWrapper jdbcInstance = null;private static LinkedBlockingQueue<Connection> dbConnectionPool = new LinkedBlockingQueue<Connection>();static {try {Class.forName("com.mysql.jdbc.Driver");} catch (ClassNotFoundException e) {// TODO Auto-generated catch blocke.printStackTrace();} }public static JDBCWrapper getJDBCInstance() {if(jdbcInstance == null) {synchronized (JDBCWrapper.class) {if(jdbcInstance == null) {jdbcInstance = new JDBCWrapper();} }}return jdbcInstance; }private JDBCWrapper() {for(int i = 0; i < 10; i++){try {Connection conn = DriverManager.getConnection("jdbc:mysql://Master:3306/sparkstreaming","root", "root");dbConnectionPool.put(conn);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();} } }public synchronized Connection getConnection() {while(0 == dbConnectionPool.size()){try {Thread.sleep(20);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }return dbConnectionPool.poll();}public int[] doBatch(String sqlText, List<Object[]> paramsList){Connection conn = getConnection();PreparedStatement preparedStatement = null;int[] result = null;try {conn.setAutoCommit(false);preparedStatement = conn.prepareStatement(sqlText);for(Object[] parameters: paramsList) {for(int i = 0; i < parameters.length; i++){preparedStatement.setObject(i + 1, parameters[i]);} preparedStatement.addBatch();}result = preparedStatement.executeBatch();conn.commit();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally {if(preparedStatement != null) {try {preparedStatement.close();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} }if(conn != null) {try {dbConnectionPool.put(conn);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }}return result; }public void doQuery(String sqlText, Object[] paramsList, ExecuteCallBack callback){Connection conn = getConnection();PreparedStatement preparedStatement = null;ResultSet result = null;try {preparedStatement = conn.prepareStatement(sqlText);for(int i = 0; i < paramsList.length; i++){preparedStatement.setObject(i + 1, paramsList[i]);} result = preparedStatement.executeQuery();try {callback.resultCallBack(result);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();} } catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally {if(preparedStatement != null) {try {preparedStatement.close();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} }if(conn != null) {try {dbConnectionPool.put(conn);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }} }}interface ExecuteCallBack {void resultCallBack(ResultSet result) throws Exception;}class UserAdClicked {private String timestamp;private String ip;private String userID;private String adID;private String province;private String city;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getIp() {return ip;}public void setIp(String ip) {this.ip = ip;}public String getUserID() {return userID;}public void setUserID(String userID) {this.userID = userID;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public String getCity() {return city;}public void setCity(String city) {this.city = city;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdClicked {private String timestamp;private String adID;private String province;private String city;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public String getCity() {return city;}public void setCity(String city) {this.city = city;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdProvinceTopN {private String timestamp;private String adID;private String province;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdTrendStat {private String _date;private String _hour;private String _minute;private String adID;private Long clickedCount;public String get_date() {return _date;}public void set_date(String _date) {this._date = _date;}public String get_hour() {return _hour;}public void set_hour(String _hour) {this._hour = _hour;}public String get_minute() {return _minute;}public void set_minute(String _minute) {this._minute = _minute;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdTrendCountHistory{private Long clickedCountHistoryLong;public Long getClickedCountHistoryLong() {return clickedCountHistoryLong;}public void setClickedCountHistoryLong(Long clickedCountHistoryLong) {this.clickedCountHistoryLong = clickedCountHistoryLong;} } 本篇文章为转载内容。原文链接:https://blog.csdn.net/tom_8899_li/article/details/71194434。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-02-14 19:16:35
297
转载
JQuery插件下载
...应用的各项主要功能及使用方法,让用户在初次接触时就能快速上手,有效降低学习成本,提高用户黏性和满意度。无论是在桌面端还是移动端,此插件都能确保向导内容自动适配不同设备屏幕,提供一致的良好视觉与交互体验。总之,“jQuery响应式网站APP操作用户向导插件”是您构建友好用户界面、优化产品介绍流程的理想选择,助力您的项目在用户体验层面脱颖而出。 点我下载 文件大小:77.76 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2024-03-30 10:15:58
318
本站
JQuery插件下载
...插件提供的简单结构和使用方法配置,即可快速将原本静态的标签页转变为拥有丰富动画特效的炫酷选项卡布局。总之,“炫酷Bootstrap美化Tabs选项卡特效”是一个实用且美观的解决方案,可无缝集成到基于Bootstrap构建的项目中,帮助开发者在不牺牲性能的前提下,以较低的成本为网站或应用增添一抹时尚且专业的用户界面亮点。 点我下载 文件大小:41.96 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2023-07-28 09:56:58
268
本站
JQuery插件下载
...了jQuery强大的JavaScript库与CSS3丰富的样式及动画功能,实现了一种既美观又实用的时钟展示效果。该插件的一大亮点在于其响应式设计,使得时钟能够根据不同的设备屏幕尺寸自适应布局,确保在桌面、平板和手机等各种终端上都能呈现出最佳的视觉体验。其使用方法简单直观,易于集成到任何项目中,并且具有良好的扩展性,开发者可以根据需要调整时钟样式、大小甚至增加更多个性化功能。通过该插件制作出的时钟不仅精确显示当前时间,而且具备逼真的模拟时钟动画,能为用户带来生动而真实的互动感受,无疑提升了网页的整体质量和用户体验。总之,这是一款兼具技术和美学价值的网页时钟插件,无论是在新闻网站、个人博客还是企业门户等场景下,都能以优雅的时间流逝展现增添页面的魅力。 点我下载 文件大小:46.25 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2024-04-25 23:14:06
319
本站
JQuery插件下载
...求。更重要的是,它的使用方法非常简单直观。只需几行代码即可完成初始化,并且文档详尽,示例丰富,即使是前端开发新手也能快速上手。无论你是要为网站添加交互式元素,还是想提升现有应用的用户体验,这款插件都是你的理想选择。使用“ES6炫酷开关按钮插件”,让你的应用瞬间拥有iOS般的流畅体验。 点我下载 文件大小:15.05 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2025-02-10 11:29:56
77
本站
JQuery插件下载
...了解网站的各项功能和使用方法,通过高亮显示关键区域,并配以简洁明了的文字说明或提示,让用户在首次接触网站时就能迅速上手。开发者借助jQuery的强大功能,构建出灵活且易于定制的向导流程,可以轻松关联到网站中任意HTML元素,实现逐个区块、逐个功能的互动式介绍。该插件不仅适用于各种网页布局和设计风格,还能与网站的其他JavaScript库无缝集成,确保向导体验流畅自然。对于网站管理员而言,设置和配置该插件也相当简便,只需按照文档指导,通过简单的JavaScript代码调用及自定义选项,即可快速创建出符合网站需求的新用户引导流程。这样一款实用高效的jQuery插件无疑极大地提升了网站的易用性和用户黏性,是众多web开发人员优化用户体验的重要工具之一。 点我下载 文件大小:334.01 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2023-08-25 09:34:14
70
本站
JQuery插件下载
...某些问题的评分。它的使用方法简单直观,开发者可以轻松地将其集成到现有的项目中,快速提升用户体验。此外,由于其基于标准的Web技术开发,无需额外的插件或库支持,兼容性极佳,能够适应大多数现代浏览器的需求。总之,这款jQuery和CSS3简洁滑块设计效果不仅提供了优雅的视觉呈现,还具备高度的灵活性和功能性,是网页设计师和前端开发者不可或缺的强大工具。无论是创建复杂的交互式表单还是简单的滑动条,它都是理想的选择。 点我下载 文件大小:48.05 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2025-01-02 10:51:08
80
本站
JQuery插件下载
...轻量级处理时间和日期JavaScript库",它提供了一个强大而简洁的时间和日期处理工具。Day.js库以极小的体积(仅2KB)实现了与广为人知的Moment.js相同的API设计,使得开发者能够无缝过渡并利用其功能。Day.js库专注于时间格式化与日期格式化,支持各种常见的日期操作任务,包括但不限于日期解析、格式化、添加或减去时间单位、比较日期等。无论你是需要将日期转换成特定格式,还是进行复杂的日期计算,Day.js都能轻松应对。此外,它还提供了丰富的插件系统,允许用户根据需要扩展其功能,满足更复杂的应用场景需求。对于熟悉Moment.js的开发者而言,使用Day.js几乎不需要额外的学习成本。你只需将现有的Moment.js代码稍作调整即可无缝切换至Day.js,享受其带来的高性能与低资源消耗。对于新手来说,Day.js同样易于上手,文档详尽且示例丰富,可以帮助快速掌握使用方法。总之,如果你正在寻找一款高效、灵活且易于集成的时间和日期处理解决方案,那么Day.js将是你的理想选择。它不仅能满足日常开发中的基本需求,还能通过插件机制轻松应对更多高级用例。无论是构建个人项目还是企业级应用,Day.js都是处理时间和日期问题时不可或缺的强大工具。 点我下载 文件大小:154.16 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2024-12-15 10:56:28
92
本站
JQuery插件下载
...格布局。Pinto的使用方法直观简单,只需通过简单的HTML结构和jQuery调用即可激活插件功能。开发者可以轻松地将图片网格布局融入到自己的项目中,无论是博客、电商网站还是内容分享平台,都能展现出独特的视觉风格和用户体验。总之,Pinto作为一款优秀的瀑布流布局插件,以其轻巧、响应式的特性,以及高度的灵活性和易用性,成为构建现代、动态图片展示界面的理想选择。它不仅能够提升用户浏览图片时的沉浸感,还能显著增强网站的整体美观度和互动性。 点我下载 文件大小:1.71 MB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2024-10-06 10:37:43
81
本站
JQuery插件下载
...打造逼真打字机效果的JavaScript插件,专为那些追求独特文字展示效果的开发者和设计师而设计。这款插件集成了十一款精心设计的模拟打字特效,能够将静态文本动态化,赋予其活灵活现的生命力。TheaterJS的核心理念在于通过细致的参数设置,模拟真实的打字机操作过程,包括打字、回退、暂停以及互动等细节,使得生成的文字动画既自然又具有强烈的视觉冲击力。用户可以根据不同的应用场景和需求,调整速度、字体、颜色等多种参数,创造出独一无二的文字展示效果。在使用TheaterJS时,只需简单地将插件引入HTML页面,并通过JavaScript调用相关方法,即可轻松实现文字的动态输入效果。这种交互式的文字呈现方式不仅能够吸引用户的注意力,还能有效提升信息传达的效率和趣味性。TheaterJS的界面友好且易于上手,无论是前端开发者还是设计师,都能快速掌握其使用方法,将其融入到各种项目中。从简单的网站标题展示到复杂的用户界面元素,TheaterJS都能提供丰富的选择,满足多样化的创意需求。总之,TheaterJS作为一款专业的文字特效和打字机效果插件,以其高度的灵活性和逼真的动画效果,成为了众多项目中的亮点,为用户提供了前所未有的视觉体验和互动乐趣。无论是用于个人作品展示还是商业应用,TheaterJS都是一个不可多得的强大工具。 点我下载 文件大小:13.34 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2024-09-05 11:29:12
116
本站
JQuery插件下载
...Refocus插件的使用方法简单直观,只需通过简单的HTML结构和JavaScript调用即可激活其特效。开发者可以在网页中添加背景图片元素,并通过插件API轻松调整模糊程度、过渡时间等参数,以满足不同场景和需求。此外,该插件还支持响应式设计,能够根据不同屏幕尺寸自动调整效果表现,确保在各种设备上都能呈现出最佳视觉体验。除了基本的镜头模糊效果,Refocus还提供了丰富的自定义选项,允许用户根据项目风格和设计要求进行个性化设置。例如,可以调整模糊边缘的透明度、选择特定区域进行局部模糊处理,甚至结合其他CSS动画效果,创造出更加复杂多变的视觉冲击力。总之,Refocus是一款强大且易于集成的jQuery插件,它不仅能够显著提升网站或应用的视觉吸引力,还能通过其灵活的配置选项,满足各种创意需求。无论是用于构建动态的用户体验,还是增强页面的视觉层次感,Refocus都是一个不可多得的工具。 点我下载 文件大小:190.02 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2024-09-25 20:39:15
55
本站
JQuery插件下载
...的视觉体验。此插件的使用方法简单直观,只需几个关键步骤即可将你的图片集转化为动感十足的圆形幻灯片展示。它支持自定义数量的图片,并允许用户随心所欲地调整图片之间的切换速度和动画时长,确保每一张图片都能以最佳状态呈现给观众。除了基本的圆形切换功能,这款插件还提供了丰富的自定义选项,包括但不限于背景颜色、过渡效果、圆角大小等,使得每个项目都能根据特定的风格和需求进行个性化调整。无论是个人博客、产品展示页还是企业网站,都能通过此插件的丰富功能,实现独一无二的视觉冲击力。总而言之,jQuery和CSS3炫酷圆形图片切换特效不仅是一套技术解决方案,更是一个激发创意、提升用户体验的工具。无论你是前端开发新手还是经验丰富的专业人士,都能从中找到满足需求的功能与灵感,共同探索网页设计的新边界。 点我下载 文件大小:93.75 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2024-09-23 11:20:30
106
本站
HTML
...是不应该的)。 解决方法: 不要实时动态生成!不要实时动态生成!每次查一下数据库,再生成数据,再响应,这个过程不快! 如果非要动态生成,建议设置一个调度,每隔几个小时,生成一下然后存放静态的sitemap.xml文件放在服务器根路径下面,即https://www.你的域名.com/sitemap.xml这里。 这样,搜索引擎来抓取的时候,直接拿现成的静态文件,结合尝试三、尝试四,保证单个sitemap文件又不会太大,就很稳妥了。响应速度又快,单文件大小又舒服,url数量又符合搜索引擎的预期。 写在后面的话 对于sitemap.xml的应用,新站还需要注意下面几个地方: 名字无所谓,但一定都是xxx.xml格式,xxx的名字最终你会提交给站长后台的,但要小写,不要出现一些乱七八糟的符号 新站不要过分依赖于sitemap.xml,搜索引擎对于新站的态度其实更喜欢自己发现的url,sitemap.xml提交几千几万也不见得会都来爬取 爬取是第一步,是否收录,还取决于站点的质量等等因素,这个比较博大精深了,我也说不好其中一二 以及,lastmod这个也不要任意改,比如你只改了lastmod但没改文章内容,会存在概率性被搜索引擎认为是作弊的 被索引的文章,不要删除,否则搜索引擎会认为站点不稳定 最后,sitemap.xml提交只是第一步,更多的还是应该注重站点的质量建设、外链维护、用户体验的提升
2024-01-26 18:24:34
496
admin-tim
Java
在深入理解Java中对象的比较方式后,我们可以进一步探索更广阔的应用场景和实践策略。近期,随着JDK 17的发布,对内存管理和字符串处理的优化更加凸显了正确使用“==”和equals()方法的重要性。例如,在JDK 17引入的String类的内部优化中,对于相同的字符串字面量,其“==”比较的结果在更多情况下将表现为true,这是由于对字符串常量池进行了更为高效的管理。 此外,对于自定义类的对象比较,不仅需要重写equals()方法以实现内容比较,还应遵循约定,同时重写hashCode()方法以保持equals()和hashCode()的一致性原则。这在诸如HashMap、HashSet等集合类的使用场景中至关重要,因为这些类会依赖hashCode()来快速定位元素,而equals()则用于最终确定元素是否相等。 实践中,对于复杂的对象结构,如多层嵌套的对象属性,可以采用Apache Commons Lang库中的EqualsBuilder和HashCodeBuilder工具类进行深度内容比较。这些工具提供了链式调用的方式,能确保即使对象结构复杂也能准确地判断内容是否相等,从而避免因属性遗漏而导致的比较错误。 总之,理解并有效运用Java中的对象比较方式是编程过程中的基石之一,它不仅关乎程序逻辑的准确性,也在很大程度上影响着应用程序的性能与健壮性。紧跟技术发展趋势,结合实际项目需求,灵活选择和定制合适的比较策略,是每个Java开发者不断提升技能的重要环节。
2023-06-27 10:13:01
314
键盘勇士
VUE
...建议开发者关注并合理使用这些生命周期钩子,特别是在处理如定时器、事件监听器等可能会导致内存泄漏的情况时。 例如,除了beforeDestroy或beforeUnmount外,Vue 3引入了setup()函数,它在组件实例创建之后、渲染之前执行,为资源初始化提供了更为灵活的时机。而在卸载阶段,可以结合onUnmounted()来替代旧版的beforeDestroy钩子,实现更加清晰且易于维护的清理逻辑。 此外,对于大型项目或长期运行的应用,有效管理内存至关重要。开发者应深入理解JavaScript垃圾回收机制,并结合Vue.js特性,确保在组件销毁时解除所有引用,防止无用数据长时间占据内存空间。因此,掌握如何利用Vue.js生命周期钩子进行资源释放,不仅是提升应用性能的关键步骤,也是提高代码质量、避免潜在问题的良好实践。 同时,社区中也有许多针对Vue.js内存管理及性能优化的实战案例和深度解析文章,通过学习这些前沿实践,开发者能够更全面地理解和运用Vue.js生命周期钩子,从而编写出更加高效、健壮的组件代码。
2023-12-03 18:12:48
66
逻辑鬼才
Java
在Java语言中,选择框和多选框都是广泛利用的图形界面组件。它们允许让用户做出选择,让软件程序获取用户输入。下面我们来深入了解Java中的选择框和多选框。 一、选择框 JRadioButton radioButton1 = new JRadioButton("选择项A"); JRadioButton radioButton2 = new JRadioButton("选择项B"); JRadioButton radioButton3 = new JRadioButton("选择项C"); ButtonGroup buttonGroup = new ButtonGroup(); buttonGroup.add(radioButton1); buttonGroup.add(radioButton2); buttonGroup.add(radioButton3); 选择框允许利用JRadioButton类来新建,其中每个选择框都需要归类,这样才能保证同一类别中仅一个被选取。新建ButtonGroup实例并利用add()方法将选择框实例加入到归类中即可。 二、多选框 JCheckBox checkBox1 = new JCheckBox("选择项A"); JCheckBox checkBox2 = new JCheckBox("选择项B"); JCheckBox checkBox3 = new JCheckBox("选择项C"); 多选框允许利用JCheckBox类来新建,每个多选框都是单独的,允许多个或单个都被选取。 三、多选框组 JCheckBoxGroup checkBoxGroup = new JCheckBoxGroup(); checkBoxGroup.addCheckBox(checkBox1); checkBoxGroup.addCheckBox(checkBox2); checkBoxGroup.addCheckBox(checkBox3); 如果需要将多个多选框归类,则允许利用自定义的JCheckBoxGroup类来完成。加入多选框时允许利用addCheckBox()方法,从而将所有的多选框加入到同一组中。 以上就是Java语言中选择框和多选框的利用方法。它们都是非常重要的图形界面组件,利用起来也比较简单,只需要理解它们的特性和利用方法即可。
2023-04-24 23:41:54
385
码农
Python
...it论坛上分享了他在使用Python进行游戏循环逻辑处理时,因误操作动态数组而导致的类似问题,引发了社区的热烈讨论。 该开发者指出,在处理游戏实体(如外星人)集合时,直接在遍历过程中修改集合内容可能导致索引错误、丢失数据等问题。为解决此类问题,Python提供了多种方法,如使用列表推导式创建新列表代替原列表,或者先记录待删除项,遍历结束后再统一执行删除操作。此外,还可以考虑采用更为安全的数据结构,如集合或生成器表达式,在某些场景下能有效避免迭代过程中的状态改变问题。 另外,Python官方文档也强调了对于可变对象在循环中正确操作的重要性,并提供了一系列最佳实践建议。例如,《Effective Python》一书中提到,“在对容器元素进行迭代的同时对其进行修改是一种反模式,应尽量避免”。这一观点与我们之前分析“外星人入侵”游戏bug时得出的结论相吻合,再次提醒我们在实际编程中关注细节,遵循正确的编程范式,以提升代码质量和程序稳定性。
2023-12-10 11:15:11
201
昨夜星辰昨夜风_t
HTML
...如HTML、CSS、JavaScript等。今天我们将要介绍的是光头强的HTML代码。下面是一段HTML代码例子: 这是一段HTML代码例子, 它包括了两个段。 在这个例子中,我们可以看到运用了 元素, 元素是HTML中用于代表段的元素,通过 元素可以将文本内容划分展示,使文章逻辑更加清晰。 此外,在这个例子中我们还看到了 元素, 元素是HTML中的一个特殊元素,它用于展示预格式化的文本。使用 元素可以保留文本中的所有空格、缩进等格式,从而在代码展示时能够更为清晰地展示。 除此之外,光头强还运用了许多其他的HTML元素,比如元素、元素等,这些元素都是在构建网页时必不可少的。 总之,HTML作为构建网页的基础语言,在前端开发中非常重要。光头强的这段HTML代码例子,为我们展示了HTML元素的使用方法和预格式化文本的展示方式,这对于初学者来说是非常有帮助的。
2023-05-13 09:23:43
468
软件工程师
HTML
...需要一定的基本知识和方法。 <!DOCTYPE html> <html> <head> <title>网页标题</title> </head> <body> <h1>这是顶级标题</h1> <p>这是一段文字。</p> <img src="图片地址"> </body> </html> 在HTML代码中,<!DOCTYPE html>是声明文件类型的声明,<html>元素是包括所有HTML代码的顶层元素。<head>元素包括文档的metadata,如标题和脚本。<title>元素设定了文档的标题,该元素必需包括在head元素中。<body>元素设定了HTML包括的文本内容,如文字、图片、链接等。<h1>元素是一种标题元素,h1~h6共6种级别,用于设定不同级别的标题。<p>元素设定文本段落,可以包括文字、图片、链接等。 在编写HTML代码时,需要遵守语法规则,如元素必需成对出现,元素名要小写,属性值要用引号包括等。同时,也需要了解常用元素的属性和使用方法。例如,<img>元素用于显示图片,需要声明图片的地址和大小等属性;<a>元素用于创建链接,需要声明链接的地址和文本等属性。 在学习HTML代码时,可以参考相关教程和文档,也可以参考其他网站的源代码,学习其结构和语法。同时,还需要不断实践,编写代码才能够更好地掌握方法和规则。
2023-05-02 11:53:31
469
码农
Java
在Java编程实践中,父类与子类间的转换是面向对象设计的重要组成部分。本文介绍了向上转型和向下转型的基本概念及操作方式,但类型转换的深度应用远不止于此。近期,在开发Spring框架5.x版本的应用程序时,开发者们更关注如何安全且高效地运用类型转换来实现灵活的设计模式。 例如,在处理依赖注入(Dependency Injection)时,开发者可能需要将容器管理的父类Bean实例转换为具体的子类实例。Spring框架通过AOP代理和类型检查机制,提供了一种更为智能和安全的转换方式。同时,Java 8及更高版本引入了Optional类以增强类型安全,开发者可以通过Optional提供的map方法进行安全的向下转型,从而避免ClassCastException异常。 深入探究,类型转换还涉及Java运行时的类型信息获取、泛型擦除等复杂问题。在处理集合类如List中存储Cat对象并进行向下转型时,可以借助Java反射API或TypeReference类解决泛型类型擦除带来的不便。 此外,《Effective Java》一书中的Item 53:优先使用继承而非类型参数化来实现“is-a”关系,强调了正确理解并使用类型转换对于设计稳定、易于维护的代码库至关重要。这也提醒我们在实际编程中,不仅要掌握类型转换的技巧,更要遵循面向对象设计原则,合理利用继承与多态特性,确保代码的可读性和扩展性。 总的来说,理解并熟练运用Java中的类型转换不仅是实现功能的基础,也是优化性能、提高代码质量的关键所在。随着技术的发展,诸如Project Valhalla等新特性的引入将进一步丰富Java类型系统,使得类型转换在未来的Java编程中有更多可能性和挑战等待我们去探索。
2023-12-31 10:17:23
337
编程狂人
Python
...的结果不受负数影响,使用了abs()函数获取sum变量的绝对值,从而得到正确的正数之和。 循环遍历 , 循环遍历是一种常见的编程概念,特别是在处理序列类型数据结构(如列表、元组等)时尤为常用。在Python中,可以通过for循环配合in关键字来遍历列表中的每个元素。文中示例代码通过“for num in num_list:”这一语句实现了对列表num_list的循环遍历,使得程序能够依次检查并处理列表中的每一个数值元素。在解决正数求和问题时,循环遍历是筛选并累加正数的核心机制。
2023-04-28 23:59:16
1590
软件工程师
Java
在深入理解Java访问控制修饰符的基础上,我们可以通过以下实际应用场景和最新技术动态进一步探究其重要性和影响力。 近期,随着Spring框架5.x版本的广泛采用以及模块化编程的日益流行,访问控制权限的重要性更加凸显。在大型企业级项目中,开发者必须精确控制类、接口和成员变量的可见性,以保证代码的封装性和安全性。例如,在微服务架构中,每个服务模块内部定义的核心业务逻辑通常会被设置为private或package-private(default),以避免被外部模块随意访问,从而降低耦合度和潜在的安全风险。 同时,protected访问控制在面向对象设计中的角色也愈发关键。在实现组件复用和继承时,父类通过protected成员变量和方法向子类提供了一种安全而灵活的扩展机制。如在JDK新特性记录中,有开发者利用protected修饰符优化了框架内部组件的设计,使子类可以方便地重写和扩展特定功能,而不影响原有框架结构的稳定性。 此外,对于开源社区而言,public API的设计直接关系到库的易用性和兼容性。许多开源库在迭代更新过程中,会严格限制新增API的访问级别,尽量减少对外暴露的public接口,转而推荐使用protected或默认访问权限的方法来指导用户按照最佳实践进行扩展开发。 综上所述,掌握Java中的访问控制修饰符并合理运用,不仅有助于编写出更安全、高效、易于维护的代码,更能顺应现代软件工程的发展趋势,适应复杂多变的技术生态。
2023-05-18 18:06:08
371
键盘勇士
站内搜索
用于搜索本网站内部文章,支持栏目切换。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
history | grep keyword
- 搜索包含关键词的历史命令。
推荐内容
推荐本栏目内的其它文章,看看还有哪些文章让你感兴趣。
2023-04-28
2023-08-09
2023-06-18
2023-04-14
2023-02-18
2023-04-17
2024-01-11
2023-10-03
2023-09-09
2023-06-13
2023-08-07
2023-03-11
历史内容
快速导航到对应月份的历史文章列表。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"