前端技术
HTML
CSS
Javascript
前端框架和UI库
VUE
ReactJS
AngularJS
JQuery
NodeJS
JSON
Element-UI
Bootstrap
Material UI
服务端和客户端
Java
Python
PHP
Golang
Scala
Kotlin
Groovy
Ruby
Lua
.net
c#
c++
后端WEB和工程框架
SpringBoot
SpringCloud
Struts2
MyBatis
Hibernate
Tornado
Beego
Go-Spring
Go Gin
Go Iris
Dubbo
HessianRPC
Maven
Gradle
数据库
MySQL
Oracle
Mongo
中间件与web容器
Redis
MemCache
Etcd
Cassandra
Kafka
RabbitMQ
RocketMQ
ActiveMQ
Nacos
Consul
Tomcat
Nginx
Netty
大数据技术
Hive
Impala
ClickHouse
DorisDB
Greenplum
PostgreSQL
HBase
Kylin
Hadoop
Apache Pig
ZooKeeper
SeaTunnel
Sqoop
Datax
Flink
Spark
Mahout
数据搜索与日志
ElasticSearch
Apache Lucene
Apache Solr
Kibana
Logstash
数据可视化与OLAP
Apache Atlas
Superset
Saiku
Tesseract
系统与容器
Linux
Shell
Docker
Kubernetes
[MyBatis插件API与拦截器配合使用...]的搜索结果
这里是文章列表。热门标签的颜色随机变换,标签颜色没有特殊含义。
点击某个标签可搜索标签相关的文章。
点击某个标签可搜索标签相关的文章。
JQuery插件下载
JQuery插件介绍 jstree是一款非常实用且高度灵活的jQuery目录树插件,特别适用于需要展示复杂层级结构数据的场景。这款插件不仅具有强大的功能,而且非常易于使用和扩展。它能够轻松地与各种不同的主题配合使用,让您的网站或应用界面更加美观。jstree支持从HTML和JSON格式的数据源加载内容,使得数据管理变得更加便捷。此外,它还具备异步回调数据的功能,这意味着您可以动态地加载大量数据而不会影响页面性能。jstree的一个显著优势在于其对旧版浏览器的支持,比如IE8,这使得更多的用户群体能够无障碍地访问您的网站或应用。无论您是在构建文件管理系统,还是在开发复杂的组织架构图,jstree都能提供必要的工具来实现这一目标。它支持多级树结构,可以轻松处理从简单到复杂的各种层级关系,满足了不同项目的需求。总之,jstree凭借其易用性、可扩展性和广泛的功能集,成为了一款不可多得的jQuery目录树插件。无论是前端开发者还是设计师,都可以借助jstree快速创建出美观且功能丰富的目录树界面。 点我下载 文件大小:887.95 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2025-02-19 11:29:37
66
本站
JQuery插件下载
JQuery插件介绍 jQueryScrollFX是一款专为提升网页交互性而设计的动态滚动元素动画插件。它允许开发者在用户浏览页面时,利用滚动动作触发一系列创新的视觉效果。此插件的核心功能在于结合滚动事件,让文字内容在滚动过程中实现动态变化,例如文字大小随滚动位置调整,背景颜色渐变或透明度变化,从而营造出独特的视觉体验,增强用户体验和页面的吸引力。用户可以通过简单的API配置,自定义动画的速度、触发点和多种样式参数,如文字字体大小的渐变动画,背景颜色的透明度变化,或者配合色彩渐变等特效。这种无缝集成的方式使得网页内容与用户的互动更加生动有趣,特别是在长篇文章、图片展示或滚动导航中,ScrollFX能够显著提升内容的呈现方式。适用于各种现代浏览器,包括主流的IE、Firefox、Chrome、Safari和Opera,ScrollFX提供了一种便捷的方式来为网站增添现代感和个性化触感,是前端开发人员创造动态滚动场景的理想工具。无论是为了品牌形象还是提升用户体验,ScrollFX都是一种值得尝试的网页动画解决方案。 点我下载 文件大小:920.42 KB 您将下载一个JQuery插件资源包,该资源包内部文件的目录结构如下: 本网站提供JQuery插件下载功能,旨在帮助广大用户在工作学习中提升效率、节约时间。 本网站的下载内容来自于互联网。如您发现任何侵犯您权益的内容,请立即告知我们,我们将迅速响应并删除相关内容。 免责声明:站内所有资源仅供个人学习研究及参考之用,严禁将这些资源应用于商业场景。 若擅自商用导致的一切后果,由使用者承担责任。
2024-06-03 21:09:12
86
本站
转载文章
...分析,屏蔽IP等; 使用updateStateByKey或者mapWithState进行不同地区广告点击排名的计算; Spark Streaming+Spark SQL+Spark Core等综合分析数据; 使用Window类型的操作; 高可用和性能调优等等; 流量趋势,一般会结合DB等; Spark Core / /package com.tom.spark.SparkApps.sparkstreaming;import java.util.Date;import java.util.HashMap;import java.util.Map;import java.util.Properties;import java.util.Random;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;/ 数据生成代码,Kafka Producer产生数据/public class MockAdClickedStat {/ @param args/public static void main(String[] args) {final Random random = new Random();final String[] provinces = new String[]{"Guangdong", "Zhejiang", "Jiangsu", "Fujian"};final Map<String, String[]> cities = new HashMap<String, String[]>();cities.put("Guangdong", new String[]{"Guangzhou", "Shenzhen", "Dongguan"});cities.put("Zhejiang", new String[]{"Hangzhou", "Wenzhou", "Ningbo"});cities.put("Jiangsu", new String[]{"Nanjing", "Suzhou", "Wuxi"});cities.put("Fujian", new String[]{"Fuzhou", "Xiamen", "Sanming"});final String[] ips = new String[] {"192.168.112.240","192.168.112.239","192.168.112.245","192.168.112.246","192.168.112.247","192.168.112.248","192.168.112.249","192.168.112.250","192.168.112.251","192.168.112.252","192.168.112.253","192.168.112.254",};/ Kafka相关的基本配置信息/Properties kafkaConf = new Properties();kafkaConf.put("serializer.class", "kafka.serializer.StringEncoder");kafkaConf.put("metadeta.broker.list", "Master:9092,Worker1:9092,Worker2:9092");ProducerConfig producerConfig = new ProducerConfig(kafkaConf);final Producer<Integer, String> producer = new Producer<Integer, String>(producerConfig);new Thread(new Runnable() {public void run() {while(true) {//在线处理广告点击流的基本数据格式:timestamp、ip、userID、adID、province、cityLong timestamp = new Date().getTime();String ip = ips[random.nextInt(12)]; //可以采用网络上免费提供的ip库int userID = random.nextInt(10000);int adID = random.nextInt(100);String province = provinces[random.nextInt(4)];String city = cities.get(province)[random.nextInt(3)];String clickedAd = timestamp + "\t" + ip + "\t" + userID + "\t" + adID + "\t" + province + "\t" + city;producer.send(new KeyedMessage<Integer, String>("AdClicked", clickedAd));try {Thread.sleep(50);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }} }).start();} } package com.tom.spark.SparkApps.sparkstreaming;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.util.ArrayList;import java.util.Arrays;import java.util.HashMap;import java.util.HashSet;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.Set;import java.util.concurrent.LinkedBlockingQueue;import kafka.serializer.StringDecoder;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import org.apache.spark.api.java.function.Function2;import org.apache.spark.api.java.function.PairFunction;import org.apache.spark.api.java.function.VoidFunction;import org.apache.spark.sql.DataFrame;import org.apache.spark.sql.Row;import org.apache.spark.sql.RowFactory;import org.apache.spark.sql.hive.HiveContext;import org.apache.spark.sql.types.DataTypes;import org.apache.spark.sql.types.StructType;import org.apache.spark.streaming.Durations;import org.apache.spark.streaming.api.java.JavaDStream;import org.apache.spark.streaming.api.java.JavaPairDStream;import org.apache.spark.streaming.api.java.JavaPairInputDStream;import org.apache.spark.streaming.api.java.JavaStreamingContext;import org.apache.spark.streaming.api.java.JavaStreamingContextFactory;import org.apache.spark.streaming.kafka.KafkaUtils;import com.google.common.base.Optional;import scala.Tuple2;/ 数据处理,Kafka消费者/public class AdClickedStreamingStats {/ @param args/public static void main(String[] args) {// TODO Auto-generated method stub//好处:1、checkpoint 2、工厂final SparkConf conf = new SparkConf().setAppName("SparkStreamingOnKafkaDirect").setMaster("hdfs://Master:7077/");final String checkpointDirectory = "hdfs://Master:9000/library/SparkStreaming/CheckPoint_Data";JavaStreamingContextFactory factory = new JavaStreamingContextFactory() {public JavaStreamingContext create() {// TODO Auto-generated method stubreturn createContext(checkpointDirectory, conf);} };/ 可以从失败中恢复Driver,不过还需要指定Driver这个进程运行在Cluster,并且在提交应用程序的时候制定--supervise;/JavaStreamingContext javassc = JavaStreamingContext.getOrCreate(checkpointDirectory, factory);/ 第三步:创建Spark Streaming输入数据来源input Stream: 1、数据输入来源可以基于File、HDFS、Flume、Kafka、Socket等 2、在这里我们指定数据来源于网络Socket端口,Spark Streaming连接上该端口并在运行的时候一直监听该端口的数据 (当然该端口服务首先必须存在),并且在后续会根据业务需要不断有数据产生(当然对于Spark Streaming 应用程序的运行而言,有无数据其处理流程都是一样的) 3、如果经常在每间隔5秒钟没有数据的话不断启动空的Job其实会造成调度资源的浪费,因为并没有数据需要发生计算;所以 实际的企业级生成环境的代码在具体提交Job前会判断是否有数据,如果没有的话就不再提交Job;///创建Kafka元数据来让Spark Streaming这个Kafka Consumer利用Map<String, String> kafkaParameters = new HashMap<String, String>();kafkaParameters.put("metadata.broker.list", "Master:9092,Worker1:9092,Worker2:9092");Set<String> topics = new HashSet<String>();topics.add("SparkStreamingDirected");JavaPairInputDStream<String, String> adClickedStreaming = KafkaUtils.createDirectStream(javassc, String.class, String.class, StringDecoder.class, StringDecoder.class,kafkaParameters, topics);/因为要对黑名单进行过滤,而数据是在RDD中的,所以必然使用transform这个函数; 但是在这里我们必须使用transformToPair,原因是读取进来的Kafka的数据是Pair<String,String>类型, 另一个原因是过滤后的数据要进行进一步处理,所以必须是读进的Kafka数据的原始类型 在此再次说明,每个Batch Duration中实际上讲输入的数据就是被一个且仅被一个RDD封装的,你可以有多个 InputDStream,但其实在产生job的时候,这些不同的InputDStream在Batch Duration中就相当于Spark基于HDFS 数据操作的不同文件来源而已罢了。/JavaPairDStream<String, String> filteredadClickedStreaming = adClickedStreaming.transformToPair(new Function<JavaPairRDD<String,String>, JavaPairRDD<String,String>>() {public JavaPairRDD<String, String> call(JavaPairRDD<String, String> rdd) throws Exception {/ 在线黑名单过滤思路步骤: 1、从数据库中获取黑名单转换成RDD,即新的RDD实例封装黑名单数据; 2、然后把代表黑名单的RDD的实例和Batch Duration产生的RDD进行Join操作, 准确的说是进行leftOuterJoin操作,也就是说使用Batch Duration产生的RDD和代表黑名单的RDD实例进行 leftOuterJoin操作,如果两者都有内容的话,就会是true,否则的话就是false 我们要留下的是leftOuterJoin结果为false; /final List<String> blackListNames = new ArrayList<String>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();jdbcWrapper.doQuery("SELECT FROM blacklisttable", null, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {while(result.next()){blackListNames.add(result.getString(1));} }});List<Tuple2<String, Boolean>> blackListTuple = new ArrayList<Tuple2<String,Boolean>>();for(String name : blackListNames) {blackListTuple.add(new Tuple2<String, Boolean>(name, true));}List<Tuple2<String, Boolean>> blacklistFromListDB = blackListTuple; //数据来自于查询的黑名单表并且映射成为<String, Boolean>JavaSparkContext jsc = new JavaSparkContext(rdd.context());/ 黑名单的表中只有userID,但是如果要进行join操作的话就必须是Key-Value,所以在这里我们需要 基于数据表中的数据产生Key-Value类型的数据集合/JavaPairRDD<String, Boolean> blackListRDD = jsc.parallelizePairs(blacklistFromListDB);/ 进行操作的时候肯定是基于userID进行join,所以必须把传入的rdd进行mapToPair操作转化成为符合格式的RDD/JavaPairRDD<String, Tuple2<String, String>> rdd2Pair = rdd.mapToPair(new PairFunction<Tuple2<String,String>, String, Tuple2<String, String>>() {public Tuple2<String, Tuple2<String, String>> call(Tuple2<String, String> t) throws Exception {// TODO Auto-generated method stubString userID = t._2.split("\t")[2];return new Tuple2<String, Tuple2<String,String>>(userID, t);} });JavaPairRDD<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> joined = rdd2Pair.leftOuterJoin(blackListRDD);JavaPairRDD<String, String> result = joined.filter(new Function<Tuple2<String,Tuple2<Tuple2<String,String>,Optional<Boolean>>>, Boolean>() {public Boolean call(Tuple2<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> tuple)throws Exception {// TODO Auto-generated method stubOptional<Boolean> optional = tuple._2._2;if(optional.isPresent() && optional.get()){return false;} else {return true;} }}).mapToPair(new PairFunction<Tuple2<String,Tuple2<Tuple2<String,String>,Optional<Boolean>>>, String, String>() {public Tuple2<String, String> call(Tuple2<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> t)throws Exception {// TODO Auto-generated method stubreturn t._2._1;} });return result;} });//广告点击的基本数据格式:timestamp、ip、userID、adID、province、cityJavaPairDStream<String, Long> pairs = filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t) throws Exception {String[] splited=t._2.split("\t");String timestamp = splited[0]; //YYYY-MM-DDString ip = splited[1];String userID = splited[2];String adID = splited[3];String province = splited[4];String city = splited[5]; String clickedRecord = timestamp + "_" +ip + "_"+userID+"_"+adID+"_"+province +"_"+city;return new Tuple2<String, Long>(clickedRecord, 1L);} });/ 第4.3步:在单词实例计数为1基础上,统计每个单词在文件中出现的总次数/JavaPairDStream<String, Long> adClickedUsers= pairs.reduceByKey(new Function2<Long, Long, Long>() {public Long call(Long i1, Long i2) throws Exception{return i1 + i2;} });/判断有效的点击,复杂化的采用机器学习训练模型进行在线过滤 简单的根据ip判断1天不超过100次;也可以通过一个batch duration的点击次数判断是否非法广告点击,通过一个batch来判断是不完整的,还需要一天的数据也可以每一个小时来判断。/JavaPairDStream<String, Long> filterClickedBatch = adClickedUsers.filter(new Function<Tuple2<String,Long>, Boolean>() {public Boolean call(Tuple2<String, Long> v1) throws Exception {if (1 < v1._2){//更新一些黑名单的数据库表return false;} else { return true;} }});//filterClickedBatch.print();//写入数据库filterClickedBatch.foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition) throws Exception {//使用数据库连接池的高效读写数据库的方式将数据写入数据库mysql//例如一次插入 1000条 records,使用insertBatch 或 updateBatch//插入的用户数据信息:userID,adID,clickedCount,time//这里面有一个问题,可能出现两条记录的key是一样的,此时需要更新累加操作List<UserAdClicked> userAdClickedList = new ArrayList<UserAdClicked>();while(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("\t");UserAdClicked userClicked = new UserAdClicked();userClicked.setTimestamp(splited[0]);userClicked.setIp(splited[1]);userClicked.setUserID(splited[2]);userClicked.setAdID(splited[3]);userClicked.setProvince(splited[4]);userClicked.setCity(splited[5]);userAdClickedList.add(userClicked);}final List<UserAdClicked> inserting = new ArrayList<UserAdClicked>();final List<UserAdClicked> updating = new ArrayList<UserAdClicked>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final UserAdClicked clicked : userAdClickedList) {jdbcWrapper.doQuery("SELECT clickedCount FROM adclicked WHERE"+ " timestamp =? AND userID = ? AND adID = ?",new Object[]{clicked.getTimestamp(), clicked.getUserID(),clicked.getAdID()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);clicked.setClickedCount(count);updating.add(clicked);} else {inserting.add(clicked);clicked.setClickedCount(1L);} }});}//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(UserAdClicked insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.getTimestamp(),insertRecord.getIp(),insertRecord.getUserID(),insertRecord.getAdID(),insertRecord.getProvince(),insertRecord.getCity(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclicked VALUES(?, ?, ?, ?, ?, ?, ?)", insertParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(UserAdClicked updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getTimestamp(),updateRecord.getIp(),updateRecord.getUserID(),updateRecord.getAdID(),updateRecord.getProvince(),updateRecord.getCity(),updateRecord.getClickedCount() + 1});}jdbcWrapper.doBatch("UPDATE adclicked SET clickedCount = ? WHERE"+ " timestamp =? AND ip = ? AND userID = ? AND adID = ? "+ "AND province = ? AND city = ?", updateParametersList);} });return null;} });//再次过滤,从数据库中读取数据过滤黑名单JavaPairDStream<String, Long> blackListBasedOnHistory = filterClickedBatch.filter(new Function<Tuple2<String,Long>, Boolean>() {public Boolean call(Tuple2<String, Long> v1) throws Exception {//广告点击的基本数据格式:timestamp,ip,userID,adID,province,cityString[] splited = v1._1.split("\t"); //提取key值String date =splited[0];String userID =splited[2];String adID =splited[3];//查询一下数据库同一个用户同一个广告id点击量超过50次列入黑名单//接下来 根据date、userID、adID条件去查询用户点击广告的数据表,获得总的点击次数//这个时候基于点击次数判断是否属于黑名单点击int clickedCountTotalToday = 81 ;if (clickedCountTotalToday > 50) {return true;}else {return false ;} }});//map操作,找出用户的idJavaDStream<String> blackListuserIDBasedInBatchOnhistroy =blackListBasedOnHistory.map(new Function<Tuple2<String,Long>, String>() {public String call(Tuple2<String, Long> v1) throws Exception {// TODO Auto-generated method stubreturn v1._1.split("\t")[2];} });//有一个问题,数据可能重复,在一个partition里面重复,这个好办;//但多个partition不能保证一个用户重复,需要对黑名单的整个rdd进行去重操作。//rdd去重了,partition也就去重了,一石二鸟,一箭双雕// 找出了黑名单,下一步就写入黑名单数据库表中JavaDStream<String> blackListUniqueuserBasedInBatchOnhistroy = blackListuserIDBasedInBatchOnhistroy.transform(new Function<JavaRDD<String>, JavaRDD<String>>() {public JavaRDD<String> call(JavaRDD<String> rdd) throws Exception {// TODO Auto-generated method stubreturn rdd.distinct();} });// 下一步写入到数据表中blackListUniqueuserBasedInBatchOnhistroy.foreachRDD(new Function<JavaRDD<String>, Void>() {public Void call(JavaRDD<String> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<String>>() {public void call(Iterator<String> t) throws Exception {// TODO Auto-generated method stub//插入的用户信息可以只包含:useID//此时直接插入黑名单数据表即可。//写入数据库List<Object[]> blackList = new ArrayList<Object[]>();while(t.hasNext()) {blackList.add(new Object[]{t.next()});}JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();jdbcWrapper.doBatch("INSERT INTO blacklisttable values (?)", blackList);} });return null;} });/广告点击累计动态更新,每个updateStateByKey都会在Batch Duration的时间间隔的基础上进行广告点击次数的更新, 更新之后我们一般都会持久化到外部存储设备上,在这里我们存储到MySQL数据库中/JavaPairDStream<String, Long> updateStateByKeyDSteam = filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t)throws Exception {String[] splited=t._2.split("\t");String timestamp = splited[0]; //YYYY-MM-DDString ip = splited[1];String userID = splited[2];String adID = splited[3];String province = splited[4];String city = splited[5]; String clickedRecord = timestamp + "_" +ip + "_"+userID+"_"+adID+"_"+province +"_"+city;return new Tuple2<String, Long>(clickedRecord, 1L);} }).updateStateByKey(new Function2<List<Long>, Optional<Long>, Optional<Long>>() {public Optional<Long> call(List<Long> v1, Optional<Long> v2)throws Exception {// v1:当前的Key在当前的Batch Duration中出现的次数的集合,例如{1,1,1,。。。,1}// v2:当前的Key在以前的Batch Duration中积累下来的结果;Long clickedTotalHistory = 0L; if(v2.isPresent()){clickedTotalHistory = v2.get();}for(Long one : v1) {clickedTotalHistory += one;}return Optional.of(clickedTotalHistory);} });updateStateByKeyDSteam.foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition) throws Exception {//使用数据库连接池的高效读写数据库的方式将数据写入数据库mysql//例如一次插入 1000条 records,使用insertBatch 或 updateBatch//插入的用户数据信息:timestamp、adID、province、city//这里面有一个问题,可能出现两条记录的key是一样的,此时需要更新累加操作List<AdClicked> AdClickedList = new ArrayList<AdClicked>();while(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("\t");AdClicked adClicked = new AdClicked();adClicked.setTimestamp(splited[0]);adClicked.setAdID(splited[1]);adClicked.setProvince(splited[2]);adClicked.setCity(splited[3]);adClicked.setClickedCount(record._2);AdClickedList.add(adClicked);}final List<AdClicked> inserting = new ArrayList<AdClicked>();final List<AdClicked> updating = new ArrayList<AdClicked>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final AdClicked clicked : AdClickedList) {jdbcWrapper.doQuery("SELECT clickedCount FROM adclickedcount WHERE"+ " timestamp = ? AND adID = ? AND province = ? AND city = ?",new Object[]{clicked.getTimestamp(), clicked.getAdID(),clicked.getProvince(), clicked.getCity()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);clicked.setClickedCount(count);updating.add(clicked);} else {inserting.add(clicked);clicked.setClickedCount(1L);} }});}//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdClicked insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.getTimestamp(),insertRecord.getAdID(),insertRecord.getProvince(),insertRecord.getCity(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclickedcount VALUES(?, ?, ?, ?, ?)", insertParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(AdClicked updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getClickedCount(),updateRecord.getTimestamp(),updateRecord.getAdID(),updateRecord.getProvince(),updateRecord.getCity()});}jdbcWrapper.doBatch("UPDATE adclickedcount SET clickedCount = ? WHERE"+ " timestamp =? AND adID = ? AND province = ? AND city = ?", updateParametersList);} });return null;} });/ 对广告点击进行TopN计算,计算出每天每个省份Top5排名的广告 因为我们直接对RDD进行操作,所以使用了transfomr算子;/updateStateByKeyDSteam.transform(new Function<JavaPairRDD<String,Long>, JavaRDD<Row>>() {public JavaRDD<Row> call(JavaPairRDD<String, Long> rdd) throws Exception {JavaRDD<Row> rowRDD = rdd.mapToPair(new PairFunction<Tuple2<String,Long>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, Long> t)throws Exception {// TODO Auto-generated method stubString[] splited=t._1.split("_");String timestamp = splited[0]; //YYYY-MM-DDString adID = splited[3];String province = splited[4];String clickedRecord = timestamp + "_" + adID + "_" + province;return new Tuple2<String, Long>(clickedRecord, t._2);} }).reduceByKey(new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 + v2;} }).map(new Function<Tuple2<String,Long>, Row>() {public Row call(Tuple2<String, Long> v1) throws Exception {// TODO Auto-generated method stubString[] splited=v1._1.split("_");String timestamp = splited[0]; //YYYY-MM-DDString adID = splited[3];String province = splited[4];return RowFactory.create(timestamp, adID, province, v1._2);} });StructType structType = DataTypes.createStructType(Arrays.asList(DataTypes.createStructField("timestamp", DataTypes.StringType, true),DataTypes.createStructField("adID", DataTypes.StringType, true),DataTypes.createStructField("province", DataTypes.StringType, true),DataTypes.createStructField("clickedCount", DataTypes.LongType, true)));HiveContext hiveContext = new HiveContext(rdd.context());DataFrame df = hiveContext.createDataFrame(rowRDD, structType);df.registerTempTable("topNTableSource");DataFrame result = hiveContext.sql("SELECT timestamp, adID, province, clickedCount, FROM"+ " (SELECT timestamp, adID, province,clickedCount, "+ "ROW_NUMBER() OVER(PARTITION BY province ORDER BY clickeCount DESC) rank "+ "FROM topNTableSource) subquery "+ "WHERE rank <= 5");return result.toJavaRDD();} }).foreachRDD(new Function<JavaRDD<Row>, Void>() {public Void call(JavaRDD<Row> rdd) throws Exception {// TODO Auto-generated method stubrdd.foreachPartition(new VoidFunction<Iterator<Row>>() {public void call(Iterator<Row> t) throws Exception {// TODO Auto-generated method stubList<AdProvinceTopN> adProvinceTopN = new ArrayList<AdProvinceTopN>();while(t.hasNext()) {Row row = t.next();AdProvinceTopN item = new AdProvinceTopN();item.setTimestamp(row.getString(0));item.setAdID(row.getString(1));item.setProvince(row.getString(2));item.setClickedCount(row.getLong(3));adProvinceTopN.add(item);}// final List<AdProvinceTopN> inserting = new ArrayList<AdProvinceTopN>();// final List<AdProvinceTopN> updating = new ArrayList<AdProvinceTopN>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();Set<String> set = new HashSet<String>();for(AdProvinceTopN item: adProvinceTopN){set.add(item.getTimestamp() + "_" + item.getProvince());}//表的字段timestamp、adID、province、clickedCountArrayList<Object[]> deleteParametersList = new ArrayList<Object[]>();for(String deleteRecord : set) {String[] splited = deleteRecord.split("_");deleteParametersList.add(new Object[]{splited[0],splited[1]});}jdbcWrapper.doBatch("DELETE FROM adprovincetopn WHERE timestamp = ? AND province = ?", deleteParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdProvinceTopN insertRecord : adProvinceTopN) {insertParametersList.add(new Object[] {insertRecord.getClickedCount(),insertRecord.getTimestamp(),insertRecord.getAdID(),insertRecord.getProvince()});}jdbcWrapper.doBatch("INSERT INTO adprovincetopn VALUES (?, ?, ?, ?)", insertParametersList);} });return null;} });/ 计算过去半个小时内广告点击的趋势 广告点击的基本数据格式:timestamp、ip、userID、adID、province、city/filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t)throws Exception {String splited[] = t._2.split("\t");String adID = splited[3];String time = splited[0]; //Todo:后续需要重构代码实现时间戳和分钟的转换提取。此处需要提取出该广告的点击分钟单位return new Tuple2<String, Long>(time + "_" + adID, 1L);} }).reduceByKeyAndWindow(new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 + v2;} }, new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 - v2;} }, Durations.minutes(30), Durations.milliseconds(5)).foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {// TODO Auto-generated method stubrdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition)throws Exception {List<AdTrendStat> adTrend = new ArrayList<AdTrendStat>();// TODO Auto-generated method stubwhile(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("_");String time = splited[0];String adID = splited[1];Long clickedCount = record._2;/ 在插入数据到数据库的时候具体需要哪些字段?time、adID、clickedCount; 而我们通过J2EE技术进行趋势绘图的时候肯定是需要年、月、日、时、分这个维度的,所以我们在这里需要 年月日、小时、分钟这些时间维度;/AdTrendStat adTrendStat = new AdTrendStat();adTrendStat.setAdID(adID);adTrendStat.setClickedCount(clickedCount);adTrendStat.set_date(time); //Todo:获取年月日adTrendStat.set_hour(time); //Todo:获取小时adTrendStat.set_minute(time);//Todo:获取分钟adTrend.add(adTrendStat);}final List<AdTrendStat> inserting = new ArrayList<AdTrendStat>();final List<AdTrendStat> updating = new ArrayList<AdTrendStat>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final AdTrendStat trend : adTrend) {final AdTrendCountHistory adTrendhistory = new AdTrendCountHistory();jdbcWrapper.doQuery("SELECT clickedCount FROM adclickedtrend WHERE"+ " date =? AND hour = ? AND minute = ? AND AdID = ?",new Object[]{trend.get_date(), trend.get_hour(), trend.get_minute(),trend.getAdID()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);adTrendhistory.setClickedCountHistoryLong(count);updating.add(trend);} else { inserting.add(trend);} }});}//表的字段date、hour、minute、adID、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdTrendStat insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.get_date(),insertRecord.get_hour(),insertRecord.get_minute(),insertRecord.getAdID(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclickedtrend VALUES(?, ?, ?, ?, ?)", insertParametersList);//表的字段date、hour、minute、adID、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(AdTrendStat updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getClickedCount(),updateRecord.get_date(),updateRecord.get_hour(),updateRecord.get_minute(),updateRecord.getAdID()});}jdbcWrapper.doBatch("UPDATE adclickedtrend SET clickedCount = ? WHERE"+ " date =? AND hour = ? AND minute = ? AND AdID = ?", updateParametersList);} });return null;} });;/ Spark Streaming 执行引擎也就是Driver开始运行,Driver启动的时候是位于一条新的线程中的,当然其内部有消息循环体,用于 接收应用程序本身或者Executor中的消息,/javassc.start();javassc.awaitTermination();javassc.close();}private static JavaStreamingContext createContext(String checkpointDirectory, SparkConf conf) {// If you do not see this printed, that means the StreamingContext has been loaded// from the new checkpointSystem.out.println("Creating new context");// Create the context with a 5 second batch sizeJavaStreamingContext ssc = new JavaStreamingContext(conf, Durations.seconds(10));ssc.checkpoint(checkpointDirectory);return ssc;} }class JDBCWrapper {private static JDBCWrapper jdbcInstance = null;private static LinkedBlockingQueue<Connection> dbConnectionPool = new LinkedBlockingQueue<Connection>();static {try {Class.forName("com.mysql.jdbc.Driver");} catch (ClassNotFoundException e) {// TODO Auto-generated catch blocke.printStackTrace();} }public static JDBCWrapper getJDBCInstance() {if(jdbcInstance == null) {synchronized (JDBCWrapper.class) {if(jdbcInstance == null) {jdbcInstance = new JDBCWrapper();} }}return jdbcInstance; }private JDBCWrapper() {for(int i = 0; i < 10; i++){try {Connection conn = DriverManager.getConnection("jdbc:mysql://Master:3306/sparkstreaming","root", "root");dbConnectionPool.put(conn);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();} } }public synchronized Connection getConnection() {while(0 == dbConnectionPool.size()){try {Thread.sleep(20);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }return dbConnectionPool.poll();}public int[] doBatch(String sqlText, List<Object[]> paramsList){Connection conn = getConnection();PreparedStatement preparedStatement = null;int[] result = null;try {conn.setAutoCommit(false);preparedStatement = conn.prepareStatement(sqlText);for(Object[] parameters: paramsList) {for(int i = 0; i < parameters.length; i++){preparedStatement.setObject(i + 1, parameters[i]);} preparedStatement.addBatch();}result = preparedStatement.executeBatch();conn.commit();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally {if(preparedStatement != null) {try {preparedStatement.close();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} }if(conn != null) {try {dbConnectionPool.put(conn);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }}return result; }public void doQuery(String sqlText, Object[] paramsList, ExecuteCallBack callback){Connection conn = getConnection();PreparedStatement preparedStatement = null;ResultSet result = null;try {preparedStatement = conn.prepareStatement(sqlText);for(int i = 0; i < paramsList.length; i++){preparedStatement.setObject(i + 1, paramsList[i]);} result = preparedStatement.executeQuery();try {callback.resultCallBack(result);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();} } catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally {if(preparedStatement != null) {try {preparedStatement.close();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} }if(conn != null) {try {dbConnectionPool.put(conn);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }} }}interface ExecuteCallBack {void resultCallBack(ResultSet result) throws Exception;}class UserAdClicked {private String timestamp;private String ip;private String userID;private String adID;private String province;private String city;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getIp() {return ip;}public void setIp(String ip) {this.ip = ip;}public String getUserID() {return userID;}public void setUserID(String userID) {this.userID = userID;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public String getCity() {return city;}public void setCity(String city) {this.city = city;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdClicked {private String timestamp;private String adID;private String province;private String city;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public String getCity() {return city;}public void setCity(String city) {this.city = city;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdProvinceTopN {private String timestamp;private String adID;private String province;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdTrendStat {private String _date;private String _hour;private String _minute;private String adID;private Long clickedCount;public String get_date() {return _date;}public void set_date(String _date) {this._date = _date;}public String get_hour() {return _hour;}public void set_hour(String _hour) {this._hour = _hour;}public String get_minute() {return _minute;}public void set_minute(String _minute) {this._minute = _minute;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdTrendCountHistory{private Long clickedCountHistoryLong;public Long getClickedCountHistoryLong() {return clickedCountHistoryLong;}public void setClickedCountHistoryLong(Long clickedCountHistoryLong) {this.clickedCountHistoryLong = clickedCountHistoryLong;} } 本篇文章为转载内容。原文链接:https://blog.csdn.net/tom_8899_li/article/details/71194434。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-02-14 19:16:35
297
转载
MySQL
...ssword身份验证插件则增强了数据库连接的安全性。 同时,随着云技术的发展,各大云服务商如阿里云、AWS等纷纷推出MySQL托管服务,用户无需关心底层服务器运维,即可轻松实现高可用性和扩展性。对于开发人员来说,了解如何在云环境下高效地进行数据写入操作,比如利用批量插入API减少网络延迟,或者通过参数化查询防止SQL注入攻击,成为了必不可少的知识点。 此外,关于数据库优化策略,一篇来自Oracle官方博客的文章《Maximizing MySQL Performance: Tips from the Experts》深度解读了如何通过索引设计、查询优化以及合理使用存储引擎等手段提升MySQL的数据写入效率。文中引用了大量实战案例,为数据库管理员和开发者提供了宝贵的参考经验。 综上所述,在掌握基本的MySQL数据写入操作之外,紧跟数据库技术发展的步伐,关注安全增强、云服务特性及性能优化技巧,是现代开发者必备的技能升级路径。
2023-06-05 22:29:31
72
算法侠
JQuery
在深入理解了如何使用jQuery来控制radio按钮触发事件并获取选中值的基础上,进一步探讨JavaScript库在现代Web开发中的重要性和实际应用场景。近期,随着前端技术的飞速发展,诸如Vue.js、React和Angular等框架逐渐崭露头角,但jQuery因其易用性与广泛的浏览器兼容性,依然在许多项目中扮演着关键角色。 例如,在最近的一篇博客文章《Why jQuery Still Matters in Modern Web Development》中,作者详细分析了即使在众多新框架涌现的时代背景下,jQuery仍具有简化DOM操作、提供跨浏览器兼容解决方案以及对于初学者友好等显著优势。同时,文中还提到jQuery社区持续维护更新,确保其能够适应现代Web标准,并且能与新兴框架有效结合使用。 此外,jQuery UI等插件库为开发者提供了丰富的交互组件和效果,使得处理如dialog、tabs、滑动效果等功能变得更为便捷。在处理表单元素时,jQuery强大的事件处理机制不仅适用于radio按钮,还可应用于checkboxes、selects等多种控件,实现复杂的表单验证及联动效果。 不仅如此,jQuery还被广泛应用于数据交互领域,配合Ajax请求可以轻松实现实时数据加载与页面无刷新更新,大大提升了用户体验。因此,掌握jQuery在控制radio按钮以及其他DOM元素方面的技巧,对于任何级别的Web开发者来说都是一项不可忽视的基本技能。
2023-02-15 20:20:10
286
软件工程师
JSON
在理解了如何使用Python的json模块将JSON数据转换为字典和列表之后,进一步了解JSON在现代编程实践中的应用及其重要性是十分必要的。JSON因其简洁、易于阅读和编写的特点,已成为API接口、Web服务以及数据库传输等场景下首选的数据交换格式。 近期(时效性),GitHub于2022年推出了改进后的GraphQL API,它支持JSON格式的数据交互,允许开发者更高效地查询和获取所需数据,这无疑再次印证了JSON在数据交换领域的主导地位。同时,随着Python 3.9及更高版本对JSON模块功能的持续优化,如添加对datetime对象的原生支持,使得JSON与Python类型之间的转换更为便捷且兼容性更强。 此外,深入探究JSON安全方面的话题也具有现实意义。由于JSON常用于处理用户输入或从外部源获取的数据,因此确保其安全性至关重要。例如,防范JSON注入攻击需要对解析JSON时进行严格的输入验证和清理。而在Python中,合理使用json.loads()方法配合object_hook参数可以实现对潜在恶意内容的有效检测和拦截。 综上所述,掌握Python中JSON的处理不仅限于基础的编码解码操作,还应关注其在实际开发中的应用场景、最新技术动态以及相关的安全问题,以提升代码质量及应用程序的安全防护能力。
2024-03-03 16:01:36
529
码农
Docker
...od内的应用可以直接使用宿主机的网络栈。 另外,考虑到安全性与隔离性,现代云环境更倾向于采用更精细的网络策略,如CNI(Container Network Interface)插件提供的多种网络模式,包括overlay网络、macvlan等,这些方案不仅支持容器间通信,也能够实现容器到特定主机服务的访问,同时保证了资源的有效隔离和管理。 近期,Docker和eBPF技术的结合也被广泛关注。eBPF(Extended Berkeley Packet Filter)作为一种内核级可编程技术,为容器网络提供了更细粒度的控制能力,通过eBPF可以实现在不使用--net=host的情况下,对容器的网络行为进行深度定制和优化,这一创新实践将对未来的云原生应用网络架构产生深远影响。 总的来说,Docker的网络共享功能只是其强大特性的冰山一角,随着云计算和容器技术的发展,更多先进的网络解决方案正在不断涌现,为构建高效、安全且灵活的应用部署环境提供了无限可能。对于开发者和运维人员来说,紧跟这些前沿趋势和技术动态,无疑有助于提升业务系统的技术水平和竞争力。
2023-03-28 21:41:55
589
逻辑鬼才
JQuery
...,jQuery被用来配合Swiper插件实现手机端轮播图效果。 Swiper , Swiper是专门针对移动端设计的一个强大的触摸滑动插件,基于JavaScript编写,尽管文中提及与jQuery结合使用,但Swiper本身并不依赖于jQuery,它可以独立运行,并且支持多种现代前端框架。在文章中,开发者通过调用Swiper对象并配置相关参数,实现了手机端页面的轮播图功能,包括自动轮播、循环播放以及带有分页器的用户交互体验。 分页器(pagination) , 在Web开发中,分页器是一种常见的用户界面元素,用于展示内容列表或数据集时进行导航。在本文所描述的轮播图场景中,分页器表现为一组可点击的小点或其他形式的视觉提示,用户通过点击这些提示可以跳转到轮播图中的特定帧。通过设置Swiper插件的pagination参数,开发者可以自定义分页器的位置、样式及交互行为,比如是否允许用户通过点击分页器来切换轮播图中的图片。
2023-08-09 12:53:02
1442
电脑达人
CSS
...复用的原子类库,提倡使用预定义的实用类替代自定义CSS,从源头上避免了样式重复的问题,并与组件化开发模式完美契合,成为当下热门的CSS实践方案。 此外,关注未来的Web标准,如层叠样式表层级(CSS Houdini)项目的推进,为开发者提供了更低级别的CSS API,有望在未来解决更多复杂场景下的样式难题,进一步推动前端CSS模块化的深度发展。 综上所述,在应对样式重复引用问题时,我们不仅可以通过传统的CSS模块化策略进行优化,更应关注并探索新的技术和设计理念,以适应不断变化的前端开发需求,提升代码质量和开发效率。
2023-09-11 12:29:02
408
算法侠
VUE
...l实现双向数据绑定,配合事件处理机制,轻松应对SKU多维度筛选的需求。此外,Vue.js生态系统的丰富插件和库也为开发者提供了更多可能,如Element UI、Vuetify等,使得界面设计更符合现代审美,进一步优化了用户的购物体验。 值得注意的是,Vue.js 3.0版本发布后,凭借Composition API、Teleport等新特性,为前端开发带来了更多灵活性和可维护性。未来,随着前端技术的不断发展,Vue.js将在电商乃至更多领域发挥更大的作用,帮助开发者更好地应对日益增长的交互需求和用户体验挑战。 同时,Vue.js社区活跃,不断涌现出优秀的实战教程和项目经验分享,比如《Vue.js实战:从零构建电商应用》一书,深入剖析了如何使用Vue.js搭建完整的电商系统,包括但不限于Sku选择器的设计与实现,为开发者提供了宝贵的实践参考。 总之,Vue.js以其独特的优势持续赋能电商Web开发,无论是实时更新的商品列表展示,还是复杂的SKU选择器设计,都能借力Vue.js实现高效的开发和卓越的用户体验。对于致力于提升网站互动性和流畅度的电商企业而言,Vue.js无疑是值得深入研究和广泛应用的技术利器。
2023-05-19 22:11:19
101
算法侠
VUE
...式的视图模型和简洁的API,便于开发者创建交互丰富的单页应用或复杂的Web应用。 Webpack , Webpack是一个模块打包器,它将项目中的各种资源如JavaScript、CSS、图片等视为模块,通过一系列加载器和插件进行处理,最终生成优化过的静态资源文件。在Vue项目中,Webpack负责编译、转换、压缩和合并这些资源,包括将图片资源转换为可以在浏览器中直接使用的格式,并且可以通过设置正确的路径配置确保图片在生产环境下的正确加载。 publicPath , 在Vue CLI创建的基于Webpack的项目中,publicPath是Webpack输出文件目录下所有资源的公共URL前缀。当项目部署到服务器上时,如果静态资源的URL与开发环境不同,可以通过修改vue.config.js文件中的publicPath属性来指定资源的根路径,以确保图片和其他静态资源能够被正确地从服务器获取并展示在页面上。 require , 在JavaScript中,require是一个CommonJS规范的导入函数,常用于Node.js环境中加载模块。在Vue项目中,由于使用了Webpack,因此也可以借助require函数动态导入图片或其他资源,使其能被Webpack正确识别和处理,并转化为模块化的引用方式,这样在模板中可以通过变量来调用图片资源,避免因路径问题导致图片无法加载的情况发生。
2023-03-20 19:48:02
142
键盘勇士
VUE
...块。在文章中,开发者使用npm来安装Vue视频播放插件vue-video-player,以便在项目中引入并使用该组件。 Vue-video-player , Vue-video-player是一款基于Video.js封装的适用于Vue.js框架的视频播放组件。它提供了丰富的自定义选项和API,可以帮助开发者轻松地在网页上嵌入视频,并实现诸如自动播放、视频源切换、封面显示、播放速率调整、宽高比设置以及字幕支持等多种功能。 MPEG-DASH , MPEG-Dynamic Adaptive Streaming over HTTP(DASH),是一种基于HTTP协议的自适应流媒体传输标准。在最新的Web视频技术动态部分提及,Google开源的Shaka Player优化了对MPEG-DASH的支持。MPEG-DASH允许视频内容根据网络状况和设备能力动态地提供不同码率的视频片段,从而提高流媒体播放的稳定性和用户体验。 WCAG 2.1 , Web Content Accessibility Guidelines 2.1(网页内容可访问性指南2.1版),是由万维网联盟(W3C)制定的一套国际通用的无障碍网页设计标准。在文中提到,为了确保Vue项目中的视频播放器具有良好的无障碍性,开发人员可以参考WCAG 2.1标准,通过vue-video-player实现符合该标准的视频播放器,使其能更好地服务于有特殊需求的用户,如视觉障碍者可以通过屏幕阅读器进行交互操作。
2023-09-29 09:58:35
54
码农
CSS
在深入理解了如何使用CSS实现模态框的隐藏与显示控制后,进一步探索网页交互设计的前沿趋势和实践案例将有助于我们优化用户体验。近期,《Web Design Weekly》发布了一篇题为“现代网页设计中模态框的新应用与最佳实践”的文章,详尽介绍了当下流行的模态框动画效果、无障碍访问优化以及响应式设计策略。例如,通过CSS3的transition和animation属性,设计师能够赋予模态框平滑的弹出和消失动画,从而增强用户感知和互动性。 同时,随着Web可访问性要求的提升,开发人员需要确保模态框对于键盘导航、屏幕阅读器等辅助技术的支持。一些权威机构如W3C提供了详尽指南,指导开发者如何遵循WCAG标准,实现对所有用户的友好体验。 此外,在移动优先的设计理念下,模态框在小屏设备上的展示方式也备受关注。许多前端框架(如Bootstrap、Material-UI)已内置了针对不同设备尺寸的响应式模态框组件,可以根据屏幕大小自动调整位置、尺寸及内容布局。 综上所述,模态框这一常见的交互组件在现代网页设计中的运用正不断丰富和完善,不仅局限于基础的显示与隐藏控制,更注重于流畅的动效、良好的无障碍访问支持以及跨设备的兼容性优化,这些都将为网站整体用户体验的提升带来重要影响。
2023-09-25 10:35:23
468
数据库专家
MySQL
...循“按需分配”的权限策略,只给每个用户提供完成其工作所需的最低权限,减少潜在的安全风险。 3. 定期审计与更新:定期审查MySQL用户表中的远程访问权限设置,及时移除不再需要的远程访问账号;同时保持MySQL服务器及其插件的版本更新,利用最新安全补丁修复已知漏洞。 4. 配合防火墙规则:在服务器层面,结合IPtables或其他防火墙工具精细控制对MySQL服务端口(默认3306)的访问,只允许特定可信IP地址进行远程连接。 5. 利用专门的数据库访问代理服务:对于大型企业或高安全需求场景,可考虑部署数据库访问代理服务,如Amazon RDS Proxy、Azure Database for MySQL Flexible Server等,它们提供了细粒度的访问控制、负载均衡及日志审计等功能,有助于提升远程访问MySQL数据库的整体安全性。 总之,在实现MySQL数据库远程访问便利性的同时,务必重视并实施严格的安全措施,以确保数据库资源不被恶意利用,有效保障企业信息资产的安全。
2023-12-17 16:15:36
63
数据库专家
JQuery
...步,诸如Fetch API、Shadow DOM等新兴技术也为这一领域带来了更多可能性。 例如,一篇来自Mozilla Developer Network(MDN)的技术文章《利用Fetch API进行跨域数据请求与处理》详尽解读了如何在不依赖传统AJAX的情况下,使用Fetch API实现在新窗口打开网页后安全高效地获取远程数据。Fetch API提供了更简洁的语法和更强大的功能,如支持Promise,使得异步操作更为直观且易于错误处理。 同时,Google Chrome团队也在其官方博客上发布了一篇关于“使用Web Components进行跨窗口通信”的深度解析。文中强调了Shadow DOM在封装组件内部状态和样式的同时,如何通过PostMessage API与其他窗口进行通信,进而实现元素内容的共享和更新,这对于构建复杂单页应用或模块化页面具有重要意义。 此外,jQuery虽然在简化DOM操作等方面表现出色,但面对现代Web开发的趋势,开发者也应关注原生JavaScript解决方案及其性能优化。例如,Svelte框架以其对原生浏览器API的高度整合以及对DOM更新的极致优化,在跨窗口交互场景下展现了强大的竞争力。 总之,理解并掌握JQuery等库在新窗口操作中的应用是一方面,紧跟Web开发前沿趋势,了解和运用Fetch API、Shadow DOM及PostMessage等现代Web技术,将有助于我们在实际项目中更好地应对跨窗口交互的需求,提升用户体验与网站性能。
2023-12-31 09:38:03
346
码农
转载文章
...技术的最新发展和优化策略。近年来,随着大数据应用的普及,对于海量数据的高效分页展示需求日益凸显。例如,在2023年,MySQL 8.0版本对LIMIT的性能优化进行了重大改进,通过增强索引排序和查询优化器的智能分析,显著减少了大表分页查询时的延迟。 此外,针对分页查询可能导致的性能瓶颈问题,许多开发者和数据库专家提出了新的解决方案,如利用覆盖索引避免回表操作、使用内存表或临时表存储中间结果以提升效率、结合缓存机制减少数据库访问压力等。 同时,现代Web应用中的无限滚动加载(Infinite Scroll)模式也对分页查询提出了新的挑战。为了实现无缝的数据加载体验,一些前沿的技术方案采用了“分段查询”配合前端动态渲染的方式,替代传统的静态分页,有效减轻了数据库的压力,并提升了用户体验。 综上所述,MySQL的LIMIT关键字是实现分页查询的基础工具,但面对大规模数据处理和复杂的用户交互场景,我们需要不断跟进最新的数据库优化技术和设计理念,才能确保系统的稳定性和响应速度。而随着数据库技术的持续演进,诸如OFFSET关键字的替代方案以及云原生环境下的分布式数据库分页策略等前沿话题,都值得我们关注并深入研究。
2023-10-29 14:04:02
647
转载
转载文章
...fyJS作为一款广泛使用的JavaScript压缩工具,其对ES6语法的支持并非原生具备,这就需要开发者借助Babel等转译工具将ES6代码转换为ES5以便于压缩。 最近,Webpack 5发布并逐步成为主流,其内置了对ES6语法更好的支持,并且推荐使用 terser-webpack-plugin 代替 UglifyJS,它不仅能够很好地处理ES6及更高版本的语法,同时优化了性能和资源占用。对于Vue CLI用户来说,在创建的新项目中,Webpack配置已经默认包含了对ES6+语法的支持,但对于一些包含ES6语法的第三方库,依然需要根据实际情况调整babel-loader的include或exclude选项。 此外,值得注意的是,随着浏览器对ES6标准支持度的提升,许多现代项目开始选择“渐进式编译”策略,即仅对不支持最新JavaScript特性的旧版浏览器进行代码转译,从而减少构建时的开销,提高开发效率。因此,在实际项目中,不仅要关注如何解决当下遇到的压缩问题,更要持续关注前端生态的发展趋势,适时调整构建方案,以确保项目既满足兼容性要求,又能充分利用最新的技术成果。 另外,深入理解和掌握Babel的工作原理及其配置方法,例如通过preset-env按需加载polyfill、自定义插件规则等,也是前端开发者持续优化项目构建流程的重要环节。只有紧跟社区步伐,才能在应对类似UglifyJS压缩ES6语法这类问题时更加游刃有余,高效地完成项目构建任务。
2023-07-11 23:10:34
49
转载
JQuery
在进一步了解如何使用jQuery进行网页交互设计以及模拟指定打印机选择功能后,我们可将关注点延伸至现代Web技术对用户打印体验的优化和个性化设置上。近期,随着WebAssembly等技术的发展,一些企业开始尝试通过浏览器插件或与操作系统深度集成的方式,实现更精细化的打印控制。 例如,Google Chrome浏览器已推出Chrome扩展程序API,开发者可以通过扩展实现更多自定义打印选项,如预设默认打印机、调整打印布局等。Mozilla也正在研究如何利用Web API提供更为灵活的打印服务,包括获取系统打印机信息并允许开发者创建更为丰富的打印界面。 此外,对于企业级应用而言,某些云打印解决方案可以集成到Web应用中,让用户在浏览器端直接调用特定的网络打印机,从而在一定程度上实现了“指定文件打印机”的效果。这些方案通常涉及服务器端处理,并结合了客户端JavaScript/jQuery操作,使得用户能够保存并恢复其打印偏好设置。 深入解读方面,随着Web技术的不断迭代更新,浏览器厂商越来越重视用户体验的提升,未来有可能在安全策略允许的范围内开放更多硬件设备的访问权限,使JavaScript有更大的可能性间接影响如打印机等硬件的使用。因此,前端开发者持续跟进最新的Web技术和标准至关重要,以便更好地满足用户在网页打印功能上的高级需求。
2024-01-14 10:20:01
291
算法侠
Docker
...集成于容器编排平台的插件或API,实现实时或定期的数据备份,确保即使在容器故障或环境迁移时,也能快速恢复应用程序状态。 此外,关于权限管理方面,容器安全领域的研究也持续深入。一些先进的容器安全工具,比如 Open Policy Agent (OPA) 和 Aqua Security,能够帮助用户精细控制容器内部文件系统的访问权限,从而有效防止因不当权限配置导致的数据泄漏或破坏。 综上所述,在实际运用 Docker 进行容器部署时,不仅需要理解基础的挂载状态原理与解决方法,还需紧跟技术发展步伐,结合最新存储方案及安全策略,以保证容器环境中数据的高效、安全存储与访问。
2023-01-13 17:03:08
524
逻辑鬼才
VUE
...交互和页面渲染,通过API接口向后端请求数据;后端则专注于数据处理、业务逻辑运算以及为前端提供API服务。这样做的好处在于提升开发效率、降低耦合度,并有利于团队分工协作及项目维护。 Vue-Router , Vue Router是Vue.js官方提供的路由管理库,用于构建单页面应用(SPA)。它实现了组件级别的路由导航,允许开发者根据不同的URL地址映射到不同的Vue组件,从而实现页面间的跳转和视图切换。Vue Router还提供了丰富的导航守卫钩子函数(如beforeEach),使得开发者可以在路由切换的过程中执行预加载数据、权限验证等各种操作。 Vuex , Vuex是Vue.js生态中的一款状态管理库,用于在大型应用中集中管理组件的状态和共享数据。Vuex通过定义全局状态仓库,统一管理组件内部状态的变化,并通过Action、Mutation和Getter等方式进行状态的异步更新、同步提交和获取。在Vue应用中结合Vue-Router使用时,Vuex能够确保在路由切换过程中数据的一致性和高效性,比如实现预加载功能,即在进入新路由之前预先加载并存储所需的数据至Vuex状态树中。
2023-05-23 11:47:24
251
程序媛
JQuery
...态。在Echarts插件中,这一特性使得管理人员能够即时看到最新数据变化,便于及时调整策略。 自定义图表样式 , 允许用户根据自身需求调整图表的颜色、形状、大小、布局等外观元素,以满足个性化和品牌化的展示需求。在文中,阿里巴巴利用Echarts的自定义功能设计出独特且有洞察力的数据可视化界面。 数据源 , 提供数据输入的地方或系统,可能是数据库、API、文件或其他数据存储。在双十一期间,Echarts需要整合来自多个数据源的信息,如用户行为、库存动态、物流信息等,以构建全面的数据视图。
2024-04-28 16:11:37
297
代码侠
Element-UI
...mposition API,开发者可以更灵活地处理组件状态和逻辑,这无疑对表单验证场景也带来了革新。通过使用setup函数配合useVuelidate等钩子,开发者能更直观且高效地实现复杂的表单验证逻辑,大大提升了开发效率与代码可读性。 此外,对于追求无障碍及用户体验的开发者来说,确保表单验证信息的实时反馈和易用性至关重要。遵循WAI-ARIA规范,结合Element-UI或其它组件库进行无障碍优化,能使各类用户都能顺畅无阻地完成表单填写和提交操作。 总之,在应对前端表单验证挑战时,不断跟进框架和技术栈的新特性,结合社区的最佳实践和经验分享,将有助于我们更好地解决实际开发中遇到的问题,提升产品体验。
2023-07-29 10:10:20
420
素颜如水_t
站内搜索
用于搜索本网站内部文章,支持栏目切换。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
netstat -tulpn
- 查看网络连接状态、监听端口等信息。
推荐内容
推荐本栏目内的其它文章,看看还有哪些文章让你感兴趣。
2023-04-28
2023-08-09
2023-06-18
2023-04-14
2023-02-18
2023-04-17
2024-01-11
2023-10-03
2023-09-09
2023-06-13
2023-08-07
2023-03-11
历史内容
快速导航到对应月份的历史文章列表。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"