[命令行工具识别MySQL组件是否存在]的搜索结果

...时，我们需要通过构建工具（如Maven、Sbt）明确指定项目的依赖关系。这里说的依赖，可不是仅仅局限在Spark自己的核心组件里，还包括咱们应用“嗷嗷待哺”的其他第三方库。这些库之间，就好比是一群互相帮忙的朋友，关系错综复杂。如果其中任何一个朋友缺席了，那整个团队的工作可能就要乱套，咱们的应用也就没法正常运转啦。 2. 缺少依赖库引发的问题实例 假设我们要用Spark读取MySQL数据库中的数据，首先需要引入JDBC驱动依赖： scala // 在build.sbt文件中添加依赖 libraryDependencies += "mysql" % "mysql-connector-java" % "8.0.23" // 或在pom.xml文件中添加依赖 mysql mysql-connector-java 8.0.23 然后在代码中尝试连接MySQL： scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.appName("mysqlExample").getOrCreate() val jdbcDF = spark.read.format("jdbc") .option("url", "jdbc:mysql://localhost:3306/mydatabase") .option("driver", "com.mysql.jdbc.Driver") .option("dbtable", "mytable") .load() jdbcDF.show() 如果此时没有正确引入并配置MySQL JDBC驱动，上述代码在运行时就会抛出类似于NoClassDefFoundError: com/mysql/jdbc/Driver的异常，表明Spark找不到相应的类定义，这就是典型的因缺少依赖库而导致的运行错误。 3. 如何避免和解决依赖库缺失问题 (1) 全面且精确地声明依赖 在项目初始化阶段，务必详细列出所有必需的依赖库及其版本信息，确保它们能在构建过程中被正确下载和打包。 (2) 利用构建工具管理依赖 利用Maven、Gradle或Sbt等构建工具，可以自动解析和管理项目依赖关系，减少手动管理带来的疏漏。 (3) 检查和更新依赖 定期检查和更新项目依赖库，以适应新版本API的变化以及修复潜在的安全漏洞。 (4) 理解依赖传递性 深入理解各个库之间的依赖关系，防止因间接依赖导致的问题。当遇到问题时，可通过查看构建日志或使用mvn dependency:tree命令来排查依赖树结构。 总结来说，依赖库对于Spark这类复杂的应用框架而言至关重要。只有妥善管理和维护好这些“零部件”，才能保证Spark引擎稳定高效地运转。所以，开发者们在尽情享受Spark带来的各种便捷时，也千万不能忽视对依赖库的管理和配置这项重要任务。只有这样，咱们的大数据探索之路才能走得更顺溜，一路绿灯，畅通无阻。

如果你需要查看MySQL中的全部采用者，能够采用以下流程： 1. 登录MySQL的命令行环境： $ mysql -u root -p 2. 展示全部采用者： mysql>SELECT User FROM mysql.user; 3. 展示采用者和主机搭配： mysql>SELECT User, Host FROM mysql.user; 4. 展示采用者、主机和相应的的权限： mysql>SELECT User, Host, Select_priv, Insert_priv, Update_priv, Delete_priv FROM mysql.user; 5. 查看全部全局权限： mysql>SHOW GRANTS FOR root@'%'; 6. 查看全部数据库权限： mysql>SHOW GRANTS FOR 'user'@'localhost'; 以上是查看MySQL中全部采用者的方法，能够根据实际情况选择不同的命令查看不同的信息。

MySQL是一个普遍的关联型数据库管理系统，它的开源及高稳定性使其成为商业应用中的首选项数据库。如果要运用MySQL，首先需要开启MySQL服务。以下是开启MySQL服务的步骤： 1. 启动指令行（Terminal）。2. 键入以下指令：sudo /usr/local/mysql/support-files/mysql.server start3. 按回车键后，键入您的管理员密码（密码不会显示），然后按回车键。4. 如果MySQL服务成功开启，您将看到指令行显示“SUCCESS!” 通过上述步骤，您的MySQL服务已经成功运行。如果需要停止MySQL服务，只需运用以下指令： sudo /usr/local/mysql/support-files/mysql.server stop 需要注意的是，每次开启MySQL服务后，请确保运用以下指令关闭MySQL服务： sudo /usr/local/mysql/support-files/mysql.server stop 这样能够确保MySQL服务正常关闭，从而避免不必要的错误和数据损失。

介绍 MySQL是当前运用最普遍的开放源代码关系型数据库管理系统，但在进行效能改良时，我们需要掌握SQL语句执行的时间，以方便找到低效查询，并进行改良。本文将介绍如何查阅MySQL执行SQL语句所需时间。 使用SQL语句查阅 MySQL提供了内置变量“profiling”，用于运行分析SQL语句，查询运行时间。设定profiling变量为1，然后执行SQL语句，会在“information_schema”数据库的“PROFILING”表中创建执行日志。 SET profiling = 1; SELECT FROM table_name; SHOW PROFILES; 执行SHOW PROFILES命令，即可查阅执行SQL语句用时状况，CPU和内存的消耗情况。 使用终端查阅 在MySQL终端中，可以使用“\s”命令查阅服务器的状态，包括查询运行时间。 SELECT FROM table_name; \s 执行“\s”命令，即可查阅查询运行时间，并且可以查阅服务器的状态信息。 使用Percona工具查阅 Percona是一款专业的MySQL性能改良工具，提供了很多性能改良的工具，特别是Percona Toolkit中的pt-query-digest，可以生成详细的SQL执行统计报告，包括SQL语句的运行时间及其他相关信息。 pt-query-digest /var/log/mysql/mysql-slow.log 执行上述命令，将分析MySQL低效查询日志，并输出详细的SQL执行统计报告。 总结 学会查阅MySQL执行SQL语句所需时间，是MySQL效能改良的重要一步。我们可以使用SQL语句和终端来查阅，也可以使用专业的Percona工具进行分析，以获得更详细的SQL执行统计报告。

...担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 在ubuntu12.04中以源码编译方式安装Python3.5.2.tgz，并在Python3中安装flask Web服务器。 （1）编译Python3.5.2.tgz，使得ubuntu12.04也能使用Python3编程环境； 1）安装ssl开发包，pip的运行依赖ssl环境， apt-get install libssl-dev openssl 2）安装sqlite3及其开发包；Python内置sqlite3的库，需要在编译 python前,在系统中安装sqlite的开发包libsqlite3-dev，否则 Python将不支持使用sqlite3数据库功能"import sqlite3" apt-get install sqlite3 libsqlite3-dev 3）安装mysql-client及其开发包，mysql-client为常用数据库客户端， 需要在编译前安装开发包 apt-get install mysql-client libmysqlclient-dev 4）源码编译安装python3.5.2 准备源码到/usr/local目录tar zxfv Python-3.5.2.tgz -C /usr/local 编译 Python3.5.2 cd /usr/local/Python-3.5.2./configuremake make install （2）通过pip3安装flask，使得可以利用flask web服务器技术，为用户提供基于Python3编程语言的Web服务器运行环境。 1）使用pip3安装flask 先安装flask需要的依赖包click,itsdangerous,jinja2,markupSafe,werkzeug pip3 install click==7.0 itsdangerous==1.1.0 jinja2==2.11.1 markupSafe==1.1.1 werkzeug==1.0.0 ,再安装flask: pip3 install flask==1.1.1 2）运行python3，输入import flask，没有报错说明flask安装成功： 本篇文章为转载内容。原文链接：https://blog.csdn.net/codeblank/article/details/124417662。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 mysql 帮助：A.2.3 Client does not support authentication protocol MySQL 4.1 and up uses an authentication protocol based on a password hashing algorithm that is incompatible with that used by older clients. If you upgrade the server to 4.1, attempts to connect to it with an older client may fail with the following message: shell> mysqlClient does not support authentication protocol requestedby server; consider upgrading MySQL client To solve this problem, you should use one of the following approaches: http://www.gaodaima.com/38584.htmlMYSQL 新版出现" Client does_mysql Upgrade all client programs to use a 4.1.1 or newer client library. When connecting to the server with a pre-4.1 client program, use an account that still has a pre-4.1-style password. Reset the password to pre-4.1 style for each user that needs to use a pre-4.1 client program. This can be done using the SET PASSWORD statement and the OLD_PASSWORD() function: mysql> SET PASSWORD FOR -> 'some_user'@'some_host' = OLD_PASSWORD('newpwd'); Alternatively, use UPDATE and FLUSH PRIVILEGES: mysql> UPDATE mysql.user SET Password = OLD_PASSWORD('newpwd') -> WHERE Host = 'some_host' AND User = 'some_user';mysql> FLUSH PRIVILEGES; Substitute the password you want to use for newpwd'' in the preceding examples. MySQL cannot tell you what the original password was, so you'll need to pick a new one. Tell the server to use the older password hashing algorithm: Start mysqld with the --old-passwords option. Assign an old-format password to each account that has had its password updated to the longer 4.1 format. You can identify these accounts with the following query: mysql> SELECT Host, User, Password FROM mysql.user -> WHERE LENGTH(Password) > 16; For each account record displayed by the query, use the Host and User values and assign a password using the OLD_PASSWORD() function and either SET PASSWORD or UPDATE, as described earlier. For additional background on password hashing and authentication, see section 5.5.9 Password Hashing in MySQL 4.1. 例子： SET PASSWORD FOR 用户名@localhost = OLD_PASSWORD('密码'); 欢迎大家阅读《MYSQL 新版出现" Client does_mysql》,跪求各位点评,若觉得好的话请收藏本文，by 搞代码 微信 赏一包辣条吧~ 支付宝 赏一听可乐吧~ 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_29363791/article/details/114779150。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...Gradle作为构建工具时，一个至关重要的环节就是处理项目中的依赖关系。在本文里，咱们要来好好唠唠，在Gradle打包这事儿上，怎么才能又准又溜地把依赖包塞进来，让你的项目能顺顺利利编译运行，一点儿都不带卡壳的。 1. 理解Gradle依赖管理 首先，Gradle的依赖管理机制非常强大，它允许我们以声明式的方式定义项目所需的各种库（或称依赖）。这些依赖项，你可以从本地的文件夹、Maven那个大仓库、Ivy的存储地，甚至其他远在天边的远程仓库里通通把它们捞出来。理解这一点是正确配置和打包依赖的关键。 1.1 在build.gradle文件中声明依赖 每个Gradle项目都有一个或多个build.gradle文件，这是配置项目构建过程的地方。在这里，我们可以用groovy或者kotlin DSL来声明依赖。例如： groovy dependencies { // 声明一个Java项目的编译期依赖 implementation 'com.google.guava:guava:30.1-jre' // 声明测试相关的依赖 testImplementation 'junit:junit:4.13.2' // 声明运行时需要但编译时不需要的依赖 runtimeOnly 'mysql:mysql-connector-java:8.0.26' } 上述代码中，我们在dependencies块内通过implementation、testImplementation和runtimeOnly等方式分别指定了不同类型的依赖。 2. 控制依赖范围与传递性 2.1 依赖范围 Gradle为依赖提供了多种范围，如implementation、api、compileOnly等，用于控制依赖在编译、测试及运行阶段的作用域。比方说，implementation这个家伙的作用，就好比你有一个小秘密，只告诉自己模块内部的成员，不会跑去跟依赖它的其他模块小伙伴瞎嚷嚷。但是，当你用上api的时候，那就相当于你不仅告诉了自家模块的成员，还大方地把这个接口分享给了所有下游模块的朋友。 2.2 依赖传递性 默认情况下，Gradle具有依赖传递性，即如果A模块依赖B模块，而B模块又依赖C模块，那么A模块间接依赖了C模块。有时我们需要控制这种传递性，可以通过transitive属性进行设置： groovy dependencies { implementation('org.hibernate:hibernate-core:5.6.9.Final') { transitive = false // 禁止传递依赖 } } 3. 使用定制化仓库 除了标准的Maven中央仓库，我们还可以添加自定义的仓库地址来下载依赖包： groovy repositories { mavenCentral() // 默认的Maven中央仓库 maven { url 'https://maven.example.com/repo' } // 自定义仓库 } 4. 打包时包含依赖 当执行gradle build命令时，Gradle会自动处理并包含所有已声明的依赖。对于Java应用，使用jar任务打包时，默认并不会将依赖打进生成的jar文件中。若需将依赖包含进去，可采用如下方式： groovy task fatJar(type: Jar) { archiveBaseName = 'my-fat-app' from { configurations.runtimeClasspath.collect { it.isDirectory() ? it : zipTree(it) } } with jar } 这段代码创建了一个名为fatJar的任务，它将运行时依赖一并打包进同一个jar文件中，便于部署和运行。 总结来说，掌握Gradle依赖管理的核心在于理解其声明式依赖配置以及对依赖范围、传递性的掌控。同时，咱们在打包的时候，得瞅准实际情况，灵活选择最合适的策略把依赖项一并打包进去，这样才能保证咱们的项目构建既一步到位，又快马加鞭，准确高效没商量。在整个开发过程中，Gradle就像个超级灵活、无比顺手的工具箱，让开发者能够轻轻松松解决各种乱七八糟、错综复杂的依赖关系难题，真可谓是个得力小助手。

...和无比强大的机器学习工具箱，引得大家伙儿都对它投来关注的目光。不过，在实际操作的时候，我们经常会遇到这样的情形：需要把各种来源的数据，比如SQL数据库里的数据，搬运到Spark这个平台里头，好让我们能够对这些数据进行更深入的加工和解读。这篇文章将带你了解如何将数据从SQL数据库导入到Spark中。 首先，我们需要了解一下什么是Spark。Spark是一款超级厉害的大数据处理工具，它快得飞起，又能应对各种复杂的任务场景。无论是批处理大批量的数据，还是进行实时的交互查询，甚至流式数据处理和复杂的图计算，它都能轻松搞定，可以说是大数据界的多面手。它通过内存计算的方式，大大提高了数据处理的速度。 那么，如何将数据从SQL数据库导入到Spark中呢？我们可以分为以下几个步骤： 一、创建Spark会话 在Spark中，我们通常会使用SparkSession来与Spark进行交互。首先，我们需要创建一个SparkSession实例： python from pyspark.sql import SparkSession spark = SparkSession.builder.appName('MyApp').getOrCreate() 二、读取SQL数据库中的数据 在Spark中，我们可以使用read.jdbc()函数来读取SQL数据库中的数据。这个函数需要提供一些参数，包括数据库URL、表名、用户名、密码等： python df = spark.read.format("jdbc").options( url="jdbc:mysql://localhost:3306/mydatabase", driver="com.mysql.jdbc.Driver", dbtable="mytable", user="root", password="password" ).load() 以上代码会读取名为"mydatabase"的MySQL数据库中的"mytable"表，并将其转换为DataFrame对象。 三、查看读取的数据 我们可以使用show()函数来查看读取的数据： python df.show() 四、对数据进行处理 读取并加载数据后，我们就可以对其进行处理了。例如，我们可以使用select()函数来选择特定的列： python df = df.select("column1", "column2") 我们也可以使用filter()函数来过滤数据： python df = df.filter(df.column1 > 10) 五、将处理后的数据保存到文件或数据库中 最后，我们可以使用write()函数将处理后的数据保存到文件或数据库中。例如，我们可以将数据保存到CSV文件中： python df.write.csv("output.csv") 或者将数据保存回原来的数据库： python df.write.jdbc(url="jdbc:mysql://localhost:3306/mydatabase", table="mytable", mode="overwrite") 以上就是将数据从SQL数据库导入到Spark中的全部流程。敲黑板，划重点啦！要知道，不同的数据库类型就像是不同口味的咖啡，它们可能需要各自的“咖啡伴侣”——也就是JDBC驱动程序。所以当你打算用read.jdbc()这个小工具去读取数据时，千万记得先检查一下，对应的驱动程序是否已经乖乖地安装好啦~ 总结一下，Spark提供了简单易用的API，让我们能够方便地将数据从各种数据源导入到Spark中进行处理和分析。无论是进行大规模数据处理还是复杂的数据挖掘任务，Spark都能提供强大的支持。希望这篇文章能对你有所帮助，让你更好地掌握Spark。

...担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。 Spark Streaming电商广告点击综合案例 需求分析和技术架构 广告点击系统实时分析 广告来自于广告或者移动App等，广告需要设定在具体的广告位，当用户点击广告的时候，一般都会通过ajax或Socket往后台发送日志数据，在这里我们是要做基于SparkStreaming做实时在线统计。那么数据就需要放进消息系统（Kafka）中，我们的Spark Streaming应用程序就会去Kafka中Pull数据过来进行计算和消费，并把计算后的数据放入到持久化系统中（MySQL） 广告点击系统实时分析的意义：因为可以在线实时的看见广告的投放效果，就为广告的更大规模的投入和调整打下了坚实的基础，从而为公司带来最大化的经济回报。 核心需求： 1、实时黑名单动态过滤出有效的用户广告点击行为：因为黑名单用户可能随时出现，所以需要动态更新； 2、在线计算广告点击流量； 3、Top3热门广告； 4、每个广告流量趋势； 5、广告点击用户的区域分布分析 6、最近一分钟的广告点击量； 7、整个广告点击Spark Streaming处理程序724小时运行； 数据格式： 时间、用户、广告、城市等 技术细节： 在线计算用户点击的次数分析，屏蔽IP等； 使用updateStateByKey或者mapWithState进行不同地区广告点击排名的计算； Spark Streaming+Spark SQL+Spark Core等综合分析数据； 使用Window类型的操作； 高可用和性能调优等等； 流量趋势，一般会结合DB等； Spark Core / /package com.tom.spark.SparkApps.sparkstreaming;import java.util.Date;import java.util.HashMap;import java.util.Map;import java.util.Properties;import java.util.Random;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;/ 数据生成代码，Kafka Producer产生数据/public class MockAdClickedStat {/ @param args/public static void main(String[] args) {final Random random = new Random();final String[] provinces = new String[]{"Guangdong", "Zhejiang", "Jiangsu", "Fujian"};final Map<String, String[]> cities = new HashMap<String, String[]>();cities.put("Guangdong", new String[]{"Guangzhou", "Shenzhen", "Dongguan"});cities.put("Zhejiang", new String[]{"Hangzhou", "Wenzhou", "Ningbo"});cities.put("Jiangsu", new String[]{"Nanjing", "Suzhou", "Wuxi"});cities.put("Fujian", new String[]{"Fuzhou", "Xiamen", "Sanming"});final String[] ips = new String[] {"192.168.112.240","192.168.112.239","192.168.112.245","192.168.112.246","192.168.112.247","192.168.112.248","192.168.112.249","192.168.112.250","192.168.112.251","192.168.112.252","192.168.112.253","192.168.112.254",};/ Kafka相关的基本配置信息/Properties kafkaConf = new Properties();kafkaConf.put("serializer.class", "kafka.serializer.StringEncoder");kafkaConf.put("metadeta.broker.list", "Master:9092,Worker1:9092,Worker2:9092");ProducerConfig producerConfig = new ProducerConfig(kafkaConf);final Producer<Integer, String> producer = new Producer<Integer, String>(producerConfig);new Thread(new Runnable() {public void run() {while(true) {//在线处理广告点击流的基本数据格式：timestamp、ip、userID、adID、province、cityLong timestamp = new Date().getTime();String ip = ips[random.nextInt(12)]; //可以采用网络上免费提供的ip库int userID = random.nextInt(10000);int adID = random.nextInt(100);String province = provinces[random.nextInt(4)];String city = cities.get(province)[random.nextInt(3)];String clickedAd = timestamp + "\t" + ip + "\t" + userID + "\t" + adID + "\t" + province + "\t" + city;producer.send(new KeyedMessage<Integer, String>("AdClicked", clickedAd));try {Thread.sleep(50);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }} }).start();} } package com.tom.spark.SparkApps.sparkstreaming;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.util.ArrayList;import java.util.Arrays;import java.util.HashMap;import java.util.HashSet;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.Set;import java.util.concurrent.LinkedBlockingQueue;import kafka.serializer.StringDecoder;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import org.apache.spark.api.java.function.Function2;import org.apache.spark.api.java.function.PairFunction;import org.apache.spark.api.java.function.VoidFunction;import org.apache.spark.sql.DataFrame;import org.apache.spark.sql.Row;import org.apache.spark.sql.RowFactory;import org.apache.spark.sql.hive.HiveContext;import org.apache.spark.sql.types.DataTypes;import org.apache.spark.sql.types.StructType;import org.apache.spark.streaming.Durations;import org.apache.spark.streaming.api.java.JavaDStream;import org.apache.spark.streaming.api.java.JavaPairDStream;import org.apache.spark.streaming.api.java.JavaPairInputDStream;import org.apache.spark.streaming.api.java.JavaStreamingContext;import org.apache.spark.streaming.api.java.JavaStreamingContextFactory;import org.apache.spark.streaming.kafka.KafkaUtils;import com.google.common.base.Optional;import scala.Tuple2;/ 数据处理，Kafka消费者/public class AdClickedStreamingStats {/ @param args/public static void main(String[] args) {// TODO Auto-generated method stub//好处：1、checkpoint 2、工厂final SparkConf conf = new SparkConf().setAppName("SparkStreamingOnKafkaDirect").setMaster("hdfs://Master:7077/");final String checkpointDirectory = "hdfs://Master:9000/library/SparkStreaming/CheckPoint_Data";JavaStreamingContextFactory factory = new JavaStreamingContextFactory() {public JavaStreamingContext create() {// TODO Auto-generated method stubreturn createContext(checkpointDirectory, conf);} };/ 可以从失败中恢复Driver，不过还需要指定Driver这个进程运行在Cluster，并且在提交应用程序的时候制定--supervise;/JavaStreamingContext javassc = JavaStreamingContext.getOrCreate(checkpointDirectory, factory);/ 第三步：创建Spark Streaming输入数据来源input Stream: 1、数据输入来源可以基于File、HDFS、Flume、Kafka、Socket等 2、在这里我们指定数据来源于网络Socket端口，Spark Streaming连接上该端口并在运行的时候一直监听该端口的数据 (当然该端口服务首先必须存在），并且在后续会根据业务需要不断有数据产生（当然对于Spark Streaming 应用程序的运行而言，有无数据其处理流程都是一样的） 3、如果经常在每间隔5秒钟没有数据的话不断启动空的Job其实会造成调度资源的浪费，因为并没有数据需要发生计算；所以 实际的企业级生成环境的代码在具体提交Job前会判断是否有数据，如果没有的话就不再提交Job；///创建Kafka元数据来让Spark Streaming这个Kafka Consumer利用Map<String, String> kafkaParameters = new HashMap<String, String>();kafkaParameters.put("metadata.broker.list", "Master:9092,Worker1:9092,Worker2:9092");Set<String> topics = new HashSet<String>();topics.add("SparkStreamingDirected");JavaPairInputDStream<String, String> adClickedStreaming = KafkaUtils.createDirectStream(javassc, String.class, String.class, StringDecoder.class, StringDecoder.class,kafkaParameters, topics);/因为要对黑名单进行过滤，而数据是在RDD中的，所以必然使用transform这个函数； 但是在这里我们必须使用transformToPair，原因是读取进来的Kafka的数据是Pair<String,String>类型, 另一个原因是过滤后的数据要进行进一步处理，所以必须是读进的Kafka数据的原始类型 在此再次说明，每个Batch Duration中实际上讲输入的数据就是被一个且仅被一个RDD封装的，你可以有多个 InputDStream，但其实在产生job的时候，这些不同的InputDStream在Batch Duration中就相当于Spark基于HDFS 数据操作的不同文件来源而已罢了。/JavaPairDStream<String, String> filteredadClickedStreaming = adClickedStreaming.transformToPair(new Function<JavaPairRDD<String,String>, JavaPairRDD<String,String>>() {public JavaPairRDD<String, String> call(JavaPairRDD<String, String> rdd) throws Exception {/ 在线黑名单过滤思路步骤： 1、从数据库中获取黑名单转换成RDD，即新的RDD实例封装黑名单数据； 2、然后把代表黑名单的RDD的实例和Batch Duration产生的RDD进行Join操作， 准确的说是进行leftOuterJoin操作，也就是说使用Batch Duration产生的RDD和代表黑名单的RDD实例进行 leftOuterJoin操作，如果两者都有内容的话，就会是true，否则的话就是false 我们要留下的是leftOuterJoin结果为false； /final List<String> blackListNames = new ArrayList<String>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();jdbcWrapper.doQuery("SELECT FROM blacklisttable", null, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {while(result.next()){blackListNames.add(result.getString(1));} }});List<Tuple2<String, Boolean>> blackListTuple = new ArrayList<Tuple2<String,Boolean>>();for(String name : blackListNames) {blackListTuple.add(new Tuple2<String, Boolean>(name, true));}List<Tuple2<String, Boolean>> blacklistFromListDB = blackListTuple; //数据来自于查询的黑名单表并且映射成为<String, Boolean>JavaSparkContext jsc = new JavaSparkContext(rdd.context());/ 黑名单的表中只有userID，但是如果要进行join操作的话就必须是Key-Value，所以在这里我们需要 基于数据表中的数据产生Key-Value类型的数据集合/JavaPairRDD<String, Boolean> blackListRDD = jsc.parallelizePairs(blacklistFromListDB);/ 进行操作的时候肯定是基于userID进行join，所以必须把传入的rdd进行mapToPair操作转化成为符合格式的RDD/JavaPairRDD<String, Tuple2<String, String>> rdd2Pair = rdd.mapToPair(new PairFunction<Tuple2<String,String>, String, Tuple2<String, String>>() {public Tuple2<String, Tuple2<String, String>> call(Tuple2<String, String> t) throws Exception {// TODO Auto-generated method stubString userID = t._2.split("\t")[2];return new Tuple2<String, Tuple2<String,String>>(userID, t);} });JavaPairRDD<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> joined = rdd2Pair.leftOuterJoin(blackListRDD);JavaPairRDD<String, String> result = joined.filter(new Function<Tuple2<String,Tuple2<Tuple2<String,String>,Optional<Boolean>>>, Boolean>() {public Boolean call(Tuple2<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> tuple)throws Exception {// TODO Auto-generated method stubOptional<Boolean> optional = tuple._2._2;if(optional.isPresent() && optional.get()){return false;} else {return true;} }}).mapToPair(new PairFunction<Tuple2<String,Tuple2<Tuple2<String,String>,Optional<Boolean>>>, String, String>() {public Tuple2<String, String> call(Tuple2<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> t)throws Exception {// TODO Auto-generated method stubreturn t._2._1;} });return result;} });//广告点击的基本数据格式：timestamp、ip、userID、adID、province、cityJavaPairDStream<String, Long> pairs = filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t) throws Exception {String[] splited=t._2.split("\t");String timestamp = splited[0]; //YYYY-MM-DDString ip = splited[1];String userID = splited[2];String adID = splited[3];String province = splited[4];String city = splited[5]; String clickedRecord = timestamp + "_" +ip + "_"+userID+"_"+adID+"_"+province +"_"+city;return new Tuple2<String, Long>(clickedRecord, 1L);} });/ 第4.3步：在单词实例计数为1基础上，统计每个单词在文件中出现的总次数/JavaPairDStream<String, Long> adClickedUsers= pairs.reduceByKey(new Function2<Long, Long, Long>() {public Long call(Long i1, Long i2) throws Exception{return i1 + i2;} });/判断有效的点击，复杂化的采用机器学习训练模型进行在线过滤 简单的根据ip判断1天不超过100次；也可以通过一个batch duration的点击次数判断是否非法广告点击，通过一个batch来判断是不完整的，还需要一天的数据也可以每一个小时来判断。/JavaPairDStream<String, Long> filterClickedBatch = adClickedUsers.filter(new Function<Tuple2<String,Long>, Boolean>() {public Boolean call(Tuple2<String, Long> v1) throws Exception {if (1 < v1._2){//更新一些黑名单的数据库表return false;} else { return true;} }});//filterClickedBatch.print();//写入数据库filterClickedBatch.foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition) throws Exception {//使用数据库连接池的高效读写数据库的方式将数据写入数据库mysql//例如一次插入 1000条 records，使用insertBatch 或 updateBatch//插入的用户数据信息：userID,adID,clickedCount,time//这里面有一个问题，可能出现两条记录的key是一样的，此时需要更新累加操作List<UserAdClicked> userAdClickedList = new ArrayList<UserAdClicked>();while(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("\t");UserAdClicked userClicked = new UserAdClicked();userClicked.setTimestamp(splited[0]);userClicked.setIp(splited[1]);userClicked.setUserID(splited[2]);userClicked.setAdID(splited[3]);userClicked.setProvince(splited[4]);userClicked.setCity(splited[5]);userAdClickedList.add(userClicked);}final List<UserAdClicked> inserting = new ArrayList<UserAdClicked>();final List<UserAdClicked> updating = new ArrayList<UserAdClicked>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final UserAdClicked clicked : userAdClickedList) {jdbcWrapper.doQuery("SELECT clickedCount FROM adclicked WHERE"+ " timestamp =? AND userID = ? AND adID = ?",new Object[]{clicked.getTimestamp(), clicked.getUserID(),clicked.getAdID()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);clicked.setClickedCount(count);updating.add(clicked);} else {inserting.add(clicked);clicked.setClickedCount(1L);} }});}//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(UserAdClicked insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.getTimestamp(),insertRecord.getIp(),insertRecord.getUserID(),insertRecord.getAdID(),insertRecord.getProvince(),insertRecord.getCity(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclicked VALUES(?, ?, ?, ?, ?, ?, ?)", insertParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(UserAdClicked updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getTimestamp(),updateRecord.getIp(),updateRecord.getUserID(),updateRecord.getAdID(),updateRecord.getProvince(),updateRecord.getCity(),updateRecord.getClickedCount() + 1});}jdbcWrapper.doBatch("UPDATE adclicked SET clickedCount = ? WHERE"+ " timestamp =? AND ip = ? AND userID = ? AND adID = ? "+ "AND province = ? AND city = ?", updateParametersList);} });return null;} });//再次过滤，从数据库中读取数据过滤黑名单JavaPairDStream<String, Long> blackListBasedOnHistory = filterClickedBatch.filter(new Function<Tuple2<String,Long>, Boolean>() {public Boolean call(Tuple2<String, Long> v1) throws Exception {//广告点击的基本数据格式：timestamp,ip,userID,adID,province,cityString[] splited = v1._1.split("\t"); //提取key值String date =splited[0];String userID =splited[2];String adID =splited[3];//查询一下数据库同一个用户同一个广告id点击量超过50次列入黑名单//接下来 根据date、userID、adID条件去查询用户点击广告的数据表，获得总的点击次数//这个时候基于点击次数判断是否属于黑名单点击int clickedCountTotalToday = 81 ;if (clickedCountTotalToday > 50) {return true;}else {return false ;} }});//map操作，找出用户的idJavaDStream<String> blackListuserIDBasedInBatchOnhistroy =blackListBasedOnHistory.map(new Function<Tuple2<String,Long>, String>() {public String call(Tuple2<String, Long> v1) throws Exception {// TODO Auto-generated method stubreturn v1._1.split("\t")[2];} });//有一个问题，数据可能重复，在一个partition里面重复，这个好办；//但多个partition不能保证一个用户重复，需要对黑名单的整个rdd进行去重操作。//rdd去重了，partition也就去重了，一石二鸟，一箭双雕// 找出了黑名单，下一步就写入黑名单数据库表中JavaDStream<String> blackListUniqueuserBasedInBatchOnhistroy = blackListuserIDBasedInBatchOnhistroy.transform(new Function<JavaRDD<String>, JavaRDD<String>>() {public JavaRDD<String> call(JavaRDD<String> rdd) throws Exception {// TODO Auto-generated method stubreturn rdd.distinct();} });// 下一步写入到数据表中blackListUniqueuserBasedInBatchOnhistroy.foreachRDD(new Function<JavaRDD<String>, Void>() {public Void call(JavaRDD<String> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<String>>() {public void call(Iterator<String> t) throws Exception {// TODO Auto-generated method stub//插入的用户信息可以只包含：useID//此时直接插入黑名单数据表即可。//写入数据库List<Object[]> blackList = new ArrayList<Object[]>();while(t.hasNext()) {blackList.add(new Object[]{t.next()});}JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();jdbcWrapper.doBatch("INSERT INTO blacklisttable values (?)", blackList);} });return null;} });/广告点击累计动态更新,每个updateStateByKey都会在Batch Duration的时间间隔的基础上进行广告点击次数的更新， 更新之后我们一般都会持久化到外部存储设备上，在这里我们存储到MySQL数据库中/JavaPairDStream<String, Long> updateStateByKeyDSteam = filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t)throws Exception {String[] splited=t._2.split("\t");String timestamp = splited[0]; //YYYY-MM-DDString ip = splited[1];String userID = splited[2];String adID = splited[3];String province = splited[4];String city = splited[5]; String clickedRecord = timestamp + "_" +ip + "_"+userID+"_"+adID+"_"+province +"_"+city;return new Tuple2<String, Long>(clickedRecord, 1L);} }).updateStateByKey(new Function2<List<Long>, Optional<Long>, Optional<Long>>() {public Optional<Long> call(List<Long> v1, Optional<Long> v2)throws Exception {// v1:当前的Key在当前的Batch Duration中出现的次数的集合，例如{1，1，1，。。。，1}// v2:当前的Key在以前的Batch Duration中积累下来的结果；Long clickedTotalHistory = 0L; if(v2.isPresent()){clickedTotalHistory = v2.get();}for(Long one : v1) {clickedTotalHistory += one;}return Optional.of(clickedTotalHistory);} });updateStateByKeyDSteam.foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition) throws Exception {//使用数据库连接池的高效读写数据库的方式将数据写入数据库mysql//例如一次插入 1000条 records，使用insertBatch 或 updateBatch//插入的用户数据信息：timestamp、adID、province、city//这里面有一个问题，可能出现两条记录的key是一样的，此时需要更新累加操作List<AdClicked> AdClickedList = new ArrayList<AdClicked>();while(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("\t");AdClicked adClicked = new AdClicked();adClicked.setTimestamp(splited[0]);adClicked.setAdID(splited[1]);adClicked.setProvince(splited[2]);adClicked.setCity(splited[3]);adClicked.setClickedCount(record._2);AdClickedList.add(adClicked);}final List<AdClicked> inserting = new ArrayList<AdClicked>();final List<AdClicked> updating = new ArrayList<AdClicked>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final AdClicked clicked : AdClickedList) {jdbcWrapper.doQuery("SELECT clickedCount FROM adclickedcount WHERE"+ " timestamp = ? AND adID = ? AND province = ? AND city = ?",new Object[]{clicked.getTimestamp(), clicked.getAdID(),clicked.getProvince(), clicked.getCity()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);clicked.setClickedCount(count);updating.add(clicked);} else {inserting.add(clicked);clicked.setClickedCount(1L);} }});}//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdClicked insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.getTimestamp(),insertRecord.getAdID(),insertRecord.getProvince(),insertRecord.getCity(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclickedcount VALUES(?, ?, ?, ?, ?)", insertParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(AdClicked updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getClickedCount(),updateRecord.getTimestamp(),updateRecord.getAdID(),updateRecord.getProvince(),updateRecord.getCity()});}jdbcWrapper.doBatch("UPDATE adclickedcount SET clickedCount = ? WHERE"+ " timestamp =? AND adID = ? AND province = ? AND city = ?", updateParametersList);} });return null;} });/ 对广告点击进行TopN计算，计算出每天每个省份Top5排名的广告 因为我们直接对RDD进行操作，所以使用了transfomr算子；/updateStateByKeyDSteam.transform(new Function<JavaPairRDD<String,Long>, JavaRDD<Row>>() {public JavaRDD<Row> call(JavaPairRDD<String, Long> rdd) throws Exception {JavaRDD<Row> rowRDD = rdd.mapToPair(new PairFunction<Tuple2<String,Long>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, Long> t)throws Exception {// TODO Auto-generated method stubString[] splited=t._1.split("_");String timestamp = splited[0]; //YYYY-MM-DDString adID = splited[3];String province = splited[4];String clickedRecord = timestamp + "_" + adID + "_" + province;return new Tuple2<String, Long>(clickedRecord, t._2);} }).reduceByKey(new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 + v2;} }).map(new Function<Tuple2<String,Long>, Row>() {public Row call(Tuple2<String, Long> v1) throws Exception {// TODO Auto-generated method stubString[] splited=v1._1.split("_");String timestamp = splited[0]; //YYYY-MM-DDString adID = splited[3];String province = splited[4];return RowFactory.create(timestamp, adID, province, v1._2);} });StructType structType = DataTypes.createStructType(Arrays.asList(DataTypes.createStructField("timestamp", DataTypes.StringType, true),DataTypes.createStructField("adID", DataTypes.StringType, true),DataTypes.createStructField("province", DataTypes.StringType, true),DataTypes.createStructField("clickedCount", DataTypes.LongType, true)));HiveContext hiveContext = new HiveContext(rdd.context());DataFrame df = hiveContext.createDataFrame(rowRDD, structType);df.registerTempTable("topNTableSource");DataFrame result = hiveContext.sql("SELECT timestamp, adID, province, clickedCount, FROM"+ " (SELECT timestamp, adID, province,clickedCount, "+ "ROW_NUMBER() OVER(PARTITION BY province ORDER BY clickeCount DESC) rank "+ "FROM topNTableSource) subquery "+ "WHERE rank <= 5");return result.toJavaRDD();} }).foreachRDD(new Function<JavaRDD<Row>, Void>() {public Void call(JavaRDD<Row> rdd) throws Exception {// TODO Auto-generated method stubrdd.foreachPartition(new VoidFunction<Iterator<Row>>() {public void call(Iterator<Row> t) throws Exception {// TODO Auto-generated method stubList<AdProvinceTopN> adProvinceTopN = new ArrayList<AdProvinceTopN>();while(t.hasNext()) {Row row = t.next();AdProvinceTopN item = new AdProvinceTopN();item.setTimestamp(row.getString(0));item.setAdID(row.getString(1));item.setProvince(row.getString(2));item.setClickedCount(row.getLong(3));adProvinceTopN.add(item);}// final List<AdProvinceTopN> inserting = new ArrayList<AdProvinceTopN>();// final List<AdProvinceTopN> updating = new ArrayList<AdProvinceTopN>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();Set<String> set = new HashSet<String>();for(AdProvinceTopN item: adProvinceTopN){set.add(item.getTimestamp() + "_" + item.getProvince());}//表的字段timestamp、adID、province、clickedCountArrayList<Object[]> deleteParametersList = new ArrayList<Object[]>();for(String deleteRecord : set) {String[] splited = deleteRecord.split("_");deleteParametersList.add(new Object[]{splited[0],splited[1]});}jdbcWrapper.doBatch("DELETE FROM adprovincetopn WHERE timestamp = ? AND province = ?", deleteParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdProvinceTopN insertRecord : adProvinceTopN) {insertParametersList.add(new Object[] {insertRecord.getClickedCount(),insertRecord.getTimestamp(),insertRecord.getAdID(),insertRecord.getProvince()});}jdbcWrapper.doBatch("INSERT INTO adprovincetopn VALUES (?, ?, ?, ?)", insertParametersList);} });return null;} });/ 计算过去半个小时内广告点击的趋势 广告点击的基本数据格式：timestamp、ip、userID、adID、province、city/filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t)throws Exception {String splited[] = t._2.split("\t");String adID = splited[3];String time = splited[0]; //Todo:后续需要重构代码实现时间戳和分钟的转换提取。此处需要提取出该广告的点击分钟单位return new Tuple2<String, Long>(time + "_" + adID, 1L);} }).reduceByKeyAndWindow(new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 + v2;} }, new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 - v2;} }, Durations.minutes(30), Durations.milliseconds(5)).foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {// TODO Auto-generated method stubrdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition)throws Exception {List<AdTrendStat> adTrend = new ArrayList<AdTrendStat>();// TODO Auto-generated method stubwhile(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("_");String time = splited[0];String adID = splited[1];Long clickedCount = record._2;/ 在插入数据到数据库的时候具体需要哪些字段？time、adID、clickedCount; 而我们通过J2EE技术进行趋势绘图的时候肯定是需要年、月、日、时、分这个维度的，所以我们在这里需要 年月日、小时、分钟这些时间维度；/AdTrendStat adTrendStat = new AdTrendStat();adTrendStat.setAdID(adID);adTrendStat.setClickedCount(clickedCount);adTrendStat.set_date(time); //Todo:获取年月日adTrendStat.set_hour(time); //Todo:获取小时adTrendStat.set_minute(time);//Todo:获取分钟adTrend.add(adTrendStat);}final List<AdTrendStat> inserting = new ArrayList<AdTrendStat>();final List<AdTrendStat> updating = new ArrayList<AdTrendStat>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final AdTrendStat trend : adTrend) {final AdTrendCountHistory adTrendhistory = new AdTrendCountHistory();jdbcWrapper.doQuery("SELECT clickedCount FROM adclickedtrend WHERE"+ " date =? AND hour = ? AND minute = ? AND AdID = ?",new Object[]{trend.get_date(), trend.get_hour(), trend.get_minute(),trend.getAdID()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);adTrendhistory.setClickedCountHistoryLong(count);updating.add(trend);} else { inserting.add(trend);} }});}//表的字段date、hour、minute、adID、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdTrendStat insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.get_date(),insertRecord.get_hour(),insertRecord.get_minute(),insertRecord.getAdID(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclickedtrend VALUES(?, ?, ?, ?, ?)", insertParametersList);//表的字段date、hour、minute、adID、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(AdTrendStat updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getClickedCount(),updateRecord.get_date(),updateRecord.get_hour(),updateRecord.get_minute(),updateRecord.getAdID()});}jdbcWrapper.doBatch("UPDATE adclickedtrend SET clickedCount = ? WHERE"+ " date =? AND hour = ? AND minute = ? AND AdID = ?", updateParametersList);} });return null;} });;/ Spark Streaming 执行引擎也就是Driver开始运行，Driver启动的时候是位于一条新的线程中的，当然其内部有消息循环体，用于 接收应用程序本身或者Executor中的消息，/javassc.start();javassc.awaitTermination();javassc.close();}private static JavaStreamingContext createContext(String checkpointDirectory, SparkConf conf) {// If you do not see this printed, that means the StreamingContext has been loaded// from the new checkpointSystem.out.println("Creating new context");// Create the context with a 5 second batch sizeJavaStreamingContext ssc = new JavaStreamingContext(conf, Durations.seconds(10));ssc.checkpoint(checkpointDirectory);return ssc;} }class JDBCWrapper {private static JDBCWrapper jdbcInstance = null;private static LinkedBlockingQueue<Connection> dbConnectionPool = new LinkedBlockingQueue<Connection>();static {try {Class.forName("com.mysql.jdbc.Driver");} catch (ClassNotFoundException e) {// TODO Auto-generated catch blocke.printStackTrace();} }public static JDBCWrapper getJDBCInstance() {if(jdbcInstance == null) {synchronized (JDBCWrapper.class) {if(jdbcInstance == null) {jdbcInstance = new JDBCWrapper();} }}return jdbcInstance; }private JDBCWrapper() {for(int i = 0; i < 10; i++){try {Connection conn = DriverManager.getConnection("jdbc:mysql://Master:3306/sparkstreaming","root", "root");dbConnectionPool.put(conn);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();} } }public synchronized Connection getConnection() {while(0 == dbConnectionPool.size()){try {Thread.sleep(20);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }return dbConnectionPool.poll();}public int[] doBatch(String sqlText, List<Object[]> paramsList){Connection conn = getConnection();PreparedStatement preparedStatement = null;int[] result = null;try {conn.setAutoCommit(false);preparedStatement = conn.prepareStatement(sqlText);for(Object[] parameters: paramsList) {for(int i = 0; i < parameters.length; i++){preparedStatement.setObject(i + 1, parameters[i]);} preparedStatement.addBatch();}result = preparedStatement.executeBatch();conn.commit();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally {if(preparedStatement != null) {try {preparedStatement.close();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} }if(conn != null) {try {dbConnectionPool.put(conn);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }}return result; }public void doQuery(String sqlText, Object[] paramsList, ExecuteCallBack callback){Connection conn = getConnection();PreparedStatement preparedStatement = null;ResultSet result = null;try {preparedStatement = conn.prepareStatement(sqlText);for(int i = 0; i < paramsList.length; i++){preparedStatement.setObject(i + 1, paramsList[i]);} result = preparedStatement.executeQuery();try {callback.resultCallBack(result);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();} } catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally {if(preparedStatement != null) {try {preparedStatement.close();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} }if(conn != null) {try {dbConnectionPool.put(conn);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }} }}interface ExecuteCallBack {void resultCallBack(ResultSet result) throws Exception;}class UserAdClicked {private String timestamp;private String ip;private String userID;private String adID;private String province;private String city;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getIp() {return ip;}public void setIp(String ip) {this.ip = ip;}public String getUserID() {return userID;}public void setUserID(String userID) {this.userID = userID;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public String getCity() {return city;}public void setCity(String city) {this.city = city;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdClicked {private String timestamp;private String adID;private String province;private String city;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public String getCity() {return city;}public void setCity(String city) {this.city = city;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdProvinceTopN {private String timestamp;private String adID;private String province;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdTrendStat {private String _date;private String _hour;private String _minute;private String adID;private Long clickedCount;public String get_date() {return _date;}public void set_date(String _date) {this._date = _date;}public String get_hour() {return _hour;}public void set_hour(String _hour) {this._hour = _hour;}public String get_minute() {return _minute;}public void set_minute(String _minute) {this._minute = _minute;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdTrendCountHistory{private Long clickedCountHistoryLong;public Long getClickedCountHistoryLong() {return clickedCountHistoryLong;}public void setClickedCountHistoryLong(Long clickedCountHistoryLong) {this.clickedCountHistoryLong = clickedCountHistoryLong;} } 本篇文章为转载内容。原文链接：https://blog.csdn.net/tom_8899_li/article/details/71194434。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

MySQL , MySQL是一个开源的关系型数据库管理系统，由Oracle公司开发并维护。在本文的语境中，MySQL被用于存储和管理结构化数据，用户可通过SQL语言实现对数据库的各种操作，如新建、查询、更新和删除数据等。MySQL因其稳定、高效、可扩展性强以及支持多种操作系统平台而被广泛应用于网站开发、企业级应用系统以及各种需要持久化存储数据的应用场景。 关系型数据库管理系统(RDBMS) , 关系型数据库管理系统是一种建立在关系模型基础上的软件系统，它能通过表格、列和行的形式来组织、存储和管理数据，并利用SQL（Structured Query Language）语句进行数据操作。在文章中，MySQL即是一个典型的关系型数据库管理系统，通过它可以创建多个相互关联的数据库，确保数据的一致性和完整性。 SQL , SQL（Structured Query Language）是一种标准化的编程语言，用于管理和处理关系型数据库中的数据。在本文所描述的MySQL环境中，用户使用SQL命令来与数据库交互，例如“CREATE DATABASE”用于创建新的数据库，“SHOW DATABASES”则用于查看所有已存在的数据库列表。SQL语言不仅包括数据定义语言（DDL，如创建表或数据库），还包括数据操作语言（DML，如插入、更新和删除记录）以及数据查询语言（DQL，如SELECT语句）。

...直观地判断一个数组中是否存在指定元素。 javascript let myArray = ['apple', 'banana', 'orange', 'grape']; if (myArray.includes('banana')) { // 存在 } else { // 不存在 } 此外，对于大型项目或对性能有较高要求的应用场景，还可以考虑使用lodash等工具库中的_.includes()函数，其具有良好的兼容性和优化的内部实现。 而在jQuery插件设计方面，尽管本文展示了如何基于jQuery扩展数组功能以提高代码复用性，但现代前端开发趋势更倾向于采用模块化和组件化的思维方式。因此，开发者可能会选择将此类逻辑封装成独立的、可复用的函数或类，并通过npm等包管理器进行版本管理和共享。 同时，值得注意的是，虽然jQuery为早期前端开发带来了极大便利，但在追求轻量化、高性能的今天，理解并掌握原生JavaScript API以及现代框架的核心概念与最佳实践，已成为每一位前端工程师必备的能力之一。这不仅可以帮助我们编写出更为简洁高效且易于维护的代码，更能紧跟技术潮流，适应不断变化的前端开发环境。

... 是一种流行的实例化工具，它支持您在一台主机上执行多个的独立的应用。Docker 实例非常迅速，便携，并且可以在不同的机器之间共享。使用 Docker，您可以更加高效地管控您的应用，并充分使用您的计算资源。 Docker 实例可以使用指令来开启，停止和管控。使用docker run指令开启实例时，您可以将实例执行时的配置传递给该指令。要指定实例，请将实例名称用--name参数指定： docker run --name my-container docker-image 使用上述指令，您可以开启一个名为my-container的新实例，它将基于给定的docker-image执行。请注意，当您指定实例名称时，名称必须是唯一的，否则 Docker 将抛出错误。 此外，要执行指定实例，您可以使用docker start指令，该指令以指定实例名称或 ID 作为参数： docker start my-container 使用上述指令，您可以开启名为my-container的实例。如果您需要停止执行的实例，请使用docker stop指令指定实例名称或 ID： docker stop my-container 现在，您已了解如何使用 Docker 指定实例，您可以开始管控您的应用了。祝你好运！

...函数可以检测该字符串是否仅由Unicode数字字符组成。 类型检查 , 在编程领域，类型检查是指程序运行时或编译期间对变量、表达式或函数参数的数据类型的验证过程。在Python中，尽管其为动态类型语言，但在处理用户输入或其他不确定来源的数据时，进行类型检查是保障代码正确执行的关键步骤。例如，文章中讨论了如何使用isdigit()、isnumeric()和isdecimal()等函数对字符串进行类型检查，判断其是否符合特定数字类型的要求。 input()函数 , 在Python编程中，input()函数用于接收用户的键盘输入，返回值是一个字符串类型。用户可以根据提示在命令行界面或交互式环境中输入文本、数字或其他信息。结合本文内容，当需要检查用户输入是否为数字时，首先调用input()函数获取用户输入并将其作为字符串存储，随后利用Python内置的字符串方法进行进一步的类型检查与验证。

MySQL , MySQL是一种广泛使用、开源的关系型数据库管理系统（RDBMS），基于SQL语言，用于存储、管理和检索数据。在本文的语境中，MySQL是开发者用来存储和管理应用数据的主要工具，通过执行SQL命令实现数据的插入、查询、更新和删除等操作。 关系型数据库管理系统(RDBMS) , 一种基于关系模型的数据库管理系统，它以表格的形式存储数据，并通过预定义的数据结构和关系来组织这些数据。在MySQL的场景下，RDBMS允许用户创建多个表，每个表包含多行记录，每行记录由若干列组成，且各列之间可以存在特定的关系。通过这种方式，MySQL RDBMS能确保数据的一致性、完整性和可扩展性。 SQL , Structured Query Language，即结构化查询语言，是一种专门用于管理关系型数据库的标准计算机语言。在本文中，SQL语句被用来向MySQL数据库中插入新数据，例如“INSERT INTO”语句就是用来在指定表中添加新记录的一种SQL命令。通过编写不同的SQL语句，用户能够与数据库进行交互，包括查询、更新、删除以及插入数据等各种操作。

...代码补全、重构、调试工具以及版本控制系统集成等，广泛应用于Java、Kotlin等多种编程语言的开发。在本文语境中，开发者使用IntelliJ IDEA运行单个Java类文件时遇到编译错误问题，并通过IDE内部配置解决该问题。 Java Compiler , Java Compiler是用于将Java源代码编译成字节码（.class）文件的程序。在IntelliJ IDEA等Java开发环境中，Java Compiler作为核心组件负责项目的编译工作，确保源代码符合Java语言规范并在Java虚拟机（JVM）上执行。本文中提到的设置Java Compiler选项是为了控制IDE在运行Java类之前是否进行整个项目的构建。 Run/Debug Configurations , Run/Debug Configurations（运行/调试配置）是在IntelliJ IDEA等IDE中定义和管理项目运行或调试参数的设置集合。用户可以创建、编辑或删除不同的运行/调试配置，以满足特定场景下的需求。在本文情境下，用户通过修改Run/Debug Configurations中的“Do not build before run”选项，使得IDE在运行指定的Java类时不预先构建整个项目，从而避免因其他编译错误导致无法运行当前无误的Java类。

...数据以键值组合的形式存在状态。每个键值组合用逗号隔开，而键值之间需要采用分隔符隔开。 但是，有时候我们也许会碰到缺失分号的状况。这可能引发解读JSON时出现失误。 { "name": "Tom", "age": 30, "address": { "city": "Beijing", "street": "Main Street", "zipcode": "100000" } "phone": "123456789" // 缺失分号 } 在上面的例子中，我们可以看到缺失了"name"和"age"键值组合后面的分号。这个失误可能看起来微不足道，但它会影响JSON的解读。 为了避免这种失误，我们应该在每个键值组合的结尾处都加上分号。 { "name": "Tom", "age": 30, "address": { "city": "Beijing", "street": "Main Street", "zipcode": "100000" }, "phone": "123456789" // 注意分号在这里 } 在上面的例子中，我们添加了"phone"键值组合后面的分号，使JSON格式变得正确。 因此，我们应该养成良好的编码习惯，细心地检查每个键值组合的结尾是否都加上了分号。

...教育、在线会议、人脸识别认证等场景中扮演着关键角色。 近期，许多在线协作工具如Zoom、Microsoft Teams等纷纷优化了基于Web的摄像头功能，让用户无需下载安装即可进行高质量的视频通话。同时，一些电商平台也开始利用类似Jquery摄像头插件的技术实现AR试衣、虚拟试妆等功能，大大提升了用户体验。 值得注意的是，隐私保护和数据安全是此类插件应用时不可忽视的问题。开发者在集成摄像头插件的同时，应遵循GDPR等相关法规，确保用户知情并同意开启摄像头，并对传输过程中的视频流加密处理，防止信息泄露。 此外，随着WebAssembly和WebGPU等新技术的应用，未来网页摄像头插件可能迎来性能更优、兼容性更好的发展。例如，通过WebGPU可以直接访问GPU资源，实现实时图像处理和高清视频流的流畅传输，为网页摄像头功能带来更广阔的应用前景。

...一些积分制的方式衡量是否会惩罚站点，当你违反了条件1，-10分，违反了条件2，-15分....以此类推，当你的犯规分数达到一定的额度，可能就会采取惩罚。 搜索引擎的惩罚算法，我也不了解，只是举着个例子，就当安慰一下手误删除文章的站长！ 3. 如何处理？ 方法一：不能不管吧，至少得返回个友好的报错界面吧 如果页面返回的直接就是nginx的404，这......说不过去吧，说明站点做的不认真，容错比较差，搜索引擎和用户看了都会摇摇头。 所以，至少把“文章不存在”这种错误，封装一下，返回一个有好的界面，友好的提示用户“文章可能被作者删除了，看看其它文章吧！” 至少，在用户看来，这个提示是友好的，毕竟非技术人员看到nginx的404都会认为“呵，破网站，挂了！” 方法二：方法一是个错误，会引擎搜索引擎的反感 啥？你说了半天方法一，还是个错误？ 尤其是你的被删的文章比较多的时候，搜索引擎每次来访，都会提取到文案“文章可能被作者删除了，看看其它文章吧！”，这... 第一，没什么价值，搜索引擎会认为低质量！这很严重 第二，更大的麻烦，这个文字是重复的，搜索引擎会认为你的站点有大量的重复！这很严重 方法三：正确的处理方法是返回404或410 404大家比较熟悉，410是啥，其实和404差不多： 但是二者在seo上的区别，当搜索引擎拿到410后，可能会更快地在索引库中删除被删除的文件。 当然，返回404和410在这里都可以。至少是老实承认问题的态度，让搜索引擎可以根据404或410做出正确的下一步操作。 java代码可以用这个返回404： response.setStatus(HttpServletResponse.SC_NOT_FOUND); 方法四：返回301状态码跳转到另一篇文章 301是跳转，永久性跳转，但这种跳转是被搜索引擎唯一接受、不认为是作弊的跳转。 不要使用302跳转、任何js跳转、meta刷新等方式，都会被搜索引擎认为是作弊哦！ 所以，当文章不存在的时候，使用301跳转到另一篇文章（但最好主体相关的、或另起炉灶新写一篇弥补手误删除的错误），这样，有两个好处： 第一，搜索引擎不会惩罚 第二，会把老文章的权重301传到新文章，一举两得 java代码可以用这个返回301： // response.sendRedirect(getRandomArticleByCategoryHref(category)); // 这种是302 response.setStatus(HttpServletResponse.SC_MOVED_PERMANENTLY); // 这种是301，se唯一认可的非作弊的跳转方式 response.setHeader("Location",新路径); 方法五：死链提交 站长后台都支持死链提交，如果你确定一个url里面的文章确实被删除了，可以手动提交死链。主动承认链接问题。 下图是谷歌站长后台的入口：

...主流的浏览器中可能仍存在兼容性问题。因此，在实际项目中采用模糊半径或其他滤镜功能时，应结合Can I Use等工具进行充分的浏览器兼容性测试，并采取相应的fallback方案以确保所有用户都能获得良好的浏览体验。 不仅如此，关于如何在保证页面性能的前提下有效运用CSS3滤镜特性，业界也在不断探索和完善最佳实践。例如，有专家建议合理控制模糊半径值，避免过高导致渲染性能下降；也有研究者提出将CSS滤镜与其他CSS新技术（如CSS Houdini）相结合，以创造出更多前所未有的视觉表现形式。 综上所述，模糊半径作为CSS3滤镜家族中的一个重要成员，其应用场景和潜力正在不断扩大，对于网页设计师和前端开发者来说，深入理解和掌握这一特性无疑将有助于打造更高质量、更具吸引力的网页作品。

...些CSV文件中可能会存在HTML代码，这就给数据处理带来了一些麻烦。 例如，有一份包含了网页链接的CSV数据如下： id,name,link 1,Apple,https://www.apple.com2,Google,https://www.google.com3,Microsoft,https://www.microsoft.com 我们可以看到，在链接字段里面包含了HTML代码。这就导致我们在使用数据的时候可能会出现一些问题。 如果我们要将这些链接提取出来，我们需要使用正则表达式进行匹配。例如，我们可以使用以下的Python代码来提取链接： import csv import re with open('links.csv', 'r', newline='') as csvfile: reader = csv.DictReader(csvfile) for row in reader: link = re.search(r'(?<=href=")[^"]', row['link']) print(link.group(0)) 这段代码利用了正则表达式来匹配链接，可以正确地提取出链接并输出： https://www.apple.com https://www.google.com https://www.microsoft.com 因此，在下载CSV数据时，我们需要小心地检查文件中是否包含HTML代码，并选择适当的方法来解析数据。

如果你需要在本地搭建MySQL服务器，并对其进行批处理注册，可以按照以下步骤进行操作： //1.进入到mysql文件夹下 cd /usr/local/mysql/bin/ //2.以root用户登录mysql mysql -u root -p //3.创建新用户，并授权 create user 'yourusername'@'localhost' identified by 'yourpassword'; grant all privileges on . to 'yourusername'@'localhost'; //4.退出mysql exit 在以上代码中，你需要根据自己的实际情况修改'yourusername'和'yourpassword'，并授权给你的新用户所有权限。 如果需要进行更多的数据库操作，你可以接着使用以下命令操作： //1.进入到mysql文件夹下 cd /usr/local/mysql/bin/ //2.以新用户登录mysql mysql -u yourusername -p //3.创建新的数据库和数据表 create database yourdatabasename; use yourdatabasename; create table tablename (column1 datatype, column2 datatype, column3 datatype); //4.退出mysql exit 以上代码中，你需要将'yourdatabasename'和'tablename'替换为你需要创建的数据库名和表名，同时根据实际情况定义相应的表字段。 批处理注册MySQL服务器并不复杂，只需按照以上步骤进行操作即可。如果你对SQL语句不熟悉，也可以使用可视化工具对数据库进行操作。

MySQL是一种普遍的关联式数据库，许多应用软件都要选用它。在特定情境下，你可能需要从异地服务端连接MySQL数据库。本文将向你介绍如何检查MySQL是否支持异地访问。 要检查MySQL是否支持异地访问，需要连接MySQL服务端。然后，选用以下步骤： $ mysql -u用户名 -p密码 Enter password: mysql>use mysql; mysql>SELECT host, user FROM user WHERE host != 'localhost'; 代码中的第一个命令是接入MySQL服务端。将用户名和密码替换为你的登录信息。在输入密码后，你将进入MySQL的终端界面。在此界面下，运行以下步骤： 第1步: use mysql; 上述命令将选用MySQL的自带mysql数据库。 第2步: SELECT host, user FROM user WHERE host != 'localhost'; 上述命令将检索MySQL的user表，它包括所有用户的信息。在显示结果中，你将看到近似以下的结果： +-----------+------------------+ | host | user | +-----------+------------------+ | localhost | root | | 127.0.0.1 | root | | ::1 | root | | % | your_username | +-----------+------------------+ 一般情况下，你会看到像上面那个表格数据的显示结果。这意味着你可以从任何异地服务端连接MySQL服务端。 如果host列只有'localhost'，这意味着MySQL不支持从异地服务端连接。你可以选用以下命令修改这个设置： GRANT ALL PRIVILEGES ON . TO 'your_username'@'%' IDENTIFIED BY 'your_password' WITH GRANT OPTION; 上述命令将your_username赋予连接MySQL服务端的所有许可权。请将your_username和your_password替换为你自己的登录信息。 最后，你可以重复运行之前的命令，确保host列包括'%'。