[std this_thread inte...]的搜索结果

....repo,只是为了使用阿里云的yum源中的mariadb rm -rf /etc/yum.repos.d/Mariadb.repo然后清空yum 缓存yum clean all 3.通过yum安装mariadb软件,安装mariadb服务端和客户端 官方 yum install MariaDB-server MariaDB-client -y阿里云 yum install mariadb mariadb-server -y 4.安装完成后，启动mariadb服务端 systemctl start/stop/restart/status mariadbsystemctl enable mariadb 开机启动mariadb 5. mariadb初始化 这条命令可以初始化mysql，删除匿名用户，设置root密码等等....mysql_secure_installation1.输入当前密码，初次安装后是没有密码的，直接回车2.询问是否使用 'unix_socket' 进行身份验证: n3.为 root 设置密码：y4.输入 root 的新密码: root5.确认输入 root 的新密码: root6.是否移除匿名用户，这个随意，建议删除： y7.拒绝用户远程登录，这个建议开启：n8.删除 test 库，可以保留：n9.重新加载权限表：y 6. 设置mysql的中文编码支持，修改/etc/my.cnf 1.vi /etc/my.cnf在[mysqld]中添加参数，使得mariadb服务端支持中文[mysqld]character-set-server=utf8collation-server=utf8_general_ci2.重启mariadb服务，读取my.cnf新配置systemctl restart mariadb 3.登录数据库，查看字符编码mysql -uroot -p输入 \s 查看编码 7. mysql常用命 desc 查看表结构create database 数据库名create table 表名查看如何创建db的show create database 库名 查看如何创建table结构的show create table 表名; 修改mysql的密码set password = PASSWORD('redhat'); 创建mysql的普通用户，默认权限非常低create user zhang@'%' identified by '123456'; 查询mysql数据库中的用户信息use mysql;select host,user,password from user; 7. 给用户添加权限命令 对所有库和所有表授权所有权限grant all privileges on . to 账户@主机名 给zhang用户授予所有权限grant all privileges on . to zhang@'%'; 刷新授权表flush privileges; 8. 给用户添加权限命令 给zhangsan用户授予所有权限grant all privileges on . to zhangsan@'%'; 给与root权限授予远程登录的命令 'centos这是密码随意设置grant all privileges on . to root@'%' identified by '123456'; 此时可以在windows登录linux的数据库 连接服务器的mysqlmysql -uyining -p -h 服务器的地址 9. 数据备份与恢复 导出当前数据库的所有db,到一个文件中1.mysqldump -u root -p --all-databases > /data/AllMysql.dump2.登录mysql 导入数据mysql -u root -p> source /data/AllMysql.dump3.通过命令导入数据 在登录时候，导入数据文件，一样可以写入数据mysql -uroot -p < /data/AllMysql.dump 10. 修改Mariadb存储路径 10.1 首先确定MariaDB数据库能正常运行，确定正常后关闭服务 systemctl stop mariadb 10.2 建立要更改数据存放的目录，如：我这单独分了一个区/data存放MariaDB的数据 mkdir /data/mysql_data chown -R mysql:mysql /data/mysql_data 10.3 复制默认数据存放文件夹到/data/mysql_data cp -a /var/lib/mysql /data/mysql_data 10.4 修改/etc/my.cnf.d/server.cnf vim /etc/my.cnf.d/server.cnf 在[mysqld]标签下添加如下内容 datadir=/data/mysql_data/mysqlsocket=/var/lib/mysql/mysql.sockdefault-character-set=utf8character_set_server=utf8slow_query_log=onslow_query_log_file=/data/mysql_data/slow_query_log.loglong_query_time=2 10.5 配置MariaDB慢查询 touch /data/mysql_data/slow_query_log.logchown mysql:mysql /data/mysql_data/slow_query_log.log 10.6 重启数据库 systemctl start mariadb 10.7 注意： 1、配置文件my.cnf存在，但是修改的并不是my.cnf，而是/etc/my.cnf.d/server.cnf； 2、并没有更改mysql.sock的路径配置； 3、没有修改/etc/init.d/mysql中的内容； 4、没有修改mysql_safe中的内容； 5、增加了数据库的慢查询配置。 11. Mariadb主从复制 11.1 主从库初始化 这条命令可以初始化mysql，删除匿名用户，设置root密码等等....mysql_secure_installation1.输入当前密码，初次安装后是没有密码的，直接回车2.询问是否使用 'unix_socket' 进行身份验证: n3.为 root 设置密码：y4.输入 root 的新密码: root5.确认输入 root 的新密码: root6.是否移除匿名用户，这个随意，建议删除： y7.拒绝用户远程登录，这个建议开启：n8.删除 test 库，可以保留：n9.重新加载权限表：y 11.2 修改主库配置 [root@mster mysql] grep -Ev "^$|^" /etc/my.cnf.d/server.cnf[server][mysqld]character-set-server=utf8collation-server=utf8_general_ciserver_id = 13 一组主从组里的每个id必须是唯一值。推荐用ip位数log-bin= mysql-bin 二进制日志，后面指定存放位置。如果只是指定名字，默认存放在/var/lib/mysql下lower_case_table_names=1 不区分大小写binlog-format=ROW 二进制日志文件格式log-slave-updates=True slave更新是否记入日志sync-master-info=1 值为1确保信息不会丢失slave-parallel-threads=3 同时启动多少个复制线程，最多与要复制的数据库数量相等即可binlog-checksum=CRC32 效验码master-verify-checksum=1 启动主服务器效验slave-sql-verify-checksum=1 启动从服务器效验[galera][embedded][mariadb][mariadb-10.6][root@mster-k8s mysql] 11.2 修改从库配置 [mysqld]character-set-server=utf8collation-server=utf8_general_ciserver_id=14log-bin= mysql-bin log-bin是二进制文件relay_log = relay-bin 中继日志, 后面指定存放位置。如果只是指定名字，默认存放在/var/lib/mysql下lower_case_table_names=1 11.3 重启主库和从库服务 systemctl restart mariad 11.4 master节点配置 MariaDB [huawei]> grant replication slave, replication client on . to 'liu'@'%' identified by '123456';Query OK, 0 rows affected (0.001 sec)MariaDB [huawei]> show master status;+------------------+----------+--------------+------------------+| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |+------------------+----------+--------------+------------------+| mysql-bin.000001 | 4990 | | |+------------------+----------+--------------+------------------+1 row in set (0.000 sec)MariaDB [huawei]> select binlog_gtid_pos('mysql-bin.000001', 4990 );+-------------------------------------------+| binlog_gtid_pos('mysql-bin.000001', 4990) |+-------------------------------------------+| 0-13-80 |+-------------------------------------------+1 row in set (0.000 sec)MariaDB [huawei]> flush privileges; 11.5 slave节点配置 MariaDB [(none)]> set global gtid_slave_pos='0-13-80';Query OK, 0 rows affected (0.004 sec)MariaDB [(none)]> change master to master_host='101.34.141.216',master_user='liu',master_password='123456',master_use_gtid=slave_pos;Query OK, 0 rows affected (0.008 sec)MariaDB [(none)]> start slave;Query OK, 0 rows affected (0.005 sec)MariaDB [(none)]> 11.6 验证salve状态 MariaDB [(none)]> show slave status\G 1. row Slave_IO_State: Waiting for master to send eventMaster_Host: 101.34.141.216Master_User: liuMaster_Port: 3306Connect_Retry: 60Master_Log_File: mysql-bin.000001Read_Master_Log_Pos: 13260Relay_Log_File: relay-bin.000002Relay_Log_Pos: 10246Relay_Master_Log_File: mysql-bin.000001Slave_IO_Running: YesSlave_SQL_Running: YesReplicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0Last_Error: Skip_Counter: 0Exec_Master_Log_Pos: 13260Relay_Log_Space: 10549Until_Condition: NoneUntil_Log_File: Until_Log_Pos: 0Master_SSL_Allowed: NoMaster_SSL_CA_File: 本篇文章为转载内容。原文链接：https://blog.csdn.net/l363130002/article/details/126121255。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...出队消息 二Java使用JMS监听并处理Oracle AQ队列创建连接参数类 创建消息转换类 主类进行消息处理 三监控表记录变化通知Java创建表 创建存储过程 创建触发器 环境说明 本实验环境基于Oracle 12C和JDK1.8，其中Oracle 12C支持多租户特性，相较于之前的Oracle版本，使用‘C用户名‘表示用户，例如如果数据库用户叫kevin，则登陆时使用Ckevin进行登陆。 一、Oracle高级消息队列AQ Oracle AQ是Oracle中的消息队列，是Oracle中的一种高级应用，每个版本都在不断的加强，使用DBMS_AQ系统包进行相应的操作，是Oracle的默认组件，只要安装了Oracle数据库就可以使用。使用AQ可以在多个Oracle数据库、Oracle与Java、C等系统中进行数据传输。 下面分步骤说明如何创建Oracle AQ 1. 创建消息负荷payload Oracle AQ中传递的消息被称为有效负荷(payloads)，格式可以是用户自定义对象或XMLType或ANYDATA。本例中我们创建一个简单的对象类型用于传递消息。 create type demo_queue_payload_type as object (message varchar2(4000)); 2. 创建队列表 队列表用于存储消息，在入队时自动存入表中，出队时自动删除。使用DBMS_AQADM包进行数据表的创建，只需要写表名，同时设置相应的属性。对于队列需要设置multiple_consumers为false，如果使用发布/订阅模式需要设置为true。 begin dbms_aqadm.create_queue_table( queue_table => 'demo_queue_table', queue_payload_type => 'demo_queue_payload_type', multiple_consumers => false ); end; 执行完后可以查看oracle表中自动生成了demo_queue_table表，可以查看影响子段(含义比较清晰)。 3. 创建队列并启动 创建队列并启动队列： begin dbms_aqadm.create_queue ( queue_name => 'demo_queue', queue_table => 'demo_queue_table' ); dbms_aqadm.start_queue( queue_name => 'demo_queue' ); end; 至此，我们已经创建了队列有效负荷，队列表和队列。可以查看以下系统创建了哪些相关的对象： SELECT object_name, object_type FROM user_objects WHERE object_name != 'DEMO_QUEUE_PAYLOAD_TYPE'; OBJECT_NAME OBJECT_TYPE ------------------------------ --------------- DEMO_QUEUE_TABLE TABLE SYS_C009392 INDEX SYS_LOB0000060502C00030$$ LOB AQ$_DEMO_QUEUE_TABLE_T INDEX AQ$_DEMO_QUEUE_TABLE_I INDEX AQ$_DEMO_QUEUE_TABLE_E QUEUE AQ$DEMO_QUEUE_TABLE VIEW DEMO_QUEUE QUEUE 我们看到一个队列带出了一系列自动生成对象，有些是被后面直接用到的。不过有趣的是，创建了第二个队列。这就是所谓的异常队列(exception queue)。如果AQ无法从我们的队列接收消息，将记录在该异常队列中。 消息多次处理出错等情况会自动转移到异常的队列，对于异常队列如何处理目前笔者还没有找到相应的写法，因为我使用的场景并不要求消息必须一对一的被处理，只要起到通知的作用即可。所以如果消息转移到异常队列，可以执行清空队列表中的数据 delete from demo_queue_table; 4. 队列的停止和删除 如果需要删除或重建可以使用下面的方法进行操作： BEGIN DBMS_AQADM.STOP_QUEUE( queue_name => 'demo_queue' ); DBMS_AQADM.DROP_QUEUE( queue_name => 'demo_queue' ); DBMS_AQADM.DROP_QUEUE_TABLE( queue_table => 'demo_queue_table' ); END; 5. 入队消息 入列操作是一个基本的事务操作(就像往队列表Insert)，因此我们需要提交。 declare r_enqueue_options DBMS_AQ.ENQUEUE_OPTIONS_T; r_message_properties DBMS_AQ.MESSAGE_PROPERTIES_T; v_message_handle RAW(16); o_payload demo_queue_payload_type; begin o_payload := demo_queue_payload_type('what is you name ?'); dbms_aq.enqueue( queue_name => 'demo_queue', enqueue_options => r_enqueue_options, message_properties => r_message_properties, payload => o_payload, msgid => v_message_handle ); commit; end; 通过SQL语句查看消息是否正常入队： select from aq$demo_queue_table; select user_data from aq$demo_queue_table; 6. 出队消息 使用Oracle进行出队操作，我没有实验成功(不确定是否和DBMS_OUTPUT的执行权限有关)，代码如下，读者可以进行调试： declare r_dequeue_options DBMS_AQ.DEQUEUE_OPTIONS_T; r_message_properties DBMS_AQ.MESSAGE_PROPERTIES_T; v_message_handle RAW(16); o_payload demo_queue_payload_type; begin DBMS_AQ.DEQUEUE( queue_name => 'demo_queue', dequeue_options => r_dequeue_options, message_properties => r_message_properties, payload => o_payload, msgid => v_message_handle ); DBMS_OUTPUT.PUT_LINE( ' Browse message is [' || o_payload.message || ']' ); end; 二、Java使用JMS监听并处理Oracle AQ队列 Java使用JMS进行相应的处理，需要使用Oracle提供的jar，在Oracle安装目录可以找到：在linux中可以使用find命令进行查找，例如 find pwd -name 'jmscommon.jar' 需要的jar为： app/oracle/product/12.1.0/dbhome_1/rdbms/jlib/jmscommon.jar app/oracle/product/12.1.0/dbhome_1/jdbc/lib/ojdbc7.jar app/oracle/product/12.1.0/dbhome_1/jlib/orai18n.jar app/oracle/product/12.1.0/dbhome_1/jlib/jta.jar app/oracle/product/12.1.0/dbhome_1/rdbms/jlib/aqapi_g.jar 1. 创建连接参数类 实际使用时可以把参数信息配置在properties文件中，使用Spring进行注入。 package org.kevin.jms; / @author 李文锴 连接参数信息 / public class JmsConfig { public String username = "ckevin"; public String password = "a111111111"; public String jdbcUrl = "jdbc:oracle:thin:@127.0.0.1:1521:orcl"; public String queueName = "demo_queue"; } 2. 创建消息转换类 因为消息载荷是Oracle数据类型，需要提供一个转换工厂类将Oracle类型转换为Java类型。 package org.kevin.jms; import java.sql.SQLException; import oracle.jdbc.driver.OracleConnection; import oracle.jdbc.internal.OracleTypes; import oracle.jpub.runtime.MutableStruct; import oracle.sql.CustomDatum; import oracle.sql.CustomDatumFactory; import oracle.sql.Datum; import oracle.sql.STRUCT; / @author 李文锴 数据类型转换类 / @SuppressWarnings("deprecation") public class QUEUE_MESSAGE_TYPE implements CustomDatum, CustomDatumFactory { public static final String _SQL_NAME = "QUEUE_MESSAGE_TYPE"; public static final int _SQL_TYPECODE = OracleTypes.STRUCT; MutableStruct _struct; // 12表示字符串 static int[] _sqlType = { 12 }; static CustomDatumFactory[] _factory = new CustomDatumFactory[1]; static final QUEUE_MESSAGE_TYPE _MessageFactory = new QUEUE_MESSAGE_TYPE(); public static CustomDatumFactory getFactory() { return _MessageFactory; } public QUEUE_MESSAGE_TYPE() { _struct = new MutableStruct(new Object[1], _sqlType, _factory); } public Datum toDatum(OracleConnection c) throws SQLException { return _struct.toDatum(c, _SQL_NAME); } public CustomDatum create(Datum d, int sqlType) throws SQLException { if (d == null) return null; QUEUE_MESSAGE_TYPE o = new QUEUE_MESSAGE_TYPE(); o._struct = new MutableStruct((STRUCT) d, _sqlType, _factory); return o; } public String getContent() throws SQLException { return (String) _struct.getAttribute(0); } } 3. 主类进行消息处理 package org.kevin.jms; import java.util.Properties; import javax.jms.Message; import javax.jms.MessageConsumer; import javax.jms.MessageListener; import javax.jms.Queue; import javax.jms.QueueConnection; import javax.jms.QueueConnectionFactory; import javax.jms.Session; import oracle.jms.AQjmsAdtMessage; import oracle.jms.AQjmsDestination; import oracle.jms.AQjmsFactory; import oracle.jms.AQjmsSession; / @author 李文锴 消息处理类 / public class Main { public static void main(String[] args) throws Exception { JmsConfig config = new JmsConfig(); QueueConnectionFactory queueConnectionFactory = AQjmsFactory.getQueueConnectionFactory(config.jdbcUrl, new Properties()); QueueConnection conn = queueConnectionFactory.createQueueConnection(config.username, config.password); AQjmsSession session = (AQjmsSession) conn.createQueueSession(false, Session.AUTO_ACKNOWLEDGE); conn.start(); Queue queue = (AQjmsDestination) session.getQueue(config.username, config.queueName); MessageConsumer consumer = session.createConsumer(queue, null, QUEUE_MESSAGE_TYPE.getFactory(), null, false); consumer.setMessageListener(new MessageListener() { @Override public void onMessage(Message message) { System.out.println("ok"); AQjmsAdtMessage adtMessage = (AQjmsAdtMessage) message; try { QUEUE_MESSAGE_TYPE payload = (QUEUE_MESSAGE_TYPE) adtMessage.getAdtPayload(); System.out.println(payload.getContent()); } catch (Exception e) { e.printStackTrace(); } } }); Thread.sleep(1000000); } } 使用Oracle程序块进行入队操作，在没有启动Java时看到队列表中存在数据。启动Java后，控制台正确的输出的消息；通过Oracle程序块再次写入消息，发现控制台正确处理消息。Java的JMS监听不是立刻进行处理，可能存在几秒中的时间差，时间不等。 三、监控表记录变化通知Java 下面的例子创建一个数据表，然后在表中添加触发器，当数据变化后触发器调用存储过程给Oracle AQ发送消息，然后使用Java JMS对消息进行处理。 1. 创建表 创建student表，包含username和age两个子段，其中username时varchar2类型，age时number类型。 2. 创建存储过程 创建send_aq_msg存储过程，因为存储过程中调用dbms数据包，系统包在存储过程中执行需要进行授权(使用sys用户进行授权)： grant execute on dbms_aq to ckevin; 注意存储过程中包含commit语句。 create or replace PROCEDURE send_aq_msg (info IN VARCHAR2) as r_enqueue_options DBMS_AQ.ENQUEUE_OPTIONS_T; r_message_properties DBMS_AQ.MESSAGE_PROPERTIES_T; v_message_handle RAW(16); o_payload demo_queue_payload_type; begin o_payload := demo_queue_payload_type(info); dbms_aq.enqueue( queue_name => 'demo_queue', enqueue_options => r_enqueue_options, message_properties => r_message_properties, payload => o_payload, msgid => v_message_handle ); commit; end send_aq_msg; 3. 创建触发器 在student表中创建触发器，当数据写入或更新时，如果age=18，则进行入队操作。需要调用存储过程发送消息，但触发器中不能包含事物提交语句，因此需要使用pragma autonomous_transaction;声明自由事物： CREATE OR REPLACE TRIGGER STUDENT_TR AFTER INSERT OR UPDATE OF AGE ON STUDENT FOR EACH ROW DECLARE pragma autonomous_transaction; BEGIN if :new.age = 18 then send_aq_msg(:new.username); end if; END; 创建完触发器后向执行插入或更新操作： insert into student (username,age) values ('jack.lee.3k', 18); update student set age=18 where username='jack003'; Java JMS可以正确的处理消息。 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_42309178/article/details/115241521。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...分析，屏蔽IP等； 使用updateStateByKey或者mapWithState进行不同地区广告点击排名的计算； Spark Streaming+Spark SQL+Spark Core等综合分析数据； 使用Window类型的操作； 高可用和性能调优等等； 流量趋势，一般会结合DB等； Spark Core / /package com.tom.spark.SparkApps.sparkstreaming;import java.util.Date;import java.util.HashMap;import java.util.Map;import java.util.Properties;import java.util.Random;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;/ 数据生成代码，Kafka Producer产生数据/public class MockAdClickedStat {/ @param args/public static void main(String[] args) {final Random random = new Random();final String[] provinces = new String[]{"Guangdong", "Zhejiang", "Jiangsu", "Fujian"};final Map<String, String[]> cities = new HashMap<String, String[]>();cities.put("Guangdong", new String[]{"Guangzhou", "Shenzhen", "Dongguan"});cities.put("Zhejiang", new String[]{"Hangzhou", "Wenzhou", "Ningbo"});cities.put("Jiangsu", new String[]{"Nanjing", "Suzhou", "Wuxi"});cities.put("Fujian", new String[]{"Fuzhou", "Xiamen", "Sanming"});final String[] ips = new String[] {"192.168.112.240","192.168.112.239","192.168.112.245","192.168.112.246","192.168.112.247","192.168.112.248","192.168.112.249","192.168.112.250","192.168.112.251","192.168.112.252","192.168.112.253","192.168.112.254",};/ Kafka相关的基本配置信息/Properties kafkaConf = new Properties();kafkaConf.put("serializer.class", "kafka.serializer.StringEncoder");kafkaConf.put("metadeta.broker.list", "Master:9092,Worker1:9092,Worker2:9092");ProducerConfig producerConfig = new ProducerConfig(kafkaConf);final Producer<Integer, String> producer = new Producer<Integer, String>(producerConfig);new Thread(new Runnable() {public void run() {while(true) {//在线处理广告点击流的基本数据格式：timestamp、ip、userID、adID、province、cityLong timestamp = new Date().getTime();String ip = ips[random.nextInt(12)]; //可以采用网络上免费提供的ip库int userID = random.nextInt(10000);int adID = random.nextInt(100);String province = provinces[random.nextInt(4)];String city = cities.get(province)[random.nextInt(3)];String clickedAd = timestamp + "\t" + ip + "\t" + userID + "\t" + adID + "\t" + province + "\t" + city;producer.send(new KeyedMessage<Integer, String>("AdClicked", clickedAd));try {Thread.sleep(50);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }} }).start();} } package com.tom.spark.SparkApps.sparkstreaming;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.util.ArrayList;import java.util.Arrays;import java.util.HashMap;import java.util.HashSet;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.Set;import java.util.concurrent.LinkedBlockingQueue;import kafka.serializer.StringDecoder;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import org.apache.spark.api.java.function.Function2;import org.apache.spark.api.java.function.PairFunction;import org.apache.spark.api.java.function.VoidFunction;import org.apache.spark.sql.DataFrame;import org.apache.spark.sql.Row;import org.apache.spark.sql.RowFactory;import org.apache.spark.sql.hive.HiveContext;import org.apache.spark.sql.types.DataTypes;import org.apache.spark.sql.types.StructType;import org.apache.spark.streaming.Durations;import org.apache.spark.streaming.api.java.JavaDStream;import org.apache.spark.streaming.api.java.JavaPairDStream;import org.apache.spark.streaming.api.java.JavaPairInputDStream;import org.apache.spark.streaming.api.java.JavaStreamingContext;import org.apache.spark.streaming.api.java.JavaStreamingContextFactory;import org.apache.spark.streaming.kafka.KafkaUtils;import com.google.common.base.Optional;import scala.Tuple2;/ 数据处理，Kafka消费者/public class AdClickedStreamingStats {/ @param args/public static void main(String[] args) {// TODO Auto-generated method stub//好处：1、checkpoint 2、工厂final SparkConf conf = new SparkConf().setAppName("SparkStreamingOnKafkaDirect").setMaster("hdfs://Master:7077/");final String checkpointDirectory = "hdfs://Master:9000/library/SparkStreaming/CheckPoint_Data";JavaStreamingContextFactory factory = new JavaStreamingContextFactory() {public JavaStreamingContext create() {// TODO Auto-generated method stubreturn createContext(checkpointDirectory, conf);} };/ 可以从失败中恢复Driver，不过还需要指定Driver这个进程运行在Cluster，并且在提交应用程序的时候制定--supervise;/JavaStreamingContext javassc = JavaStreamingContext.getOrCreate(checkpointDirectory, factory);/ 第三步：创建Spark Streaming输入数据来源input Stream: 1、数据输入来源可以基于File、HDFS、Flume、Kafka、Socket等 2、在这里我们指定数据来源于网络Socket端口，Spark Streaming连接上该端口并在运行的时候一直监听该端口的数据 (当然该端口服务首先必须存在），并且在后续会根据业务需要不断有数据产生（当然对于Spark Streaming 应用程序的运行而言，有无数据其处理流程都是一样的） 3、如果经常在每间隔5秒钟没有数据的话不断启动空的Job其实会造成调度资源的浪费，因为并没有数据需要发生计算；所以 实际的企业级生成环境的代码在具体提交Job前会判断是否有数据，如果没有的话就不再提交Job；///创建Kafka元数据来让Spark Streaming这个Kafka Consumer利用Map<String, String> kafkaParameters = new HashMap<String, String>();kafkaParameters.put("metadata.broker.list", "Master:9092,Worker1:9092,Worker2:9092");Set<String> topics = new HashSet<String>();topics.add("SparkStreamingDirected");JavaPairInputDStream<String, String> adClickedStreaming = KafkaUtils.createDirectStream(javassc, String.class, String.class, StringDecoder.class, StringDecoder.class,kafkaParameters, topics);/因为要对黑名单进行过滤，而数据是在RDD中的，所以必然使用transform这个函数； 但是在这里我们必须使用transformToPair，原因是读取进来的Kafka的数据是Pair<String,String>类型, 另一个原因是过滤后的数据要进行进一步处理，所以必须是读进的Kafka数据的原始类型 在此再次说明，每个Batch Duration中实际上讲输入的数据就是被一个且仅被一个RDD封装的，你可以有多个 InputDStream，但其实在产生job的时候，这些不同的InputDStream在Batch Duration中就相当于Spark基于HDFS 数据操作的不同文件来源而已罢了。/JavaPairDStream<String, String> filteredadClickedStreaming = adClickedStreaming.transformToPair(new Function<JavaPairRDD<String,String>, JavaPairRDD<String,String>>() {public JavaPairRDD<String, String> call(JavaPairRDD<String, String> rdd) throws Exception {/ 在线黑名单过滤思路步骤： 1、从数据库中获取黑名单转换成RDD，即新的RDD实例封装黑名单数据； 2、然后把代表黑名单的RDD的实例和Batch Duration产生的RDD进行Join操作， 准确的说是进行leftOuterJoin操作，也就是说使用Batch Duration产生的RDD和代表黑名单的RDD实例进行 leftOuterJoin操作，如果两者都有内容的话，就会是true，否则的话就是false 我们要留下的是leftOuterJoin结果为false； /final List<String> blackListNames = new ArrayList<String>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();jdbcWrapper.doQuery("SELECT FROM blacklisttable", null, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {while(result.next()){blackListNames.add(result.getString(1));} }});List<Tuple2<String, Boolean>> blackListTuple = new ArrayList<Tuple2<String,Boolean>>();for(String name : blackListNames) {blackListTuple.add(new Tuple2<String, Boolean>(name, true));}List<Tuple2<String, Boolean>> blacklistFromListDB = blackListTuple; //数据来自于查询的黑名单表并且映射成为<String, Boolean>JavaSparkContext jsc = new JavaSparkContext(rdd.context());/ 黑名单的表中只有userID，但是如果要进行join操作的话就必须是Key-Value，所以在这里我们需要 基于数据表中的数据产生Key-Value类型的数据集合/JavaPairRDD<String, Boolean> blackListRDD = jsc.parallelizePairs(blacklistFromListDB);/ 进行操作的时候肯定是基于userID进行join，所以必须把传入的rdd进行mapToPair操作转化成为符合格式的RDD/JavaPairRDD<String, Tuple2<String, String>> rdd2Pair = rdd.mapToPair(new PairFunction<Tuple2<String,String>, String, Tuple2<String, String>>() {public Tuple2<String, Tuple2<String, String>> call(Tuple2<String, String> t) throws Exception {// TODO Auto-generated method stubString userID = t._2.split("\t")[2];return new Tuple2<String, Tuple2<String,String>>(userID, t);} });JavaPairRDD<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> joined = rdd2Pair.leftOuterJoin(blackListRDD);JavaPairRDD<String, String> result = joined.filter(new Function<Tuple2<String,Tuple2<Tuple2<String,String>,Optional<Boolean>>>, Boolean>() {public Boolean call(Tuple2<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> tuple)throws Exception {// TODO Auto-generated method stubOptional<Boolean> optional = tuple._2._2;if(optional.isPresent() && optional.get()){return false;} else {return true;} }}).mapToPair(new PairFunction<Tuple2<String,Tuple2<Tuple2<String,String>,Optional<Boolean>>>, String, String>() {public Tuple2<String, String> call(Tuple2<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> t)throws Exception {// TODO Auto-generated method stubreturn t._2._1;} });return result;} });//广告点击的基本数据格式：timestamp、ip、userID、adID、province、cityJavaPairDStream<String, Long> pairs = filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t) throws Exception {String[] splited=t._2.split("\t");String timestamp = splited[0]; //YYYY-MM-DDString ip = splited[1];String userID = splited[2];String adID = splited[3];String province = splited[4];String city = splited[5]; String clickedRecord = timestamp + "_" +ip + "_"+userID+"_"+adID+"_"+province +"_"+city;return new Tuple2<String, Long>(clickedRecord, 1L);} });/ 第4.3步：在单词实例计数为1基础上，统计每个单词在文件中出现的总次数/JavaPairDStream<String, Long> adClickedUsers= pairs.reduceByKey(new Function2<Long, Long, Long>() {public Long call(Long i1, Long i2) throws Exception{return i1 + i2;} });/判断有效的点击，复杂化的采用机器学习训练模型进行在线过滤 简单的根据ip判断1天不超过100次；也可以通过一个batch duration的点击次数判断是否非法广告点击，通过一个batch来判断是不完整的，还需要一天的数据也可以每一个小时来判断。/JavaPairDStream<String, Long> filterClickedBatch = adClickedUsers.filter(new Function<Tuple2<String,Long>, Boolean>() {public Boolean call(Tuple2<String, Long> v1) throws Exception {if (1 < v1._2){//更新一些黑名单的数据库表return false;} else { return true;} }});//filterClickedBatch.print();//写入数据库filterClickedBatch.foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition) throws Exception {//使用数据库连接池的高效读写数据库的方式将数据写入数据库mysql//例如一次插入 1000条 records，使用insertBatch 或 updateBatch//插入的用户数据信息：userID,adID,clickedCount,time//这里面有一个问题，可能出现两条记录的key是一样的，此时需要更新累加操作List<UserAdClicked> userAdClickedList = new ArrayList<UserAdClicked>();while(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("\t");UserAdClicked userClicked = new UserAdClicked();userClicked.setTimestamp(splited[0]);userClicked.setIp(splited[1]);userClicked.setUserID(splited[2]);userClicked.setAdID(splited[3]);userClicked.setProvince(splited[4]);userClicked.setCity(splited[5]);userAdClickedList.add(userClicked);}final List<UserAdClicked> inserting = new ArrayList<UserAdClicked>();final List<UserAdClicked> updating = new ArrayList<UserAdClicked>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final UserAdClicked clicked : userAdClickedList) {jdbcWrapper.doQuery("SELECT clickedCount FROM adclicked WHERE"+ " timestamp =? AND userID = ? AND adID = ?",new Object[]{clicked.getTimestamp(), clicked.getUserID(),clicked.getAdID()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);clicked.setClickedCount(count);updating.add(clicked);} else {inserting.add(clicked);clicked.setClickedCount(1L);} }});}//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(UserAdClicked insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.getTimestamp(),insertRecord.getIp(),insertRecord.getUserID(),insertRecord.getAdID(),insertRecord.getProvince(),insertRecord.getCity(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclicked VALUES(?, ?, ?, ?, ?, ?, ?)", insertParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(UserAdClicked updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getTimestamp(),updateRecord.getIp(),updateRecord.getUserID(),updateRecord.getAdID(),updateRecord.getProvince(),updateRecord.getCity(),updateRecord.getClickedCount() + 1});}jdbcWrapper.doBatch("UPDATE adclicked SET clickedCount = ? WHERE"+ " timestamp =? AND ip = ? AND userID = ? AND adID = ? "+ "AND province = ? AND city = ?", updateParametersList);} });return null;} });//再次过滤，从数据库中读取数据过滤黑名单JavaPairDStream<String, Long> blackListBasedOnHistory = filterClickedBatch.filter(new Function<Tuple2<String,Long>, Boolean>() {public Boolean call(Tuple2<String, Long> v1) throws Exception {//广告点击的基本数据格式：timestamp,ip,userID,adID,province,cityString[] splited = v1._1.split("\t"); //提取key值String date =splited[0];String userID =splited[2];String adID =splited[3];//查询一下数据库同一个用户同一个广告id点击量超过50次列入黑名单//接下来 根据date、userID、adID条件去查询用户点击广告的数据表，获得总的点击次数//这个时候基于点击次数判断是否属于黑名单点击int clickedCountTotalToday = 81 ;if (clickedCountTotalToday > 50) {return true;}else {return false ;} }});//map操作，找出用户的idJavaDStream<String> blackListuserIDBasedInBatchOnhistroy =blackListBasedOnHistory.map(new Function<Tuple2<String,Long>, String>() {public String call(Tuple2<String, Long> v1) throws Exception {// TODO Auto-generated method stubreturn v1._1.split("\t")[2];} });//有一个问题，数据可能重复，在一个partition里面重复，这个好办；//但多个partition不能保证一个用户重复，需要对黑名单的整个rdd进行去重操作。//rdd去重了，partition也就去重了，一石二鸟，一箭双雕// 找出了黑名单，下一步就写入黑名单数据库表中JavaDStream<String> blackListUniqueuserBasedInBatchOnhistroy = blackListuserIDBasedInBatchOnhistroy.transform(new Function<JavaRDD<String>, JavaRDD<String>>() {public JavaRDD<String> call(JavaRDD<String> rdd) throws Exception {// TODO Auto-generated method stubreturn rdd.distinct();} });// 下一步写入到数据表中blackListUniqueuserBasedInBatchOnhistroy.foreachRDD(new Function<JavaRDD<String>, Void>() {public Void call(JavaRDD<String> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<String>>() {public void call(Iterator<String> t) throws Exception {// TODO Auto-generated method stub//插入的用户信息可以只包含：useID//此时直接插入黑名单数据表即可。//写入数据库List<Object[]> blackList = new ArrayList<Object[]>();while(t.hasNext()) {blackList.add(new Object[]{t.next()});}JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();jdbcWrapper.doBatch("INSERT INTO blacklisttable values (?)", blackList);} });return null;} });/广告点击累计动态更新,每个updateStateByKey都会在Batch Duration的时间间隔的基础上进行广告点击次数的更新， 更新之后我们一般都会持久化到外部存储设备上，在这里我们存储到MySQL数据库中/JavaPairDStream<String, Long> updateStateByKeyDSteam = filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t)throws Exception {String[] splited=t._2.split("\t");String timestamp = splited[0]; //YYYY-MM-DDString ip = splited[1];String userID = splited[2];String adID = splited[3];String province = splited[4];String city = splited[5]; String clickedRecord = timestamp + "_" +ip + "_"+userID+"_"+adID+"_"+province +"_"+city;return new Tuple2<String, Long>(clickedRecord, 1L);} }).updateStateByKey(new Function2<List<Long>, Optional<Long>, Optional<Long>>() {public Optional<Long> call(List<Long> v1, Optional<Long> v2)throws Exception {// v1:当前的Key在当前的Batch Duration中出现的次数的集合，例如{1，1，1，。。。，1}// v2:当前的Key在以前的Batch Duration中积累下来的结果；Long clickedTotalHistory = 0L; if(v2.isPresent()){clickedTotalHistory = v2.get();}for(Long one : v1) {clickedTotalHistory += one;}return Optional.of(clickedTotalHistory);} });updateStateByKeyDSteam.foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition) throws Exception {//使用数据库连接池的高效读写数据库的方式将数据写入数据库mysql//例如一次插入 1000条 records，使用insertBatch 或 updateBatch//插入的用户数据信息：timestamp、adID、province、city//这里面有一个问题，可能出现两条记录的key是一样的，此时需要更新累加操作List<AdClicked> AdClickedList = new ArrayList<AdClicked>();while(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("\t");AdClicked adClicked = new AdClicked();adClicked.setTimestamp(splited[0]);adClicked.setAdID(splited[1]);adClicked.setProvince(splited[2]);adClicked.setCity(splited[3]);adClicked.setClickedCount(record._2);AdClickedList.add(adClicked);}final List<AdClicked> inserting = new ArrayList<AdClicked>();final List<AdClicked> updating = new ArrayList<AdClicked>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final AdClicked clicked : AdClickedList) {jdbcWrapper.doQuery("SELECT clickedCount FROM adclickedcount WHERE"+ " timestamp = ? AND adID = ? AND province = ? AND city = ?",new Object[]{clicked.getTimestamp(), clicked.getAdID(),clicked.getProvince(), clicked.getCity()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);clicked.setClickedCount(count);updating.add(clicked);} else {inserting.add(clicked);clicked.setClickedCount(1L);} }});}//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdClicked insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.getTimestamp(),insertRecord.getAdID(),insertRecord.getProvince(),insertRecord.getCity(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclickedcount VALUES(?, ?, ?, ?, ?)", insertParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(AdClicked updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getClickedCount(),updateRecord.getTimestamp(),updateRecord.getAdID(),updateRecord.getProvince(),updateRecord.getCity()});}jdbcWrapper.doBatch("UPDATE adclickedcount SET clickedCount = ? WHERE"+ " timestamp =? AND adID = ? AND province = ? AND city = ?", updateParametersList);} });return null;} });/ 对广告点击进行TopN计算，计算出每天每个省份Top5排名的广告 因为我们直接对RDD进行操作，所以使用了transfomr算子；/updateStateByKeyDSteam.transform(new Function<JavaPairRDD<String,Long>, JavaRDD<Row>>() {public JavaRDD<Row> call(JavaPairRDD<String, Long> rdd) throws Exception {JavaRDD<Row> rowRDD = rdd.mapToPair(new PairFunction<Tuple2<String,Long>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, Long> t)throws Exception {// TODO Auto-generated method stubString[] splited=t._1.split("_");String timestamp = splited[0]; //YYYY-MM-DDString adID = splited[3];String province = splited[4];String clickedRecord = timestamp + "_" + adID + "_" + province;return new Tuple2<String, Long>(clickedRecord, t._2);} }).reduceByKey(new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 + v2;} }).map(new Function<Tuple2<String,Long>, Row>() {public Row call(Tuple2<String, Long> v1) throws Exception {// TODO Auto-generated method stubString[] splited=v1._1.split("_");String timestamp = splited[0]; //YYYY-MM-DDString adID = splited[3];String province = splited[4];return RowFactory.create(timestamp, adID, province, v1._2);} });StructType structType = DataTypes.createStructType(Arrays.asList(DataTypes.createStructField("timestamp", DataTypes.StringType, true),DataTypes.createStructField("adID", DataTypes.StringType, true),DataTypes.createStructField("province", DataTypes.StringType, true),DataTypes.createStructField("clickedCount", DataTypes.LongType, true)));HiveContext hiveContext = new HiveContext(rdd.context());DataFrame df = hiveContext.createDataFrame(rowRDD, structType);df.registerTempTable("topNTableSource");DataFrame result = hiveContext.sql("SELECT timestamp, adID, province, clickedCount, FROM"+ " (SELECT timestamp, adID, province,clickedCount, "+ "ROW_NUMBER() OVER(PARTITION BY province ORDER BY clickeCount DESC) rank "+ "FROM topNTableSource) subquery "+ "WHERE rank <= 5");return result.toJavaRDD();} }).foreachRDD(new Function<JavaRDD<Row>, Void>() {public Void call(JavaRDD<Row> rdd) throws Exception {// TODO Auto-generated method stubrdd.foreachPartition(new VoidFunction<Iterator<Row>>() {public void call(Iterator<Row> t) throws Exception {// TODO Auto-generated method stubList<AdProvinceTopN> adProvinceTopN = new ArrayList<AdProvinceTopN>();while(t.hasNext()) {Row row = t.next();AdProvinceTopN item = new AdProvinceTopN();item.setTimestamp(row.getString(0));item.setAdID(row.getString(1));item.setProvince(row.getString(2));item.setClickedCount(row.getLong(3));adProvinceTopN.add(item);}// final List<AdProvinceTopN> inserting = new ArrayList<AdProvinceTopN>();// final List<AdProvinceTopN> updating = new ArrayList<AdProvinceTopN>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();Set<String> set = new HashSet<String>();for(AdProvinceTopN item: adProvinceTopN){set.add(item.getTimestamp() + "_" + item.getProvince());}//表的字段timestamp、adID、province、clickedCountArrayList<Object[]> deleteParametersList = new ArrayList<Object[]>();for(String deleteRecord : set) {String[] splited = deleteRecord.split("_");deleteParametersList.add(new Object[]{splited[0],splited[1]});}jdbcWrapper.doBatch("DELETE FROM adprovincetopn WHERE timestamp = ? AND province = ?", deleteParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdProvinceTopN insertRecord : adProvinceTopN) {insertParametersList.add(new Object[] {insertRecord.getClickedCount(),insertRecord.getTimestamp(),insertRecord.getAdID(),insertRecord.getProvince()});}jdbcWrapper.doBatch("INSERT INTO adprovincetopn VALUES (?, ?, ?, ?)", insertParametersList);} });return null;} });/ 计算过去半个小时内广告点击的趋势 广告点击的基本数据格式：timestamp、ip、userID、adID、province、city/filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t)throws Exception {String splited[] = t._2.split("\t");String adID = splited[3];String time = splited[0]; //Todo:后续需要重构代码实现时间戳和分钟的转换提取。此处需要提取出该广告的点击分钟单位return new Tuple2<String, Long>(time + "_" + adID, 1L);} }).reduceByKeyAndWindow(new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 + v2;} }, new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 - v2;} }, Durations.minutes(30), Durations.milliseconds(5)).foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {// TODO Auto-generated method stubrdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition)throws Exception {List<AdTrendStat> adTrend = new ArrayList<AdTrendStat>();// TODO Auto-generated method stubwhile(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("_");String time = splited[0];String adID = splited[1];Long clickedCount = record._2;/ 在插入数据到数据库的时候具体需要哪些字段？time、adID、clickedCount; 而我们通过J2EE技术进行趋势绘图的时候肯定是需要年、月、日、时、分这个维度的，所以我们在这里需要 年月日、小时、分钟这些时间维度；/AdTrendStat adTrendStat = new AdTrendStat();adTrendStat.setAdID(adID);adTrendStat.setClickedCount(clickedCount);adTrendStat.set_date(time); //Todo:获取年月日adTrendStat.set_hour(time); //Todo:获取小时adTrendStat.set_minute(time);//Todo:获取分钟adTrend.add(adTrendStat);}final List<AdTrendStat> inserting = new ArrayList<AdTrendStat>();final List<AdTrendStat> updating = new ArrayList<AdTrendStat>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final AdTrendStat trend : adTrend) {final AdTrendCountHistory adTrendhistory = new AdTrendCountHistory();jdbcWrapper.doQuery("SELECT clickedCount FROM adclickedtrend WHERE"+ " date =? AND hour = ? AND minute = ? AND AdID = ?",new Object[]{trend.get_date(), trend.get_hour(), trend.get_minute(),trend.getAdID()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);adTrendhistory.setClickedCountHistoryLong(count);updating.add(trend);} else { inserting.add(trend);} }});}//表的字段date、hour、minute、adID、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdTrendStat insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.get_date(),insertRecord.get_hour(),insertRecord.get_minute(),insertRecord.getAdID(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclickedtrend VALUES(?, ?, ?, ?, ?)", insertParametersList);//表的字段date、hour、minute、adID、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(AdTrendStat updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getClickedCount(),updateRecord.get_date(),updateRecord.get_hour(),updateRecord.get_minute(),updateRecord.getAdID()});}jdbcWrapper.doBatch("UPDATE adclickedtrend SET clickedCount = ? WHERE"+ " date =? AND hour = ? AND minute = ? AND AdID = ?", updateParametersList);} });return null;} });;/ Spark Streaming 执行引擎也就是Driver开始运行，Driver启动的时候是位于一条新的线程中的，当然其内部有消息循环体，用于 接收应用程序本身或者Executor中的消息，/javassc.start();javassc.awaitTermination();javassc.close();}private static JavaStreamingContext createContext(String checkpointDirectory, SparkConf conf) {// If you do not see this printed, that means the StreamingContext has been loaded// from the new checkpointSystem.out.println("Creating new context");// Create the context with a 5 second batch sizeJavaStreamingContext ssc = new JavaStreamingContext(conf, Durations.seconds(10));ssc.checkpoint(checkpointDirectory);return ssc;} }class JDBCWrapper {private static JDBCWrapper jdbcInstance = null;private static LinkedBlockingQueue<Connection> dbConnectionPool = new LinkedBlockingQueue<Connection>();static {try {Class.forName("com.mysql.jdbc.Driver");} catch (ClassNotFoundException e) {// TODO Auto-generated catch blocke.printStackTrace();} }public static JDBCWrapper getJDBCInstance() {if(jdbcInstance == null) {synchronized (JDBCWrapper.class) {if(jdbcInstance == null) {jdbcInstance = new JDBCWrapper();} }}return jdbcInstance; }private JDBCWrapper() {for(int i = 0; i < 10; i++){try {Connection conn = DriverManager.getConnection("jdbc:mysql://Master:3306/sparkstreaming","root", "root");dbConnectionPool.put(conn);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();} } }public synchronized Connection getConnection() {while(0 == dbConnectionPool.size()){try {Thread.sleep(20);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }return dbConnectionPool.poll();}public int[] doBatch(String sqlText, List<Object[]> paramsList){Connection conn = getConnection();PreparedStatement preparedStatement = null;int[] result = null;try {conn.setAutoCommit(false);preparedStatement = conn.prepareStatement(sqlText);for(Object[] parameters: paramsList) {for(int i = 0; i < parameters.length; i++){preparedStatement.setObject(i + 1, parameters[i]);} preparedStatement.addBatch();}result = preparedStatement.executeBatch();conn.commit();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally {if(preparedStatement != null) {try {preparedStatement.close();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} }if(conn != null) {try {dbConnectionPool.put(conn);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }}return result; }public void doQuery(String sqlText, Object[] paramsList, ExecuteCallBack callback){Connection conn = getConnection();PreparedStatement preparedStatement = null;ResultSet result = null;try {preparedStatement = conn.prepareStatement(sqlText);for(int i = 0; i < paramsList.length; i++){preparedStatement.setObject(i + 1, paramsList[i]);} result = preparedStatement.executeQuery();try {callback.resultCallBack(result);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();} } catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally {if(preparedStatement != null) {try {preparedStatement.close();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} }if(conn != null) {try {dbConnectionPool.put(conn);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }} }}interface ExecuteCallBack {void resultCallBack(ResultSet result) throws Exception;}class UserAdClicked {private String timestamp;private String ip;private String userID;private String adID;private String province;private String city;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getIp() {return ip;}public void setIp(String ip) {this.ip = ip;}public String getUserID() {return userID;}public void setUserID(String userID) {this.userID = userID;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public String getCity() {return city;}public void setCity(String city) {this.city = city;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdClicked {private String timestamp;private String adID;private String province;private String city;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public String getCity() {return city;}public void setCity(String city) {this.city = city;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdProvinceTopN {private String timestamp;private String adID;private String province;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdTrendStat {private String _date;private String _hour;private String _minute;private String adID;private Long clickedCount;public String get_date() {return _date;}public void set_date(String _date) {this._date = _date;}public String get_hour() {return _hour;}public void set_hour(String _hour) {this._hour = _hour;}public String get_minute() {return _minute;}public void set_minute(String _minute) {this._minute = _minute;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdTrendCountHistory{private Long clickedCountHistoryLong;public Long getClickedCountHistoryLong() {return clickedCountHistoryLong;}public void setClickedCountHistoryLong(Long clickedCountHistoryLong) {this.clickedCountHistoryLong = clickedCountHistoryLong;} } 本篇文章为转载内容。原文链接：https://blog.csdn.net/tom_8899_li/article/details/71194434。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...程中，join方法是Thread类提供的一个关键同步机制。当主线程调用某个子线程的join方法时，主线程将被阻塞（暂停执行），直到所调用join方法的子线程执行完毕。join方法有三个重载版本，可以根据需要让主线程等待指定的时间或者一直等待到子线程结束。 yield方法 , yield是Java中的一个静态native方法，属于Thread类。该方法用于提示当前运行线程主动放弃CPU控制权，进入就绪状态，使得调度器有机会调度其他同优先级的线程执行。然而，实际的线程调度策略取决于操作系统，yield方法并不保证一定会使其他线程得到执行机会，仅仅是一个建议性的操作，并且不会影响线程的锁定状态或其他同步状态。

... int y) { std::cout << __FUNCTION__ << " is called with " << x << " and " << y << std::endl; } int main() { foo(1, 2); return 0; } 运行上述代码，输出结果为： cpp foo is called with 1 and 2 三、在宏定义中添加__FUNCTION__ 然而，直接在宏定义中使用__FUNCTION__会导致编译错误。你看哈，这个__FUNCTION__呢，它是在编译的大哥正在干活的时候才揭晓答案的，而那个宏定义呢，人家可是更早一步，在编译的小弟动手前就已经确定下来了。这两家伙的工作时间完全错开，所以呀，咱们没法直接把它们凑一块儿用。 解决这个问题的方法是使用编译器提供的扩展机制，如GCC中的__func__，Clang中的__PRETTY_FUNCTION__。 1. GCC扩展 在GCC中，我们可以使用__func__来代替__FUNCTION__。__func__其实也是个预处理器的小秘密武器，不过在宏定义的世界里，咱们可以直接把它拽出来用，一点问题都没有。 例如： cpp define SHOW_CURRENT_FUNCTION() std::cout << __func__ << std::endl; void foo(int x, int y) { SHOW_CURRENT_FUNCTION(); } 运行上述代码，输出结果为： cpp foo 2. Clang扩展 在Clang中，我们可以使用__PRETTY_FUNCTION__来代替__FUNCTION__。__PRETTY_FUNCTION__实际上是个预处理器的小秘密武器，但它在宏定义的世界里，却可以直接被我们使上劲儿，一点儿也不含糊。 例如： cpp define SHOW_CURRENT_FUNCTION() std::cout << __PRETTY_FUNCTION__ << std::endl; void foo(int x, int y) { SHOW_CURRENT_FUNCTION(); } 运行上述代码，输出结果为： cpp foo(int x, int y) 四、总结 总的来说，虽然在宏定义中直接使用__FUNCTION__会导致编译错误，但是可以通过使用编译器提供的扩展机制，如GCC中的__func__，Clang中的__PRETTY_FUNCTION__，来实现相同的功能。这样，我们就可以方便地获取到当前函数的信息了。 五、参考文献 [1] C++ Reference: __func__ [2] GCC Manual: __func__ [3] Clang Manual: __PRETTY_FUNCTION__

...类型，当我们在程序中使用这个模板时，编译器会根据传入的实际参数类型自动替换T。 2. 函数模板的具体化过程 2.1 自动具体化 当我们在代码中调用max函数，并传入特定类型的参数时，编译器会自动进行模板的具体化。例如： cpp int main() { int x = 10, y = 20; int result = max(x, y); // 这里编译器自动将T替换成int类型 std::cout << "Max of x and y: " << result << std::endl; double a = 3.14, b = 2.71; double result2 = max(a, b); // 这里编译器自动将T替换成double类型 std::cout << "Max of a and b: " << result2 << std::endl; return 0; } 在这段代码中，当我们分别使用int和double类型调用max函数时，编译器就会为每种情况生成一份特定版本的函数代码，这就是所谓的函数模板的具体化。 2.2 显式具体化 除了编译器自动具体化之外，我们还可以显式地指定函数模板的具体类型。这通常用于解决某些特殊场景下编译器无法准确推断类型的情况。例如： cpp template <> char max(char a, char b) { std::cout << "Specific version for char type." << std::endl; return (a > b) ? a : b; } int main() { char c1 = 'A', c2 = 'Z'; char max_char = max(c1, c2); // 这里直接调用显式具体化的char版本函数 return 0; } 这里，我们显式地为char类型定义了max函数的具体版本。在调用时，即使没有类型推断，也会直接使用这个特化的版本。 3. 总结与思考 函数模板的具体化是C++编程中一项重要的技巧，它既能提升代码的复用性，又能帮助我们实现更为灵活的编程设计。你知道吗？只要咱们掌握了自动具体化和显式具体化这两种神奇招数，就能把模板玩得溜溜的，写出既高效又方便维护的C++代码，让编程这件事儿变得轻松又愉快！ 然而，在享受模板带来的便利的同时，也要注意避免过度泛化导致的代码难以理解和维护的问题。所以在实际编程干活的时候，咱们得瞅准具体的业务需求，灵活巧妙地运用和定制函数模板，把C++那牛哄哄的强类型特性榨干最后一滴油，让它发挥到极致。

...namespace std;const int MOD = 1000000007;const int Q = 3;long long inv(long long a){return (a == 1) ? 1 : inv(MOD % a) (MOD - MOD / a) % MOD;}// 快速模幂计算函数int powermod(long long a, int n, int m){long long res = 1;while(n) {if(n & 1) { // n % 2 == 1res = a;res %= m;}a = a;a %= m;n >>= 1;}return res;}int main(){int n;// 等比数列和：Sn=a0(q^(n+1) - 1)/(q - 1)=(q^(n+1) - 1)/(q - 1)// 使用快速模幂运算后，需要求一下逆元，再进行计算while(cin >> n)cout << (powermod(Q, n + 1, MOD) - 1) inv((Q - 1)) % MOD << endl;return 0;} 本篇文章为转载内容。原文链接：https://tigerisland.blog.csdn.net/article/details/72832637。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...e<bits/stdc++.h>using namespace std;inline int read(){int cnt=0,f=1;char c;c=getchar();while(!isdigit(c)){if(c=='-')f=-f;c=getchar();}while(isdigit(c)){cnt=cnt10+c-'0';c=getchar();}return cntf;}int a,b,x,y;void exgcd(int a,int b,int &x,int &y){if(b==0){x=1;y=0;return;}exgcd(b,a%b,x,y);int z=x;x=y;y=z-y(a/b);// return d; }int main(){a=read();b=read();exgcd(a,b,x,y);if(b<0)b=-b;if(x<=0){while(x<0)x+=b;printf("%d",x);}else{while(x>0)x-=b;x+=b; printf("%d",x);}return 0;} 转载于:https://www.cnblogs.com/kma093/p/10087253.html 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_30590285/article/details/97558051。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...译时添加如下命令：-std=c++11，否则会编译错误/ include <cstdio> include <cstdlib> include <Windows.h> include <thread> include <conio.h> using namespace std; const unsigned char CTRL_KEY = 0XE0; const unsigned char LEFT = 0X4B; const unsigned char RIGHT = 0X4D; const unsigned char DOWN = 0X50; const unsigned char UP = 0X48; int men2[2] = {0,0}; int women2[2]={10,10}; int Game(); void gotoxy( int x, int y ) //光标移动到(x,y)位置 { HANDLE handle = GetStdHandle(STD_OUTPUT_HANDLE); COORD pos; pos.X = x; pos.Y = y; SetConsoleCursorPosition(handle,pos); } int clean( int mm, int nn ) { gotoxy ( mm, nn ); printf ( " " ); gotoxy ( mm,nn+1); printf ( " " ); gotoxy ( mm,nn+2); printf (" "); } int men( int x, int y ) { SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE),FOREGROUND_INTENSITY|FOREGROUND_BLUE|FOREGROUND_GREEN); gotoxy( x, y ); printf(" O"); gotoxy( x, y+1 ); printf("<H>"); gotoxy( x, y+2 ); printf("I I"); } int women( int i, int j ) { SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE),FOREGROUND_INTENSITY|FOREGROUND_RED); gotoxy( i+1,j ); printf(" O"); gotoxy( i+1,j+1 ); printf("<H>"); gotoxy( i,j+2 ); printf("/I I\\"); } int m=10, n=10; int x=0;int y=0; int TorF() { if ( x == m && y == n ) return 1; else return 0; } int womenmove() { int turn; int YNbreak=0; while( YNbreak == 0 ) { YNbreaak = TorF(); turn=rand()%3; clean( m, n ); if( m < x ) m++; else m--; if( m == x ) { if( n < y ) n++; else n--; } if ( m < 0 ) m = 0; if ( m >= 75 ) m = 75; if ( n < 0 ) n = 0; if ( n >= 22 ) n = 22; women( m,n ); women2[0]=m; women2[1]=n; Sleep(100); } system ( "cls" ); gotoxy ( 28, 10 ); printf ( "You died!!!\n" ); SetConsoleTextAttribute(GetStdHandle(STD_OUTPUT_HANDLE),FOREGROUND_INTENSITY|FOREGROUND_GREEN|FOREGROUND_RED|FOREGROUND_BLUE); system ( "pause" ); exit(0); return 0; } int menmove() { system( "cls" ); while (1) { switch( getch()) { case UP:y--;break; case DOWN:y++;break; case LEFT:x--;break; case RIGHT:x++;break; } system( "cls" ); if ( x < 0 ) x = 0; if ( x > 77 ) x = 77; if ( y < 0 ) y = 0; if ( y > 22 ) y = 22; men( x, y ); men2[0] = x; men2[1] = y; } } int Game() { women( 10, 10 ); men( 0, 0 ); int t = 0; thread qq( womenmove ); menmove(); qq.join(); return 0; } int main() { system( "mode con cols=80 lines=25" ); printf ( "游戏开始后,随机按下一个键，唤醒你的蓝色小人.如果你被红色的老女人碰到了，那么你就死了\n" ); printf ( "方向键操控小人\n" ); system ( "pause" ); system ( "cls" ); Game(); return 0; } 留赞再走 本篇文章为转载内容。原文链接：https://blog.csdn.net/LDXX31/article/details/130271069。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

... { type: "Point", coordinates: [116.404, 39.915] } } 在这个数据模型中，location字段是一个包含经纬度坐标的JSON对象。在MongoDB这个数据库里，咱们完全可以把这个字段直接使上劲儿，用来做地理位置的查询哈，就像查地图找地点那样方便快捷。 三、地理位置查询的基本方法 在MongoDB中，我们可以通过使用$geoWithin操作符来进行地理位置查询。$geoWithin操作符可以用来查询满足某个地理位置范围内的文档。 例如，如果我们想要查询北京市的所有记录，我们可以这样做： javascript db.collection.find({ location: { $geoWithin: { $centerSphere: [[116.404, 39.915], 500] } } }) 这个查询将会返回所有距离北京中心500公里以内的记录。 四、地理位置查询的高级应用 除了基本的地理位置查询之外，MongoDB还提供了一些高级的应用功能。比如，我们能够用$near这个小工具，找出离得最近的那些文档；又或者，借助$geoIntersects这个神器，判断某个区域是否和其他区域有交集。 例如，如果我们想要查询最近的10个北京市的记录，我们可以这样做： javascript db.collection.find( { location: { $near: { $geometry: { type: "Point", coordinates: [116.404, 39.915] }, $maxDistance: 10000 } } } ) 这个查询将会返回所有距离北京中心不超过10公里的记录，并且按照距离从近到远排序。 五、结论 地理位置查询是MongoDB中的一个重要应用场景，正确使用地理位置查询可以帮助我们更高效地处理地理数据。设计一个贼棒的地理位置数据模型后，我们就能在MongoDB里轻轻松松地进行各种花式地理位置查找，就像探囊取物一样简单。而MongoDB的高级地理位置查询功能，如$near和$geoIntersects等，也可以帮助我们解决一些复杂的地理位置问题。

...同时指的是当一个进程使用了某个对象时，制约其他进程不能同时使用该对象。为了确保进程安全，只有获取了这个同步锁的进程才能运行其中的代码，其他进程必须等候该进程解除同步锁对象后才可以进行操作。 public synchronized void doSomethingSynchronized(){ //do something } 非同步： 非同步指的是当一个调用发送出去后，不需要等候反馈结果，而是可以连续运行后续任务。Java在非同步编程中常用的是Future模式和Callback模式。其中，Future模式是非同步编程的一种通用模式，它可以用于多个情景，两个进程之间的交流可以得到深度优化，提高了代码的复用性和可扩展性；Callback模式则是一种在程序实现某些操作后，将结果作为参数发回调函数中的模式。 ExecutorService executorService = Executors.newFixedThreadPool(10); Futurefuture = executorService.submit(new Callable() { @Override public String call() throws Exception { //do something return "result"; } }); //do something else while waiting for the result String result = future.get(); 通过上述介绍，可以看出同时和非同步各有优点，我们在编程中应该根据具体需求来选择使用。

...态选择算法实现。通过使用成员函数指针，我们可以在策略模式中更灵活地定义和切换不同的执行策略。 近期，许多现代C++库（如Boost和C++11标准库）中的部分组件就巧妙运用了成员函数指针作为策略模式的一部分。例如，在处理事件驱动编程时，可以将不同类型的对象及其处理事件的非静态成员函数注册为事件处理器，当特定事件触发时，通过调用存储的成员函数指针达到执行对应策略的目的。 此外，随着C++17引入的std::invoke函数以及可变参数模板，对成员函数指针的使用变得更加简洁和安全。std::invoke能够正确处理各种可调用对象（包括成员函数指针），并确保无论何种类型都能以统一的方式进行调用。 总的来说，掌握将非静态成员函数作为参数传递给函数指针的技术，不仅有助于解决实际编程问题，更能为设计复杂系统、实现灵活多变的行为策略提供强大支持。不断跟进C++新特性的学习和实践，是提升面向对象设计和编码能力的关键所在。

... <bits/stdc++.h>using namespace std;void Split(int i,int n){while(n>0){ if(n>i)cout<<i;elsecout<<n;n=n-i;if(n>0)cout<<"+"; } }int main(int argc, char argv) {int n;cin>>n;for(int i=1;i<n;i++){Split(i,n);cout<<endl;}return 0;} 我使用的是简单的循环，如果有小伙伴写出了递归的代码可以一起交流哦！ 本篇文章为转载内容。原文链接：https://blog.csdn.net/weixin_56908850/article/details/127563589。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...来啦。例如，我们可以使用Python的OpenCV库来实现这样的操作： python import cv2 加载图像 img = cv2.imread('image.jpg') 使用高斯滤波器进行去噪 blur_img = cv2.GaussianBlur(img, (5, 5), 0) 显示原始图像和处理后的图像 cv2.imshow('Original', img) cv2.imshow('Blurred', blur_img) cv2.waitKey(0) cv2.destroyAllWindows() 2. 字符级的后处理 除了对整个图像进行处理外，我们还可以对识别出的每一个字符进行单独的后处理。具体来说，我们可以根据每个字符的特征，如形状、大小、位置等，来调整其对应的像素值，从而进一步提高其清晰度。例如，我们可以使用Python的PIL库来实现这样的操作： python from PIL import Image 加载字符图像 char = Image.open('char.png') 调整字符的亮度和对比度 enhanced_char = char.convert('L').point(lambda x: x 1.5) 显示原字符和处理后的字符 char.show() enhanced_char.show() 3. 模型优化 最后，我们还可以尝试对Tesseract的模型进行优化，使其更加适合处理模糊图像。简单来说，我们在训练模型的时候，可以适当掺入一些模糊不清的样本数据，这样做能让模型更能适应这种“迷糊”的情况，就像让模型多见识见识各种不同的环境，提高它的应变能力一样。另外，我们也可以考虑尝鲜一些更高端的深度学习玩法，比如采用带注意力机制的OCR模型，让它代替老旧的CRNN模型，给咱们的任务加点猛料。 四、总结 总的来说，通过上述方法，我们可以有效地提高Tesseract识别模糊图像的效果。当然啦，这还只是我们的一次小小试水，要想真正挖掘出更优的解决方案，我们还得加把劲儿，继续深入研究和探索才行。

如何声明和使用C++中的友元函数与友元类？ 在深入C++的面向对象编程世界时，我们不难发现，“封装”是其核心特性之一。然而，在某些特定情况下，为了让设计更加灵动自由，访问控制也能随心所欲，C++玩了个小花样，引入了“友元”这么个特殊角色。这个机制就像是给外部函数或类发放了一张VIP通行证，让他们能够无视封装的规矩，畅通无阻地直接访问类里面的私密和保护区域。这篇文章咱们就来好好唠唠怎么声明和使用友元函数、友元类这俩家伙，而且还得是掰开了揉碎了的那种详谈。咱不仅动嘴皮子说理论，还会实实在在地甩出实例代码给大家演示演示，让大家看得明明白白，用得轻轻松松。 1. 友元函数 1.1 声明友元函数 友元函数是一个非成员函数，但被赋予了访问某个类的私有和保护成员的权限。声明友元函数的方式是在类定义内部使用关键字friend。 cpp class MyClass { private: int secretData; public: // 声明友元函数 friend void showSecret(MyClass &obj); }; // 实现友元函数 void showSecret(MyClass &obj) { std::cout << "The secret data is: " << obj.secretData << std::endl; } 在这个例子中，showSecret函数成为了MyClass的友元函数，它可以访问MyClass的私有成员变量secretData。 1.2 使用友元函数 cpp int main() { MyClass obj; obj.secretData = 42; // 对象内部设置私有数据 // 友元函数可以访问私有数据 showSecret(obj); // 输出：The secret data is: 42 return 0; } 尽管secretData是MyClass的私有成员，但由于showSecret是它的友元函数，因此可以直接访问并打印出secretData的值。 2. 友元类 2.1 声明友元类 与友元函数类似，友元类是指一个类被另一个类声明为友元，从而允许该类的所有成员函数访问被声明为友元类的私有和保护成员。 cpp class MyClass { private: int secretData; public: // 声明FriendClass为友元类 friend class FriendClass; }; class FriendClass { public: void accessSecret(MyClass &obj) { std::cout << "Accessing the secret from a friend class: " << obj.secretData << std::endl; } }; 在这里，FriendClass被声明为MyClass的友元类，意味着FriendClass的所有成员函数都可以访问MyClass的私有成员。 2.2 使用友元类 cpp int main() { MyClass obj; obj.secretData = 27; FriendClass friendObj; // 友元类的成员函数可以访问私有数据 friendObj.accessSecret(obj); // 输出：Accessing the secret from a friend class: 27 return 0; } 可以看到，即使accessSecret是FriendClass的一个成员函数，它依然能够成功访问到MyClass的私有成员secretData。 友情提示：虽然友元机制在某些情况下非常有用，但它打破了面向对象编程中的封装性原则，应谨慎使用。过度依赖友元可能会导致程序设计过于复杂，降低代码可读性和可维护性。在实际编程中，尽量寻找更加面向对象、符合设计原则的解决方案。不过理解并掌握这一特性对于深入理解C++是非常重要的一步。

...、plotly的基本使用 Plotly是一个交互式的Python绘图库，可以用来创建各种各样的图表，包括散点图、折线图、柱状图等等。Plotly的优势在于它的可视化效果非常好，而且可以制作出很复杂的交互式图表。下面我们就来看一下如何使用plotly来绘制点绘图。 1. 安装plotly 首先，我们需要安装plotly。可以通过pip install plotly来安装。 sql pip install plotly 2. 导入plotly 安装好plotly后，我们就可以开始使用它了。导入plotly的方法很简单，只需要一行代码就可以了。 java import plotly.graph_objs as go 3. 创建数据 接下来，我们需要创建一些数据。这里我们将创建一个包含x坐标和y坐标的列表。 scss x = [1, 2, 3, 4, 5] y = [1, 4, 9, 16, 25] 4. 绘制点绘图 有了数据之后，我们就可以开始绘制点绘图了。绘制点绘图的代码如下所示： go trace = go.Scatter( x=x, y=y, mode='markers', marker=dict(size=12) ) data = [trace] layout = dict(title='Point Plot with plotly', xaxis=dict(title='x'), yaxis=dict(title='y')) fig = go.Figure(data=data, layout=layout) py.offline.iplot(fig, filename='scatter_hover_labels') 以上代码将会创建一个包含五个点的点绘图。在这幅点状图表里，你会发现每一个点都有一个独一无二的“身份证”，更有意思的是，只要你把鼠标轻轻挪到这个点上“搭个桥”，它就会主动告诉你这个点所代表的具体数值。 三、plotly的优点 通过上述的代码示例，相信大家都已经了解了plotly的基本使用方法。那么，plotly有哪些优点呢？ 1. 可视化效果好 plotly的可视化效果非常好，无论是线条还是颜色都非常清晰明了。 2. 支持交互式操作 plotly可以制作出很多交互式的图表，用户可以通过鼠标悬停、点击等操作来获取更多的信息。 3. 功能强大 plotly的功能非常强大，不仅可以绘制基本的点绘图，还可以绘制折线图、柱状图、热力图等各种各样的图表。 四、总结 总的来说，如果你需要绘制一些非常基础的点绘图，那么plotly无疑是一个非常好的选择。它的可视化效果好，支持交互式操作，而且功能也非常强大。因此，强烈推荐大家使用plotly来绘制点绘图。当然啦，除了plotly这位大神，Python的世界里还有不少其他的可视化神器，比如说Matplotlib、seaborn这些好哥们儿，都是绘图时的得力助手。不过，每个人的需求不同，所选择的绘图工具也会有所不同。因此，希望大家可以根据自己的需求来选择最适合自己的绘图工具。

...e<bits/stdc++.h>define ll long longusing namespace std;ll n,k;ll a[55];bool dfs(ll step,ll cur) {if(cur == k) return 1;if(step == n) return 0;if(cur+a[step+1] <= k) {if(dfs(step+1,cur+a[step+1])) return 1;}if(dfs(step+1,cur)) return 1;return 0;}int main(){cin>>n>>k;for(int i = 1; i<=n; i++) cin>>a[i];sort(a+1,a+n+1); if(dfs(0,0)) puts("Yes");else puts("No");return 0 ;} 总结：搜索题一定要注意啊，需要从(0,0)这个状态开始搜索，因为你直接(1,a[1])传入参数了，那 不选第一个数 这个状态就被没有搜啊。。。 本篇文章为转载内容。原文链接：https://xuanweiace.blog.csdn.net/article/details/83115964。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。

...握trap命令的使用绝对是你不能绕过的关键一环，这一步走稳了，你的编程技能绝对能蹭蹭往上涨。希望以上示例能帮助大家更好地理解和应用这一强大功能，让你的脚本变得更加聪明、可靠！

...如何在C++中定义和使用类？ 1. 引言 编程语言C++以其强大的面向对象特性深受开发者喜爱，而类（Class）则是实现面向对象程序设计的核心元素。本文将带您一起深入探讨如何在C++中定义并使用类，以一种通俗易懂、情感化且具有探索性的方式进行阐述，并通过实例代码让概念变得更加鲜活。 2. 定义一个类 揭开面纱 在C++中，类是一种自定义的数据类型，它封装了数据（称为成员变量或属性）和操作这些数据的函数（称为成员函数或方法）。下面是一个简单的“矩形”类的定义： cpp // 定义Rectangle类 class Rectangle { public: // 成员变量（属性） double length; double width; // 成员函数（方法） // 构造函数 Rectangle(double l, double w) : length(l), width(w) {} // 计算面积的方法 double getArea() { return length width; } }; 在这段代码中，“Rectangle”就是一个类，其包含两个公开的成员变量length和width，以及一个构造函数和一个计算面积的成员函数getArea()。构造函数用于初始化对象时设置矩形的长和宽。 3. 创建类的实例 从抽象到具体 定义好类之后，我们就可以创建该类的实例，也就是通常所说的对象。这就像从图纸上构建一个真实的矩形： cpp int main() { // 创建一个Rectangle类的对象 Rectangle myRect(5.0, 4.0); // 使用对象调用成员函数 double area = myRect.getArea(); std::cout << "The area of the rectangle is: " << area << std::endl; return 0; } 在这个例子中，myRect就是Rectangle类的一个实例，拥有长度5.0和宽度4.0的属性。通过.getArea()我们就能获取这个矩形的面积。 4. 类中的访问控制与封装 C++支持对类成员的访问权限进行控制，主要分为public、private和protected三种。比方说，在上面的例子中，我们把成员变量和成员函数都设置成了“public”，这就意味着它们完全对外开放，任何人在类的外部都能直接访问到这些内容，就像你去超市货架上拿东西一样方便。然而在实际开发中，我们往往需要隐藏内部实现细节，仅对外提供接口，这时就可以将数据成员设为private： cpp class Rectangle { private: double length; double width; public: // ... }; 此时，尽管外部无法直接访问length和width，但可以通过公共成员函数来间接操作。 5. 探讨 深入理解类的作用 类的引入极大地丰富了C++的表达力，使代码更易于维护和复用。通过定义类，我们可以将现实世界的实体抽象成软件模型，每个对象都是类的具象表现，有着自己的状态和行为。同时，通过封装，我们保证了数据的安全性，使得代码更加健壮。 总结来说，理解和掌握在C++中定义和使用类是提升面向对象编程能力的关键一步。实践出真知，不断地尝试编写并调试各类场景下的类，将有助于深化你对此的理解，并助你在C++的编程之路上越走越远！

...ss.SSS} [%thread] %-5level %logger{36} - %msg%n 这里我们将日志格式设置为"%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n"，表示每行日志包含日期、时间、线程ID、日志级别、类名和方法名以及日志内容。 四、结论 配置Solr的实时监控和性能日志记录不仅可以帮助我们及时发现和解决系统中的问题，还可以让我们更好地理解和优化Solr的工作方式和性能。大家伙儿在实际操作时，可得把这些技巧玩转起来，让Solr跑得更溜、更稳当，实实在在提升运行效率和稳定性哈！

...的建议。 3. 如何使用 Tomcat 的性能分析工具？ 以VisualVM为例，我们可以这样操作： 1）首先，需要在服务器上安装VisualVM。 2）然后，启动VisualVM，选择要监控的Tomcat实例。 3）接着，可以在"CPU"、"Memory"、"Threads"等选项卡下查看Tomcat的运行状态，从而发现潜在的性能问题。 4. 如何定位性能瓶颈？ 在发现问题后，我们需要进一步查找具体的性能瓶颈。这通常涉及到对代码的深入理解和分析。比如说，假如我们发现某个方法耗时贼长，那这个方法很可能就是影响整体速度、拖慢效率的“罪魁祸首”。 5. 解决性能瓶颈的方法 找到性能瓶颈后，我们就需要寻找解决方案。一般来说，有以下几种方式： 1）优化代码：这是最直接的方式，通过修改代码来提高性能。例如，我们可以考虑使用更高效的算法，减少不必要的计算等。 2）增加硬件资源：如果代码本身没有问题，但是由于硬件资源不足导致性能瓶颈，那么我们可以通过增加硬件资源（如CPU、内存等）来解决问题。 3）调整系统参数：Tomcat有一些配置参数，如maxThreads、minSpareThreads等，这些参数的设置可能会影响Tomcat的性能。我们可以通过调整这些参数来改善性能。 6. 总结 在实际应用中，我们经常会遇到性能瓶颈的问题。这个问题初看可能会觉得有点棘手，但实际上呢，只要我们肚子里有足够的墨水，再加上丰富的实战经验，就完全有能力把它给妥妥地搞定。记住啊，性能瓶颈这玩意儿可不是什么无解的难题，它更像是一个等待我们去挖掘、去攻克的小挑战。只要咱发现了，就一定有办法解决掉它。同时，我们也应该意识到，良好的编程习惯和清晰的设计思想是预防性能瓶颈的重要手段。

...一道排列组合题，可以使用排列组合公式进行求解，共60种 ，可采用穷举法 题目七：输出杨辉三角11 11 2 11 3 3 11 4 6 4 1.. .. .. .. .. .. 分析： 杨辉三角的第n行的数字等于第n-1行的数字关系很直观 第一行一个数，第二行两个数，整个三角使用递归计算较为方便 可以新设置递归函数 /include<iostream>using namespace std;int number(int row,int len){int num;if (row == 1||row == len||len == 1)return 1;num = number(row-1,len-1)+number(row-1,len);return num;} void angle(int num){int i,j,k;for(i = 1;i<=num;i++){for(k = i;k<=num;k++)cout<<" ";for(j = 1;j<=i;j++){cout<<number(i,j)<<" ";}cout<<endl;} }int main(){//第六题///公式解法 int book = -1 ,people = 0;while(people>book){cin>>book>>people;}int i;int count = 1;for(i = book;i>=people;i--){count = i;} cout<<count<<endl;//穷举法int a,b,c,count=0;for(a=1;a<=5;a++){for(b=1;b<=5;b++){for(c=1;c<=5;c++){if(a!=b&&b!=c&&a!=c){count++;} }} }cout<<count<<endl; ///第七题 int number;cin>>number;angle(number);return 0;} 这其中有不合适或者不正确的地方欢迎指正，我的QQ号码：2867221444（乔金明），谢谢，也可以相互交流下，备注信息随意，只要能看得出是开发者或者学习者即可。 本篇文章为转载内容。原文链接：https://blog.csdn.net/QJM1995/article/details/87903710。 该文由互联网用户投稿提供，文中观点代表作者本人意见，并不代表本站的立场。 作为信息平台，本站仅提供文章转载服务，并不拥有其所有权，也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况，请及时联系我们，我们将第一时间进行核实并删除相应内容。