前端技术
HTML
CSS
Javascript
前端框架和UI库
VUE
ReactJS
AngularJS
JQuery
NodeJS
JSON
Element-UI
Bootstrap
Material UI
服务端和客户端
Java
Python
PHP
Golang
Scala
Kotlin
Groovy
Ruby
Lua
.net
c#
c++
后端WEB和工程框架
SpringBoot
SpringCloud
Struts2
MyBatis
Hibernate
Tornado
Beego
Go-Spring
Go Gin
Go Iris
Dubbo
HessianRPC
Maven
Gradle
数据库
MySQL
Oracle
Mongo
中间件与web容器
Redis
MemCache
Etcd
Cassandra
Kafka
RabbitMQ
RocketMQ
ActiveMQ
Nacos
Consul
Tomcat
Nginx
Netty
大数据技术
Hive
Impala
ClickHouse
DorisDB
Greenplum
PostgreSQL
HBase
Kylin
Hadoop
Apache Pig
ZooKeeper
SeaTunnel
Sqoop
Datax
Flink
Spark
Mahout
数据搜索与日志
ElasticSearch
Apache Lucene
Apache Solr
Kibana
Logstash
数据可视化与OLAP
Apache Atlas
Superset
Saiku
Tesseract
系统与容器
Linux
Shell
Docker
Kubernetes
[Java抽象类实例化限制]的搜索结果
这里是文章列表。热门标签的颜色随机变换,标签颜色没有特殊含义。
点击某个标签可搜索标签相关的文章。
点击某个标签可搜索标签相关的文章。
转载文章
...对象的作用 类似于 Java 中使用类访问静态成员的语法。因为 Kotlin 取消了 static 关键字,所以 Kotlin 引入伴生对象来弥补没有静态成员的不足。可见,伴生对象的主要作用就是为其所在的外部类模拟静态成员。 在 Java 代码中调用伴生对象 如何在 Java 代码中调用 Kotlin 的伴生对象呢? public static void main(String[] args) { 如果声明伴生对象有名称,则使用: 类名.伴生对象名.方法名() 类名.半生对象名.属性的setter,getter方法 如果声明伴生对象无名称,则采用 Companion 关键字调用: .Companion.方法名() @JvmField 和 @JvmStatic 的使用 在上面的例子中,我们知道了可以在 Java 代码中调用 Kotlin 中伴生对象的成员,类似于 Java 类中的静态成员。但是看上去和 Java 中的还是略有区别,因为类名和方法名/属性setter,getter方法名之间多了个伴生对象的名称或者 Companion 关键字。如何使其在调用的时候与 Java 中的调用看上去一样呢? Kotlin 为我们提供了 @JvmField 和 @JvmStatic 两个注解。@JvmField 使用在属性上,@JvmStatic 使用在方法上。如: class Test { 这样我们在 Java 代码中调用的时候就和 Java 类调用静态成员的形式一致了,Kotlin 代码调用方式不变: System.out.println(Test.flag); System.out.println(Test.add(1, 2)); const 关键字 在伴生对象中,我们可能需要声明一个常量,目的是等同于 Java 中的静态常量。有两种方式,一种是上面所提到的使用 @JvmField 注解,另一种则是使用 const 关键字修饰。这两种声明方式都等同于 Java 中 static final 所修饰的变量。如下代码: companion 扩展属性和扩展方法 扩展函数 Kotlin的扩展函数可以让你作为一个类成员进行调用的函数,但是是定义在这个类的外部。这样可以很方便的扩展一个已经存在的类,为它添加额外的方法 下面我们为String添加一个toInt的方法 package com.binzi.kotlin 在这个扩展函数中,你可以直接访问你扩展的类的函数和属性,就像定义在这个类中的方法一样,但是扩展函数并不允许你打破封装。跟定义在类中方法不同,它不能访问那些私有的、受保护的方法和属性。 扩展函数的导入 我们直接在包里定义扩展函数。这样我们就可以在整个包里面使用这些扩展,如果我们要使用其他包的扩展,我们就需要导入它。导入扩展函数跟导入类是一样的方式。 import 有时候,可能你引入的第三方包都对同一个类型进行了相同函数名扩展,为了解决冲突问题,你可以使用下面的方式对扩展函数进行改名 import com.binzi.kotlin.toInt as toInteger 扩展函数不可覆盖 扩展方法的原理 Kotlin 中类的扩展方法并不是在原类的内部进行拓展,通过反编译为Java代码,可以发现,其原理是使用装饰模式,对源类实例的操作和包装,其实际相当于我们在 Java中定义的工具类方法,并且该工具类方法是使用调用者为第一个参数的,然后在工具方法中操作该调用者 如: fun String?.toInt(): 反编译为对应的Java代码: public 扩展属性 类的扩展属性原理其实与扩展方法是一样的,只是定义的形式不同,扩展属性必须定义get和set方法 为MutableList扩展一个firstElement属性: var 反编译后的java代码如下: public static final Object getFirstElement(@NotNull List $this$firstElement) { 内部类 kotlin的内部类与java的内部类有点不同java的内部类可以直接访问外部类的成员,kotlin的内部类不能直接访问外部类的成员,必须用inner标记之后才能访问外部类的成员 没有使用inner标记的内部类 class A{ 反编译后的java代码 public 用inner标记的内部类 class A{ 反编译后的java代码 public 从上面可以看出,没有使用inner标记的内部类最后生成的是静态内部类,而使用inner标记的生成的是非静态内部类 匿名内部类 匿名内部类主要是针对那些获取抽象类或者接口对象而来的。最常见的匿名内部类View点击事件: //java,匿名内部类的写法 上面这个是java匿名内部类的写法,kotlin没有new关键字,那么kotlin的匿名内部类该怎么写呢? object : View.OnClickListener{ 方法的参数是一个匿名内部类,先写object:,然后写你的参数类型View.OnClickListener{} kotlin还有一个写法lambda 表达式,非常之方便: print( 数据类 在Java中没有专门的数据类,常常是通过JavaBean来作为数据类,但在Kotlin中提供了专门的数据类。 Java public 从上面的例子中可以看到,如果要使用数据类,需要手动写相应的setter/getter方法(尽管IDE也可以批量生成),但是从代码阅读的角度来说,在属性较多的情况下,诸多的seeter/getter方法还是不利于代码的阅读和维护。 Kotlin 在Kotlin中,可以通过关键字data来生成数据类: data 即在class关键字之前添加data关键字即可。编译器会根据主构造函数中的参数生成相应的数据类。自动生成setter/getter、toString、hashCode等方法 要声明一个数据类,需要满足: 主构造函数中至少有一个参数 主构造函数中所有参数需要标记为val或var 数据类不能是抽象、开发、密封和内部的 枚举类 枚举类是一种特殊的类,kotlin可以通过enum class关键字定义枚举类。 枚举类可以实现0~N个接口; 枚举类默认继承于kotlin.Enum类(其他类最终父类都是Any),因此kotlin枚举类不能继承类; 非抽象枚举类不能用open修饰符修饰,因此非抽象枚举类不能派生子类; 抽象枚举类不能使用abstract关键字修饰enum class,抽象方法和抽象属性需要使用; 枚举类构造器只能使用private修饰符修饰,若不指定,则默认为private; 枚举类所有实例在第一行显式列出,每个实例之间用逗号隔开,整个声明以分号结尾; 枚举类是特殊的类,也可以定义属性、方法、构造器; 枚举类应该设置成不可变类,即属性值不允许改变,这样更安全; 枚举属性设置成只读属性后,最好在构造器中为枚举类指定初始值,如果在声明时为枚举指定初始值,会导致所有枚举值(或者说枚举对象)的该属性都一样。 定义枚举类 / 定义一个枚举类 / 枚举类实现接口 枚举值分别实现接口的抽象成员 enum 枚举类统一实现接口的抽象成员 enum 分别实现抽象枚举类抽象成员 enum 委托 委托模式 是软件设计模式中的一项基本技巧。在委托模式中,有两个对象参与处理同一个请求,接受请求的对象将请求委托给另一个对象来处理。委托模式是一项基本技巧,许多其他的模式,如状态模式、策略模式、访问者模式本质上是在更特殊的场合采用了委托模式。委托模式使得我们可以用聚合来替代继承。 Java中委托: interface Printer { Kotlin: interface Printer { by表示 p 将会在 PrintImpl 中内部存储, 并且编译器将自动生成转发给 p 的所有 Printer 的方法。 委托属性 有一些常见的属性类型,虽然我们可以在每次需要的时候手动实现它们, 但是如果能够为大家把他们只实现一次并放入一个库会更好。例如包括: 延迟属性(lazy properties): 其值只在首次访问时计算; 可观察属性(observable properties): 监听器会收到有关此属性变更的通知; 把多个属性储存在一个映射(map)中,而不是每个存在单独的字段中。 为了涵盖这些(以及其他)情况,Kotlin 支持 委托属性 。 委托属性的语法是: var : 在 by 后面的表达式是该 委托, 因为属性对应的 get()(和 set())会被委托给它的 getValue() 和 setValue() 方法。 标准委托: Kotlin 标准库为几种有用的委托提供了工厂方法。 延迟属性 Lazy lazy() 接受一个 lambda 并返回一个 Lazy 实例的函数,返回的实例可以作为实现延迟属性的委托:第一次调用 get() 会执行已传递给 lazy() 的 lambda 表达式并记录结果, 后续调用 get() 只是返回记录的结果。例如: val lazyValue: String 可观察属性 Observable Delegates.observable() 接受两个参数:初始值和修改时处理程序(handler)。每当我们给属性赋值时会调用该处理程序(在赋值后执行)。它有三个参数:被赋值的属性、旧值和新值: class User { 如果想拦截赋的新值,并根据你是不是想要这个值来决定是否给属性赋新值,可以使用 vetoable() 取代 observable(),接收的参数和 observable 一样,不过处理程序 返回值是 Boolean 来决定是否采用新值,即在属性被赋新值生效之前 会调用传递给 vetoable 的处理程序。例如: class User { 把属性存在map 中 一个常见的用例是在一个映射(map)里存储属性的值。这经常出现在像解析 JSON 或者做其他“动态”事情的应用中。在这种情况下,你可以使用映射实例自身作为委托来实现委托属性。 例如: class User(map: Map 在上例中,委托属性会从构造函数传入的map中取值(通过字符串键——属性的名称),如果遇到声明的属性名在map 中找不到对应的key 名,或者key 对应的value 值的类型与声明的属性的类型不一致,会抛出异常。 内联函数 当一个函数被声明为inline时,它的函数体是内联的,也就是说,函数体会被直接替换到函数被调用地方 inline函数(内联函数)从概念上讲是编译器使用函数实现的真实代码来替换每一次的函数调用,带来的最直接的好处就是节省了函数调用的开销,而缺点就是增加了所生成字节码的尺寸。基于此,在代码量不是很大的情况下,我们是否有必要将所有的函数定义为内联?让我们分两种情况进行说明: 将普通函数定义为内联:众所周知,JVM内部已经实现了内联优化,它会在任何可以通过内联来提升性能的地方将函数调用内联化,并且相对于手动将普通函数定义为内联,通过JVM内联优化所生成的字节码,每个函数的实现只会出现一次,这样在保证减少运行时开销的同时,也没有增加字节码的尺寸;所以我们可以得出结论,对于普通函数,我们没有必要将其声明为内联函数,而是交给JVM自行优化。 将带有lambda参数的函数定义为内联:是的,这种情况下确实可以提高性能;但在使用的过程中,我们会发现它是有诸多限制的,让我们从下面的例子开始展开说明: inline 假如我们这样调用doSomething: fun main(args: Array<String>) { 上面的调用会被编译成: fun main(args: Array<String>) { 从上面编译的结果可以看出,无论doSomething函数还是action参数都被内联了,很棒,那让我们换一种调用方式: fun main(args: Array<String>) { 上面的调用会被编译成: fun main(args: Array<String>) { doSomething函数被内联,而action参数没有被内联,这是因为以函数型变量的形式传递给doSomething的lambda在函数的调用点是不可用的,只有等到doSomething被内联后,该lambda才可以正常使用。 通过上面的例子,我们对lambda表达式何时被内联做一下简单的总结: 当lambda表达式以参数的形式直接传递给内联函数,那么lambda表达式的代码会被直接替换到最终生成的代码中。 当lambda表达式在某个地方被保存起来,然后以变量形式传递给内联函数,那么此时的lambda表达式的代码将不会被内联。 上面对lambda的内联时机进行了讨论,消化片刻后让我们再看最后一个例子: inline 上面的例子是否有问题?是的,编译器会抛出“Illegal usage of inline-parameter”的错误,这是因为Kotlin规定内联函数中的lambda参数只能被直接调用或者传递给另外一个内联函数,除此之外不能作为他用;那我们如果确实想要将某一个lambda传递给一个非内联函数怎么办?我们只需将上述代码这样改造即可: inline 很简单,在不需要内联的lambda参数前加上noinline修饰符就可以了。 以上便是我对内联函数的全部理解,通过掌握该特性的运行机制,相信大家可以做到在正确的时机使用该特性,而非滥用或因恐惧弃而不用。 Kotlin下单例模式 饿汉式实现 //Java实现 懒汉式 //Java实现 上述代码中,我们可以发现在Kotlin实现中,我们让其主构造函数私有化并自定义了其属性访问器,其余内容大同小异。 如果有小伙伴不清楚Kotlin构造函数的使用方式。请点击 - - - 构造函数 不清楚Kotlin的属性与访问器,请点击 - - -属性和字段 线程安全的懒汉式 //Java实现 大家都知道在使用懒汉式会出现线程安全的问题,需要使用使用同步锁,在Kotlin中,如果你需要将方法声明为同步,需要添加@Synchronized注解。 双重校验锁式 //Java实现 哇!小伙伴们惊喜不,感不感动啊。我们居然几行代码就实现了多行的Java代码。其中我们运用到了Kotlin的延迟属性 Lazy。 Lazy内部实现 public 观察上述代码,因为我们传入的mode = LazyThreadSafetyMode.SYNCHRONIZED, 那么会直接走 SynchronizedLazyImpl,我们继续观察SynchronizedLazyImpl。 Lazy接口 SynchronizedLazyImpl实现了Lazy接口,Lazy具体接口如下: public 继续查看SynchronizedLazyImpl,具体实现如下: SynchronizedLazyImpl内部实现 private 通过上述代码,我们发现 SynchronizedLazyImpl 覆盖了Lazy接口的value属性,并且重新了其属性访问器。其具体逻辑与Java的双重检验是类似的。 到里这里其实大家还是肯定有疑问,我这里只是实例化了SynchronizedLazyImpl对象,并没有进行值的获取,它是怎么拿到高阶函数的返回值呢?。这里又涉及到了委托属性。 委托属性语法是:val/var : by 。在 by 后面的表达式是该 委托, 因为属性对应的 get()(和 set())会被委托给它的 getValue() 和 setValue() 方法。属性的委托不必实现任何的接口,但是需要提供一个 getValue() 函数(和 setValue()——对于 var 属性)。 而Lazy.kt文件中,声明了Lazy接口的getValue扩展函数。故在最终赋值的时候会调用该方法。 internal.InlineOnly 静态内部类式 //Java实现 静态内部类的实现方式,也没有什么好说的。Kotlin与Java实现基本雷同。 补充 在该篇文章结束后,有很多小伙伴咨询,如何在Kotlin版的Double Check,给单例添加一个属性,这里我给大家提供了一个实现的方式。(不好意思,最近才抽出时间来解决这个问题) class SingletonDemo private constructor( 其中关于?:操作符,如果 ?: 左侧表达式非空,就返回其左侧表达式,否则返回右侧表达式。请注意,当且仅当左侧为空时,才会对右侧表达式求值。 Kotlin 智能类型转换 对于子父类之间的类型转换 先看这样一段 Java 代码 public 尽管在 main 函数中,对 person 这个对象进行了类型判断,但是在使用的时候还是需要强制转换成 Student 类型,这样是不是很不智能? 同样的情况在 Kotlin 中就变得简单多了 fun main(args: Array<String>) { 在 Kotlin 中,只要对类型进行了判断,就可以直接通过父类的对象去调用子类的函数了 安全的类型转换 还是上面的那个例子,如果我们没有进行类型判断,并且直接进行强转,会怎么样呢? public static void main(String[] args) { 结果就只能是 Exception in thread "main" java.lang.ClassCastException 那么在 Kotlin 中是不是会有更好的解决方法呢? val person: Person = Person() 在转换操作符后面添加一个 ?,就不会把程序 crash 掉了,当转化失败的时候,就会返回一个 null 在空类型中的智能转换 需要提前了解 Kotlin 类型安全的相关知识(Kotlin 中的类型安全(对空指针的优化处理)) String? = aString 在定义的时候定义成了有可能为 null,按照之前的写法,我们需要这样写 String? = 但是已经进行了是否为 String 类型的判断,所以就一定 不是 空类型了,也就可以直接输出它的长度了 T.()->Unit 、 ()->Unit 在做kotlin开发中,经常看到一些系统函数里,用函数作为参数 public .()-Unit与()->Unit的区别是我们调用时,在代码块里面写this,的时候,两个this代表的含义不一样,T.()->Unit里的this代表的是自身实例,而()->Unit里,this代表的是外部类的实例。 推荐阅读 对 Kotlin 与 Java 编程语言的思考 使用 Kotlin 做开发一个月后的感想 扫一扫 关注我的公众号如果你想要跟大家分享你的文章,欢迎投稿~ 本篇文章为转载内容。原文链接:https://blog.csdn.net/weixin_39611037/article/details/109984124。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-06-23 23:56:14
470
转载
转载文章
...经常看见this,在java中的this第一反应就是当前对象,可以用来引用变量或是方法,一看就很懵B,所以这里通过例子来详细讲下this的用法。 2.例如下面代码 button.setOnClickListener(new OnClickListener() {@Overridepublic void onClick(View v) {Toast.makeText(TextC.this,"什么情况",1000).show();} 通俗讲,this就是指本类,但在上面Toast中直接写this会出错,因为当前本类是OnClickListener类,而不是我们的主类,如activity(或是mainActivity等),而this就是指向当前类OnClickListener。 3.再如:MainActivity中setOnClickListener(this)中的this指代什么? setOnClickListener的参数要求是一个实现了OnClickListener接口的对象实体,它可以是任何类的实例,只要该类实现了OnClickListener。这个问题中,this它就是MainActivity这个对象自己且用this实现了OnClickListener。 4.MainActivity.this是什么意思? 表示的就是MainActivity这个类对象本来,这种写法一般用在内部类里,因为在外部类中直接可以用关键字this表示本类,而内部类中直接写this的话表示的是内部类本身,想表示外部类的话就得加上外部类的类名.this。 5.在android中this使用的小结: this代表本类的一个引用,this.表示调用本类的某个方法,这个时候通常可以省略this;但在内部类中不能省略,否则编译器会认为是内部类的引用,所以要在this前加上类名. .this 表示本类的引用,通常前面的是用本类的名字表示,当然也可以省略,但是如果是在内部类中一定要加上类名,同时注意:this和static不能共存,就是在static修饰的方法中不能用this. 6.android context是什么 ?从SDK中可以知道 Interface to global information about an application environment. This is an abstract class whose implementation is provided by the Android system. It allows access to application-specific resources and classes, as well as up-cal for application-level operations such as launching activities, broadcasting and receiving intents, etc 从上的描述可以知道context和一下三点作用: 它描述的是一个应用程序的环境,即上下文 它类是一个抽象的类,android提供了一个具体的通用实现类contextIml类。 它就像是一个大管家,是一个访问全局信息的接口。通过它我们可以获取应用程度 的资源的类,包括一些应用级的操作,如启动一个activity,发送广播,接受Intent信息。 7.context家族的关系 8.android context源码简析 8.1Context.java:抽象类,提供了一组通用的API public abstract class Context { ... public abstract Object getSystemService(String name); //获得系统级服务 public abstract void startActivity(Intent intent); //通过一个Intent启动Activity public abstract ComponentName startService(Intent service); //启动Service //根据文件名得到SharedPreferences对象 public abstract SharedPreferences getSharedPreferences(String name,int mode); ... } 8.2 Contextlml.java:Context和实现类,但函数的大部分功能都是直接调用其属性的mPackageInfo去完成 / Common implementation of Context API, which provides the base context object for Activity and other application components. / class ContextImpl extends Context{ //所有Application程序公用一个mPackageInfo对象 /package/ ActivityThread.PackageInfo mPackageInfo; @Override public Object getSystemService(String name){ ... else if (ACTIVITY_SERVICE.equals(name)) { return getActivityManager(); } else if (INPUT_METHOD_SERVICE.equals(name)) { return InputMethodManager.getInstance(this); } } @Override public void startActivity(Intent intent) { ... //开始启动一个Activity mMainThread.getInstrumentation().execStartActivity( getOuterContext(), mMainThread.getApplicationThread(), null, null, intent, -1); } } 8.3 ContextWrapper.java:该类只是对Context类的一种包装,该类的构造函数包含了一个真正的Context引用,即ContextIml对象。 public class ContextWrapper extends Context { Context mBase; //该属性指向一个ContextIml实例,一般在创建Application、Service、Activity时赋值 //创建Application、Service、Activity,会调用该方法给mBase属性赋值 protected void attachBaseContext(Context base) { if (mBase != null) { throw new IllegalStateException("Base context already set"); } mBase = base; } @Override public void startActivity(Intent intent) { mBase.startActivity(intent); //调用mBase实例方法 } } 8.4ContextThemeWrapper.java:该类内部包含了主题(Theme)相关的接口,即android:theme属性指定的。只有Activity需要主题,Service不需要主题,所以Service直接继承于ContextWrapper类。 public class ContextThemeWrapper extends ContextWrapper { //该属性指向一个ContextIml实例,一般在创建Application、Service、Activity时赋值 private Context mBase; //mBase赋值方式同样有一下两种 public ContextThemeWrapper(Context base, int themeres) { super(base); mBase = base; mThemeResource = themeres; } @Override protected void attachBaseContext(Context newBase) { super.attachBaseContext(newBase); mBase = newBase; } } 9.Activity类 、Service类 、Application类本质上都是Context子类,所以应用程序App共有的Context数目公式为: 总Context实例个数 = Service个数 + Activity个数 + 1(Application对应的Context实例) 10.AR/VR研究的朋友可以加入下面的群或是关注下面的微信公众号 本篇文章为转载内容。原文链接:https://blog.csdn.net/yywan1314520/article/details/51953172。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-09-27 17:37:26
93
转载
转载文章
...体创建逻辑。在本文的Java实现中,ShapeFactory类作为简单工厂,根据传入的不同形状类型字符串(如“圆形”、“方形”、“三角形”),通过静态工厂方法createShape()动态地决定并返回相应的具体产品类实例(如Round、Square、Triangle)。简单工厂模式简化了客户端代码对对象创建过程的处理,并将对象的创建和使用分离,从而提高了系统的可扩展性和灵活性。 抽象产品角色(Shape) , 在面向对象设计中,抽象产品角色是定义了一系列接口或抽象方法的类,用于描述一组具有共同特征或行为的产品对象。在本文示例中,Shape是一个抽象类,它声明了所有几何图形所共有的接口——draw()和erase()方法。尽管Shape不能直接被实例化,但它为具体的圆形、方形、三角形等形状提供了一个统一的操作接口,使得客户端可以一致地对待不同类型的图形对象,实现了多态性。 工厂方法(createShape()) , 工厂方法是在简单工厂模式中负责创建产品对象的一个静态方法,通常位于一个被称为工厂的角色类中。在本篇文章的Java实现中,ShapeFactory类中的createShape()方法就是这样一个工厂方法。它接收一个表示产品类型的参数(字符串类型),根据这个参数判断应该创建哪种具体的产品对象,并返回该对象的引用。当需要增加新的产品类型时,只需在工厂方法内部添加对应的创建逻辑即可,符合开闭原则,即对扩展开放,对修改关闭。同时,当输入的类型不支持时,该方法还会抛出UnSupportedShapeException异常,确保了错误处理的有效性。
2023-07-27 10:54:19
110
转载
转载文章
...ArrayList是Java编程语言中的一种集合类,位于java.util包下,它实现了List接口,继承自AbstractList。ArrayList在内存中以数组的形式存储数据,但它与普通数组的主要区别在于其大小可动态调整,允许在运行时添加或删除元素,而无需预先设定容量。ArrayList中的元素可以是任意引用类型,若要存储基本类型的数据,则需要使用对应的基本类型包装类。 AbstractList , AbstractList是Java集合框架中的一个抽象类,它是List接口的一个实现骨架,为子类提供了一种方便的方式来实现List接口的部分或全部方法。ArrayList作为AbstractList的子类,通过继承并扩展其实现,简化了自身对List接口方法的实现过程。 泛型(Generics) , 泛型是Java SE 5.0引入的新特性,允许在定义类、接口和方法时声明类型参数。在文章中提到的ArrayList<>,尖括号里的“<>”就是用来指定ArrayList所存储元素的数据类型的占位符,例如ArrayList<String>表示这个ArrayList只能存储字符串对象。通过泛型,可以在编译时期检查类型安全,并且不需要进行强制类型转换,提高了代码的可读性和健壮性。 基本类型包装类 , 在Java中,基本类型如int、boolean、char等不能直接放入集合中,因为集合只能存储对象。为了能够将基本类型存入集合,Java为每种基本类型设计了一个对应的引用类型,这些类型被称为基本类型包装类,例如Integer(对应int)、Boolean(对应boolean)、Character(对应char)等。在文章中提到,当需要将基本类型数据存储到ArrayList这样的集合中时,就需要用到这些基本类型包装类。
2024-02-19 12:24:39
583
转载
Java
Java中char和Character(简写为ch)既有相近点,也有不同点,下面我们来具体分析一下: Char是Java中基本数据类型之一,它只能保存一个符号,即16位ASCII码的一个符号,它可以代表任何符号或者符号(包括数字)。使用char关键词声明此类型的数据项,例如: char myChar = 'a'; Character是Java中的类,它是一个封装类,可以将char类型的数据项封装成一个实例,常用的方法有toString()、isLetter()、isDigit()等等,例如: Character myCharacter = new Character('a'); System.out.println(myCharacter.toString()); //输出a System.out.println(Character.isLetter(myCharacter)); //输出true 在实际编程中,如果需要对单个符号进行操作,可以使用char类型;如果需要进行一些符号串处理的操作,如判断符号是否为字母或数字等,则使用Character类更方便。
2023-01-16 09:53:47
470
数据库专家
Java
在Java编程中,一般化类和一般类是两个不同的观念。即便新手已经对Java有一定的了解,也很容易混淆这两个观念。这篇文章将会讲述一般化类和一般类的差异,帮助读者更好地领会Java编程的核心观念。 一般类是Java编程中最普遍的类,它的界定与另外面向实例编程语言所采用的界定相似。一般类可以实现为实例,并利用类提供的各种函数和属性。比如: public class Cat { private String name; private int age; public Cat(String name, int age) { this.name = name; this.age = age; } public void meow() { System.out.println(name + " says meow!"); } public void sleep() { System.out.println(name + " is sleeping now."); } } 这个类界定了一个猫类,每个猫有一个名字和一个年龄。可以借助构造函数设定这些属性,并利用“meow”和“sleep”函数分别使猫叫和睡觉。 一般化类,另一方面,是一个无法实现成实例的类。这是因为一般化类的界定需要派生——子类才能够实现一般化类中的函数和属性。一般化类可以包括抽象函数、非抽象函数和属性,但至少包括一个抽象函数。抽象函数界定了一个子类必须实现的动作,然而另外非抽象函数和属性则是可以被子类派生和利用的。比如: public abstract class Animal { protected String name; protected int age; public Animal(String name, int age) { this.name = name; this.age = age; } public abstract void makeSound(); public void sleep() { System.out.println(name + " is sleeping now."); } } 这个一般化类界定了一个动物类,包括一个名字和年龄属性。注意到一个抽象函数“makeSound”被界定了,一旦我们进行了“extends”的操作,这个函数就必须要实现。另外,“sleep”函数仍然是非抽象的,可以被子类派生和利用。 总之,一般类和一般化类是Java编程中两个截然不同的观念。一般类能够被实现为实例,能够直接用来编写程序。然而一般化类则无法被实现,只能用来作为另外子类的父类,界定了一些子类必须实现的动作。对于一般类和一般化类的应用场景,可以依据具体情况进行选择。
2023-06-05 08:04:53
380
逻辑鬼才
c#
...初始化一个类,让这个抽象的概念变得生动具体。 2. 声明一个类(Let's Declare a Class) 2.1 类的基本结构 首先,让我们揭开类的神秘面纱。在C中,声明一个类的基本语法如下: csharp public class ClassName { // 属性 public string PropertyName { get; set; } // 方法 public void MethodName() { // 方法体 } } 这里的ClassName是你想要创建的类的名字,而PropertyName和MethodName则分别代表类的属性和方法。public关键字表明这些成员可以在任何地方被访问。 2.2 示例一:声明一个简单的“Person”类 想象一下我们要创建一个表示人的类,可能包含姓名和年龄属性: csharp public class Person { public string Name { get; set; } public int Age { get; set; } } 在这个例子中,我们声明了一个名为Person的类,它有两个公共属性:Name(字符串类型)和Age(整数类型)。用自动属性(get和set方法)这一招,咱们就能轻轻松松地对这些属性进行读取或者赋值,就像是在玩儿一样简单方便。 3. 初始化一个类(Let's Initialize a Class) 声明了类之后,接下来就要创建类的实例,也就是初始化类的过程。 3.1 使用构造函数初始化类 构造函数是一个特殊的方法,当创建类的新实例时会自动调用。让我们给上文的Person类添加一个构造函数: csharp public class Person { public string Name { get; set; } public int Age { get; set; } // 构造函数 public Person(string name, int age) { this.Name = name; this.Age = age; } } 现在,当我们创建Person类的实例时,可以通过构造函数传递初始值: csharp // 初始化并创建一个Person对象 Person johnDoe = new Person("John Doe", 30); 在这段代码中,我们调用了Person类的构造函数,传入了"John Doe"和30作为参数,从而初始化了一个新的Person对象。 3.2 示例二:使用对象初始化器 C还提供了简洁的对象初始化器语法,可以让你在创建类实例的同时设置属性值: csharp Person janeDoe = new Person() { Name = "Jane Doe", Age = 28 }; 这段代码同样创建了一个Person对象,但使用的是对象初始化器语法,更加直观且易读。 4. 总结与思考 声明和初始化类是C编程的基础环节,理解并掌握它们的工作原理,将有助于你在实际开发中更好地设计和实现复杂的业务逻辑。从简单的数据容器到复杂的行为模型,类都能以优雅的方式组织你的代码。希望今天的讲解能帮助你深化对C类的理解,开启一段富有成效的编码之旅。记住啊,编程可不是单纯地敲击键盘那么简单,它更像是在玩一场创意无限的思维游戏。每当你声明并初始化一个变量时,就像是在问题的世界里重新塑造和再现了一个新的场景,可带劲儿了!所以,不妨多动手实践,不断迭代和完善你的“类”的世界吧!
2023-08-23 17:36:15
528
青春印记
Scala
...一组相关的case类实例来模拟枚举的行为,同时保留更多的灵活性和功能特性,比如自动派生的方法和易于模式匹配。 sealed trait(密封特质) , 在Scala中,sealed特质是一种特殊的特质或抽象类,用于限制子类化的范围。声明为sealed的特质只能在其定义文件内拥有子类,这样编译器就能知道所有可能的子类型,并在模式匹配时提供编译时检查。例如,在文章中的sealed trait Message,意味着所有继承自Message的子类都必须在同一文件中定义,因此在handleMessage函数的模式匹配中,编译器能确保覆盖所有可能的消息类型,提高了代码的安全性和可靠性。
2024-01-24 08:54:25
69
柳暗花明又一村
Struts2
Action类实例化失败:Unable to instantiate action, Class com.example.MyAction——深入解析Struts2框架中的问题与解决方案 1. 引言 在使用Apache Struts2进行Java Web开发时,我们可能会遇到一个常见的运行时错误:“Unable to instantiate action, Class com.example.MyAction”。这个错误提示是在告诉我们,Struts2框架在尝试创建指定的Action类时遇到了点状况。就像这次,它正努力生成一个名叫com.example.MyAction的家伙,结果却不那么顺利。这不仅影响到我们的业务逻辑执行,也阻碍了页面跳转等一系列交互过程。这篇东西,咱们会手把手地通过实实在在的代码实例,一起抽丝剥茧,探究这个问题背后的真相,同时还会给你献上一些实用的解决妙招。 2. 问题剖析 情景还原 假设你正在使用Struts2构建一个用户登录功能,并定义了一个处理登录请求的Action类MyAction: java package com.example; public class MyAction extends ActionSupport { private String username; private String password; // Getter and Setter methods for username and password... @Override public String execute() throws Exception { // Your login logic here... return "success"; } } 然后在struts.xml配置文件中映射该Action: xml /success.jsp 当用户发起登录请求访问login.action时,如果出现“Unable to instantiate action”错误,意味着Struts2在尝试创建MyAction实例时出现了异常。 3. 原因分析 导致此类错误的原因可能有以下几点: - Action类未正确编译或部署:确保你的Action类已经被成功编译并且包含在WEB-INF/classes目录下,或者被正确的打包到WAR文件中。 - Action类没有默认构造函数:Struts2通过反射机制来创建Action对象,所以必须存在无参数的构造函数。 java // 正确示例 - 提供默认构造函数 public class MyAction extends ActionSupport { public MyAction() { // ... } // 其他代码... } - 依赖注入问题:如果你在Action类中使用了@Autowired等注解进行依赖注入,但在Spring容器还未完全初始化时就尝试实例化Action,也可能引发此问题。 - 类路径问题:检查你的类路径设置是否正确,确保Struts2能找到并加载对应的Action类。 4. 解决方案 针对上述原因,我们可以采取如下措施: (1) 检查编译和部署情况 确保你的Java源码已成功编译并部署到正确的目录结构中。 (2) 添加默认构造函数 无论你的Action类是否有自定义构造函数,都应添加一个默认构造函数以满足Struts2的实例化需求。 (3) 确保依赖注入顺序 如果是Spring与Struts2整合的问题,需要调整配置以保证Spring容器在Struts2开始实例化Action之前完成初始化。 (4) 核对类路径 确认web应用的类路径设置正确无误,确保能够找到并加载到com.example.MyAction类。 5. 总结与探讨 遇到“Unable to instantiate action”这类错误时,切勿慌乱,它通常是由于一些基础设置或编码规范问题所引起的。作为一个开发者,在我们每天敲代码的过程中,真的得对这些问题上点心,就像侦探破案一样,得仔仔细细地排查、调试。这样咱们才能真正摸清Struts2框架是怎么工作的,把它玩转起来,以后类似的错误才不会找上门来。同时呢,不断回顾、归纳总结这些经验教训,并且乐于分享给大伙儿,这对我们个人技术能力的提升,以及整个团队协作效率的提高,那可是大有裨益,可以说帮助不要太大!让我们携手共进,在实践中深化对Struts2框架的理解,共同面对并解决各种技术挑战!
2023-04-28 14:54:56
67
寂静森林
Ruby
...,但开发者可以通过类实例化过程来模拟实现这一原则。其基本思想是资源(如文件句柄、数据库连接等)的获取与初始化同步进行,并且资源的生命周期与对象的生命周期绑定在一起。当对象结束生命周期(例如进入垃圾回收阶段)时,会自动执行相应的清理逻辑,确保资源被及时释放,无论程序执行过程中是否出现异常。 SOLID原则 , SOLID是面向对象设计和编程的五个基本原则的首字母缩写,它们分别是Single Responsibility Principle(单一职责原则)、Open-Closed Principle(开闭原则)、Liskov Substitution Principle(里氏替换原则)、Interface Segregation Principle(接口隔离原则)和Dependency Inversion Principle(依赖倒置原则)。这些原则指导开发者编写出高内聚、低耦合、易于扩展和维护的代码。在文章语境中,遵循SOLID原则有助于构建稳定可靠的软件结构,使得资源管理更加清晰可控。 GIL(Global Interpreter Lock) , 全局解释器锁是Ruby(以及其他一些解释型语言如Python)为实现线程安全而引入的一种机制。GIL在同一时刻只允许一个线程执行字节码,防止多线程环境下因共享数据引发的竞争条件问题。然而,在多核CPU系统中,GIL可能会限制Ruby并发性能的提升。尽管如此,在处理异常和资源管理时,理解GIL的作用仍非常重要,因为它影响着如何在多线程环境中有效地释放资源并保证一致性。
2023-09-10 17:04:10
89
笑傲江湖
转载文章
Java编译器(javac) , Java编译器是Java开发工具包(JDK)中用于将源代码(.java文件)转换为字节码(.class文件)的程序。在Java编程语言中,程序员编写源代码,然后通过javac命令调用Java编译器将其编译成可以在Java虚拟机(JVM)上运行的字节码格式。即使源代码中没有main方法,Java编译器也能处理并编译类文件,生成对应的.class文件,这是因为它主要关注于语法和类型检查,以及静态成员的初始化。 Java虚拟机(JVM) , Java虚拟机是一种抽象化的计算机系统,它负责执行Java字节码。JVM是Java平台的核心组成部分,提供了一种与操作系统无关的方式来运行Java应用程序。在Java中,只有包含main方法的类才能作为应用程序的入口点被JVM识别并启动执行。当Java源代码被编译器编译成字节码后,由JVM加载并解释或即时编译执行这些字节码。 静态块(static block) , 在Java编程中,静态块是一个在类加载时自动执行的代码块,它主要用于初始化静态变量或执行静态初始化逻辑。静态块在类的所有实例创建之前只执行一次,并且无需实例化对象即可访问。文章中提到,在某些早期版本的Java中(如Java 1.6及更早),可以通过在类中定义静态块并在其中调用System.exit()方法来模拟无main方法的“运行”效果,但这种做法在后续版本中已不再适用,因为标准的程序执行流程仍然需要main方法作为入口点。
2023-08-16 23:56:55
366
转载
Java
在Java编程中,static和public关键字的使用不仅限于基础的类变量定义与访问权限控制。实际上,随着技术发展和编程实践的深入,这两个关键字的应用场景和价值被进一步挖掘。 近期,Java社区热议的话题之一是静态内部类(Static Nested Classes)的优化策略。静态内部类利用了static关键字,使得无需外部类实例即可创建对象,有助于减少内存消耗和提升性能。例如,在设计工具类或枚举类型时,将相关辅助类声明为静态内部类,可以有效组织代码结构并提高运行效率。 与此同时,关于public字段的使用规范也在业界引起了新一轮讨论。一些开发者提倡遵循“最小权限原则”,即尽量减少公共字段的使用,转而采用getter和setter方法进行封装,以增强代码的安全性和可控性。随着模块化编程和面向接口编程的普及,这一原则在大型项目中的重要性日益凸显。 此外,Java 9及以上版本引入模块系统后,对public修饰符的作用域有了更细致的划分。在模块间,public不再是绝对的全局可见,而是需要通过module-info.java文件明确导出接口,这无疑增加了对public关键字理解与使用的复杂度,同时也提升了Java程序的模块化程度和安全性。 综上所述,深入理解和熟练运用static、public等关键字对于现代Java开发来说至关重要。随着编程范式的发展以及Java语言自身的演进,这些关键字的功能和应用场景将不断丰富,值得广大开发者持续关注和学习。
2023-11-01 22:07:27
368
程序媛
Apache Lucene
...eam,并尝试通过实例代码来揭示其背后的原因与解决之道。 第一部分:理解 TokenStream 和 EOFException TokenStream 是 Lucene 提供的一个抽象类,它负责将输入的文本分割成一系列可处理的令牌(tokens),这些令牌是构成文本的基本单位,例如单词、符号等。当 TokenStream 遇到文件末尾(EOF),即无法获取更多令牌时,就会抛出 EOFException。 示例代码:创建 TokenStream 并处理 EOFException 首先,我们编写一段简单的代码来生成一个 TokenStream,并观察如何处理可能出现的 EOFException。 java import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import org.apache.lucene.analysis.tokenattributes.OffsetAttribute; import org.apache.lucene.document.Document; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.store.Directory; import org.apache.lucene.store.RAMDirectory; import org.apache.lucene.util.Version; import java.io.IOException; public class TokenStreamDemo { public static void main(String[] args) throws IOException { // 创建 RAMDirectory 实例 Directory directory = new RAMDirectory(); // 初始化 IndexWriterConfig IndexWriterConfig config = new IndexWriterConfig(Version.LATEST, new StandardAnalyzer()); // 创建 IndexWriter 并初始化索引 IndexWriter writer = new IndexWriter(directory, config); // 添加文档至索引 Document doc = new Document(); doc.add(new TextField("content", "这是一个测试文档,用于演示 Lucene 的 TokenStream 功能。", Field.Store.YES, Field.Index.ANALYZED)); writer.addDocument(doc); // 关闭 IndexWriter writer.close(); // 创建 IndexReader IndexReader reader = DirectoryReader.open(directory); // 使用 IndexSearcher 查找文档 IndexSearcher searcher = new IndexSearcher(reader); // 获取 TokenStream 对象 org.apache.lucene.search.IndexSearcher.SearchContext context = searcher.createSearchContext(); org.apache.lucene.analysis.standard.StandardAnalyzer analyzer = new org.apache.lucene.analysis.standard.StandardAnalyzer(Version.LATEST); org.apache.lucene.analysis.TokenStream tokenStream = analyzer.tokenStream("content", context.reader().getTermVector(0, 0).getPayload().toString()); // 检查是否有异常抛出 while (tokenStream.incrementToken()) { System.out.println("Token: " + tokenStream.getAttribute(CharTermAttribute.class).toString()); } // 关闭 TokenStream 和 IndexReader tokenStream.end(); reader.close(); } } 在这段代码中,我们首先创建了一个 RAMDirectory,并使用它来构建一个索引。接着,我们添加了一个包含测试文本的文档到索引中。之后,我们创建了 IndexSearcher 来搜索文档,并使用 StandardAnalyzer 来创建 TokenStream。在循环中,我们逐个输出令牌,直到遇到 EOFException,这通常意味着已经到达了文本的末尾。 第二部分:深入分析 EOFException 的原因与解决策略 在实际应用中,EOFException 通常意味着 TokenStream 已经到达了文本的结尾,这可能是由于以下原因: - 文本过短:如果输入的文本长度不足以产生足够的令牌,TokenStream 可能会过早地报告结束。 - 解析问题:在复杂的文本结构下,解析器可能未能正确地分割文本,导致部分文本未被识别为有效的令牌。 为了应对这种情况,我们可以采取以下策略: - 增加文本长度:确保输入的文本足够长,以生成多个令牌。 - 优化解析器配置:根据特定的应用场景调整分析器的配置,例如使用不同的分词器(如 CJKAnalyzer)来适应不同语言的需求。 - 错误处理机制:在代码中加入适当的错误处理逻辑,以便在遇到 EOFException 时进行相应的处理,例如记录日志、提示用户重新输入更长的文本等。 结语:拥抱挑战,驾驭全文检索 面对 org.apache.lucene.analysis.TokenStream$EOFException: End of stream 这样的挑战,我们的目标不仅仅是解决问题,更是通过这样的经历深化对 Lucene 工作原理的理解。哎呀,你猜怎么着?咱们在敲代码、调参数的过程中,不仅技术越来越溜,还能在处理那些乱七八糟的数据时,感觉自己就像个数据处理的小能手,得心应手的呢!就像是在厨房里,熟练地翻炒各种食材,做出来的菜品色香味俱全,让人赞不绝口。编程也是一样,每一次的实践和调试,都是在给我们的技能加料,让我们的作品越来越美味,越来越有营养!嘿!兄弟,听好了,每次遇到难题都像是在给咱的成长加个buff,咱们得一起揭开全文检索的神秘面纱,掌控技术的大棒,让用户体验到最棒、最快的搜索服务,让每一次敲击键盘都能带来惊喜! --- 以上内容不仅涵盖了理论解释与代码实现,还穿插了人类在面对技术难题时的思考与探讨,旨在提供一种更加贴近实际应用、充满情感与主观色彩的技术解读方式。
2024-07-25 00:52:37
391
青山绿水
转载文章
...ng;import java.util.Date;import java.util.HashMap;import java.util.Map;import java.util.Properties;import java.util.Random;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;/ 数据生成代码,Kafka Producer产生数据/public class MockAdClickedStat {/ @param args/public static void main(String[] args) {final Random random = new Random();final String[] provinces = new String[]{"Guangdong", "Zhejiang", "Jiangsu", "Fujian"};final Map<String, String[]> cities = new HashMap<String, String[]>();cities.put("Guangdong", new String[]{"Guangzhou", "Shenzhen", "Dongguan"});cities.put("Zhejiang", new String[]{"Hangzhou", "Wenzhou", "Ningbo"});cities.put("Jiangsu", new String[]{"Nanjing", "Suzhou", "Wuxi"});cities.put("Fujian", new String[]{"Fuzhou", "Xiamen", "Sanming"});final String[] ips = new String[] {"192.168.112.240","192.168.112.239","192.168.112.245","192.168.112.246","192.168.112.247","192.168.112.248","192.168.112.249","192.168.112.250","192.168.112.251","192.168.112.252","192.168.112.253","192.168.112.254",};/ Kafka相关的基本配置信息/Properties kafkaConf = new Properties();kafkaConf.put("serializer.class", "kafka.serializer.StringEncoder");kafkaConf.put("metadeta.broker.list", "Master:9092,Worker1:9092,Worker2:9092");ProducerConfig producerConfig = new ProducerConfig(kafkaConf);final Producer<Integer, String> producer = new Producer<Integer, String>(producerConfig);new Thread(new Runnable() {public void run() {while(true) {//在线处理广告点击流的基本数据格式:timestamp、ip、userID、adID、province、cityLong timestamp = new Date().getTime();String ip = ips[random.nextInt(12)]; //可以采用网络上免费提供的ip库int userID = random.nextInt(10000);int adID = random.nextInt(100);String province = provinces[random.nextInt(4)];String city = cities.get(province)[random.nextInt(3)];String clickedAd = timestamp + "\t" + ip + "\t" + userID + "\t" + adID + "\t" + province + "\t" + city;producer.send(new KeyedMessage<Integer, String>("AdClicked", clickedAd));try {Thread.sleep(50);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }} }).start();} } package com.tom.spark.SparkApps.sparkstreaming;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.util.ArrayList;import java.util.Arrays;import java.util.HashMap;import java.util.HashSet;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.Set;import java.util.concurrent.LinkedBlockingQueue;import kafka.serializer.StringDecoder;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import org.apache.spark.api.java.function.Function2;import org.apache.spark.api.java.function.PairFunction;import org.apache.spark.api.java.function.VoidFunction;import org.apache.spark.sql.DataFrame;import org.apache.spark.sql.Row;import org.apache.spark.sql.RowFactory;import org.apache.spark.sql.hive.HiveContext;import org.apache.spark.sql.types.DataTypes;import org.apache.spark.sql.types.StructType;import org.apache.spark.streaming.Durations;import org.apache.spark.streaming.api.java.JavaDStream;import org.apache.spark.streaming.api.java.JavaPairDStream;import org.apache.spark.streaming.api.java.JavaPairInputDStream;import org.apache.spark.streaming.api.java.JavaStreamingContext;import org.apache.spark.streaming.api.java.JavaStreamingContextFactory;import org.apache.spark.streaming.kafka.KafkaUtils;import com.google.common.base.Optional;import scala.Tuple2;/ 数据处理,Kafka消费者/public class AdClickedStreamingStats {/ @param args/public static void main(String[] args) {// TODO Auto-generated method stub//好处:1、checkpoint 2、工厂final SparkConf conf = new SparkConf().setAppName("SparkStreamingOnKafkaDirect").setMaster("hdfs://Master:7077/");final String checkpointDirectory = "hdfs://Master:9000/library/SparkStreaming/CheckPoint_Data";JavaStreamingContextFactory factory = new JavaStreamingContextFactory() {public JavaStreamingContext create() {// TODO Auto-generated method stubreturn createContext(checkpointDirectory, conf);} };/ 可以从失败中恢复Driver,不过还需要指定Driver这个进程运行在Cluster,并且在提交应用程序的时候制定--supervise;/JavaStreamingContext javassc = JavaStreamingContext.getOrCreate(checkpointDirectory, factory);/ 第三步:创建Spark Streaming输入数据来源input Stream: 1、数据输入来源可以基于File、HDFS、Flume、Kafka、Socket等 2、在这里我们指定数据来源于网络Socket端口,Spark Streaming连接上该端口并在运行的时候一直监听该端口的数据 (当然该端口服务首先必须存在),并且在后续会根据业务需要不断有数据产生(当然对于Spark Streaming 应用程序的运行而言,有无数据其处理流程都是一样的) 3、如果经常在每间隔5秒钟没有数据的话不断启动空的Job其实会造成调度资源的浪费,因为并没有数据需要发生计算;所以 实际的企业级生成环境的代码在具体提交Job前会判断是否有数据,如果没有的话就不再提交Job;///创建Kafka元数据来让Spark Streaming这个Kafka Consumer利用Map<String, String> kafkaParameters = new HashMap<String, String>();kafkaParameters.put("metadata.broker.list", "Master:9092,Worker1:9092,Worker2:9092");Set<String> topics = new HashSet<String>();topics.add("SparkStreamingDirected");JavaPairInputDStream<String, String> adClickedStreaming = KafkaUtils.createDirectStream(javassc, String.class, String.class, StringDecoder.class, StringDecoder.class,kafkaParameters, topics);/因为要对黑名单进行过滤,而数据是在RDD中的,所以必然使用transform这个函数; 但是在这里我们必须使用transformToPair,原因是读取进来的Kafka的数据是Pair<String,String>类型, 另一个原因是过滤后的数据要进行进一步处理,所以必须是读进的Kafka数据的原始类型 在此再次说明,每个Batch Duration中实际上讲输入的数据就是被一个且仅被一个RDD封装的,你可以有多个 InputDStream,但其实在产生job的时候,这些不同的InputDStream在Batch Duration中就相当于Spark基于HDFS 数据操作的不同文件来源而已罢了。/JavaPairDStream<String, String> filteredadClickedStreaming = adClickedStreaming.transformToPair(new Function<JavaPairRDD<String,String>, JavaPairRDD<String,String>>() {public JavaPairRDD<String, String> call(JavaPairRDD<String, String> rdd) throws Exception {/ 在线黑名单过滤思路步骤: 1、从数据库中获取黑名单转换成RDD,即新的RDD实例封装黑名单数据; 2、然后把代表黑名单的RDD的实例和Batch Duration产生的RDD进行Join操作, 准确的说是进行leftOuterJoin操作,也就是说使用Batch Duration产生的RDD和代表黑名单的RDD实例进行 leftOuterJoin操作,如果两者都有内容的话,就会是true,否则的话就是false 我们要留下的是leftOuterJoin结果为false; /final List<String> blackListNames = new ArrayList<String>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();jdbcWrapper.doQuery("SELECT FROM blacklisttable", null, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {while(result.next()){blackListNames.add(result.getString(1));} }});List<Tuple2<String, Boolean>> blackListTuple = new ArrayList<Tuple2<String,Boolean>>();for(String name : blackListNames) {blackListTuple.add(new Tuple2<String, Boolean>(name, true));}List<Tuple2<String, Boolean>> blacklistFromListDB = blackListTuple; //数据来自于查询的黑名单表并且映射成为<String, Boolean>JavaSparkContext jsc = new JavaSparkContext(rdd.context());/ 黑名单的表中只有userID,但是如果要进行join操作的话就必须是Key-Value,所以在这里我们需要 基于数据表中的数据产生Key-Value类型的数据集合/JavaPairRDD<String, Boolean> blackListRDD = jsc.parallelizePairs(blacklistFromListDB);/ 进行操作的时候肯定是基于userID进行join,所以必须把传入的rdd进行mapToPair操作转化成为符合格式的RDD/JavaPairRDD<String, Tuple2<String, String>> rdd2Pair = rdd.mapToPair(new PairFunction<Tuple2<String,String>, String, Tuple2<String, String>>() {public Tuple2<String, Tuple2<String, String>> call(Tuple2<String, String> t) throws Exception {// TODO Auto-generated method stubString userID = t._2.split("\t")[2];return new Tuple2<String, Tuple2<String,String>>(userID, t);} });JavaPairRDD<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> joined = rdd2Pair.leftOuterJoin(blackListRDD);JavaPairRDD<String, String> result = joined.filter(new Function<Tuple2<String,Tuple2<Tuple2<String,String>,Optional<Boolean>>>, Boolean>() {public Boolean call(Tuple2<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> tuple)throws Exception {// TODO Auto-generated method stubOptional<Boolean> optional = tuple._2._2;if(optional.isPresent() && optional.get()){return false;} else {return true;} }}).mapToPair(new PairFunction<Tuple2<String,Tuple2<Tuple2<String,String>,Optional<Boolean>>>, String, String>() {public Tuple2<String, String> call(Tuple2<String, Tuple2<Tuple2<String, String>, Optional<Boolean>>> t)throws Exception {// TODO Auto-generated method stubreturn t._2._1;} });return result;} });//广告点击的基本数据格式:timestamp、ip、userID、adID、province、cityJavaPairDStream<String, Long> pairs = filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t) throws Exception {String[] splited=t._2.split("\t");String timestamp = splited[0]; //YYYY-MM-DDString ip = splited[1];String userID = splited[2];String adID = splited[3];String province = splited[4];String city = splited[5]; String clickedRecord = timestamp + "_" +ip + "_"+userID+"_"+adID+"_"+province +"_"+city;return new Tuple2<String, Long>(clickedRecord, 1L);} });/ 第4.3步:在单词实例计数为1基础上,统计每个单词在文件中出现的总次数/JavaPairDStream<String, Long> adClickedUsers= pairs.reduceByKey(new Function2<Long, Long, Long>() {public Long call(Long i1, Long i2) throws Exception{return i1 + i2;} });/判断有效的点击,复杂化的采用机器学习训练模型进行在线过滤 简单的根据ip判断1天不超过100次;也可以通过一个batch duration的点击次数判断是否非法广告点击,通过一个batch来判断是不完整的,还需要一天的数据也可以每一个小时来判断。/JavaPairDStream<String, Long> filterClickedBatch = adClickedUsers.filter(new Function<Tuple2<String,Long>, Boolean>() {public Boolean call(Tuple2<String, Long> v1) throws Exception {if (1 < v1._2){//更新一些黑名单的数据库表return false;} else { return true;} }});//filterClickedBatch.print();//写入数据库filterClickedBatch.foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition) throws Exception {//使用数据库连接池的高效读写数据库的方式将数据写入数据库mysql//例如一次插入 1000条 records,使用insertBatch 或 updateBatch//插入的用户数据信息:userID,adID,clickedCount,time//这里面有一个问题,可能出现两条记录的key是一样的,此时需要更新累加操作List<UserAdClicked> userAdClickedList = new ArrayList<UserAdClicked>();while(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("\t");UserAdClicked userClicked = new UserAdClicked();userClicked.setTimestamp(splited[0]);userClicked.setIp(splited[1]);userClicked.setUserID(splited[2]);userClicked.setAdID(splited[3]);userClicked.setProvince(splited[4]);userClicked.setCity(splited[5]);userAdClickedList.add(userClicked);}final List<UserAdClicked> inserting = new ArrayList<UserAdClicked>();final List<UserAdClicked> updating = new ArrayList<UserAdClicked>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final UserAdClicked clicked : userAdClickedList) {jdbcWrapper.doQuery("SELECT clickedCount FROM adclicked WHERE"+ " timestamp =? AND userID = ? AND adID = ?",new Object[]{clicked.getTimestamp(), clicked.getUserID(),clicked.getAdID()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);clicked.setClickedCount(count);updating.add(clicked);} else {inserting.add(clicked);clicked.setClickedCount(1L);} }});}//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(UserAdClicked insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.getTimestamp(),insertRecord.getIp(),insertRecord.getUserID(),insertRecord.getAdID(),insertRecord.getProvince(),insertRecord.getCity(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclicked VALUES(?, ?, ?, ?, ?, ?, ?)", insertParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(UserAdClicked updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getTimestamp(),updateRecord.getIp(),updateRecord.getUserID(),updateRecord.getAdID(),updateRecord.getProvince(),updateRecord.getCity(),updateRecord.getClickedCount() + 1});}jdbcWrapper.doBatch("UPDATE adclicked SET clickedCount = ? WHERE"+ " timestamp =? AND ip = ? AND userID = ? AND adID = ? "+ "AND province = ? AND city = ?", updateParametersList);} });return null;} });//再次过滤,从数据库中读取数据过滤黑名单JavaPairDStream<String, Long> blackListBasedOnHistory = filterClickedBatch.filter(new Function<Tuple2<String,Long>, Boolean>() {public Boolean call(Tuple2<String, Long> v1) throws Exception {//广告点击的基本数据格式:timestamp,ip,userID,adID,province,cityString[] splited = v1._1.split("\t"); //提取key值String date =splited[0];String userID =splited[2];String adID =splited[3];//查询一下数据库同一个用户同一个广告id点击量超过50次列入黑名单//接下来 根据date、userID、adID条件去查询用户点击广告的数据表,获得总的点击次数//这个时候基于点击次数判断是否属于黑名单点击int clickedCountTotalToday = 81 ;if (clickedCountTotalToday > 50) {return true;}else {return false ;} }});//map操作,找出用户的idJavaDStream<String> blackListuserIDBasedInBatchOnhistroy =blackListBasedOnHistory.map(new Function<Tuple2<String,Long>, String>() {public String call(Tuple2<String, Long> v1) throws Exception {// TODO Auto-generated method stubreturn v1._1.split("\t")[2];} });//有一个问题,数据可能重复,在一个partition里面重复,这个好办;//但多个partition不能保证一个用户重复,需要对黑名单的整个rdd进行去重操作。//rdd去重了,partition也就去重了,一石二鸟,一箭双雕// 找出了黑名单,下一步就写入黑名单数据库表中JavaDStream<String> blackListUniqueuserBasedInBatchOnhistroy = blackListuserIDBasedInBatchOnhistroy.transform(new Function<JavaRDD<String>, JavaRDD<String>>() {public JavaRDD<String> call(JavaRDD<String> rdd) throws Exception {// TODO Auto-generated method stubreturn rdd.distinct();} });// 下一步写入到数据表中blackListUniqueuserBasedInBatchOnhistroy.foreachRDD(new Function<JavaRDD<String>, Void>() {public Void call(JavaRDD<String> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<String>>() {public void call(Iterator<String> t) throws Exception {// TODO Auto-generated method stub//插入的用户信息可以只包含:useID//此时直接插入黑名单数据表即可。//写入数据库List<Object[]> blackList = new ArrayList<Object[]>();while(t.hasNext()) {blackList.add(new Object[]{t.next()});}JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();jdbcWrapper.doBatch("INSERT INTO blacklisttable values (?)", blackList);} });return null;} });/广告点击累计动态更新,每个updateStateByKey都会在Batch Duration的时间间隔的基础上进行广告点击次数的更新, 更新之后我们一般都会持久化到外部存储设备上,在这里我们存储到MySQL数据库中/JavaPairDStream<String, Long> updateStateByKeyDSteam = filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t)throws Exception {String[] splited=t._2.split("\t");String timestamp = splited[0]; //YYYY-MM-DDString ip = splited[1];String userID = splited[2];String adID = splited[3];String province = splited[4];String city = splited[5]; String clickedRecord = timestamp + "_" +ip + "_"+userID+"_"+adID+"_"+province +"_"+city;return new Tuple2<String, Long>(clickedRecord, 1L);} }).updateStateByKey(new Function2<List<Long>, Optional<Long>, Optional<Long>>() {public Optional<Long> call(List<Long> v1, Optional<Long> v2)throws Exception {// v1:当前的Key在当前的Batch Duration中出现的次数的集合,例如{1,1,1,。。。,1}// v2:当前的Key在以前的Batch Duration中积累下来的结果;Long clickedTotalHistory = 0L; if(v2.isPresent()){clickedTotalHistory = v2.get();}for(Long one : v1) {clickedTotalHistory += one;}return Optional.of(clickedTotalHistory);} });updateStateByKeyDSteam.foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {rdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition) throws Exception {//使用数据库连接池的高效读写数据库的方式将数据写入数据库mysql//例如一次插入 1000条 records,使用insertBatch 或 updateBatch//插入的用户数据信息:timestamp、adID、province、city//这里面有一个问题,可能出现两条记录的key是一样的,此时需要更新累加操作List<AdClicked> AdClickedList = new ArrayList<AdClicked>();while(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("\t");AdClicked adClicked = new AdClicked();adClicked.setTimestamp(splited[0]);adClicked.setAdID(splited[1]);adClicked.setProvince(splited[2]);adClicked.setCity(splited[3]);adClicked.setClickedCount(record._2);AdClickedList.add(adClicked);}final List<AdClicked> inserting = new ArrayList<AdClicked>();final List<AdClicked> updating = new ArrayList<AdClicked>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final AdClicked clicked : AdClickedList) {jdbcWrapper.doQuery("SELECT clickedCount FROM adclickedcount WHERE"+ " timestamp = ? AND adID = ? AND province = ? AND city = ?",new Object[]{clicked.getTimestamp(), clicked.getAdID(),clicked.getProvince(), clicked.getCity()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);clicked.setClickedCount(count);updating.add(clicked);} else {inserting.add(clicked);clicked.setClickedCount(1L);} }});}//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdClicked insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.getTimestamp(),insertRecord.getAdID(),insertRecord.getProvince(),insertRecord.getCity(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclickedcount VALUES(?, ?, ?, ?, ?)", insertParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(AdClicked updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getClickedCount(),updateRecord.getTimestamp(),updateRecord.getAdID(),updateRecord.getProvince(),updateRecord.getCity()});}jdbcWrapper.doBatch("UPDATE adclickedcount SET clickedCount = ? WHERE"+ " timestamp =? AND adID = ? AND province = ? AND city = ?", updateParametersList);} });return null;} });/ 对广告点击进行TopN计算,计算出每天每个省份Top5排名的广告 因为我们直接对RDD进行操作,所以使用了transfomr算子;/updateStateByKeyDSteam.transform(new Function<JavaPairRDD<String,Long>, JavaRDD<Row>>() {public JavaRDD<Row> call(JavaPairRDD<String, Long> rdd) throws Exception {JavaRDD<Row> rowRDD = rdd.mapToPair(new PairFunction<Tuple2<String,Long>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, Long> t)throws Exception {// TODO Auto-generated method stubString[] splited=t._1.split("_");String timestamp = splited[0]; //YYYY-MM-DDString adID = splited[3];String province = splited[4];String clickedRecord = timestamp + "_" + adID + "_" + province;return new Tuple2<String, Long>(clickedRecord, t._2);} }).reduceByKey(new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 + v2;} }).map(new Function<Tuple2<String,Long>, Row>() {public Row call(Tuple2<String, Long> v1) throws Exception {// TODO Auto-generated method stubString[] splited=v1._1.split("_");String timestamp = splited[0]; //YYYY-MM-DDString adID = splited[3];String province = splited[4];return RowFactory.create(timestamp, adID, province, v1._2);} });StructType structType = DataTypes.createStructType(Arrays.asList(DataTypes.createStructField("timestamp", DataTypes.StringType, true),DataTypes.createStructField("adID", DataTypes.StringType, true),DataTypes.createStructField("province", DataTypes.StringType, true),DataTypes.createStructField("clickedCount", DataTypes.LongType, true)));HiveContext hiveContext = new HiveContext(rdd.context());DataFrame df = hiveContext.createDataFrame(rowRDD, structType);df.registerTempTable("topNTableSource");DataFrame result = hiveContext.sql("SELECT timestamp, adID, province, clickedCount, FROM"+ " (SELECT timestamp, adID, province,clickedCount, "+ "ROW_NUMBER() OVER(PARTITION BY province ORDER BY clickeCount DESC) rank "+ "FROM topNTableSource) subquery "+ "WHERE rank <= 5");return result.toJavaRDD();} }).foreachRDD(new Function<JavaRDD<Row>, Void>() {public Void call(JavaRDD<Row> rdd) throws Exception {// TODO Auto-generated method stubrdd.foreachPartition(new VoidFunction<Iterator<Row>>() {public void call(Iterator<Row> t) throws Exception {// TODO Auto-generated method stubList<AdProvinceTopN> adProvinceTopN = new ArrayList<AdProvinceTopN>();while(t.hasNext()) {Row row = t.next();AdProvinceTopN item = new AdProvinceTopN();item.setTimestamp(row.getString(0));item.setAdID(row.getString(1));item.setProvince(row.getString(2));item.setClickedCount(row.getLong(3));adProvinceTopN.add(item);}// final List<AdProvinceTopN> inserting = new ArrayList<AdProvinceTopN>();// final List<AdProvinceTopN> updating = new ArrayList<AdProvinceTopN>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();Set<String> set = new HashSet<String>();for(AdProvinceTopN item: adProvinceTopN){set.add(item.getTimestamp() + "_" + item.getProvince());}//表的字段timestamp、adID、province、clickedCountArrayList<Object[]> deleteParametersList = new ArrayList<Object[]>();for(String deleteRecord : set) {String[] splited = deleteRecord.split("_");deleteParametersList.add(new Object[]{splited[0],splited[1]});}jdbcWrapper.doBatch("DELETE FROM adprovincetopn WHERE timestamp = ? AND province = ?", deleteParametersList);//表的字段timestamp、ip、userID、adID、province、city、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdProvinceTopN insertRecord : adProvinceTopN) {insertParametersList.add(new Object[] {insertRecord.getClickedCount(),insertRecord.getTimestamp(),insertRecord.getAdID(),insertRecord.getProvince()});}jdbcWrapper.doBatch("INSERT INTO adprovincetopn VALUES (?, ?, ?, ?)", insertParametersList);} });return null;} });/ 计算过去半个小时内广告点击的趋势 广告点击的基本数据格式:timestamp、ip、userID、adID、province、city/filteredadClickedStreaming.mapToPair(new PairFunction<Tuple2<String,String>, String, Long>() {public Tuple2<String, Long> call(Tuple2<String, String> t)throws Exception {String splited[] = t._2.split("\t");String adID = splited[3];String time = splited[0]; //Todo:后续需要重构代码实现时间戳和分钟的转换提取。此处需要提取出该广告的点击分钟单位return new Tuple2<String, Long>(time + "_" + adID, 1L);} }).reduceByKeyAndWindow(new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 + v2;} }, new Function2<Long, Long, Long>() {public Long call(Long v1, Long v2) throws Exception {// TODO Auto-generated method stubreturn v1 - v2;} }, Durations.minutes(30), Durations.milliseconds(5)).foreachRDD(new Function<JavaPairRDD<String,Long>, Void>() {public Void call(JavaPairRDD<String, Long> rdd) throws Exception {// TODO Auto-generated method stubrdd.foreachPartition(new VoidFunction<Iterator<Tuple2<String,Long>>>() {public void call(Iterator<Tuple2<String, Long>> partition)throws Exception {List<AdTrendStat> adTrend = new ArrayList<AdTrendStat>();// TODO Auto-generated method stubwhile(partition.hasNext()) {Tuple2<String, Long> record = partition.next();String[] splited = record._1.split("_");String time = splited[0];String adID = splited[1];Long clickedCount = record._2;/ 在插入数据到数据库的时候具体需要哪些字段?time、adID、clickedCount; 而我们通过J2EE技术进行趋势绘图的时候肯定是需要年、月、日、时、分这个维度的,所以我们在这里需要 年月日、小时、分钟这些时间维度;/AdTrendStat adTrendStat = new AdTrendStat();adTrendStat.setAdID(adID);adTrendStat.setClickedCount(clickedCount);adTrendStat.set_date(time); //Todo:获取年月日adTrendStat.set_hour(time); //Todo:获取小时adTrendStat.set_minute(time);//Todo:获取分钟adTrend.add(adTrendStat);}final List<AdTrendStat> inserting = new ArrayList<AdTrendStat>();final List<AdTrendStat> updating = new ArrayList<AdTrendStat>();JDBCWrapper jdbcWrapper = JDBCWrapper.getJDBCInstance();//表的字段timestamp、ip、userID、adID、province、city、clickedCountfor(final AdTrendStat trend : adTrend) {final AdTrendCountHistory adTrendhistory = new AdTrendCountHistory();jdbcWrapper.doQuery("SELECT clickedCount FROM adclickedtrend WHERE"+ " date =? AND hour = ? AND minute = ? AND AdID = ?",new Object[]{trend.get_date(), trend.get_hour(), trend.get_minute(),trend.getAdID()}, new ExecuteCallBack() {public void resultCallBack(ResultSet result) throws Exception {// TODO Auto-generated method stubif(result.next()) {long count = result.getLong(1);adTrendhistory.setClickedCountHistoryLong(count);updating.add(trend);} else { inserting.add(trend);} }});}//表的字段date、hour、minute、adID、clickedCountList<Object[]> insertParametersList = new ArrayList<Object[]>();for(AdTrendStat insertRecord : inserting) {insertParametersList.add(new Object[] {insertRecord.get_date(),insertRecord.get_hour(),insertRecord.get_minute(),insertRecord.getAdID(),insertRecord.getClickedCount()});}jdbcWrapper.doBatch("INSERT INTO adclickedtrend VALUES(?, ?, ?, ?, ?)", insertParametersList);//表的字段date、hour、minute、adID、clickedCountList<Object[]> updateParametersList = new ArrayList<Object[]>();for(AdTrendStat updateRecord : updating) {updateParametersList.add(new Object[] {updateRecord.getClickedCount(),updateRecord.get_date(),updateRecord.get_hour(),updateRecord.get_minute(),updateRecord.getAdID()});}jdbcWrapper.doBatch("UPDATE adclickedtrend SET clickedCount = ? WHERE"+ " date =? AND hour = ? AND minute = ? AND AdID = ?", updateParametersList);} });return null;} });;/ Spark Streaming 执行引擎也就是Driver开始运行,Driver启动的时候是位于一条新的线程中的,当然其内部有消息循环体,用于 接收应用程序本身或者Executor中的消息,/javassc.start();javassc.awaitTermination();javassc.close();}private static JavaStreamingContext createContext(String checkpointDirectory, SparkConf conf) {// If you do not see this printed, that means the StreamingContext has been loaded// from the new checkpointSystem.out.println("Creating new context");// Create the context with a 5 second batch sizeJavaStreamingContext ssc = new JavaStreamingContext(conf, Durations.seconds(10));ssc.checkpoint(checkpointDirectory);return ssc;} }class JDBCWrapper {private static JDBCWrapper jdbcInstance = null;private static LinkedBlockingQueue<Connection> dbConnectionPool = new LinkedBlockingQueue<Connection>();static {try {Class.forName("com.mysql.jdbc.Driver");} catch (ClassNotFoundException e) {// TODO Auto-generated catch blocke.printStackTrace();} }public static JDBCWrapper getJDBCInstance() {if(jdbcInstance == null) {synchronized (JDBCWrapper.class) {if(jdbcInstance == null) {jdbcInstance = new JDBCWrapper();} }}return jdbcInstance; }private JDBCWrapper() {for(int i = 0; i < 10; i++){try {Connection conn = DriverManager.getConnection("jdbc:mysql://Master:3306/sparkstreaming","root", "root");dbConnectionPool.put(conn);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();} } }public synchronized Connection getConnection() {while(0 == dbConnectionPool.size()){try {Thread.sleep(20);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }return dbConnectionPool.poll();}public int[] doBatch(String sqlText, List<Object[]> paramsList){Connection conn = getConnection();PreparedStatement preparedStatement = null;int[] result = null;try {conn.setAutoCommit(false);preparedStatement = conn.prepareStatement(sqlText);for(Object[] parameters: paramsList) {for(int i = 0; i < parameters.length; i++){preparedStatement.setObject(i + 1, parameters[i]);} preparedStatement.addBatch();}result = preparedStatement.executeBatch();conn.commit();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally {if(preparedStatement != null) {try {preparedStatement.close();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} }if(conn != null) {try {dbConnectionPool.put(conn);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }}return result; }public void doQuery(String sqlText, Object[] paramsList, ExecuteCallBack callback){Connection conn = getConnection();PreparedStatement preparedStatement = null;ResultSet result = null;try {preparedStatement = conn.prepareStatement(sqlText);for(int i = 0; i < paramsList.length; i++){preparedStatement.setObject(i + 1, paramsList[i]);} result = preparedStatement.executeQuery();try {callback.resultCallBack(result);} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();} } catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally {if(preparedStatement != null) {try {preparedStatement.close();} catch (SQLException e) {// TODO Auto-generated catch blocke.printStackTrace();} }if(conn != null) {try {dbConnectionPool.put(conn);} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();} }} }}interface ExecuteCallBack {void resultCallBack(ResultSet result) throws Exception;}class UserAdClicked {private String timestamp;private String ip;private String userID;private String adID;private String province;private String city;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getIp() {return ip;}public void setIp(String ip) {this.ip = ip;}public String getUserID() {return userID;}public void setUserID(String userID) {this.userID = userID;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public String getCity() {return city;}public void setCity(String city) {this.city = city;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdClicked {private String timestamp;private String adID;private String province;private String city;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public String getCity() {return city;}public void setCity(String city) {this.city = city;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdProvinceTopN {private String timestamp;private String adID;private String province;private Long clickedCount;public String getTimestamp() {return timestamp;}public void setTimestamp(String timestamp) {this.timestamp = timestamp;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public String getProvince() {return province;}public void setProvince(String province) {this.province = province;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdTrendStat {private String _date;private String _hour;private String _minute;private String adID;private Long clickedCount;public String get_date() {return _date;}public void set_date(String _date) {this._date = _date;}public String get_hour() {return _hour;}public void set_hour(String _hour) {this._hour = _hour;}public String get_minute() {return _minute;}public void set_minute(String _minute) {this._minute = _minute;}public String getAdID() {return adID;}public void setAdID(String adID) {this.adID = adID;}public Long getClickedCount() {return clickedCount;}public void setClickedCount(Long clickedCount) {this.clickedCount = clickedCount;} }class AdTrendCountHistory{private Long clickedCountHistoryLong;public Long getClickedCountHistoryLong() {return clickedCountHistoryLong;}public void setClickedCountHistoryLong(Long clickedCountHistoryLong) {this.clickedCountHistoryLong = clickedCountHistoryLong;} } 本篇文章为转载内容。原文链接:https://blog.csdn.net/tom_8899_li/article/details/71194434。 该文由互联网用户投稿提供,文中观点代表作者本人意见,并不代表本站的立场。 作为信息平台,本站仅提供文章转载服务,并不拥有其所有权,也不对文章内容的真实性、准确性和合法性承担责任。 如发现本文存在侵权、违法、违规或事实不符的情况,请及时联系我们,我们将第一时间进行核实并删除相应内容。
2023-02-14 19:16:35
297
转载
Java
在Java编程中,有时会碰到父类别和子类别之间的转型问题。换句话说,就是在利用子类别实例的时候,有时需要将其转化为父类别实例,也会需要将父类别实例转化为子类别实例。 此处阐述两种转换函数,一种是向上转换,一种是向下转换。 1.向上转换 //声明一个父类别 public class Animal{ public void eat(){ System.out.println("动物都要吃东西"); } } //声明一个子类别 public class Cat extends Animal{ public void run(){ System.out.println("猫具有奔跑能力"); } } //向上转换 Animal animal = new Cat(); animal.eat();//调用父类别的函数 2.向下转换 //声明一个父类别 public class Animal{ public void eat(){ System.out.println("动物都要吃东西"); } } //声明一个子类别 public class Cat extends Animal{ public void run(){ System.out.println("猫具有奔跑能力"); } } //向下转换 Animal animal = new Cat(); if(animal instanceof Cat){ Cat cat = (Cat)animal; cat.run();//调用子类别的函数 } 需要注意的是,向下转换时需要判断原实例是否是目标类别的实例,否则会抛出ClassCastException异常。
2023-12-31 10:17:23
337
编程狂人
Java
...部细节的一种机制。在Java中,通过使用访问修饰符如private来限制对类成员变量的直接访问,仅暴露public的getter和setter方法或其他特定功能的方法,从而实现信息隐藏与保护,提高代码的安全性和稳定性。例如,文章中的Person类将name和age属性封装起来,并提供了相应的get和set方法供外部访问和修改。 访问权限修饰符 , 在Java编程中,访问权限修饰符是用来控制类、属性或方法对外部的可见性级别的关键字。主要有四种类型。 构造方法 , 构造方法是一种特殊的方法,用于创建并初始化一个新对象。在Java中,构造方法的名称必须与类名相同,且不返回任何类型(包括void)。当实例化一个类时,构造方法会被自动调用。在文章给出的Person类示例中,定义了一个带有参数的构造方法public Person(String name, int age),在创建Person对象时传入姓名和年龄值,从而确保每个新建对象从一开始就有完整的初始状态。
2023-08-13 16:18:58
280
码农
转载文章
...dImage , 在Java的图像处理中,BufferedImage是一种基本的、可操作的图像类,它代表了一幅可读写、具有缓冲功能的图像。在本文中,通过二维码生成方法得到的BufferedImage对象包含了生成的二维码图片的所有像素信息,可以进一步进行各种图像操作和转换。 MultipartFile , 在Spring框架或其他Web开发框架中,MultipartFile是一个接口或抽象类,用于表示HTTP请求中上传的文件部分。在本文的情境下,开发者需要将生成的二维码图片转换为MultipartFile对象,以便通过HTTP协议将其作为多部分(multipart)内容提交到服务器进行文件存储或进一步处理。 ByteArrayOutputStream , 在Java的IO流体系中,ByteArrayOutputStream是一种输出流,它可以将数据写入内存中的一个字节数组,而不是直接写入到文件或网络连接。在这篇文章里,ByteArrayOutputStream被用来临时存储从BufferedImage对象转换得到的图像字节数据,便于后续将其转换成InputStream并进一步构造MultipartFile对象。 MockMultipartFile , 在Spring框架测试或模拟场景中,MockMultipartFile是一个工具类,用于创建模拟的MultipartFile对象。在实际应用中,当我们需要在非HTTP请求环境中构建一个MultipartFile实例时(如本例中的二维码生成后转为文件上传格式),就可以使用MockMultipartFile来根据指定的文件名、内容类型和输入流创建一个虚拟的上传文件对象。
2023-11-25 22:36:21
314
转载
Java
在深入理解Java中泛型T与Object类的差异之后,我们可以进一步探索现代编程实践中如何优化类型安全性和灵活性之间的平衡。近期,随着Java 10及后续版本对var关键字的支持,开发者可以在局部变量声明时省略显式类型,编译器会根据初始化表达式自动推断类型,这一特性在一定程度上简化了代码并增强了可读性,但同时也引发了关于其是否会影响类型安全性的讨论。 此外,Java社区对于泛型特性的挖掘从未止步。例如,在Java 8中引入的流(Stream)和函数式接口(Functional Interface),通过结合Lambda表达式和泛型,不仅大大提升了代码的简洁度和表达力,而且在处理集合数据时,借助于泛型约束,能够有效防止运行时的ClassCastException。 同时,也有开发者关注如何在实际项目中更好地应用设计模式,如工厂模式、策略模式等,结合泛型实现更高程度的解耦和复用。在这些场景下,泛型T扮演的角色不仅仅是类型安全的保证,更是提高程序设计抽象层次的关键工具。 另一方面,尽管Object类作为所有Java类的基类在处理多态问题时展现出强大的灵活性,但在大型项目或框架设计中,过度依赖Object可能导致类型混乱,影响代码质量。因此,一些现代框架(如Spring Framework)在设计之初就充分考虑了类型安全性,巧妙地融合了泛型与特定类型转换机制,从而在保持灵活性的同时,也兼顾了编译时期的类型检查。 综上所述,随着Java语言的发展和社区实践的积累,泛型T与Object类的关系及其在不同类型安全策略中的运用愈发值得我们关注和深思。开发者应当根据具体业务需求,适时选择并合理搭配使用这两种机制,以提升代码质量和开发效率。
2023-11-01 23:14:18
399
算法侠
Scala
...式值。例如: java def foo[T](t: T): Unit = { println(s"The type of t is $t") } foo("Hello, World!") 在这个例子中,Scala会尝试找到一个可以将字符串转换为T类型的隐式转换,并且找到了scala.Predef.StringOpstoString的隐式转换。 2)隐式转换类:Scala中的隐式转换不仅可以应用于类型参数,也可以应用于对象。例如: java class RichString(val str: String) extends AnyVal { def startsWith(prefix: String): Boolean = str.startsWith(prefix) } object RichString { implicit val stringRich: RichString = new RichString("") } val richStr = "Hello, World!" richStr.startsWith("Hello") 在这个例子中,Scala会尝试找到一个可以将String转换为RichString类型的隐式转换,并且找到了RichString对象。 3)隐式参数解析:我们可以通过在方法或函数的参数列表中声明一个类型为隐式的参数,然后让编译器在编译期间自动推导出该隐式参数的值。例如: java import scala.math.sqrt def area(radius: Double)(implicit ev: => Double = sqrt(4)): Double = { Math.PI radius radius } area(5) 在这个例子中,Scala会尝试找到一个可以将Double转换为Double类型的隐式转换,并且找到了scala.math.sqrt的隐式转换。 序号3:Scala中的隐式转换原理 Scala中的隐式转换是一种编译时机制,它允许我们在代码中省略某些显式类型声明。当你在用Scala编程时,如果编译器找不到一个恰好匹配特定类型的明确类型声明,它就会像个侦探一样,在当前的作用域范围内搜寻一番,看看是否藏着符合要求的隐式类型转换“小秘密”。如果碰巧找到了这样一个隐式转换,编译器就会在程序运行的时候,悄无声息地执行这个转换操作,把参数的类型自动变成目标类型所需要的样子。 例如,考虑下面的代码片段: java class MyClass { val myVar: Int = 5 } val obj = new MyClass() println(obj.myVar + " Hello") // 编译错误 在这个例子中,Scala编译器无法将MyClass的实例转换为String类型,因为没有定义这样的转换。如果我们想要使用隐式转换来解决这个问题,我们可以这样做: java object MyImplicits { implicit val intToString: Int => String = _.toString } val obj = new MyClass() println(MyImplicits.intToString(obj.myVar) + " Hello") // 输出:5 Hello 在这个例子中,我们定义了一个名为intToString的隐式转换,它可以将Int类型转换为String类型。然后我们将这个隐式转换引入到我们的代码中,使得在调用println(obj.myVar + " Hello")时,Scala编译器可以找到这个隐式转换并将其用于将obj.myVar转换为String类型。 总的来说,Scala中的隐式转换是一个强大的工具,它可以帮助我们写出更简洁、更易于理解的代码。但是,咱们也得留个心眼儿,别乱用隐式转换,要不然代码可能会变得让人摸不着头脑,维护起来也够你头疼的。
2023-02-01 13:19:52
120
月下独酌-t
Scala
...理解和维护。例如,在Java中,我们可以定义一个名为Color的枚举类型: java public enum Color { RED, GREEN, BLUE; } 三、Scala中的枚举类型 在Scala中,我们也可以通过定义类来创建枚举类型。但是,这种方式并不直观,并且不能保证所有的值都被定义。这时,我们就需要使用到Enumeratum库了。 四、使用Enumeratum库创建枚举类型 Enumeratum是一个用于定义枚举类型的库,它提供了一种简单的方式来定义枚举,并且能够生成一些有用的工具方法。首先,我们需要在项目中添加Enumeratum的依赖: scala libraryDependencies += "com.beachape" %% "enumeratum-play-json" % "2.9.0" 然后,我们就可以开始定义枚举了: scala import enumeratum._ import play.api.libs.json.Json sealed trait Color extends EnumEntry { override def entryName: String = this.name.toLowerCase } object Color extends Enum[Color] with PlayJsonEnum[Color] { case object Red extends Color case object Green extends Color case object Blue extends Color } 在这里,我们首先导入了Enums模块和PlayJsonEnum模块,这两个模块分别提供了定义枚举类型和支持JSON序列化的功能。然后,我们定义了一个名为Color的密封抽象类,这个类继承自EnumEntry,并实现了entryName方法。然后,我们在这Color对象里头捣鼓了三个小家伙,这三个小家伙都是从Color类那里“借来”的枚举值,换句话说,它们都继承了Color类的特性。最后,我们给Enum施展了个小魔法,让它的apply方法能够大显身手,这样一来,这个对象就能摇身一变,充当构造器来使啦。 五、使用枚举类型 现在,我们已经成功地创建了一个名为Color的枚举类型。我们可以通过以下方式来使用它: scala val color = Color.Red println(color) // 输出 "Red" val json = Json.toJson(Color.Green) println(json) // 输出 "{\"color\":\"green\"}" 在这里,我们首先创建了一个名为color的变量,并赋值为Color.Red。然后,我们打印出这个变量的值,可以看到它输出了"Red"。接着,我们将Color.Green转换成JSON,并打印出这个JSON字符串,可以看到它输出了"{\"color\":\"green\"}"。 六、总结 通过本文的介绍,你已经学会了如何在Scala中使用Enumeratum库来创建枚举类型。你知道吗,使用枚举类型就像是给代码世界创建了一套专属的标签或者目录。它能够让我们把相关的选项分门别类地管理起来,这样一来,不仅能让我们的代码看起来更加井然有序、一目了然,还大大提升了代码的可读性和维护性,就像整理房间一样,东西放得整整齐齐,想找啥一眼就能看到,多方便呐!另外,使用Enumeratum这个库可是好处多多啊,它能让我们有效避开一些常见的坑,还自带了一些超级实用的小工具,让我们的开发工作就像开了挂一样高效。
2023-02-21 12:25:08
204
山涧溪流-t
Hibernate
...ate作为一款强大的Java ORM框架,其核心价值之一就是为开发者提供了一层与底层数据库无关的抽象层。不过,各个数据库系统都有自己的SQL语法“小脾气”,这就引出了Hibernate如何巧妙地应对这些“方言”问题的关键机制。你看,就像咱们平时各地的方言一样,Hibernate也得学会跟各种SQL方言打交道,才能更好地服务大家伙儿。本文将深入探讨Hibernate如何通过SQL方言来适应不同数据库环境,并结合实例代码带你走进实战世界。 2. SQL方言 概念与作用 SQL方言,在Hibernate中,是一种特定于数据库的类,它负责将Hibernate生成的标准HQL或SQL-Query转换为特定数据库可以理解和执行的SQL语句。比如说吧,MySQL、Oracle、PostgreSQL还有DB2这些数据库,它们各有各的小脾气和小个性,都有自己特有的SQL扩展功能和一些限制。这就像是每种数据库都有自己的方言一样。而Hibernate这个家伙呢,它就像个超级厉害的语言翻译官,甭管你的应用要跟哪种数据库打交道,它都能确保你的查询操作既准确又高效地执行起来。这样一来,大家伙儿就不用担心因为“方言”不同而沟通不畅啦! 3. Hibernate中的SQL方言配置 配置SQL方言是使用Hibernate的第一步。在hibernate.cfg.xml或persistence.xml配置文件中,通常会看到如下设置: xml org.hibernate.dialect.MySQL57InnoDBDialect 在这个例子中,我们选择了针对MySQL 5.7版且支持InnoDB存储引擎的方言类。Hibernate内置了多种数据库对应的方言实现,可以根据实际使用的数据库类型选择合适的方言。 4. SQL方言的内部工作机制 当Hibernate执行一个查询时,会根据配置的SQL方言进行如下步骤: - 解析和转换HQL:首先,Hibernate会解析应用层发出的HQL查询,将其转化为内部表示形式。 - 生成SQL:接着,基于内部表示形式和当前配置的SQL方言,Hibernate会生成特定于目标数据库的SQL语句。 - 发送执行SQL:最后,生成的SQL语句被发送至数据库执行,并获取结果集。 5. 实战举例 SQL方言差异及处理 下面以分页查询为例,展示不同数据库下SQL方言的差异以及Hibernate如何处理: (a)MySQL方言示例 java String hql = "from Entity e"; Query query = session.createQuery(hql); query.setFirstResult(0).setMaxResults(10); // 分页参数 // MySQL方言下,Hibernate会自动生成类似LIMIT子句的SQL List entities = query.list(); (b)Oracle方言示例 对于不直接支持LIMIT关键字的Oracle数据库,Hibernate的Oracle方言则会生成带有ROWNUM伪列的查询: java // 配置使用Oracle方言 org.hibernate.dialect.Oracle10gDialect // Hibernate会生成如"SELECT FROM (SELECT ..., ROWNUM rn FROM ...) WHERE rn BETWEEN :offset AND :offset + :limit" 6. 结论与思考 面对多样的数据库环境,Hibernate通过SQL方言机制实现了对数据库特性的良好适配。这一设计不仅极大地简化了开发者的工作,还增强了应用的可移植性。不过,在实际做项目的时候,我们可能还是得根据具体的场景,对SQL的“土话”进行个性化的定制或者优化,这恰好就展现了Hibernate那牛哄哄的灵活性啦!作为开发者,我们得像个侦探一样,深入挖掘所用数据库的各种小秘密和独特之处。同时,咱们还得把Hibernate这位大神的好本领充分利用起来,才能稳稳地掌控住那些复杂的数据操作难题。这样一来,我们的程序不仅能跑得更快更流畅,代码也会变得既容易看懂,又方便后期维护,可读性和可维护性妥妥提升!
2023-12-01 18:18:30
613
春暖花开
Groovy
...均有效,可以通过类的实例或者静态方式来访问这些变量。 闭包 , 闭包是一种特殊的函数或代码块,它可以访问并操作其外部作用域内的变量,即使在该外部作用域已经结束执行后仍然可以保持对外部变量的引用。在Groovy中,闭包是一个可携带上下文环境的匿名函数,它具有自己的作用域规则,其中声明的变量即为局部作用域,只能在闭包内部访问。 JVM , Java虚拟机(JVM)是Java平台的一部分,它是一个抽象化的计算机系统,用于执行Java字节码。Groovy作为一种基于JVM的动态类型编程语言,其编译后的字节码可以在JVM上运行,从而利用Java生态系统的优势,实现与Java良好的互操作性。
2023-06-21 12:10:44
537
风轻云淡
站内搜索
用于搜索本网站内部文章,支持栏目切换。
知识学习
实践的时候请根据实际情况谨慎操作。
随机学习一条linux命令:
journalctl
- 查看系统日志。
推荐内容
推荐本栏目内的其它文章,看看还有哪些文章让你感兴趣。
2023-04-28
2023-08-09
2023-06-18
2023-04-14
2023-02-18
2023-04-17
2024-01-11
2023-10-03
2023-09-09
2023-06-13
2023-08-07
2023-03-11
历史内容
快速导航到对应月份的历史文章列表。
随便看看
拉到页底了吧,随便看看还有哪些文章你可能感兴趣。
时光飞逝
"流光容易把人抛,红了樱桃,绿了芭蕉。"