极客时间高级Java工程师体系课2.0笔记分享

xiaotu123 · · 827 次点击 · 开始浏览    置顶
这是一个创建于 的主题,其中的信息可能已经有所发展或是发生改变。

1、复用优化 在写代码的时候,你会发现有很多重复的代码可以提取出来,做成公共的方法。这样,在下次用的时候,就不用再费劲写一遍了。 这种思想就是复用。上面的描述是编码逻辑上的优化,对于数据存取来说,有同样的复用情况。无论是在生活中还是编码中,重复的事情一直在发生,如果没有复用,工作和生活就会比较累。 极客时间高级Java工程师体系课2.0 下栽地止:daxiacode.com 在软件系统中,谈到数据复用,我们首先想到的就是缓冲和缓存。注意这两个词的区别,它们的意义是完全不同的,很多同学很容易搞混,在这里简单地介绍一下。 缓冲(Buffer),常见于对数据的暂存,然后批量传输或者写入。多使用顺序方式,用来缓解不同设备之间频繁地、缓慢地随机写,缓冲主要针对的是写操作。 缓存(Cache),常见于对已读取数据的复用,通过将它们缓存在相对高速的区域,缓存主要针对的是读操作。 与之类似的,是对于对象的池化操作,比如数据库连接池、线程池等,在 Java 中使用得非常频繁。由于这些对象的创建和销毁成本都比较大,我们在使用之后,也会将这部分对象暂时存储,下次用的时候,就不用再走一遍耗时的初始化操作了。 2、 计算优化 并行执行 现在的 CPU 发展速度很快,绝大多数硬件,都是多核。要想加快某个任务的执行,最快最优的解决方式,就是让它并行执行。并行执行有以下三种模式。 第一种模式是多机,采用负载均衡的方式,将流量或者大的计算拆分成多个部分,同时进行处理。 比如,Hadoop 通过 MapReduce 的方式,把任务打散,多机同时进行计算。 第二种模式是采用多进程。 比如 Nginx,采用 NIO 编程模型,Master 统一管理 Worker 进程,然后由 Worker 进程进行真正的请求代理,这也能很好地利用硬件的多个 CPU。 第三种模式是使用多线程,这也是 Java 程序员接触最多的。 比如 Netty,采用 Reactor 编程模型,同样使用 NIO,但它是基于线程的。 Boss 线程用来接收请求,然后调度给相应的 Worker 线程进行真正的业务计算。 像 Golang 这样的语言,有更加轻量级的协程(Coroutine),协程是一种比线程更加轻量级的存在,但目前在 Java 中还不太成熟,就不做过多介绍了,但本质上,它也是对于多核的应用,使得任务并行执行。 变同步为异步 再一种对于计算的优化,就是变同步为异步,这通常涉及编程模型的改变。同步方式,请求会一直阻塞,直到有成功,或者失败结果的返回。虽然它的编程模型简单,但应对突发的、时间段倾斜的流量,问题就特别大,请求很容易失败。 异步操作可以方便地支持横向扩容,也可以缓解瞬时压力,使请求变得平滑。同步请求,就像拳头打在钢板上;异步请求,就像拳头打在海绵上。你可以想象一下这个过程,后者肯定是富有弹性的,体验更加友好。 惰性加载 最后一种,就是使用一些常见的设计模式来优化业务,提高体验,比如单例模式、代理模式等。举个例子,在绘制 Swing 窗口的时候,如果要显示比较多的图片,就可以先加载一个占位符,然后通过后台线程慢慢加载所需要的资源,这就可以避免窗口的僵死。 3、结果集优化 接下来介绍一下对结果集的优化。举个比较直观的例子,我们都知道 XML 的表现形式是非常好的,那为什么还有 JSON 呢?除了书写要简单一些,一个重要的原因就是它的体积变小了,传输效率和解析效率变高了,像 Google 的 Protobuf,体积就更小了一些。虽然可读性降低,但在一些高并发场景下(如 RPC),能够显著提高效率,这是典型的对结果集的优化。 这是由于我们目前的 Web 服务,都是 C/S 模式。 数据从服务器传输到客户端,需要分发多份,这个数据量是急剧膨胀的,每减少一小部分存储,都会有比较大的传输性能和成本提升。 像 Nginx,一般都会开启 GZIP 压缩,使得传输的内容保持紧凑。 客户端只需要一小部分计算能力,就可以方便解压。 由于这个操作是分散的,所以性能损失是固定的。 了解了这个道理,我们就能看到对于结果集优化的一般思路,你要尽量保持返回数据的精简。 一些客户端不需要的字段,那就在代码中,或者直接在 SQL 查询中,就把它去掉。 对于一些对时效性要求不高,但对处理能力有高要求的业务。 我们要吸取缓冲区的经验,尽量减少网络连接的交互,采用批量处理的方式,增加处理速度。 结果集合很可能会有二次使用,你可能会把它加入缓存中,但依然在速度上有所欠缺。 这个时候,就需要对数据集合进行处理优化,采用索引或者 Bitmap 位图等方式,加快数据访问速度。 4、资源冲突优化 我们在平常的开发中,会涉及很多共享资源。这些共享资源,有的是单机的,比如一个 HashMap;有的是外部存储,比如一个数据库行;有的是单个资源,比如 Redis 某个 key 的Setnx;有的是多个资源的协调,比如事务、分布式事务等。 现实中的性能问题,和锁相关的问题是非常多的。大多数我们会想到数据库的行锁、表锁、Java 中的各种锁等。在更底层,比如 CPU 命令级别的锁、JVM 指令级别的锁、操作系统内部锁等,可以说无处不在。 只有并发,才能产生资源冲突。也就是在同一时刻,只能有一个处理请求能够获取到共享资源。解决资源冲突的方式,就是加锁。再比如事务,在本质上也是一种锁。 按照锁级别,锁可分为乐观锁和悲观锁,乐观锁在效率上肯定是更高一些;按照锁类型,锁又分为公平锁和非公平锁,在对任务的调度上,有一些细微的差别。 对资源的争用,会造成严重的性能问题,所以会有一些针对无锁队列之类的研究,对性能的提升也是巨大的。 5、算法优化 算法能够显著提高复杂业务的性能,但在实际的业务中,往往都是变种。由于存储越来越便宜,在一些 CPU 非常紧张的业务中,往往采用空间换取时间的方式,来加快处理速度。 算法属于代码调优,代码调优涉及很多编码技巧,需要使用者对所使用语言的 API 也非常熟悉。有时候,对算法、数据结构的灵活使用,也是代码优化的一个重要内容。比如,常用的降低时间复杂度的方式,就有递归、二分、排序、动态规划等。 一个优秀的实现,比一个拙劣的实现,对系统的影响是非常大的。比如,作为 List 的实现,LinkedList 和 ArrayList 在随机访问的性能上,差了好几个数量级;又比如,CopyOnWriteList 采用写时复制的方式,可以显著降低读多写少场景下的锁冲突。而什么时候使用同步,什么时候是线程安全的,也对我们的编码能力有较高的要求。 这部分的知识,就需要我们在平常的工作中注意积累,后面的课时中,也会挑比较重要的知识点穿插讲解。 6、高效实现 在平时的编程中,尽量使用一些设计理念良好、性能优越的组件。比如,有了 Netty,就不用再选择比较老的 Mina 组件。而在设计系统时,从性能因素考虑,就不要选 SOAP 这样比较耗时的协议。再比如,一个好的语法分析器(比如使用 JavaCC),其效率会比正则表达式高很多。 总之,如果通过测试分析,找到了系统的瓶颈点,就要把关键的组件,使用更加高效的组件进行替换。在这种情况下,适配器模式是非常重要的。这也是为什么很多公司喜欢在现有的组件之上,再抽象一层自己的;而当在底层组件进行切换的时候,上层的应用并无感知。 7、JVM 优化 因为 Java 是运行在 JVM 虚拟机之上,它的诸多特性,就要受到 JVM 的制约。对 JVM 虚拟机进行优化,也能在一定程度上能够提升 JAVA 程序的性能。如果参数配置不当,甚至会造成 OOM 等比较严重的后果。 目前被广泛使用的垃圾回收器是 G1,通过很少的参数配置,内存即可高效回收。CMS 垃圾回收器已经在 Java 14 中被移除,由于它的 GC 时间不可控,有条件应该尽量避免使用。 JVM 性能调优涉及方方面面的取舍,往往是牵一发而动全身,需要全盘考虑各方面的影响。所以了解 JVM 内部的一些运行原理,还是特别重要的,它有益于我们加深对代码更深层次的理解,帮助我们书写出更高效的代码。 以上就是代码优化的 7 个大方向,我们通过简要的介绍,让大家对性能优化的内容有了大体的了解。这7大方向是代码优化的最主要方向,当然,性能优化还包含数据库优化、操作系统优化、架构优化等其他一些内容,这些不是我们的重点,在后面的文章中,我们也只做简要的介绍。 极客时间高级Java - JVM 源码分析之 JVM 启动流程 JVM 源码分析之 JVM 启动流程 执行 Java 类的 main 方法,程序就能运行起来,main 方法的背后,虚拟机究竟发生了什么?如果你对这个感兴趣,相信本文会给你一个答案,本文分析的 openjdk 版本为 openjdk-7-fcs-src-b147-27 class BootStrap { public static void main(String[] args) { for (String str : args) { System.out.println(str); } }} java BootStrap -Xms6G -Xmx8G -Xmn3G -Xss512k -XX:+UseConcMarkSweepGC -XX:+UseParNewGC 虚拟机的启动入口位于share/tools/launcher/java.c的 main 方法,整个流程分为如下几个步骤: 1、配置 JVM 装载环境 2、解析虚拟机参数 3、设置线程栈大小 4、执行 Java main 方法 1、配置 JVM 装载环境 Java 代码执行时需要一个 JVM 环境,JVM 环境的创建包括两部分:JVM.dll 文件的查找和装载。 JVM.dll 文件的查找 通过CreateExecutionEnvironment方法实现,根据当前 JRE 环境的路径和系统版本寻找jvm.cfg文件,windows 实现如下: 大概实现逻辑: 1、GetJREPath查找当前 JRE 环境的所在路径; 2、ReadKnownVms读取JRE路径\lib\ARCH(CPU构架)\JVM.cfg文件,其中ARCH(CPU构架)通过GetArch方法获取,在 window 下有三种情况:amd64、ia64 和 i386; 3、CheckJvmType确定当前 JVM 类型,先判断是否通过-J、-XXaltjvm=或-J-XXaltjvm=参数指定,如果没有,则读取 JVM.cfg 文件中配置的第一个类型; 4、GetJVMPath根据上一步确定的 JVM 类型,找到对应的 JVM.dll 文件; JVM.dll 文件的装载 初始化虚拟机中的函数调用,即通过 JVM 中的方法调用 JVM.dll 文件中定义的函数,实现如下: 1、LoadLibrary方法装载 JVM.dll 动态连接库; 2、把 JVM.dll 文件中定义的函数JNI_CreateJavaVM和JNI_GetDefaultJavaVMInitArgs绑定到 InvocationFunctions 变量的CreateJavaVM和GetDefaultJavaVMInitArgs函数指针变量上; 2、虚拟机参数解析 装载完 JVM 环境之后,需要对启动参数进行解析,其实在装载 JVM 环境的过程中已经解析了部分参数,该过程通过ParseArguments方法实现,并调用AddOption方法将解析完成的参数保存到JavaVMOption中,JavaVMOption结构实现如下: AddOption 方法实现如下: 这里对-Xss参数进行特殊处理,并设置 threadStackSize,因为参数格式比较特殊,其它是 key/value 键值对,它是-Xss512的格式。后续Arguments类会对JavaVMOption数据进行再次处理,并验证参数的合理性。 参数处理 Arguments::parse_each_vm_init_arg 方法负责处理经过解析过的 JavaVMOption 数据,部分实现如下: 1、-Xmn:设置新生代的大小 NewSize 和 MaxNewSize; 2、-Xms:设置堆的初始值 InitialHeapSize,也是堆的最小值; 3、-Xmx:设置堆的最大值 MaxHeapSize; 参数验证 Arguments::check_gc_consistency 方法负责验证虚拟机启动参数中配置 GC 的合理性,实现如下: 1、如果参数为-XX:+UseSerialGC -XX:+UseParallelGC,由于 UseSerialGC 和 UseParallelGC 不能兼容,JVM 启动时会抛出错误信息; 2、如果参数为-XX:+UseConcMarkSweepGC -XX:+UseParNewGC,其中 UseConcMarkSweepGC 和 UseParNewGC 可以兼容,JVM 可以正常启动; 3、设置线程栈大小 如果启动参数未设置-Xss,即 threadStackSize 为 0,则调用 InvocationFunctions 的GetDefaultJavaVMInitArgs方法获取 JavaVM 的初始化参数,即调用 JVM.dll 函数JNI_GetDefaultJavaVMInitArgs,定义在share\vm\prims\jni.cpp,实现如下: ThreadStackSize定义在globals.hpp中,根据当前系统类型,加载对应的配置文件,所以在不同的系统中,ThreadStackSize的默认值也不同。 4、执行 Java main 方法 线程栈大小确定后,通过ContinueInNewThread方法创建新线程,并执行 JavaMain 函数,JavaMain 函数的大概流程如下: 1、新建 JVM 实例 InitializeJVM方法调用 InvocationFunctions 的CreateJavaVM方法,即调用 JVM.dll 函数 JNI_CreateJavaVM,新建一个 JVM 实例,该过程比较复杂,会在后续文章进行分析; 2、加载主类的 class Java 运行方式有两种:jar 方式和 class 方式。 jar 方式 1、调用GetMainClassName方法找到META-INF/MANIFEST.MF文件指定的 Main-Class 的主类名; 2、调用LoadClass方法加载主类的 class 文件; class 方式 1、调用NewPlatformString方法创建类名的 String 对象; 2、调用LoadClass方法加载主类的 class 文件; 3、查找 main 方法 通过GetStaticMethodID方法查找指定方法名的静态方法,实现如下: 最终调用JVM.dll函数jni_GetStaticMethodID实现 其中get_method_id方法根据类文件对应的 instanceKlass 对象查找指定方法。 4、执行 main 方法 1、重新创建参数数组; 2、其中 mainID 是 main 方法的入口地址,CallStaticVoidMethod方法最终调用JVM.dll中的jni_CallStaticVoidMethodV函数

有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

827 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传