说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Java程序优化的一些最佳实践

HTML文档下载 WORD文档下载 PDF文档下载
本文介绍了Java代码优化的过程,总结了优化Java程序的一些最佳实践,分析了进行优化的方法并解释了性能提升的原因。多角度分析导致性能低的原因并逐个进行优化使得程序性能得到极大提升,代码可读性、可扩展性更强。

作者通过经历的一个项目实例,介绍Java代码优化的过程,总结了优化Java程序的一些最佳实践,分析了进行优化的方法,并解释了性能提升的原因。作者从多个角度分析导致性能低的原因,并逐个进行优化,最终使得程序的性能得到极大提升,增强了代码的可读性、可扩展性。

一、衡量程序的标准
衡量一个程序是否优质,可以从多个角度进行分析。其中,最常见的衡量标准是程序的时间复杂度、空间复杂度,以及代码的可读性、可扩展性。针对程序的时间复杂度和空间复杂度,想要优化程序代码,需要对数据结构与算法有深入的理解,并且熟悉计算机系统的基本概念和原理;而针对代码的可读性和可扩展性,想要优化程序代码,需要深入理解软件架构设计,熟知并会应用合适的设计模式。

  • 首先,如今计算机系统的存储空间已经足够大了,达到了 TB 级别,因此相比于空间复杂度,时间复杂度是程序员首要考虑的因素。为了追求高性能,在某些频繁操作执行时,甚至可以考虑用空间换取时间。
  • 其次,由于受到处理器制造工艺的物理限制、成本限制,CPU主频的增长遇到了瓶颈,摩尔定律已渐渐失效,每隔18个月CPU主频即翻倍的时代已经过去了,程序员的编程方式发生了彻底的改变。在目前这个多核多处理器的时代,涌现了原生支持多线程的语言(如Java)以及分布式并行计算框架(如Hadoop)。为了使程序充分地利用多核CPU,简单地实现一个单线程的程序是远远不够的,程序员需要能够编写出并发或者并行的多线程程序。
  • 最后,大型软件系统的代码行数达到了百万级,如果没有一个设计良好的软件架构,想在已有代码的基础上进行开发,开发代价和维护成本是无法想象的。一个设计良好的软件应该具有可读性和可扩展性,遵循“开闭原则”、“依赖倒置原则”、“面向接口编程”等。
二、项目介绍

本文将介绍笔者经历的一个项目中的一部分,通过这个实例剖析代码优化的过程。下面简要地介绍该系统的相关部分。

该系统的开发语言为Java,部署在共拥有4核CPU的Linux服务器上,相关部分主要有以下操作:通过某外部系统D提供的RESTAPI获取信息,从中提取出有效的信息,并通过JDBC 存储到某数据库系统S中,供系统其他部分使用,上述操作的执行频率为每天一次,一般在午夜当系统空闲时定时执行。为了实现高可用性(HighAvailability),外部系统D部署在两台服务器上,因此需要分别从这两台服务器上获取信息并将信息插入数据库中,有效信息的条数达到了上千条,数据库插入操作次数则为有效信息条数的两倍。

图 1.系统体系结构图


为了快速地实现预期效果,在最初的实现中优先考虑了功能的实现,而未考虑系统性能和代码可读性等。系统大致有以下的实现: 
  1. REST API获取信息、数据库操作可能抛出的异常信息都被记录到日志文件中,作为调试用;
  2. 共有5次数据库连接操作,包括第一次清空数据库表,针对两个外部系统D各有两次数据库插入操作,这5个连接都是独立的,用完之后即释放;
  3. 所有的数据库插入语句都是使用java.sql.Statement类生成的;
  4. 所有的数据库插入语句,都是单条执行的,即生成一条执行一条;
  5. 整个过程都是在单个线程中执行的,包括数据库表清空操作,数据库插入操作,释放数据库连接;
  6. 数据库插入操作的JDBC代码散布在代码中。虽然这个版本的系统可以正常运行,达到了预期的效果,但是效率很低,从通过 REST API获取信息,到解析并提取有效信息,再到数据库插入操作,总共耗时100秒左右。而预期的时间应该在一分钟以内,这显然是不符合要求的。
三、代码优化过程

笔者开始分析整个过程有哪些耗时操作,以及如何提升效率,缩短程序执行的时间。通过REST API获取信息,因为是使用外部系统提供的API,所以无法在此处提升效率;取得信息之后解析出有效部分,因为是对特定格式的信息进行解析,所以也无效率提升的空间。所以,效率可以大幅度提升的空间在数据库操作部分以及程序控制部分。下面,分条叙述对耗时操作的改进方法。

1.  针对日志记录的优化

关闭日志记录,或者更改日志输出级别。因为从两台服务器的外部系统D上获取到的信息是相同的,所以数据库插入操作会抛出异常,异常信息类似于“Attemptto insert duplicate record”,这样的异常信息跟有效信息的条数相等,有上千条。这种情况是能预料到的,所以可以考虑关闭日志记录,或者不关闭日志记录而是更改日志输出级别,只记录严重级别(severe level)的错误信息,并将此类操作的日志级别调整为警告级别(warning level),这样就不会记录以上异常信息了。本项目使用的是Java 自带的日志记录类,以下配置文件将日志输出级别设置为严重级别。

清单 1. log.properties 设置日志输出级别的片段 

default file output is in user ’ s home directory. levels can be: SEVERE, WARNING, INFO, FINE, FINER, FINEST  java.util.logging.ConsoleHandler.level=SEVERE  java.util.logging.FileHandler.formatter=java.util.logging.SimpleFormatter  java.util.logging.FileHandler.append=true 

通过上述的优化之后,性能有了大幅度的提升,从原来的 100 秒左右降到了 50 秒左右。为什么仅仅不记录日志就能有如此大幅度的性能提升呢?查阅资料,发现已经有人做了相关的研究与实验。经常听到 Java 程序比 C/C++ 程序慢的言论,但是运行速度慢的真正原因是什么,估计很多人并不清楚。对于 CPU 密集型的程序(即程序中包含大量计算),Java 程序可以达到 C/C++ 程序同等级别的速度,但是对于 I/O 密集型的程序(即程序中包含大量 I/O 操作),Java 程序的速度就远远慢于 C/C++ 程序了,很大程度上是因为 C/C++ 程序能直接访问底层的存储设备。因此,不记录日志而得到大幅度性能提升的原因是,Java 程序的 I/O 操作较慢,是一个很耗时的操作。

2.  针对数据库连接的优化

共享数据库连接。共有 5 次数据库连接操作,每次都需重新建立数据库连接,数据库插入操作完成之后又立即释放了,数据库连接没有被复用。为了做到共享数据库连接,可以通过单例模式 (Singleton Pattern)获得一个相同的数据库连接,每次数据库连接操作都共享这个数据库连接。这里没有使用数据库连接池(Database Connection Pool)是因为在程序只有少量的数据库连接操作,只有在大量并发数据库连接的时候才需要连接池。

清单 2. 共享数据库连接的代码片段 

public class JdbcUtil {  private static Connection con;  // 从配置文件读取连接数据库的信息  private static String driverClassName;  private static String url;  private static String username;  private static String password;  private static String currentSchema;  private static Properties properties = new Properties();  static {  // driverClassName, url, username, password, currentSchema 等从配置文件读取,代码略去  try {  Class.forName(driverClassName);  } catch (ClassNotFoundException e) {  e.printStackTrace();  }  properties.setProperty("user", username);  properties.setProperty("password", password);  properties.setProperty("currentSchema", currentSchema);  try {  con = DriverManager.getConnection(url, properties);  } catch (SQLException e) {  e.printStackTrace();  }  }  private JdbcUtil() {}  // 获得一个单例的、共享的数据库连接  public static Connection getConnection() {  return con;  }  public static void close() throws SQLException {  if (con != null)  con.close();  }  } 

通过上述的优化之后,性能有了小幅度的提升,从 50 秒左右降到了 40 秒左右。共享数据库连接而得到的性能提升的原因是,数据库连接是一个耗时耗资源的操作,需要同远程计算机进行网络通信,建立 TCP 连接,还需要维护连接状态表,建立数据缓冲区。如果共享数据库连接,则只需要进行一次数据库连接操作,省去了多次重新建立数据库连接的时间。

3.  针对插入数据库记录的优化 - 1

使用预编译 SQL。具体做法是使用 java.sql.PreparedStatement 代替 java.sql.Statement 生成 SQL 语句。PreparedStatement 使得数据库预先编译好 SQL 语句,可以传入参数。而 Statement 生成的 SQL 语句在每次提交时,数据库都需进行编译。在执行大量类似的 SQL 语句时,可以使用 PreparedStatement 提高执行效率。使用 PreparedStatement 的另一个好处是不需要拼接 SQL 语句,代码的可读性更强。通过上述的优化之后,性能有了小幅度的提升,从 40 秒左右降到了 30~35 秒左右。

清单 3. 使用 Statement 的代码片段 

// 需要拼接 SQL 语句,执行效率不高,代码可读性不强 StringBuilder sql = new StringBuilder(); sql.append("insert into table1(column1,column2) values('"); sql.append(column1Value); sql.append("','"); sql.append(column2Value); sql.append("');"); Statement st; try {  st = con.createStatement();  st.executeUpdate(sql.toString()); } catch (SQLException e) {  e.printStackTrace(); } 

清单 4. 使用 PreparedStatement 的代码片段 

// 预编译 SQL 语句,执行效率高,可读性强 String sql = “insert into table1(column1,column2) values(?,?)”; PreparedStatement pst = con.prepareStatement(sql); pst.setString(1,column1Value); pst.setString(2,column2Value); pst.execute(); 

4.  针对插入数据库记录的优化 - 2

使用 SQL 批处理。通过 java.sql.PreparedStatement 的 addBatch 方法将 SQL 语句加入到批处理,这样在调用 execute 方法时,就会一次性地执行 SQL 批处理,而不是逐条执行。通过上述的优化之后,性能有了小幅度的提升,从 30~35 秒左右降到了 30 秒左右。

5.  针对多线程的优化

使用多线程实现并发 / 并行。清空数据库表的操作、把从 2 个外部系统 D 取得的数据插入数据库记录的操作,是相互独立的任务,可以给每个任务分配一个线程执行。清空数据库表的操作应该先于数据库插入操作完成,可以通过 java.lang.Thread 类的 join 方法控制线程执行的先后次序。在单核 CPU 时代,操作系统中某一时刻只有一个线程在运行,通过进程 / 线程调度,给每个线程分配一小段执行的时间片,可以实现多个进程 / 线程的并发(concurrent)执行。而在目前的多核多处理器背景下,操作系统中同一时刻可以有多个线程并行(parallel)执行,大大地提高了 计算速度。

清单 5. 使用多线程的代码片段 

Thread t0 = new Thread(new ClearTableTask()); Thread t1 = new Thread(new StoreServersTask(ADDRESS1)); Thread t2 = new Thread(new StoreServersTask(ADDRESS2)); try {  t0.start();  // 执行完清空操作后,再进行后续操作  t0.join();  t1.start();  t2.start();  t1.join();  t2.join(); } catch (InterruptedException e) {  e.printStackTrace(); } // 断开数据库连接 try {  JdbcUtil.close(); } catch (SQLException e) {  e.printStackTrace(); } 

通过上述的优化之后,性能有了大幅度的提升,从 30 秒左右降到了 15 秒以下,10~15 秒之间。使用多线程而得到的性能提升的原因是,系统部署所在的服务器是多核多处理器的,使用多线程,给每个任务分配一个线程执行,可以充分地利用 CPU 计算资源。

笔者试着给每个任务分配两个线程执行,希望能使程序运行得更快,但是事与愿违,此时程序运行的时间反而比每个任务分配一个线程执行的慢,大约 20 秒。笔者推测,这是因为线程较多(相对于 CPU 的内核数),使得 CPU 忙于线程的上下文切换,过多的线程上下文切换使得程序的性能反而不如之前。因此,要根据实际的硬件环境,给任务分配适量的线程执行。

6.  针对设计模式的优化

使用 DAO 模式抽象出数据访问层。原来的代码中混杂着 JDBC 操作数据库的代码,代码结构显得十分凌乱。使用 DAO 模式(Data Access Object Pattern)可以抽象出数据访问层,这样使得程序可以独立于不同的数据库,即便访问数据库的代码发生了改变,上层调用数据访问的代码无需改变。并且程 序员可以摆脱单调繁琐的数据库代码的编写,专注于业务逻辑层面的代码的开发。通过上述的优化之后,性能并未有提升,但是代码的可读性、可扩展性大大地提高 了。

清单 6. 使用 DAO 模式的代码片段 

 // DeviceDAO.java,定义了 DAO 抽象,上层的业务逻辑代码引用该接口,面向接口编程 public interface DeviceDAO {     public void add(Device device);  }  // DeviceDAOImpl.java,DAO 实现,具体的 SQL 语句和数据库操作由该类实现 public class DeviceDAOImpl implements DeviceDAO {     private Connection con;     public DeviceDAOImpl() {         // 获得数据库连接,代码略去    }  @Override  public void add(Device device) {         // 使用 PreparedStatement 进行数据库插入记录操作,代码略去    }  } 

回顾以上代码优化过程:关闭日志记录、共享数据库连接、使用预编译 SQL、使用 SQL 批处理、使用多线程实现并发 / 并行、使用 DAO 模式抽象出数据访问层,程序运行时间从最初的 100 秒左右降低到 15 秒以下,在性能上得到了很大的提升,同时也具有了更好的可读性和可扩展性。 

四、结束语

通过该项目实例,笔者深深地感到,想要写出一个性能优化、可读性可扩展性强的程序,需要对计算机系统的基本概念、原理,编程语言的特性,软件系统 架构设计都有较深入的理解。“纸上得来终觉浅,绝知此事要躬行”,想要将这些基本理论、编程技巧融会贯通,还需要不断地实践,并总结心得体会。 

英文出自:IBM DeveloperWorks

GitLab获400万美元A轮融资,GitLab 8.0将很快到来 【CTO讲堂】如何构建高可用和可伸缩的架构? 未来程序员会被机器取代吗? React Native实战(一):配置和起步 集聚MDCC 2015 免费展位第二波正式放出 【深入浅出Koa】入门知识,带你以现代化开发方式构建Web应用 升级到Node V4的七个理由 支持大量ES6特性 像写SQL一样编写Java数据应用 Swift 2.0实战:如何实现从非零下标遍历数组? 手把手教学:在iOS 8中使用Cocoapods 交互技术前沿与应用实战:MDCC虚拟现实专场议程揭晓 解密“攻城狮使用手册” 技术专家齐聚!MDCC 2015精彩日程全曝光 基于ActiveMQ的消息中间件系统 OneMM逻辑与物理架构设计详解 John Carmack大神亲操刀,为Oculus开发Netflix应用 React Native实战(二):Android的打包 独立游戏的成功秘诀:好设计才是王道 Swift 2.1的新变化 Apple TV实战:用TVML开发第一款tvOS应用 【SDCC讲师专访】阿里王晶昱:云时代的分布式数据库DRDS 硬件研发、嵌入式技术演进:MDCC IoT峰会日程揭晓 专访百度知道iOS团队负责人孙源:代码强迫症的死实践派 TIOBE 2015年10月编程语言排行榜:Ruby取代Objective-C进前十 【SDCC讲师专访】PingCAP联合创始人兼CEO刘奇:好的产品应开源,不闭门造车 【深入浅出Koa】常用工具分享 帮你降低编程难度 Relay: 全新的React数据获取框架 探索游戏开发面临的技术挑战——MDCC 2015游戏开发专场议程曝光 【SDCC讲师专访】易开发创始人潘俊勇:这些年我遇到的那些坑 【CTO讲堂】OpenStack行业实践和发展趋势探讨 万物互联,移动为先:MDCC 2015移动开发者大会盛大开幕! 【MDCC 2015】微软开发体验与平台事业合作部大中华区DX部门总经理Srikanth Raju:物联之上云+端 解决问题,马上结贴 xp風格的問題 请问如何让一个表格的边框的宽度和表格内部的线的宽度不一样? 请问wsad和eclipse哪里有下呢? 如何理解下面的程序段 调查:你(单位)愿意花钱买服务端控件吗? 为什么有些网页是繁体字! 我终于知道什么是英雄了! 关于快捷键。 一个丑人的自白(爆笑) 转载 如何实现信息反馈? 怎样使DataGrid固定显示8行??? 一个简单的问题,关于CListCtrl.. C++文件流的怪问题,竟然不能再次打开??? 怎样在win2000 专业版上使用PHP Linux下如何知道有哪些端口未被使用?? 共享上Internet网的另一台机为何一定要配上DNS服务器地址? 来共同研究开发 文件的变量名拼写错误的检查。。。 人生交叉点, 大家进来帮帮忙 在线等待急急!在超链中有的什怎么传不过去? pb还有出路吗? 如何知道有哪些端口未被使用 请教想在页面里调用js文件达到图片轮显效果 如何在动态库中获取调用该动态库的程序的文件名称? 如何获取灰度图中各象素点的灰度值?(在线等待) 请高手帮我解决这个离散余弦变换(DCT)的问题。高分相送。 求助:sql语名查询? 怎么样在输入数据后立即更新表格? 怎么在tablename是一个参数的表中取字段值? 触发器问题?触发器无法通过确认! 请问如何将字符1转化为数字1呢? 怎样在状态栏中显示页面载入进度? WebEasyMail 很好用,不过是asp的,不知道有没有php的收发邮件的程序代码? WebEasyMail 很好用,不过是asp的,不知道有没有php的收发邮件的程序代码? 菜鸟的一问,请帮忙!! 请帮帮忙指一下路 上一个问题还没解决,所以只有找其它的办法。我要实现直接把邮件发到对方的SMTP服务器 类型转换? 现在有个NCNE国家信息化工程师认证,有没有用? 当数据库使用AddNew--Update插入数据时sql server出现进程死锁,请问为什么呢? Oracle8i技术问题 变量传递问题,急! 请教几个简单的函数(菜鸟级) 哪里能找到《实用软件工程》? 哪里有VisualJ++下载?谢谢! 在linux下,要在一台机上同时录音和放音,应该怎么做? 连接问题 非常急:文件无法创建,综合的系统问题 mdi窗口的问题 请问:用什么软件能建立虚拟服务器来测试网页呀? 大象为何不长毛? 第二套天空套颜色怎么选 老公特别听他妈妈的话.我和老公生气往往都是因为一点点的小事,有时想想真的不值得,他特别听他妈妈的话,只要我和他妈妈的意见不统一,他就向着他妈妈说话,关键是他也是受过高等教育的 单独行动——(填带马的词语)人马众多——(填带马的词语) 扩充实力——(填带马的词语) 草花头下边一个内字读什么? 两只小狮子一课告诉了我们什么道理 有谁知道武士刀伞(侍伞)的“螳螂脚”是什么?在淘宝上看到的侍伞,宝贝介绍里有.螳螂脚是什么?百科里也没查到. 黄鹤楼送孟浩然之广陵描绘了一幅什么样的景象具体点,也不要太多字,就2,30个字的样子 画出函数y=x2+2|x|-3 画出函数y=|x2+2x-3|的图像 蟒蛇皮哪里有买 野生熊猫有没有天敌? 描写动物性格的作文350字以上, 蟒蛇皮可以买卖么 天空6套颜色怎么选 南征北战是什么意思? 大学高数双纽线的旋转问题双纽线绕极轴旋转,请问哪个是极轴啊要是用坐标表示的话,又是绕什么旋转啊 黄鹤楼送孟浩然之广陵描写了什么的情景 南征北战的征的意思还有长征的征,征文的征 求一个双纽线的图形,并且希望得知双纽线的图形应该怎么确定,因为题目中双纽线的方程总是变得,是应该背吗这个双扭线方程是(x^2+y^2)^2=2a^2(xy) 天空颜色选择? 惊喜英语怎么写 世上真的有唐伯虎这个人吗?来帮帮忙 黄鹤楼送孟浩然之广陵写的是什么季节 海底两万里读后感一千字急需! 某冰箱厂九月份计划生产一批冰箱,上半月完成计划的七分之四,下半月完成的和上半月同样多,结果超过计划150台,计划生产冰箱多少台? 草花头加个的字 是什么字?菂 字 怎么打..有什么输入法可以打出这个字.. 有两包糖,甲包中有30颗,如果从乙包中拿出1/5放入甲包,则乙包比甲包多三颗,乙包原有多少颗? 黄鹤楼送孟浩然之广陵写了一件什么事 草花头的字,一定要10个 有两包糖,甲包中有30颗,如果从乙包中拿出1/5放入甲包,乙包比甲包还多三颗,乙包原来有多少颗糖? 大熊猫有天敌么?如果有那是什么? 熊猫有天敌吗?在动物世界里,很少看到熊猫与其他动物在一起?为何 这个这个不会写,关于定积分 为什么小石潭记的水声“如鸣佩环” 大熊猫对付天敌 Chinese doctors believe that they should [eat more yin foods like tofu.]对括起来的提问求了 急 螳螂的脚有什么特点及作用 《黄鹤楼送孟浩然之广陵》是谁写的? the newly built building is about ________A 30 metres high B 30-metre-high C 30-metre high 观察知了的作文 熊猫的天敌是什么? 一个长方体的体积是315立方米,高是2.5米,底面积是多少? 抓知了作文400字 黄鹤楼送孟浩然之广陵主要写什么 一个长方体,它的面积是315,它的长宽高分别相差2,长宽高各是多少? 知了的叫声,我要找些知了的作文. 上面一个草花头,下面一个在字怎么读 house ago years built was this five 连词成句! 写一篇知了的作文(多写外形、叫声)我是捡到了一只知了, 草花头加个及读什么? 写溪流的句子 小石潭记 大象长毛了吗? 草花头下加个弱读什么 《小石潭记》中,写溪流曲曲折折,一段看得见,一段又看不见的句子是? 最近看到一本书的封皮是《大象为什么不长毛》才发现自己不知道大象为什么不长毛.听说是 方舟子 写的.没看这本书但就想问问有没有知道的大象为什么不长毛? 草花头 加个 予 读什么 小石潭记中描写小石潭河溪流整体外形的句子是 为什么大象不长毛? 在一个圆柱形木桶里装满水水中淹没这一个一个直径18cm的圆锥高18cm的圆锥,当圆锥取出后,水面降低多少 《小石潭记》中,写溪身的句子是__________,写溪流的句子是___________. 以总理:伊朗有能力在数周内提炼武器级塞尔维亚为铁托遗孀举行国葬 2万多人美国采花大盗将获释搬到居民区 遭民众日本将启用自卫队军官任国家安全保障局昆西 琼斯向杰克逊信托人索赔6080潘基文强烈谴责刚果(金)反政府武装袭河南济源回应7公里6个“收费站”称非媒体称养老金并轨已无悬念 执行路线图阿根廷国会选举受瞩目 现总统或丧失部加拿大机场现可疑包裹 警方搜查机场附格陵兰拟向中澳开放铀矿与稀土 仍需丹美国官员:奥巴马早知国安局监听默克尔浙江高校获专业设置“自主权\" 不再网上查询服务试点扩容 信用上网隐私如冀中星行政起诉东莞政府案立案漫步小樽:静谧恬美的浪漫之旅(组图)澳大利亚珠海联谊总会在悉尼正式成立有氧运动有助延年益寿美媒:中国央行显露收紧货币政策意向中国将任下届贝尔格莱德书展主宾国世界最高狗离世 站立高过2米(组图)14市州递交责任状美媒看米歇尔访华:正能量和安全牌非常语录大雾之后,全省今起迎降雨大众点评进军结婚、酒店旅游市文联七届三次全委会召开追索MH370失联真相从24日才刚刚广铁清明小长假加开35对临客温格:没赢球因运气太差 惨败切尔西心《功甫帖》辨伪新证(上)普利兹克奖的江湖上又多一位怪侠华泰柏瑞张慧:创新与升级是未来中国经|微言|农行称面临不良贷款上升压力《功甫帖》辨伪新证(上)证监会原则同意上证所设国际金融资产交上接B10版2013年至今海南12名在逃贪污贿赂|微言|今年上海拟招万名随迁子女就读中职今年上海高考继续实行3+1
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘