Java on 执子之手

MySQL如何保存emoji字符

Thu, 22 Jul 2021 00:00:00 +0000

1. 问题

1.1 发现问题

最近生产环境日志中报了一个异常：

 12021-07-11 20:54:41.632 ERROR 26289 --- [XNIO-1 task-11] c.e.t.s.t.mp.WxMpMessageRouterService    :
 2### Error updating database.  Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\xA6\x84' for column 'NICK_NAME' at row 1
 3### The error may exist in com/eveus/tap/account/mapper/AccountMapper.java (best guess)
 4### The error may involve com.eveus.tap.account.mapper.AccountMapper.insert-Inline
 5### The error occurred while setting parameters
 6### SQL: INSERT INTO tap_account  ( open_id, avatar, nick_name, country, province, city, gender, secret,         status, IS_DISABLED,     is_subscribe, create_time, update_time )  VALUES
 7  ( ?, ?, ?, ?, ?, ?, ?, ?,         ?, ?,     ?, ?, ? )
 8### Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\xA6\x84' for column 'NICK_NAME' at row 1
 9; uncategorized SQLException; SQL state [HY000]; error code [1366]; Incorrect string value: '\xF0\x9F\xA6\x84' for column 'NICK_NAME' at row 1; nested exception is java.sql.SQLException:
10 Incorrect string value: '\xF0\x9F\xA6\x84' for column 'NICK_NAME' at row 1
11
12org.springframework.jdbc.UncategorizedSQLException:
13### Error updating database.  Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\xA6\x84' for column 'NICK_NAME' at row 1
14### The error may exist in com/eveus/tap/account/mapper/AccountMapper.java (best guess)
15### The error may involve com.eveus.tap.account.mapper.AccountMapper.insert-Inline
16### The error occurred while setting parameters
17### SQL: INSERT INTO tap_account  ( open_id, avatar, nick_name, country, province, city, gender, secret,         status, IS_DISABLED,     is_subscribe, create_time, update_time )  VALUES
18  ( ?, ?, ?, ?, ?, ?, ?, ?,         ?, ?,     ?, ?, ? )
19### Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\xA6\x84' for column 'NICK_NAME' at row 1
20; uncategorized SQLException; SQL state [HY000]; error code [1366]; Incorrect string value: '\xF0\x9F\xA6\x84' for column 'NICK_NAME' at row 1; nested exception is java.sql.SQLException:
21 Incorrect string value: '\xF0\x9F\xA6\x84' for column 'NICK_NAME' at row 1
22        at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:89)
23        at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:81)
24        at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:81)
25        at org.mybatis.spring.MyBatisExceptionTranslator.translateExceptionIfPossible(MyBatisExceptionTranslator.java:88)
26        at org.mybatis.spring.SqlSessionTemplate$SqlSessionInterceptor.invoke(SqlSessionTemplate.java:440)
27        at com.sun.proxy.$Proxy134.insert(Unknown Source)
28        at org.mybatis.spring.SqlSessionTemplate.insert(SqlSessionTemplate.java:271)
29        at com.baomidou.mybatisplus.core.override.MybatisMapperMethod.execute(MybatisMapperMethod.java:60)
30        at com.baomidou.mybatisplus.core.override.MybatisMapperProxy.invoke(MybatisMapperProxy.java:96)
31        at com.sun.proxy.$Proxy186.insert(Unknown Source)
32        at com.baomidou.mybatisplus.extension.service.IService.save(IService.java:59)
33        at com.eveus.tap.account.service.impl.AccountServiceImpl.addAccount(AccountServiceImpl.java:151)
34        at com.eveus.tap.account.service.impl.AccountServiceImpl.ensureLoad(AccountServiceImpl.java:226)
35        at com.eveus.tap.account.service.impl.AccountServiceImpl$$FastClassBySpringCGLIB$$34fe95c8.invoke(<generated>)
36        at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:218)
37        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:769)
38        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:163)
39        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
40        at org.springframework.aop.interceptor.ExposeInvocationInterceptor.invoke(ExposeInvocationInterceptor.java:95)
41        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
42        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
43        at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:689)
44        at com.eveus.tap.account.service.impl.AccountServiceImpl$$EnhancerBySpringCGLIB$$cbb1e26b.ensureLoad(<generated>)
45        at com.eveus.tap.server.taxer.mp.handler.SubscribeHandler.handle(SubscribeHandler.java:54)
46        at me.chanjar.weixin.mp.api.WxMpMessageRouterRule.service(WxMpMessageRouterRule.java:226)
47        at me.chanjar.weixin.mp.api.WxMpMessageRouter.route(WxMpMessageRouter.java:203)
48        at me.chanjar.weixin.mp.api.WxMpMessageRouter.route(WxMpMessageRouter.java:154)
49        at me.chanjar.weixin.mp.api.WxMpMessageRouter.route(WxMpMessageRouter.java:233)

看错误信息是因为 MySQL 字符编码不正确导致无法保存特殊字符导致的。把字符还原一下，发现 \xF0\x9F\xA6\x84 代表的字符内容是：🦄，是一个 Emoji 字符。

当使用对 utf8 编码的时候，和一般汉字占用3个字节不同，Emoji 字符的编码会比较特殊一点，占用4个字节。而由于历史的原因，MySQL 使用的 utf8 编码最长支持3个字节，如果要保存4个字节的 unicode，则需要使用 utf8mb4 编码。上述错误应该是因此而出。

MyBatis Plus中主键生成方式ASSIGN_ID的算法分析

Fri, 02 Jul 2021 00:00:00 +0000

MyBatis Plus 中提供了 ASSIGN_ID 这种方式生成主键，使用起来非常方便，只要在PO上定义一下就可以了，例如：

1public class Order extends Model<Order> {
2
3    @TableId(value = "id", type = IdType.ASSIGN_ID)
4    private Long id;
5
6    //...
7}

这样在保存的时候，MyBatis Plus会负责生成主键值，自动设置到字段id中。一直好奇这个主键是怎么生成的，抽时间查看了一下源码，特意记录一下。

使用MyBatis ResultHandler解决巨大结果集导出Excel引发的OOM

Fri, 04 Sep 2020 00:00:00 +0000

当一次要导出非常多数据的时候，例如100w条，如果使用MyBatis将全部结果都查询到list中，经常会导致内存溢出。这个时候，我们可以使用MyBatis的ResultHandler来使用游标方式访问数据，从而避免OOM。

ResultHandler是MyBatis提供的一个接口，通过该接口可以让MyBatis以流式的方式处理结果集，而不必等待整个结果集全部准备完毕，在准备好一条记录后就调用该接口中的handleResult方法：

1void handleResult(ResultContext<? extends T> resultContext);

要使用ResultHandler需要在Mapper层声明的时候做一定的处理。这里简单描述一下。

使用HttpServletRequestWrapper解决无法多次获取request Body的问题

Thu, 30 Apr 2020 00:00:00 +0000

在使用AOP编程的时候，经常碰到需要多次获取整个请求的body的情况。例如：典型场景下我们要在AOP切面中做日志记录或权限校验，此时需要调用request.getInputStream获取输入流，从而读取整个请求的消息体。但是这通常会触发一个异常：java.lang.IllegalStateException: getInputStream() can't be called after getReader()。

出现这个问题的原因是默认的HttpServletRequest对象中的getInputStream,getReader函数式只允许调用一次。在一次请求中，除了我们在切面中调用getInputStream之外，Spring MVC框架在进行参数转换的时候还需要调用getInputStream方法读取整个请求的消息体，然后转回为请求参数，这违背了只调用一次的原则，从而触发了以异常，

为了解决这个问题，我们可以引入HttpServletRequestWrapper这个对象。这个类封装了HttpServletRequest的行为，我们可以继承这个类，从而使用一个新类模拟原始HttpServletRequest的行为。然后使用过滤器（filter）将原始的HttpServletRequest对象替换为HttpServletRequestWrapper对象。

最近在项目中有需求为API请求增加参数签名校验，使用了AOP切面功能，因此碰到了上面的问题：参数校验切面中需要在读取整个请求报文，然后对报文进行hmac算法从而计算签名值。下面说一下具体的解决办法，以代码为主。

Apache HttpClient 使用（上）

Mon, 23 Apr 2018 00:00:00 +0000

HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中，比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。

目前最新的版本是4.5，支持HTTP 1.0/HTTP 1.1协议。正在开发中的5.0版本（还在Beta阶段）支持HTTP/2协议。

1. 特性

基于标准、纯净的java语言。实现了Http1.0和Http1.1
以可扩展的面向对象的结构实现了Http全部的方法（GET, POST, PUT, DELETE, HEAD, OPTIONS, and TRACE）。
支持HTTPS协议。
通过Http代理建立透明的连接。
利用CONNECT方法通过Http代理建立隧道的https连接。
Basic, Digest, NTLMv1, NTLMv2, NTLM2 Session, SNPNEGO/Kerberos认证方案。
插件式的自定义认证方案。
便携可靠的套接字工厂使它更容易的使用第三方解决方案。
连接管理器支持多线程应用。支持设置最大连接数，同时支持设置每个主机的最大连接数，发现并关闭过期的连接。
自动处理Set-Cookie中的Cookie。
插件式的自定义Cookie策略。
Request的输出流可以避免流中内容直接缓冲到socket服务器。
Response的输入流可以有效的从socket服务器直接读取相应内容。
在http1.0和http1.1中利用KeepAlive保持持久连接。
直接获取服务器发送的response code和 headers。
设置连接超时的能力。
实验性的支持http1.1 response caching。
源代码基于Apache License 可免费获取。

Apache HttpClient 使用（下）

Mon, 23 Apr 2018 00:00:00 +0000

4. 链接池

通常我们可以使用PoolingHttpClientConnectionManager来创建一个链接池。

4.1 对于链接池的管理

 1PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();  
 2// 设置最大连接数  
 3cm.setMaxTotal(200);  
 4// 设置每个主机地址的并发数  
 5cm.setDefaultMaxPerRoute(20);  
 6// 通过PoolingHttpClientConnectionManager，来获取CloseableHttpClient  
 7CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
 8
 9// 创建http GET请求  
10HttpGet httpGet = new HttpGet("http://www.baidu.com/");    
11// 执行请求  
12response = httpClient.execute(httpGet);

Spring应用因Session Timeout设置引起的GC问题

Tue, 29 Aug 2017 00:00:00 +0000

最近在客户的要求下，对系统进行了压测。自己压测的时候一切指标都挺正常。但是客户却反馈说压测的时候有时候会碰到性能衰减很厉害，不稳定。于是有了下面这次的排查过程。客户反馈说问题是发生在多次连续压测之后碰到的，所以进行了一系列的测试。

先说一下测试环境的一些信息：测试主机是阿里云的ECS，配置是2C + 16G。为了方便，数据库采用的是Docker搭建的，版本是5.6.X。另外，这台机器上还安装了Zookeeper 3.4.X 和Kafka 1.0。系统本身是一个标准的Spring + CXF的应用，提供给客户使用的服务是标准的Restful接口。

1. 重现问题

因为客户反馈是多次压测之后碰到的，因此首先尝试连续压测多次看看能不能重现问题。为了可能存在的数据库性能问题，临时申请了RDS作为数据库；另外为了尽快发现问题，将程序占用内存缩小到1G。这次测试测出了客户所说的问题，通过jconsole监控也发现了问题原因，应该是因为GC导致的。

看图表可以发现，压测5~6分钟之后，Java的GC占用了大量的CPU时间（左上图中的蓝色线），而且内存占用一直居高不下（右上图）。

Kafka介绍与使用

Sun, 25 Jun 2017 00:00:00 +0000

Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 Apache Kafka与传统消息系统相比，有以下不同：

它被设计为一个分布式系统，易于向外扩展；
它同时为发布和订阅提供高吞吐量；
它支持多订阅者，当失败时能自动平衡消费者；
它将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。

DelegatingFilterProxy源码分析

Fri, 02 Jun 2017 00:00:00 +0000

1. 背景

1<filter>
2	<filter-name>springSecurityFilterChain</filter-name>
3	<filter-class>org.springframework.web.filter.DelegatingFilterProxy</filter-class>
4</filter>
5
6<filter-mapping>
7	<filter-name>springSecurityFilterChain</filter-name>
8	<url-pattern>/documentation/*</url-pattern>
9</filter-mapping>

用过Spring Security的人都会熟悉以上代码，一般教程上都会说明，使用Spring Security就需要在web.xml中指定以上代码。从这个配置中，可能会给我们造成一个错觉，以为DelegatingFilterProxy类就是springSecurity的入口，但其实这个类位于spring-web这个jar下面，说明这个类本身是和springSecurity无关。

在Tomcat中使用ThreadLocal以及Session

Thu, 04 May 2017 00:00:00 +0000

最近运营同事在管理平台（生产环境）上碰到一个问题：登录之后会莫名其妙地变成未登录状态，被踢回登录页面。

管理平台使用的Spring MVC框架实现的后台接口，React实现的前台页面。之前引入React的时候已经做过前后端分离。但是当时考虑到技术栈的原因，没有对登录体系进行彻底改造，没有引入AccessToken来维护登录状态，依然保留了Java的Session机制。考虑到管理平台属于内部使用，访问量不大，因此直接在Nginx层使用iphash进行了Session粘滞，确保同一个用户的请求总是被同一个的后台Tomcat处理，这样就可以使用传统的session机制保持用户登录状态。

Java SSL握手记录分析

Fri, 28 Apr 2017 00:00:00 +0000

公司项目当中经常使用CXF库连接WebService服务，而且我们自己提供的服务也是基于CXF的SOAP服务，经常需要指导客户怎么连接我们的服务。CXF库整个体系架构比较庞大，相关的类、知识点都比较多。尤其是连接SSL双向认证服务的时候，经常碰到问题。

使用双向SSL认证的时候，在Spring中配置起来非常简单，但是一旦出错就比较难找问题。经过多次尝试，最后发现还是分析SSL握手记录比较靠谱，比较容易找出真正的问题所在。特此记录一下自己的一些心得，以作备忘并希望能够帮到其他人。