Spring Cloud

Spring官方在spring boot的基础上,提供了一个名为Spring Cloud的开源项目,它是对Netflix开源组件进一步封装的一套云应用开发工具,一个非常优秀的服务治理框架。另一个非常优秀的服务治理框架 Dubbo。

Netflix公司和Pivotal公司

Netflix是一家视频网站,该网站上的美剧应该是最火的。Netflix的微服务大规模的应用,在技术上毫无保留的把一整套微服务架构核心技术栈开源了出来,叫做Netflix OSS。Pivotal在Netflix开源的一整套核心技术产品线的同时,做了一系列的封装,就变成了Spring Cloud。Spring Cloud到现在为止不只有Netflix提供的方案可以集成,但Netflix是最成熟的。
Pivotal公司:Spring以及衍生框架、做缓存Redis、消息队列框架RabbitMQ、还有更牛的Greenplum,这些都是Pivotal公司的。还有Tomcat、Groovy里的一些顶级开发者,DevOps理论的提出者都在这个公司。Pivotal的Gemfire技术来解决尖峰高流量并发问题,才让12306刷票体验明显提升。

Spring Cloud微服务架构

在Spring Cloud微服务系统中,一种常见的负载均衡方式是:客户端的请求首先经过负载均衡(zuul、Ngnix),再到达服务网关(zuul集群),然后再到具体的服务。服务统一注册到高可用的服务注册中心集群,服务的所有的配置文件由配置服务管理,配置服务的配置文件放在git仓库,方便开发人员随时改配置。

Spring Cloud微服务架构中的几个基础服务治理组件:

  • 服务注册中心:Eureka Server
  • 注册服务:Eureka Client
  • 发现服务:Discovery Client
  • 负载均衡:Load Balance、RestTemplate、Ribbon,Feign
  • 断路器:Hystrix,另外Feign自带断路器功能,断路打开后,可以避免连锁故障,fallback方法可以直接返回一个固定值。
    路由网关转发和过滤器:zuul,zuul还能过滤做一些安全验证,zuul默认和Ribbon结合实现了负载均衡的功能。Zuul是Netflix 提供的一个开源组件,致力于在云平台上提供动态路由,监控,弹性,安全等边缘服务的框架。
  • 分布式配置中心:spring cloud config,它支持配置服务放在配置服务的内存中(即本地),也支持放在远程Git仓库中。两个角色,config server config client。
  • 消息总线(Spring Cloud Bus):将分布式节点加入消息总线,利用轻量的消息代理(message broker 经纪人)使得应用程序可以高效地解耦通信过程。在众多的开源消息中间件产品中,当前版本的spring cloud bus仅支持两款中间件产品:rabbitmq和kafka两个binder,也可以自己写binder扩展。
  • Api gateway:
    微服务场景下,将细粒度的服务组合起来提供一个粗粒度的服务,所有请求都导入一个统一的入口,那么整个服务只需要暴露一个api,对外屏蔽了服务端的实现细节,也减少了客户端与服务器的网络调用次数。与业务关系并不大的通用处理逻辑可以从api gateway中剥离出来,api gateway仅仅负责服务的编排与结果的组装。这样对一些后端微服务进行了代理,避免了各个后端服务独立管理CORS和验证问题。
  • zuul静态路由配置规则:
    分布式系统中未使用注册服务时,service1的名称可更换,下面的配置中.path中的**会被添加到.url的后面。若不配置.url,可直接使用service1作为请求路径。

    zuul.routes.service1.url=http://localhost:8002/storage/
    zuul.routes.service1.path=/proxy/**
    
  • 动态路由
    动态路由需要达到可持久化配置和动态刷新的效果。即不仅要能满足从spring的配置文件properties加载路由信息,还需要从数据库加载配置。另外一点是,在容器启动后,能动态刷新内存中的路由信息,达到不停机维护路由信息的效果。

Cloud与微服务的关系

微服务是一种架构的理念,提出了微服务的设计原则,从理论为具体的技术落地提供了指导思想。
Spring Boot是一套快速配置脚手架,可以基于Spring Boot快速开发单个微服务。Spring Cloud是一个基于Spring Boot实现的服务治理工具包。Spring Boot专注于快速、方便集成的单个微服务个体,Spring Cloud关注全局的服务治理框架。Spring Boot/Cloud是微服务实践的最佳落地方案。

版本变化

  • Spring Cloud Finchley 在2018年 06 月 19 日正式发布,这次的重大发布主要带来了以下 4 项重大更新。
    (1)新增 Spring Cloud Gateway 组件
    Spring Cloud Gateway 是一个基于 Spring Webflux 和响应式 Netty 的下一代 API 网关,用来替换 Spring Cloud Netflix Zuul。它提供了更加简单的动态路由,以及针对每个路由的过滤器(如地址重写、断路器、添加/删除请求头、限流和安全等)。
    (2)新增 Spring Cloud Function 组件
    Spring Cloud Function 的主要功能如下:
    通过一系列函数推进业务逻辑的实现;
    将业务逻辑的开发生命周期从任何特定运行目标中分离,以便相同的代码可以作为一个 Web 端点、一个流处理器或一个任务来运行;
    支持一个跨 serverless providers 的统一编程模型,并拥有独立运行的能力(本地或 PaaS 平台);
    支持在 serverless providers 上面启用 Spring Boot 特性,如自动配置、依赖注入、指标等;
    (3)兼容 Spring Boot 2.0.x
    Finchley 版本是基于 Spring Boot 2.0.x 构建的,官方建议不要与 Spring Boot 1.5.x 及之前的版本一起工作。
    (4)最低支持 JDK 1.8
    JDK 门槛提高了,1.8 毕竟是现在的主流。
  • Camden。
  • Dalston将于 2018 年 12 月结束生命周期。
  • Edgware伴随着 Spring Boot 1.5.x 的结束而结束生命周期。

参考:
《Spring Cloud微服务实战》
http://blog.didispace.com/
http://blog.csdn.net/forezp/article/details/70148833
http://blog.csdn.net/u010066934/article/details/54232622

Spring Cloud 文档
http://cloud.spring.io/spring-cloud-static/spring-cloud.html#_features

PiggyMetrics微服务编译运行解析
http://blog.csdn.net/nihaomanihao11/article/details/73822681
http://blog.csdn.net/rickiyeat/article/details/60792925

中小型互联网公司微服务实践-经验和教训
http://www.ityouknow.com/springcloud/2017/10/19/micro-service-practice.html

Spring Boot 调优

java启动时参数
内存:java -Xms64m -Xmx512m -jar xxx.jar
GC线程数:-XX:ParallelGCThreads=2
关掉CompilerThread线程 -Djava.compiler=NONE
JIT是JVM为了优化执行频率比较高的字节码设计的技术。JIT把字节码编译为机器码,之后执行则不需要解释字节码,直接运行机器码即可。如果服务没有什么负载,即使不优化也不受影响,可以优化把JIT关掉。

application.properties中配置:
并发线程数:server.tomcat.max-threads = 10
Spring boot自带的tomcat线程数默认值为200个。

更换Web容器:

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>

        <exclusions>
            <exclusion>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-tomcat</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-undertow</artifactId>
    </dependency>
</dependencies>

一些查看命令
jmap
jstack:jstack查看内存发现一些线程在运行,主要有GC task thread,http-nio thread,C2 CompilerThread。
GC task thread:垃圾回收线程
http-nio thread:tomcat网络处理网络请求线程
C2CompilerThread:JIT编译线程,动态编译Java运行代码,C2表示编译的是server端代码
JVM默认线程栈大小是1M。

https://blog.csdn.net/github_32521685/article/details/50463895
https://blog.csdn.net/lijingyao8206/article/details/80432402

服务器

undertow、jetty和tomcat是javaweb项目当下最火的三款服务器,spring boot 完美集成了tomcat、jetty和undertow。
jetty和undertow都是基于NIO实现的高并发轻量级的服务器,支持servlet3.1和websocket。

Spring Boot 异步

当某个请求执行非常耗时,当有大量访问该请求的时候,再访问请求其他服务时,会出现没有连接使用的情况。造成这种现象的主要原因是,容器中线程的数量是一定的,例如500个,当这500个线程都正在用来处理请求服务的时候,再有请求进来,没有多余的连接可用了,只能拒绝连接。

SpringBoot异步机制可以使请求到controller中时,容器线程直接返回,同时使用系统内部的线程来执行耗时的服务,处理结束后果再将请求返回给客户端。

Servlet 3.0 新增了请求的异步处理,Spring 3.2 也在此基础上做了封装处理。
Spring通过任务执行器(TaskExecutor)来实现多线程和并发编程。使用ThreadPoolTaskExecutor可实现一个基于线程池的TaskExecutor。Executor框架是在 Java 5 中引入的,其内部使用了线程池机制。

在 Spring Boot 框架中,可以在配置类中添加@EnableAsync开始对异步任务的支持,并将相应的方法使用@Async注解来声明为一个异步任务。

对于@Transactional、@Async等注解,spring扫描时具有这些注解方法的类时,生成一个代理类,由代理类去执行,所以异步方法必须在类外部调用,并且@Async所修饰的不能是static方法。获取得到执行结果则可设置异步函数返回类型为Future。

@Component  
public class MyAsyncTask {  
    @Async  
    public Future task1() throws InterruptedException{  
        return new AsyncResult("task1执行完毕");  
    }  

Controller的方法可以很快返回一个java.util.concurrent.Callable或Deferredresult,同时Servlet容器的主线程退出和释放,这并不意味着客户端收到了一个响应。

//Callable
@Controller
public class DefaultController {
    @RequestMapping("/async/test")
    @ResponseBody
    public Callable callable() {
        //调用后生成一个非web线程来执行部分代码。
        return new Callable() {
            @Override
            public String call() throws Exception {
                Thread.sleep(3 * 1000L);
                return "finish" + System.currentTimeMillis();
            }
        };
    }
}

//DeferredResult
@RestController  
public class AsyncDeferredController {  
    private final TaskService taskService;  
      
    @Autowired  
    public AsyncDeferredController(TaskService taskService) {  
        this.taskService = taskService;  
    }  
      
    @RequestMapping(value = "/deferred", method = RequestMethod.GET, produces = "text/html")  
    public DeferredResult executeSlowTask() {  
        DeferredResult deferredResult = new DeferredResult<>();  
        CompletableFuture.supplyAsync(taskService::execute).whenCompleteAsync((result, throwable) -> deferredResult.setResult(result));  

        return deferredResult;  
    }  
}  

Callable的其它示例:

 public static void main(String[] args) throws ExecutionException, InterruptedException {
        Callable callable = new CallableImpl("my callable test!");
        FutureTask task = new FutureTask<>(callable);
        new Thread(task).start();
        //调用get()会阻塞主线程。
        String result = task.get();
    }

Callable和Deferredresult的区别:
Callable和Deferredresult效果都是释放容器线程,在另一个线程中运行长时间的任务。不同的是谁管理执行任务的线程:Callable在执行线程完毕时返回;Deferredresult是通过设置返回对象值返回,可以在任何地方控制返回。

https://blog.csdn.net/he90227/article/details/52262163
Spring MVC 异步处理请求,提高程序性能

定时任务

1.在程序入口类上添加类注解 @EnableScheduling 来启用计划任务
2.在定时任务的类上加上类注解 @Component,在具体的定时任务方法上加上注解 @Scheduled 启动该定时任务。
@Scheduled(initialDelay=10000, fixedDelay=10000) //10 seconds, or use cron express

默认所有的@Scheduled都是串行执行的,并行需要继承SchedulingConfigurer类并重写其方法,实现并行任务。

@Configuration
@EnableScheduling
public class ScheduleConfig implements SchedulingConfigurer {
    @Override
    public void configureTasks(ScheduledTaskRegistrar taskRegistrar) {
        taskRegistrar.setScheduler(taskExecutor());
    }

    @Bean(destroyMethod="shutdown")
    public Executor taskExecutor() {
        return Executors.newScheduledThreadPool(100);
    }
}

测试发现,RestController中接收处理请求每次所处的线程不一样,Mqtt处理请求也是单独的线程。

详解SpringBoot Schedule配置
http://www.cfei.net/archives/88832
Spring Boot 异步请求(Servlet 3.0)
https://blog.csdn.net/catoop/article/details/51034866

Spring Boot 应用属性配置

变量名引用

在application.properties文件中,使用${变量名}引用变量。例如:
db.name=db1
spring.data.mongodb.uri=mongodb://${db.username}:${db.password}@${db.url}:${db.port}/${db.name}
还可以自定义 application.properties 进行外部配置。
https://blog.csdn.net/fanhenghui/article/details/77447918

配置日志

#debug=true
logging.file=yirui_clock_server.log
logging.level.com.yirui.clock.server=INFO
logging.level.root=INFO
logging.level.org.springframework.data.mongodb=INFO

配置ssl

server.ssl.key-store:/etc/letsencrypt/live/xxxx/keystore.p12
server.ssl.key-store-password: jsqc
server.ssl.keyStoreType: PKCS12
server.ssl.keyAlias: tomcat

容器配置

Spring Boot 内置的容器有三个分别是Undertow、Jetty、Tomcat。Spring Boot 对这三个容器分别进行了实现,它们上层接口都是EmbeddedServletContainerFactory。

对于内置容器的定制与优化主要有两种方式:第一种方式是通过配置文件来配置,另外一种是通过码代码的方式。
配置的核心内容参考org.springframework.boot.autoconfigure.web.ServerProperties这个服务属性类。

spring boot 限制初始值大小及参数中文详解 https://www.jianshu.com/p/552e49571893