GWA2-Java built-in cache with connection pool design/带连接池的缓存流程设计

最近花很大力气在 -GWA2-Java 中实现了带连接池的缓存设计流程(GWA2-Java built-in cache with connection pool design)并部署成功。之所以花很大力气,是由于这些功能在 -GWA2-PHP 中均没有碰到,兹整理记录如下。

按此前在 -GWA2-PHP 中实现的 built-in cache( -GWA2 更新缓存调用built-in cache方法,  -R/r2SH ),其大致思路是:
1) 应用对象 myObject 调取父类 WebApp的方法,
2) WebApp进一步地前转读取 Cache 的请求给CacheAdmin (Cachea);
3) CacheA 被调用后,首先查询配置及运行时参数,决定连接哪个在线服务,
4) 在获得服务器相关信息后,进一步地的查询配置及运行时参数,决定使用哪种驱动程序;
5)获得服务信息及驱动信息后,比如最终连接 CacheMaster主机,使用 Memcached 驱动,然后Memcached的实例被创建,Memcached完成初始化后,进行读写操作;
6) Memcached获得相应结果后,前转查询结果给Cachea,Cachea进一步地前转查询结果给WebApp及myObject调用对象。

这一流程可以用上图表示,其中一个完整的查询涉及到五个对象,五个流程分叉判断。五个对象为:myObject, WebApp, CacheAdmin, CacheMaster, Memcached;
五个分叉流程判断为:
1)是否读取Db还是Object对象数据?
2)是否读取Cache?
3)连接哪个Cache主机?
4) 使用哪种驱动程序读取Cache?
5) 是否有连接池到指定的Cache主机?

相比 -GWA2-PHP 的实现,-GWA2-Java 中需要额外地创建了 CacheDriver 接口 以此来约束和规范各个驱动程序模块,额外地创建和维护连接池程序,额外地创建Memcached Java Client。

这三种新的创造,单独拿其中一块都可以大书特书一篇。CacheDriver 接口相对容易,由于在 Cachea 需要预设一种对象类型,使之能够被赋值为某种驱动模块的实例,自然这就非 Java Interface 莫属,Interface CacheDriver 同时定义和约束了各个不同的驱动模块来实现相应的方法,从而保证数据流的正常流转。

Socket Connect Pool(SocketPool)相对复杂,但思路很简单,依赖Java Servlet Container可以维护运行状态的特性,创建一个可以寄宿其上的数据对象,并约定一定的状态管理机制即可实现。与Servlet Container本身提供的连接池(如JDBC的连接池)相比,这个需要自我手工实现。幸运的是,基于Java的连接池管理,早于2005年,我们在 -ChinaM 最早的解决方案中就有相应的实践及成功应用,这次是优化升级,并增加了根据先进的 SocketStream 和 SocketString 来应对不同的IO读写。

连接池能够极大地提升服务器性能表现,所以在最常见的场景,连接数据库时,Resin,Tomcat等均提供了针对数据库的连接池。而 Session, Cache 或者其他网络服务的连接池,则需要自行手工提供。这也是 -Java 在某些地方性能优胜的关键之一。在 201807年的一次针对 -PHP 应用环境的优化分析中,由于一个改进数据库连接的修改,直接优化节省一台数据库服务器。这个数据库连接由于在开发初期被置于某个循环体内的Bug,每次运行时,都会初始化向数据库的连接,导致开销大增。

比较难的模块是Memcached Java Client (Memcached, -R/r2ST ). 这个模块在 -GWA2-PHP 中是跟随PHP源码提供的,编译进去即可。而在 -GWA2-Java 中,则需要手工实现。好在有前人探索,也不需要重新造轮子,我们经过对比,选择了 -GitHub 上的 gwhalin 的 Memcached Java Client . 由于需要融合到 -GWA2 中,而且也觉得可以在优化一些该版本,主要修改如下:
1)  expiry 参数由 Date 修改为 int ;
2) 摘除自带的 SocketIOPool,融合上文提到的 GWA2 实现的 Socket Pool;
3) 改进对传入连接主机服务的支持;
4) 改进 if(a==1) b=2; 等不规范的为 if(a==1){ b=2; } ;
5) 改进key的 sanitize操作,用 -Base62x 替代 UrlEncoder,Base62x 比 UrlEncoder提供了跟“干净、短小”的字符编码; 判断当key 长度大于 32时,启用 MD5 操作等等。
从根本上来说,Memcached也不算复杂,就是操作Socket读写,类似Java Mail等类库一样。

至此,-GWA2-Java 基本完善,一段时间针对Java版本的集中优化基本完成,可以考虑将其应用到具体生产环境了。她的各种性能表现及更高级的优化,需要在实践中不断加深、加强。

-GWA2 是”通用网络应用架构( General Web Application Architeture )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.

 

This entry was posted in -GWA2, 服务器运维, 编程技术, 计算机技术 and tagged , , , , , . Bookmark the permalink.

发表评论

电子邮件地址不会被公开。 必填项已用*标注