汉吉斯特Hanjst模板语言及引擎在线文档Doc&API首发

经过一段时间的梳理总结、精心编制,汉吉斯特Hanjst在线文档和API已经完成初版,并发布在 //wadelau.github.io 上,为方便检索和使用,兹列目录如下,供查询、使用。


 

汉吉斯特Hanjst概述

Hanjst标志

Hanjst是一个Han J ava S cript T emplate,它是HTML和Web的模板语言和引擎。

“ 汉吉斯特 ”是 Hanjst 的中文名称。

入门

Hanjst是什么?为什么?

安装

配置

调试

快速开始

杂项

Hanjst为模板设计人员

基本语法

变量和修饰符

功能函数指令

内置功能

自定义功能

Hanjst在服务器端运行

Node.js

Hanjst为后端开发人员

Hanjst 对象类

服务器端替换

JSON中的数据

资源

路径

脚本

第三方类库

图片

高速缓存

随时可用样例

搜索引擎优化

标题,描述和关键字

链接

文本内容

 


在线文档目前没有中文版,只有English Version,以下是 English Version 的目录列表。


. . .


Contents in English Version


 

Hanjst Overview

Hanjst Logo

Hanjst is an Han JavaScript Template, and its language and engine for HTML and Web.

汉吉斯特” is its Chinese name.

Get Started

What is Hanjst and Why?

Installation

Configurations

Debugging

Quick Start

Misc.

Hanjst for Templates Designers

Basic Syntax

Variables and Modifiers

Functions

Built-in Functions

Custom Functions

Hanjst Run in Server-side

Node.js

Hanjst for Back-end Developers

Hanjst Class

Server-side Replacements

Data in JSON

Resources

Paths

Scripts

Third-party Libraries

Images

Caching

A Ready-to-go

Search Engine Optimization

Title, Description and Keyword

Links

Plain Contents

 




Hanjst是一种基于JavaScript的模板语言及解析引擎,她运行在客户端/服务器端。

Hanjst能够表述逻辑控制,能够实现与服务器端模块语言相同的功能。

  • Hanjst当完全在客户端解析时,节省服务器端计算资源;

  • Hanjst模板语言独立,不与服务器端资源做任何绑定;

  • 纯粹的MVC,层间数据用JSON格式传递;

  • 常见模板语言功能全支持,附带复杂而强大的JavaScript编程能力;

  • 无学习成本,直接使用JavaScript书写模板语言;

  • ….

Hanjst is a JavaScript-based templating language and parsing engine that runs on both the client-side and/or server-side.

Hanjst can express logical control and achieve the same functionality as the server-side templating languages.

  • Hanjst’s Run-time in client-side, reduce computing render in server-side;

  • Hanjst is Language-independent, not-bound with back-end scripts or languages;

  • Totally-isolated between MVC, data transfer with JSON;

  • Full-support template tags with built-in logic and customized JavaScript functions;

  • No more tags languages to be learned, just JavaScript;

  • ….

 


河北-张家口,千米高原,天高云淡,西北风烈,酒肉香混.

 

Posted in -Hanjst/-汉吉斯特, 编程技术, 计算机技术 | Tagged , , , , , | Leave a comment

☘ gMIS吉密斯优化升级:+工作区,可读性异常信息,异步删除等

“年与时驰,意与日去,遂成枯落,多不接世,悲守穷庐,将复何及!” 

—- 诸葛亮《诫子书》

gMIS吉密斯近期进行了较大幅度的优化升级,功能增强改进,感谢大家对 gMIS吉密斯开源社区的捐赠,这些支持使得 gMIS吉密斯 能够日益成熟而稳定、健壮而强大。诸葛先生的训诫之词,言犹在耳,未敢懈怠。

这批次 gMIS吉密斯的更新主要包括如下内容,记录备忘如下,以期后续结集成书时参考备查。

  • 1)增加工作区概念(workspace), 多个物理上、逻辑上相互隔离的区域,一套系统管理N多个信息管理系统;

gMIS吉密斯 自今起,开始支持工作区 workspace的功能。

工作区 Workspace 往往与项目、地区、主题等密切相关,gMIS 增加工作区的主要考虑是为了满足如下设想的工作场景。

我们认为在一个大型的企事业单位的组织中,随着数字化、信息化的不断投入与持续升级改进,其数字资产会深入地细化、细分,从一个10人团队的一个数据库开始,会逐渐升级改进扩展为2个数据库,4个数据库,10个,20个,甚至是200个数据库。

这些数据库及其数据都需要管理,管理数据信息,就需要安装 gMIS,有多少数据库要管理就安装多少套 gMIS吗?

答案显然不是。首先, gMIS 支持一套系统管理N多数据库,参考:“-gMIS 中操作同时并发操作和管理多个数据库multiple databases” (-R/x12SV )。通过这种方式, gMIS 可以轻易地管理其这些数据库。其次,平行地复制或并行多套一样的系统,对IT运维团队来说是灾难,如果有这样的需求,首选的方案应该是负载均衡等。

之所有要考虑引入WorkSpace工作区,是要管理两个以上并行的 gMIS 实例数据库,比如,在一个单位中,人事系统、财务系统、购销存系统,系统分别独立运行,而不是揉和在一个系统内。这样情况下,平行复制 gMIS 是方案,而引入工作区workspace 则是更好的方案。

gMIS 工作区(workspace)

在用户登录系统时,给出待登录的工作区选择,当用户选择给定工作区(如上图HR工作区、ERP工作区或者CRM工作区)时, gMIS按设置加载给定工作区的数据库,进行认证;用户通过权限认证后,将本次会话的工作区信息写入用户身份数据,按指定工作区加载指定的数据,进行后续数据操作工作。

  • 2)增加对只读模式下对功能菜单调整,去掉“新增”,”导入Xls”等;

gMIS吉密斯在设计时会考虑两种情况无法对一个数据表对象进行“写入”操作:1)访问权限设置系统里,如果针对当前用户或者用户组是受限的,则无法进行写入;2)数据表对象本身具有“只读”属性,比如针对所有用户,“操作日志”记录表就设置了无法删除。

针对不具有写入权限的数据表对象,程序增加了判断,去掉了那些针对当前用户和场景无法使用的菜单选项,比如“新增”,“编辑” 或者“导入Xls”等操作。这样既避免用户误操作,也让界面现得清爽。

  • 3)在 comm/tblconf 里修正对Unique index的探测;

gMIS 在装载当前数据表对象的数据之前,通常需要对该数据表的元数据进行解析。这项解析工作包括目标数据表,有哪些字段,每个字段的数据类型等,同时也检查字段之间的关系等,如哪些字段是唯一键,哪些是组合约束键等。

本次改动主要是优化改进了 MySQL 数据库作为后端数据时,检查以 MUL 为标记的组合约束键。

  • 4)列表行删除数据时,不再刷新页面进行UI更新,改进为通过JavaScript前端删除;

关于删除的改进优化,gMIS吉密斯一直未停止。

早前在2015年,我们受 Microsoft Windows 延迟删除的改进启发,增加了针对数据删除,由必需点击“确认”改进到“延迟”数秒进行无确认删除:“删除确认、删除异步及删除延时,delete confirm,aysnc and delay” (-R/62SS )。

在2015的这次改进中,被删除的数据会被打上标记,比如变灰色,等下次刷新时,整个页面再做刷新,这样做的目的是节省因为删除数据而进行一次数据请求和与服务器的通信,将数据交互的量级降到最低。

持续地改进,在多数数据操作人员眼里,删除就应该立即移除掉,而不是打上删除标记等下次页面刷新。这次改进,当数据通信与服务器通信正常时,会使用JavaScript动态的将所删除的数据行从当前UI视图中移除掉,而不进行整个页面刷新。

这样既实现了立即移除掉的目的,也再次地坚持了“降低成本、提升效率”的设计和实践原则。

  • 5)列表页选择框下拉选择即时递交,不再等复合条件查询,改一步复合查询为多步叠加条件;

gMIS 内置的增强数据表头,提供了功能强大的搜索及排序功能。

在条件设置上,列出所有可能经常用到的列表字段供筛选时使用; 同时,在每一个具体的筛选字段上,又提供数种可供操作的操作符供选择,如数值型的字段提供了等于、大于、小于和值域区间等,而字符型字段则提供了等于、包括、以其开头、以其结尾和不包括等选择项,可谓十分丰富和强大。

在组合条件设置三上,同时提供了“并且”和“或者”两种模式,前者是满足所有条件的数据,后者是满足其中一项的数据记录。

这些足以满足通常情况下数据操作人员对待检索数据的所有筛选设想。这次改进的地方是当用户选择了“选择性”的字段的某个“选择项”时,即时递交数据筛选请求,不再等待点击“并搜”或“或搜”再进行筛选条件的组合。

  • 6)输入数据异常时, 给出具体而详细的出错信息;

作为管理信息系统应用软件,录入数据是很常规的操作,对常规数据的校验,主要依赖 gMIS内置的 GTAjax在前端进行。 GTAjax 在前端页面通过 JavaScript在递交前,检查当前数据录入表单的各项是否符合预期。

这在一般情况下是够用的,但有时一些异常是在后台数据库写入时才能发现的,比如常见的写入时异常就包括,唯一键冲突;再者,在做二次定制开发时,开发人员可能没有主动意识或者要求针对某些字段需要增加基于 GTAjax的数据校验。针对这样的异常,此前 gMIS 会报错成写入失败,并请用户重试。但可供管理用户深入核对的信息不够详细。

Hanjst 更新优化报错信息定位到行数 (-R/52SQ ) 的升级优化启发,我们觉得可以在 gMIS 里也能够实现在数据保存异常时,给出详细而具体的信息定位。

于是我们改写了 act/doaddmodi 的返回输出内容,当数据报错异常发生时,通过解析数据库的返回错误代码或者程序错误代码,进一步地解读成普通数据操作人员能够理解并定位到的语句内容,通过 JSON方式返回给前端,进一步地展示给数据操作人员。

如此详细而具体的异常描述信息将有助于数据操作人员快速找到问题并解决,正是生动地实践了 gMIS吉密斯的 “降低成本、提高效率” 的初衷。

  • 7)增加 “导入Excel” 数据表功能,与此前已有的 “导出Excel” 形成闭环.

gMIS 一直希望能“降低成本、提升效率”,并将这个作为设计与研发的原则。批量操作也是这一体现,“导出Xls“ 和 “复制” 操作就是具体的实现。

在 gMIS 所管理的数据表中,可以轻易地使用“导出Xls” 将当前记录结果集下载到本地使用。 “复制” 则是在录入数据过程中,对于两条差异不大的数据,可以快速地复制一份,再稍作修改即可作为新数据进行录入。

这次改进,增加了“导入Xls”功能,与“导出Xls”,相对,形成闭环操作:即可导出,亦可导入。然而,对比“导出Xls”, “导入Xls“的操作要复杂的多,主要原因是:1)不相信用户的任何输入,2)用户输入的数据需要各种复杂的解读与格式化,没有“以一贯之”的良药。

即便如此,我们也要进行一些尝试。这些改进包括:在 导入Xls 的分步骤操作中,先给出预览,预期当前数据表可接受的数据表格式,给出表头。

如果用户按照所给出的表头进行数据准备并递交后,分步骤导入Xls中进一步地检查,并给出已解析、待录入的数据预览。

当用户确认其准备的数据经有程序校验符合预期时,再点击下一步,执行分步骤导入Xls的真正写入操作。如果在这一步中发现不符合预期,用户可以选择修改本地数据,并重新上传,循环此数据校验步骤,直到获得满意预期,再进行实际导入操作。

gMIS Import Excel Flowchart /导入 Excel 数据 流程图

为何是 Microsoft Office Excel?

  • 8)其他一些更新

gMIS 2019 发行版本是 gMIS有史以来更新幅度较大的一次,根据 -github 的版本差异统计分析,这次更新设计到数百个文件的更新。

commit 92736964b3ea3279639988cca7f172d670663d15

Showing 432 changed files with 111,925 additions and 21,134 deletions.

 


林林总总,gMIS 吉密斯在不断满足不同需求的同时,持续地丰富和改进其功能,日益成熟而稳定,健壮而强大。

这既得益于信息化发展创造的巨大需求,也得益于开源社区群体共同努力。

唯有感谢,并不忘初心,砥砺前行!


-gMIS (general Management Information System,吉密斯) 是一种基于 -GWA2 (General Web Application Architecture,吉娃兔) 的通用管理信息系统应用软件,具有可配置的输入和输出接口、开箱即用等特征。
可以在其上构建各种信息管理应用软件系统,例如:
内容管理系统(CMS), 客户资源管理(CRM), 企业资源计划管理(ERP),
办公自动化系统(OA)等, 以及各种行业应用管理系统软件,例如:
人力资源管理系统(HR),学生管理,档案管理,旅游管理,图书管理,
商品管理及业务运营支撑系统(BOSS)等等。
实现零代码开发、快速搭建各种管理信息系统(MIS, Management Information System).

-gMIS is a -GWA2 based Management Information System (MIS) software with characteristics like configurable input and output interfaces, open-box-to-use.
Various management application software systems can be built on it, such as
Content Management System (CMS), Customer Resource Management (CRM), Enterprise Resource Planning Management (ERP),
Office automation systems (OA), as well as different industry application management system softwares, such as
Human Resource Management System (HR), Student Management, Archive Management, Tourism Management, Book Management,
Commodity management and business operations support systems (BOSS), etc.
With zero code development, -gMIS can build a set of management information systems (MIS) software in a few minutes.

Lower Costs, 
Better Productivity.
降低成本,
提高效率.

Posted in -gMIS, 服务器运维, 编程技术, 计算机技术 | Tagged , , , , , | Leave a comment

汉吉斯特Hanjst+更新升级:error reporting, innerLoop和loadingLayer

过去的几个月里,汉吉斯特Hanjst进行了一些升级,有功能增强,也有性能优化,为Hanjst的生产环境部署增砖添瓦、保驾护航。为便于后续维护和持续更新改进,兹备忘于下。

* 12:48 Saturday, April 27, 2019, + readable error reporting for template erros
* 19:19 Sunday, May 19, 2019, + renderTemplateRecurse for deep-in include files.
* 18:44 Friday, May 31, 2019, + allow limited support for variables in xxxelse scope, bugfix for includeScript.
* 07:58 6/2/2019, + imprvs with _appendScript to appendScript for async call.
* 16:31 Wednesday, June 5, 2019, + imprvs with parentNode=BODY
* 19:18 Monday, June 10, 2019, + bugfix for asyncScripts.
* 22:29 Thursday, June 13, 2019, + loadingLayer. “<div id=”Hanjstloading” style=”width: 100%; height: 100%; z-index: 99;”> Xxxx Loading… 加载中… </div>” .
* 21:36 Thursday, June 20, 2019, + warning for MSIE browsers.

  1. 增加可读性错误异常报告
    当Hanjst遇到语法错误时,抛出可读性的异常代码描述,形成可以追踪的错误报告,其大致形式如下:

    Hanjst template code exec failed.

    {“stack”:”ReferenceError: $myAds2 is not defined\n at eval (eval at renderTemplate (http://example.com/view/default/js/Hanjst.js?v=201906171103:468:15), :405:1)\n at renderTemplate (http://example.com//view/default/js/Hanjst.js?v=201906171103:468:39)\n at _callRender (http://example.com//view/default/js/Hanjst.js?v=201906171103:679:9)\n at http://example.com//view/default/js/Hanjst.js?v=201906171103:698:9\n at http://example.com//view/default/js/Hanjst.js?v=201906171103:701:3″,”message”:”$myAds2 is not defined”}

    Line 404:

    Line 405: if( $myAds2[‘sadplace’]==’homepage_up_right’){

    Line 406: tpl2js.push(” <a href=\””);

    根据这些具体到行号的错误提示信息,开发者可以较快地找到出错位置并进行修正。如上所示,表明在模板引擎进行解析时,发现在第405行有未定义的 $myAds2 这样的变量未经初始化就开始使用,所以报错。

    注意!值得注意! Hanjst 全程开启 JavaScript 的 Strict mode,不允许使用未经定义的变量!

  2. 改进Hanjst循环嵌套模板的处理方法
    在初版的 Hanjst模板引擎设计中,我们假定模板的嵌套只有一层,也即一个模板中通过include 指令引入了另外一个模板内容。
    {include file=”$anotherTemplateFileContent”}

    随着 Hanjst 应用场景的复杂化,多层嵌套成为必然,有鉴于此,我们升级改进了 Hanjst,允许无限层的模板内容嵌套。也就是父页面可以引入嵌套子页面,子页面内也可以进一步的嵌套引入孙页面,如此递归不止。

  3. 增加对 forelse, foreachelse, whileelse下的模板语言支持
    通常情况下,如果循环一个数列,如果遇到轮空的情况,默认我们设计了给一个提示,如下所示。
    {foreach $myList as $l}
        //- some data
    {foreachelse}
        //- a warning…
    {/foreach}

    这次改进是在 “a warning” 部分给与有限功能的模板支持,比如允许使用变量进行替换操作等。

  4. 改进对async引入脚本的处理方法
    对嵌套页面的脚本程序引入有两种方式,一种是直接执行,另外一种方式是记账并延后进行引入。
    其中后面一种异步的async方式,对提升页面加载速度有很大帮助。所以在 Hanjst的改进中予以实现,当有非必要可以延后加载的脚本,都可以通过 async方式安排当页面首屏加载完成后再继续。
    上面是理想情况,还有非理想的情况时,当有些页面元素还为就绪时,一些依赖于其上的脚本就无法执行,这时候就是迫不得已需要等页面元素就绪后再加载脚本程序。
    根据这些,我们建议对象什么类脚本程序可以直接加载,而对对象的调用类脚本,一般都安排async异步加载为好。
    <!–
    JavaScript codes which will be run only once after Hanjst’s work,
    should be placed below here, after Hanjst, and keep in mind:
    1) ‘use strict’ mode, add comma for each sentence;
    2) src of Objects should be loaded in sync mode, e.g. jquery.min.js;
    3) invokes with Objects should be loaded in async mode, e.g. base.js;
    –>

  5. 增加对Hanjst父元素的探测
    这是改进是由于 HTM本身限制导致的,根据实验结果所示,浏览器的解析引擎进行页面渲染时,如果是放入未关闭的 div 内的脚本,默认是不执行而直接跳过的。
    如此以来,如果将 Hanjst 放入一个 div 元素,则默认随页面自动启动的 Hanjst解析引擎启动后,随后的加载嵌套页面的脚本等就无法实现了。
    有鉴于此,当 Hanjst启动时,探测如果其父元素不是默认和预期的 body 时,就抛出异常进行报错。
    待开发者进一步解决问题之后再继续。

  6. 增加loadingLayer
    当Hanjst进行编译页面时,原始代码会曝露给调用者,尽管时间是 毫秒级(ms)的,但如果碰上较慢的网速,依然有不完美的“印象”。
    为此,我们设计了当 Hanjst 工作时,前端预置一个”幕布”, loadingLayer , 显示给用户,当页面完成编译后,大幕揭开,完美呈现!
    <div id=”Hanjstloading” style=”width:100%;height:100%;z-index:99;opacity:0.92;position:absolute;background-color:#ffffff;”> Hanjst Loading… 加载中

    Hanjst loading layer默认的元素id是 Hanjstloading, 也可以通过启动参数:

    Hanjst.LoadingLayerId = ‘myLoadingLayer’;

    来指定自定义的元素Id。

  7. 增加对过时MSIE的探测
    如果浏览器太老了,比如 微软 IE浏览器,特别是8.0以前的版本,对JavaScript支持有限,无法顺利完成 Hanjst 的编译与解析,就会出错。
    为便于用户感知这些,我们改进 Hanjst 增加了对 MSIE太老版本的探测,并给用于相应的提示。



Hanjst是一种基于JavaScript的模板语言及解析引擎,她运行在客户端/服务器端。

Hanjst能够表述逻辑控制,能够实现与服务器端模块语言相同的功能。

  • Hanjst当完全在客户端解析时,节省服务器端计算资源;

  • Hanjst模板语言独立,不与服务器端资源做任何绑定;

  • 纯粹的MVC,层间数据用JSON格式传递;

  • 常见模板语言功能全支持,附带复杂而强大的JavaScript编程能力;

  • 无学习成本,直接使用JavaScript书写模板语言;

  • ….

Hanjst 在线文档 & API .

Posted in -Hanjst/-汉吉斯特, 编程技术, 计算机技术 | Tagged , , , | 2 Comments

♾好好与这个世界对话:gMIS/吉密斯更新+扩展操作行为

距离上次gMIS/吉密斯的更新差不都有半年过去了,这期间gMIS部署和使用的场景进一步扩大。最近又有新的部署并使用,在更新维护的同时,也有增加新功能,比如这次比较重要的一点是进一步地深化和加强了扩展行为操作的使用。情况较复杂,兹详述如下,以备忘。

gMIS/吉密斯 是“通用管理信息系统“软件,当我们有底气说“通用”的时候,意味着这个系统可以管理任何基于关系数据库所管理的数据,为这些数据提供面向非技术人员的人性化的操作和使用数据的途径。关系数据库,技术人员能耳熟能详地列出 Oracle、MySQL、SQLServer、SyBase等,其也是当今信息化的基础设施之一。通用的面向技术人员的,各种数据库的客户端,无论是基于命令行的还是基于GUI的(包括App和Web, 如 Navicat、PHPMyAdmin等),都有不少选择。而能够基于原始数据,直接产生能够面向非技术人员的,类似产品并不多,我们说“通用”,是我们创建了一套方法,可以针对任意指定的“字段”,无论其什么数据类型,我们都能够在gMIS/吉密斯中配置出契合其特点的输出/输入接口/界面,也即我们的 extra目录,插件式的工作,通过指定配置信息,无论这个字段是读写数据、字符串、选择项、文件、层级目录、编辑器等,均能应付自如。当一种新的数据类型、接口、界面被需要时,我们可以再通过extra方式制作并嵌入进去,这就是当我们说“通用”的底气。

一直以来,gMIS/吉密斯秉持这种“通用性”工作良好。

然而,我们深知,多样性、丰富性和复杂性才是世界的本原,我们以“通用”立命题就有某种抗自然规律的冲动,这种带有某种邪乎劲的要“包治百病”式的做法,会让人担忧,也令人不解。毕竟,这世界上没有包治百病的良药。


Fig.1 数据库数据表示层级

深度地解析,上述“通用性”是建立在对“字段”这一级别的操作上,也即,可以应对所有数据类型的字段进行操作,按照通常的数据组织结构划分 “数据库 — 数据表 — 记录 — 字段”(Fig.1),我们实现了在“字段”级的“通用性”操作。

如果多样性和丰富性的需要是针对“记录(Row)”这一级别呢?

目前针对“记录”的操作,我们有规定的动作“add、modify、view、print、delete、search(insite, pickup)、pivot、export、copy”等,如果要增加一种或多种针对“记录”的操作,该如何操作?这种需求合理吗?常见吗? 需要被满足吗? 能被满足吗? 如果能,该如何实现在“记录”层级的“通用性”?

最早我们设想,几乎所有共用的操作,针对一条数据(Row)的操作也就这么多,除了增删改查这四项基本的,我们已经很丰富地增强提供了其他多项。然而,诚如前所言,多样、丰富和复杂的客观世界,可能会有更多种针对一条数据的操作需求。这种需求是合理的,也是客观的描绘世界的必需项。这样的设计应该被满足。

初次遇到这样的需求,并令我们面对和思考这样的问题是在进行 工作流 的设计和制作上。工作流的本质也是对Row为单位的数据进行操作,但其动作已经超过了对Row本身的操作,而是Row之间发生了关系,也即一条Row可能从用户A流转到用户B,然后用户B将该Row流转到用户C等等,依此类推,而且还可能针对Row产生不同的修改。

为了满足这种需求,我们设计并实现了第一版的 ActOption 标记,这一个版本的 ActOption 在数据表的 table节点配置,并输出绑定到 act/view 界面上. 详细记录参考:
[2016] -gMIS 更新多库连接及工作流workflow
[
2018] –gMIS吉密斯更新Workflow工作流、FileMgr文件柜及GTAjax等模块

这些实践,为我们最终打开 gMIS 好好与这个世界的大门,既然 ActOption 可以一种配置文件的形式嵌入到 act/view 中,那距离出现在 list 主页面的 弹出式菜单中也只有一步之遥。如果实现了某种针对 Row级别的操作,既能出现在 act/view 的窗口,也能够出现在 list主页面的弹出式菜单中,与 常规的 add\modify\view\print等相并列,则gMIS/吉密斯就具有了好好与这个世界对话的强大话语表达能力。

于是沿着这个思路,近期我们突破了自我局限,将 ActOption 的配置通过 ido, jdo, comm/ido.js 等修改实现了自动添加到 list 主页面的 弹出式菜单,与常规操作 view/modify/print 等并列。其实现方式亦颇为曲折,大致流程可以描述为:

基于 table 的xml配置信息,配置某个 <table> 的 <actoption>,
–> gMIS 解析引擎读取 <actoption>配置,
–> act=list 时, ido 负责将 actoption 输出到 JavaScript 
–> 当 comm/ido.js: showActList 被激活时,读取 JavaScript 中的 actoption ,拼入 showActList,呈现给用户. 
–> act=view 时, act/view 负责将 actoption 读取并输出.

这既像是 gMIS/吉密斯 自身打开任督二脉,实现圆通;也像是其突破了狭隘的“通用”桎梏,如虎添翼,实现了升级,将“通用”二字的外延进一步扩大。

在此之前,我们说“通用”是可以满足通常情况下的字段级的任意方式方法的输出与输入,已经有的,随配随用,需要创新的没有的输入输出方式,我们可以创制后无缝嵌入。
今天起,我们说“通用”不但可以满足字段级的任意方式方法的输入与输出,而且也可以满足任意方式方法的记录级的操作,已经有的,随配随用,需要创新的没有的操作方式方法,我们可以创制后无缝嵌入。

所谓“通用”,不是寻求某种包治百病的神药,而是普通常见的已经就绪,随去随用;而没有的,也能够见机行事,按需定制,增强适配。如此以来,“通用”则更有底气,无论是理论基础,还是实践经验,我们都信心十足,满怀干劲;既讲求事物的普遍性,也照顾到事物的特殊性;既有由个例到共性的总结归纳,也有由抽象到具象的推导演绎(Fig.2)。也许,“通用”的意思在这里,就像有“科学的科学”——哲学一样。


Fig.2 特殊到普遍,具象到抽象

自2011年创制以来,这将是 gMIS/吉密斯 发展史上的一个标志性的更新,Latest commit e8aaaf0 . 近十年来,gMIS/吉密斯 不断茁壮成长,目前已经具有如下一些鲜明的特色功能点。

创新性的数据表字段级可配置输出输入接口;
先进的无Session用户鉴权体系
创新性强大的站内搜索功能
媲美前端的点选搜索功能
模拟Office Excel的数据透视表功能
商用级别工作流支持;
层级目录式的文件管理系统;
自动跟踪记账系统;
多层级缓存局部更新等优化高速秒开页面
….
创新的数据表记录级的可配置输入输出接口;
….


-gMIS (general Management Information System) 是一种基于 -GWA2 (General Web Application Architecture) 的通用管理信息系统应用软件,具有可配置的输入和输出接口、开箱即用等特征。
可以在其上构建各种信息管理应用软件系统,如
内容管理系统(CMS), 客户资源管理(CRM), 企业资源计划管理(ERP),
办公自动化系统(OA)等, 以及各种行业应用管理系统软件,如
人力资源管理系统(HR),学生管理,档案管理,旅游管理,图书管理,
商品管理及业务运营支撑系统(BOSS)等等。
实现零代码开发、快速搭建各种管理信息系统(MIS, Management Information System).

-gMIS is a -GWA2 based Management Information System (MIS) software with characteristics like configurable input and output interfaces, open-box-to-use.
Various management application software systems can be built on it, such as
Content Management System (CMS), Customer Resource Management (CRM), Enterprise Resource Planning Management (ERP),
Office automation systems (OA), as well as different industry application management system softwares, such as
Human Resource Management System (HR), Student Management, Archive Management, Tourism Management, Book Management,
Commodity management and business operations support systems (BOSS), etc.
With zero code development, -gMIS can build a set of management information systems (MIS) software in a few minutes.

Lower Costs, 
Better Productivity.
降低成本,
提高效率.

 

Posted in -gMIS, 编程技术, 计算机技术 | Tagged , , , , , , | Leave a comment

一例走近科学式地😥网速慢的排查

最近感觉家里的网速逐渐慢下来了,偶尔出现的timeout变成经常性的行为。尽管秉性脾气好忍受度极高也觉得有必要查一下原因,毕竟速度配不上光纤接入速度。

由于计算机网络科班出身,且懂服务器端优化,-R/P2SN ,我想从宏观和微观两个层面去排查。

宏观上分析。

由于访问的目标网站和服务器在国外,起初怀疑是太平洋底的通信光缆受最近地震影响或断了或部分的断了而导致路由表调整而降速。但这一点无法证实或证伪。

其次要考虑的是国外网站及主机受国家防火墙的限制而降速,毕竟黑白名单传了很久若有一天海外未名主机完全无法访问也是有可能的事,只是这一点也无法证实或证伪。

再次,国内路由跨电信运营商的网络之间限速也是有耳闻目睹的事,会不会我要访问的海外主机走的是电信的国际出口而我客户端在联通的网络中。有可能,只是也不容易获得确切证实或证伪的数据。而且,如果网速慢是上述一个或多个交织原因导致的结果,就让排查工作难度提升了不少。

北京城市副中心热火朝天地建设不会影响了这区县的电信网络通信吧?所住小区最近一直在人防工程保养施工,弄断了几根线缆影响了入户线路?

都有可能发生,都不容易确认。

微观上分析。

在网络链路上,网络慢排查需要进一步细化。一个常规检查网络请求处理的时间分为两大块:网路上的时间和服务器端处理请求的时间。由于是自用的服务器,我们可以清晰地看到请求处理时间都在ms毫秒级别。慢不在服务器处理时间上,而是在网络链路上.

于是上各种网络工具,数据显示时好时坏,好的时候各节点一路畅通,坏的时候第一步就走不通. 也能够观察到中间节点超时的情况。相当于链路各节点都有好坏的时候,并不有助于问题的排查。前提的确是,正常情况下ping到服务器端需要 200ms左右,好的时候 100ms,差点就直接超时了。

排查工作就觉得没思路了。于是在浏览器打开本地路由器/网管的控制台看看,居然发现打开本地路由器的控制台页面也有超时的情况。这算是异常到极致了。台式机到路由器只有一条网线,难道是浏览器坏了或者路由器本身有问题?

继续这个思路,使用另外一台mac笔记本无线连接到路由器的控制台,浏览和操控很流畅。进一步地排除了本地路由器的问题。会是台式机浏览器的问题吗?于是从新审视了最新版的Chrome浏览器并打开网络流量监控软件进行实时监测。

在这个过程中,我们又分别重启了路由器和插拔了网线接口,不想问题变得更糟糕了,台式机的网络彻底被断开了,路由器和台式机上都显示网络异常。网线有问题?!

排查路由器到台式机的网线!这跟网线穿墙里走了两个房间进入台式机,起初安装使用时,电信公司工程师拨开了外皮拆了蓝白两条用作了语音电话☎️。另外三组网线用作数据通信,而在拆开网线的部分只是简单包扎,可能来来回回的挪移路由器和牵扯网线导致接口接触不良,信号就传输异常,丢包严重。网路慢和失败就成必然结果。而最后一次的插拔和挪移将问题摆上了台面。

还没有现成可替换的网线,于是重新包扎/包装拨开的网线部分,并重新换了网口,网路恢复,网速回到可以预期的范围。实测本地台式机到本地路由器时延1-3ms,丢包率 0.001,可接受范围。

恐怖片开始、喜剧片结束了这让人哭笑不得😥的网路慢排查工作。

Posted in 服务器运维, 计算机技术 | Tagged , | Leave a comment

🍃GWA2Java新增Cmdline命令行和JavaBean运行时模式

根据业务发展需求,我们按预期新增了GWA2 Java版本的命令行运行模式和JavaBean运行模式。这是距离 GWA2 两年前发布 Perl 版本之后的另外一个主要升级版本。


(GWA2的发展路线图)

# Use GWA2Java in cmdline and/or JavaBean

## GWA2Java cmdline

### compose GWA2 in .java files

### compile them into .class files

shell> cd ./WEB-INF/classes

shell> java com.ufqi.gwa2.Index “?mod=user”

## GWA2Java in .jsp

### compose GWA2 in .java files

### compile them into .class files

### import and use in .jsp:

#### as of a single class
<@page import=”com.ufqi.gwa2.mod.User”%><%
com.ufqi.gwa2.mod.User modUser = new com.ufqi.gwa2.mod.User();
modUser.getId();
//….
%>

#### as of a JavaBean
<jsp:useBean id=”modUser” class=”com.ufqi.gwa2.mod.User” scope=”application”>
<jsp:setProperty name=”modUser” property=”param1″ value=”value1″ />
</jsp:useBean>
<%
modUser.getId();
%>

## Why Tomcat cannot compile automatically .java files under ./WEB-INF?

## as of Caucho Resin?

在此前的 GWA2Java 架构设计下,一个没有明确答案的思考时,如果使用在 .jsp 文件中定义了太多的 classes 并且每个 classes 定义太多的 methods,会不会超过 Java 的规范定义? 即便没有超过,会不会有性能上的不足?

关于第一个问题,我们能够很容易从 Java 文档中得知,一个通常的 Java class可以允许有 65535 个 inner classes,而一个 class也允许有 65535个 methods,所以即便include再多的 class在 .jsp 文件中,也很难到达这个限制。单个 Method有 64K的限制,我们在此前的研发中也的确遇到过,分拆和提炼相应的代码即可回避。

至于第二个问题,这样的class contains inner classes 会不会有性能上的不足,暂时并没有数据支持或者不支持这一说法。

即便如此,根据我们的考虑,仍应该为开发者预留比较传统的Java Servlet的调用方法,也即将单独的class单独封装起来,使用外部类,或者useBean的方式引入 GWA2 的运行时环境,进而与普通的 inner classes一样使用。

基于这样的考虑,我们也一并研制了 GWA2Java 的cmdline命令行运行时模式,这些为GWA2Java的全功能运行时模式提供了思路,继续完善、强化还需要开发者参与并举共襄。


GWA2 cmdline 运行时举例。

GWA2PHP:

shell> cd /path/to/gwa2php
shell> php index.php “?mod=user&act=list”

GWA2Perl:

shell> cd /path/to/gwa2perl
shell> perl index.pl “?mod=user&act=list”

GWA2Java:

shell> cd /path/to/gwa2java
shell> java com.ufqi.gwa2.Index “?mod=user&act=list”


截至目前,基于 GWA2 开发的各种语言版本的软件可以如下几种方式运行:

GWA2PHP
软件以GWA2PHP开发完成后,可以寄宿在Web Server中运行,也可以cmdline命令行运行。

GWA2Perl
GWA2Perl 的软件目前支持以cmdline命令行方式运行。

GWA2Java
GWA2Java 的软件开发完成后,可以寄宿到Web Server中运行,也可以cmdline命令行模式运行。


-GWA2 是”通用网络应用架构( General Web Application Architeture )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.

 

Posted in -GWA2, 编程技术, 计算机技术 | Tagged , , , , , | Leave a comment

Base62x算法改进并增加Base62x in Python

距离上次 “-Base62x 新增 -Perl 版本技术实现 Base62x.pm (-R/J2SL )”, Base62x 在时隔 6 个月后又进行了一些更新,记录一下,也再次印证,最好的版本永远是下一个版本。这次的更新包括:1)对解码算法的优化改进;2)增加Python版本的Base62x的工程实现。

1. 增加 Base62x in Python

春节一过即开工,因着技术项目需求,最近加紧编程开发了 Base62x in Python 的版本(Base62x.py)。 Python.py 版本的 Base62x 调用方法大致如下:

# import Base62x.py
from Base62x import Base62x

# initialize
base62x = Base62x();

rawstr = “abcd1234x’efg89;01”;
encstr = base62x.encode(rawstr);
decstr = base62x.decode(encstr);

Python 对面向对象的支持较好,所以直接以 OOP 方式编制了 Base62x.py , 并没有像 Base62x in Perl版本那样提供了 OOP 和 functional 两种方式。

截至目前Base62x 已经开源的编程语言版本如下: C, Java, JavaScript, PHP, Perl 和 Python. 其中 PHP的提供了三个版本:1)以PHP扩展模块形式的 ext/base62x C语言代码; 2) PHP 5版本的 Base62x.class.php; 3)PHP 7 版本的 Base62x.class.php 。
其中JavaScript 还有两个实现, Base62x.class.js 和 npm base62x 。

在实施 Base62x in Python 的编码时,我们发现 Python 语言中没有提供对自增+1的操作符 “i++” 这样的操作,而在此前所有版本的 Base62x 的算法中,均大量使用了 “i++” 或者 “++i” 的操作。

面对这样的编程语言的特性,我们不得不寻求另外的实现方法,这既是一种挑战,似乎也是一种机遇,我们在下面的一节讨论由此引发的对 Base62x 解码(decode)的优化改进。 

2. Base62x 解码算法的优化改进

2.1. 改进 if-else 顺序
将最大可能的 if 放最前面,减少每次 loop 时的运算对比次数。
改进后的代码大致如下:

if( a > 2){
     # most case
}
else if(a == 2){
     # secondary most case
}
else{
     # least case
}

改进后,有望减少计算判断,提升程序运行速度。也即如果按照通常的逻辑,如果代码写成  if(a==1){ … }else if(a==2){ … }else if(a>2){ … }, 则在每一个循环中,程序都要拿 a 跟 1, 2, 3等各个分支比对一次,然后再进入所对应的分支块。这是本次改进的主要认识之一。

2.2. 改进对自增操作符 i++ 等的调用
使用内部子循环来优化解码(decode)操作, 减掉大量循环体内的 if-else 操作,减掉 ++i 和 ++m 的操作.

如前所述,我们在编码 Base62x in Python 时,发现 Python 无法提供类似 “i++” 或者 “++i”  自增操作符,而在 Base62x 之前的很多版本的解码操作中,均有大量使用自增操作符。原算法的代码大致如下 (C语言):

switch(remaini){
case 1:
printf(“Base62x.decode: found illegal base62x input:[%s]! 1612121816.\n”, input);
break;

case 2:
if(input[i]==xtag){ tmpin[0] = bpos+bint[input[++i]]; }
else{ tmpin[0]=rb62x[input[i]]; }
if(i == maxidx){ //- may be wrapped into a func decode_by_length
c0 = (tmpin[0] << 2);
output[m]=c0;
}
else{
if(input[++i]==xtag){ tmpin[1] = bpos+bint[input[++i]]; }
else{ tmpin[1]=rb62x[input[i]]; }
c0 = tmpin[0] << 2 | tmpin[1];
output[m]=c0;
}
break;

case 3:
if(input[i]==xtag){ tmpin[0] = bpos+bint[input[++i]]; }
else{ tmpin[0]=rb62x[input[i]]; }
if(input[++i]==xtag){ tmpin[1] = bpos+bint[input[++i]]; }
else{ tmpin[1]=rb62x[input[i]]; }
if(i == maxidx){
c0 = tmpin[0] << 2 | tmpin[1];
output[m]=c0;
}
else{
if(input[++i]==xtag){ tmpin[2] = bpos+bint[input[++i]]; }
else{ tmpin[2]=rb62x[input[i]]; }
c0 = tmpin[0] << 2 | tmpin[1] >> 4;
c1 = ( ( tmpin[1] << 4) & 0xf0) | tmpin[2];
output[m]=c0;
output[++m]=c1;
}
break;

default:
if(i < last8){
if( input[i]==xtag){ tmpin[0] = bpos+bint[input[++i]]; }
else{ tmpin[0]=rb62x[input[i]]; }
if( input[++i]==xtag){ tmpin[1] = bpos+bint[input[++i]]; }
else{ tmpin[1]=rb62x[input[i]]; }
if( input[++i]==xtag){ tmpin[2] = bpos+bint[input[++i]]; }
else{ tmpin[2]=rb62x[input[i]]; }
if( input[++i]==xtag){ tmpin[3] = bpos+bint[input[++i]]; }
else{ tmpin[3]=rb62x[input[i]]; }
c0 = tmpin[0] << 2 | tmpin[1] >> 4;
c1 = ( ( tmpin[1] << 4) & 0xf0) | ( tmpin[2] >> 2 );
c2 = ( ( tmpin[2] << 6) & 0xff) | tmpin[3];
output[m]=c0;
output[++m]=c1;
output[++m]=c2;
}
else{
if(input[i]==xtag){ tmpin[0] = bpos+bint[input[++i]]; }
else{ tmpin[0]=rb62x[input[i]]; }
if(input[++i]==xtag){ tmpin[1] = bpos+bint[input[++i]]; }
else{ tmpin[1]=rb62x[input[i]]; }
if(i == maxidx){
c0 = tmpin[0] << 2 | tmpin[1];
output[m]=c0;
}
else{
if(input[++i]==xtag){ tmpin[2] = bpos+bint[input[++i]]; }
else{ tmpin[2]=rb62x[input[i]]; }
if(i == maxidx){
c0 = tmpin[0] << 2 | tmpin[1] >> 4;
c1 = ( ( tmpin[1] << 4) & 0xf0) | tmpin[2];
output[m]=c0;
output[++m]=c1;
}
else{
if(input[++i]==xtag){ tmpin[3] = bpos+bint[input[++i]]; }
else{ tmpin[3]=rb62x[input[i]]; }
c0 = tmpin[0] << 2 | tmpin[1] >> 4;
c1 = ( ( tmpin[1] << 4) & 0xf0) | ( tmpin[2] >> 2 );
c2 = ( ( tmpin[2] << 6) & 0xff) | tmpin[3];
output[m]=c0;
output[++m]=c1;
output[++m]=c2;
}
}
}
}

变量 remaini 是当前待处理的字符流的余量,算法的逻辑是对余量按每四个字符进行解码并按位操作。按余量不同,分别按4,3,2,1的长度情况使用 switch分别处理。这里首先要按 2.1. 的思路,将 余量为4 (最大可能)放第一位 if,然后再处理 i++ 和 ++m 的情况。

根据测试实验,使用一个内部的子循环可以取代 i++ (++i)和 m++ (++m) 的情况,针对C语言版本,还实现了此前处于@todo 的 decode_by_length . 该函数是用于处理 C、Java等可能出现的数据越界的安全检查等。改进后的代码大幅减少,(C语言)源代码大致如下:

if(remaini > 1){
j = 0;
do{
if(input[i] == xtag){
i+=1;
tmpin[j] = bpos+bint[input[i]];
}
else{
tmpin[j]=rb62x[input[i]];
}
i+=1; j+=1;
}
while(j < 4 && i < inputlen);
m = decode_by_length(tmpin, output, m);
}
else{ //- == 1
printf(“Base62x.decode: found illegal base62x input:[%s]! 1612121816.\n”, input);
continue;
}

从代码量上看,改进后的代码缩减至 10几行,而优化改进之前的代码足足有几十行至上百行,因此无论从体量还是从逻辑上看,改进后的代码更高效、简介。改进优化前: do{ if–else if– else if — else if — else; }while(…), 改进优化后: do{ do{ if — else; }while(…); }while(…); .

2.3. 针对所有已知编程语言版本进行升级改进
将上述在 C语言版本  base62x.c 中的算法,近测试无误后将相应地算法同样地在 Java, JavaScript, PHP, Perl 等版本中一一重新实现,并使用所对应的测试脚本对按 2.1 和 2.2 进行优化改进的算法进行测试。

测试结果显示,修改符合预期,优化改进成功。

另外还完成了 C语言、Java语言版本中的 decodeByLength 内部函数/方法的实现。

3. 持续向前兼容所有 Base62x 版本
上述 2.1. 和 2.2. 的优化改进,是 Base62x 在应用范围和算法性能上的扩展和改进。这些改进不会对现有的 Base62x 在格式、定于及语法上引起偏误,改进后的代码持续向前兼容所有 Base62x 的历史版本。

也即,此前版本Base62x 编码出来的 String,能够使用改进后的的算法准确地进行解码;使用改进版本的Base62x编码出来的String,也能够使用原来的Base62x算法原本无误地进行解码。

 

Base62x is an alternative approach to Base64 for only alphanumeric characters in output.
Base62x can be used safely in computer file systems, programming languages for data exchange, internet communication systems, and is an ideal substitute and successor of many variants of Base64 encoding scheme.
Base62x 是一种无符号的Base64编码方案。
Base62x 可以在计算机文件系统、编程语言数据交换、互联网络通信系统中安全地使用,同时是各种变种Base64编码方案的理想替代品、继任者。

 

Posted in Base62x, 编程技术, 计算机技术 | Tagged , , , , | Leave a comment

DevOps: 一例高负载多并发服务器连接池满的异常排解过程

今天是三八国际妇女节, 也是中国农历二月二/龙抬头的节日,恭祝女同胞节日快乐!恭祝中国善良的人们都抬头见喜!

好一阵子没更新Blog,今天也借这喜气冲刷一下往日的阴霾,经过多日的观察,终于找到这阵子“有福新闻”高负载多并发服务器的异常报错背后的原因之一。此前在Blog中频繁观测到 GWA2 PHP Memcached的报错,并且在代码层面进行了多次调优,问题暂时得到缓解,深层并未深究出个所以然。

“GWA2 PHP Memcached自动追加服务器连接?一例缓存服务被击穿的异常分析”, -R/52SP  。

在进行日常服务器状态巡检时,先是发现 Apache 在数日的持续运行中,会有 segmentation fault 导致的死掉,于是对 Apache 2.4.x 进行升级到最新版的操作,然而加了保护措施。尽管偶尔有 Apache child 有 segmentation fault退出,但整个服务顽强的活着.

后续几日的连续观测中,Apache暂无异常死掉,而 GWA2 PHP Memcached再次开始报错,报错信息为唯一的 127.0.0.1/11211 服务被标记为 DEAD (error code: 35). 然而在终端用 telnet 进行手工模拟时,memcached的服务又是正常的,这是为何?时好时坏,随机出错吗?

近日继续探测,在最近的一次服务器上尝试使用 ping ufqi.com 时,命令行开始报错说 sendmeg not permitted… 于是一例服务器操作系统层面的问题被曝露出来。

ping命令的无法执行,可能是网络配置或操作系统异常,循着这个思路,我们使用 journalctl -f 命令,很快看到 kernel层的报错信息:

Mar 08 04:43:06 srv21 kernel: nf_conntrack: nf_conntrack: table full, dropping packet
Mar 08 04:43:06 srv21 kernel: nf_conntrack: nf_conntrack: table full, dropping packet
Mar 08 04:43:06 srv21 kernel: nf_conntrack: nf_conntrack: table full, dropping packet

原来是系统的网络连接池出现了问题!关于 “nf_conntrack: table full, dropping packet” 这里 -R/u2SR 有详细的解释。 简单地说,操作系统集成了 Netfilter 防火墙服务,基于 iptables 的操作系统的连接管理器中,有四个 table(表) 和五个 chain(链)。


Fig1. Iptables 4 tables and 5 chains

Tables: categorized by different operations to data packets.

raw: highest priority, only appied to PREROUTING and OUTPUT chain. When we don’t need to do NAT, we can use RAW table to increase performance.

mangle: modify certain data packet

nat: NAT, port mapping, address mapping

filter: filter

Chains: categorized by different hooks.

PREROUTING: packet before going to route table

INPUT: after packet passing route table, destination is current machine

FORWARDING: after packet passing route table, destination is not current machine

OUTPUT: packet comes from current machine and to outside

POSTROUTIONG: packet before going to network interface

当操作系统处理 TCP/IP 连接相关模块出错时,所有基于连接的服务都会报出异常。这是此前在代码层无论如何优化都没办法解决OSI分层中更底层的问题。

操作系统默认的并发连接数为 65535, 通过命令:cat /proc/sys/net/netfilter/nf_conntrack_max  可以查看到。 如果通过命令 cat /proc/sys/net/netfilter/nf_conntrack_count 获得到的数字等于 max 的最大值时,此时再有新创建连接的需求就会报错,当创建连接失败时,基于其上的所有应用都将失败,而这些在代码层并不容易解决。推荐的 /proc/sys/net/netfilter/nf_conntrack_max 值的计算公式: CONNTRACK_MAX = RAMSIZE (in bytes) / 16384 / (ARCH / 32) , 如 8GB RAM in x86_64 OS,  max = 8*1024^3/16384/2=262144 。

当一台繁忙的服务器的连接数超过默认值时,需要通过修改 /proc/sys/net/netfilter/nf_conntrack_max  来使得系统能够接收更多连接进来。

临时修改:
echo 524288 > /proc/sys/net/netfilter/nf_conntrack_max
or
sysctl -w net.netfilter.nf_conntrack_max=262144
永久修改:
在 /etc/rc.d/after.local  或者 /etc/rc.d/rc.local 中增加上述命令行语句。

除了增加 /proc/sys/net/netfilter/nf_conntrack_max 参数设定外,还可以通过调整 iptables 的表或者链上相关规则来进行调优,更多参考: -R/u2SR 。

“有福新闻”, “全国招投标信息中心” 等服务又可以畅快地运行并有信心地迎接下一次洪峰的到来。

小结:
1. 在代码层很难发现操作系统层的问题,可行的路线是分析应用层源码;
2. 系统层的异常,通过具有随机性,比如连接数,是一个动态变化数据,可能下一秒异常就没有了,无法确定重现的问题为 troubleshooting 带来了一定的障碍。
但是,已有的问题,在没解决之前,会再次发生,这是确定的。

Posted in -GWA2, 服务器运维, 计算机技术 | Tagged , , , , | 1 Comment

🛠️Hanjst/汉吉斯特更新加JavaScript运行时优化等

这是 Hanjst/汉吉斯特 发布以来的首个主要升级更新版本。这次的主要升级更新的内容包括移除HTML Comments注释行, 优化在 Hanjst include模板文件时的JavaScript运行时环境。

Hanjst 在设计和工程实现时,预留了模板文件嵌套功能,由于在过往的Web软件研发过程中,对模板文件的套用场景非常熟悉,所以对这一需求也感触较多,于是在最早的 Hanjst 初始发布中就预制了模板嵌套功能。

Hanst的模板嵌套采用了与 -Smarty 等模板语言类似的语法表达:

{include file=”$anEmbedTplFile”}

其中 “anEmbedTplFile” 经由服务器端读取并生成想要的表达式语言字符串。然后经由 Hanjst JSON Data 传递给 Hanjst 模板解析引擎。

Hanjst 模板引擎在解析 include 指令时,将对应的模板表达式汇入当前的页面的当前位置,从而实现对模板的嵌套。这个过程很流畅,逻辑也与服务器端模板语言一致。所不同于服务器端模板语言的是,当我们在 anEbedTplFile 里声明 JavaScript 变量及对象时,在父模板的 JavaScript运行时环境中可能找不到该变量或对象。设若, anEmbedTplFile 中包括如下内容:

<p>This is in an Embed Tpl File</p>
<script>
function embedJSFunc(varA){ console.log((new Date())+” :  call embedJSFunc with varA:”+varA); }
embedJSFunc(“I’m in embed tpl file!”);
</script>
<p>EOF.</p>

当我们将该模板以嵌套的形式进行嵌入一个 index.html 中时:

<p>This is in an Index Tpl File.</p>
{include file=”anEmbedTplFIle”}
<p>EOF.</p>

Hanjst 在解析 index 时,会将 anEmbedTplFile 的内容合并到 index 中,同时通过 _appendScript 私有方法将 embedJSFunc 注册到 index 中,同时在 index 的运行时环境执行 embedJSFunc 函数。

这次的主要升级改进就是这一流程中的细节进一步的优化提升。

1)资源冲突问题,当 index 中也有 embedJSFunc 同名函数时,会报错。
该如何处理报错信息?
可行方法是,避免在 index 和 embed 文件中同时命名相同的函数或变量、对象,以免引起冲突导致出错。
即便有开发者意外地在 index 和 embed 中同样地声明了相同的函数后者变量,Hanjst 也做了异常处理,以便整体流程能够顺利执行并完成页面渲染。

2)如果在 embed 中有 <script src=””></script>, 需要考虑引入其脚步资源。
该怎样引入较好?
路径中的变量如何处理?
Hanjst 此次改进增加了对 embed 的引入资源的支持,对资源路径中的变量进行解析,如在 anEmbedTplFile 中:

<script async src=”{$tplDir}/js/adsbygoogle.js”></script>

则 Hanjst 在将 该js引入到 index时,同时解析出 {$tplDir} 所指向的真实路径。

然而,如果是在 index 中模板中的路径,则需要在服务器端进行相应的替换,因为此时Hanjst 尚未接管对页面的渲染,尤其是不能使用带有变量的路径来引入 Hanjst.js 文件。

在服务器端对资源路径进行替换的通常做法大致过程是:A)模板开发人员,前端设计制作人员通常会使用相对资源引用路径在交付设计稿时,B)工程技术人员拿到带有相对资源引用路径时,会分割出共用头文件和尾文件,其他嵌套文件块,然后藉由模板引擎的{include}指令,重新分割、组装模板,C)工程技术人员将其中的相对引用路径替换为带有模板绝对路径的输出内容文本。相应的替换逻辑可以在 -GWA2 Java版中见到。

//- replaces in GWA2Java
String[] repTags = new String[]{“images”, “css”, “js”, “pics”};
for(int ti=0; ti<repTags.length; ti++){
    outx.append(“ti:[“+ti+”] reptag:[“+repTags[ti]+”]”);
    tplcont = tplcont.replaceAll(“\””+repTags[ti]+”/”, “\””+viewdir +”/”+repTags[ti]+”/”);
}

3)执行时序问题,如果是执行语句,绑定了相应的DOM对象,而该对象在Hanjst当前环境中还未就绪,会报错.
该如何处理?
onComplete?  window.setTimeout?

当 Hanjst 将 embed的模板内容中的脚本注入到 index 的运行时环境时,在解决了资源冲突问题之后,需要考虑执行时序,尤其是当待执行的代码需要依靠 Hanjst 后续输出的DOM 对象时,需要延后执行。

延后执行有两种思路,依靠 JavaScript的事件驱动机制event-driven, 将待执行的动作绑定到 Hanjst 的渲染方法 _renderTemplate 之后,也即 Hanjst._renderTemplate.onComplete。 第二种思路是,依靠 JavaScript的匿名函数Anonymous Function机制,既然是延后执行,则可以将待执行的命令封装到一个匿名函数,然后设定一个 window.setTimeout 过一段时间(预计 Hanjst 渲染完成 DOM)之后再触发该动作。

目前,Hanjst 采用的是后一种解决执行时序问题,也即当 embed的动作要执行时,先以一个匿名函数封装并生成一个 window.setTimeout。

执行时序问题,不单是 embed有,有时候index内的执行函数也有问题,一个常见的场景是,如果某些JavaScript调用是发生在 Hanjst引用之前,则会被调用两次(重复!)。解决这个问题的思路就是将 待执行的命令放在 Hanjst 引用之后,或者在命令设计时,允许重复执行而不影响预计效果。

这个设计及实现可以在 Hanjst的Demo页面看到。

Web模板语言及其解析引擎深入下去才发现,复杂而庞大,希望这些细节的探究及描述可以帮助更多的开发人员理解其内幕,仅一个{include}指令的编译就涉及那么多方面,一些以玩票心态用几十行代码实现一个“轮子”的想法可以考虑暂停下来了。

Hanjst 解析引擎目前已经超过600行代码,包括很多类似这样的算一行的统计:

var asyncScriptArr = []; var isAsync = false; var srcPos = -1; var endTagPos = -1; //- four lines
matchStr = match[0]; exprStr = match[1]; //- two lines
if(exprStr.indexOf(‘=’) > -1){ containsEqual = true; } //- three lines

毫无疑问,随着 Hanjst 部署的实例场景越多、兼容的异常越多、引入的模块越多和功能日趋强大,其代码会越来越长。

 


 

Hanjst/汉吉斯特 是一种基于JavaScript的模板语言及解析引擎,她运行在客户端/服务器端。Hanjst能够表述逻辑控制,能够实现与服务器端模块语言相同的功能。

Hanjst/汉吉斯特的主要特征/功能包括:

  • Hanjst当完全在客户端解析时,节省服务器端计算资源;

  • Hanjst模板语言独立,不与服务器端资源做任何绑定;

  • 纯粹的MVC,层间数据用JSON格式传递;

  • 常见模板语言功能全支持,附带复杂而强大的JavaScript编程能力;

  • 无学习成本,直接使用JavaScript书写模板语言;

  • ….

Hanjst 新增部署实例参考:
-Ufqi-Ztb ,
https://ztb.ufqi.com/?mod=ztb , 
全国招投标信息中心 .

Posted in -GWA2, -Hanjst/-汉吉斯特, 编程技术, 计算机技术 | Tagged , , , , , | Leave a comment

GWA2 PHP Memcached自动追加服务器连接?一例缓存服务被击穿的异常分析。

GWA2 PHP Memcached自动追加服务器连接? 一例缓存服务被击穿的异常分析。

最近在一次网络应用服务器巡检时,发现负载特别高,与当时的流量不成比例,于是就进一步地核查看看为何负载高。

首先发现负载高是由于数据库(-MySQL)的查询读取查询异常的多,并发连接有上百个,多数是简单的查询,可见不是数据库结构问题,而是自然流量触发的数据请求。

缓存被击穿了吗?为何这些显而易见的查询会出现那么多并发?稍微留意发现,有些查询SQL是相同的,于是可以大致推断,缓存层出问题。确认缓存被击穿,对一个线上应用来说是一件很恐怖的事情。

@memcached
进一步的诊断缓存服务(-Memcached),使用telnet 工具连接本地缓存服务,通过 stats命令查询,缓存服务正常,有正确的get/set数据,有get_hits/misses统计,缓存服务没有问题。

下一个疑点就是在代码层,PHP连接模块Memcached的地方有问题吗? 调用缓存服务的存取操作有异常吗?

打开 GWA2 PHP 的 inc/config.class 核对连接缓存服务,没有问题,基于IP地址和端口的连接配置;
打开 inc/webapp.class 显示读取缓存的成功与失败日志记录,发现有成功,有失败。
进一步地打开 inc/webapp.class 的 readObject/writeObject的日志记录;打开 inc/cachea.class, inc/memcached.class 中的 set方法的日志记录。

日志记录显示,有成功的,结果是预期的;当失败时,memcached发回的错误代码和错误消息是,35 / Server Marked Dead。

这听起来不可思议,当下的memcached服务,只有一个 127.0.0.1 基于IP的连接配置,怎么会有成功和失败的状况同时存在呢?

更进一步地输出当前 sever list发现,的确有两个缓存服务的配置:

memcached servers:a:2:{i:0;a:3:{s:4:”host”;s:9:”127.0.0.1″;s:4:”port”;i:11211;s:4:”type”;s:3:”TCP”;}i:1;a:3:{s:4:”host”;s:33:”/bin/memcached/memcached.sock”;s:4:”port”;i:11211;s:4:”type”;s:6:”SOCKET”;}}

明明在 inc/config.class 中只配置了 127.0.0.1 的一个缓存服务,而第二个 /bin/memcached/memcached.sock 从哪里来的呢?显然这个 .sock 的连接已经被标注了 DEAD 但并没有从 server list 里移除,这也让人费解,毕竟在 Memcached的连接初始化时声明了自动移除DEAD Server。

$this->mcache = new Memcached(self::persist_ConnId);
$this->mcache->setOption(Memcached::OPT_REMOVE_FAILED_SERVERS, true);
$this->mcache->setOption(Memcached::OPT_LIBKETAMA_COMPATIBLE, true);

一种合理的解释大致是,/bin/memcached/memcached.sock 文件存在,然后Memcached 服务会自动探测,然后追加到当前的 server list里。会这样智能吗? 可能要分析PHP Memcached的扩展模块源码 和 Memcached的服务源码相应的模块才能确认。

导致存在 /bin/memcached/memcached.sock 文件并且使用 127.0.0.1 的原因是,第一次启动 Memcached服务时,指定了 -s /bin/memcached/memcached.sock 然后kill关闭,再次启动时不带 -s 而是指定了 IP/Port,这样 /bin/memcached/memcached.sock 就被遗留下来而没有用。

之所以不再使用 -s /bin/memcached/memcached.sock 模式,是由于该 Memcached服务需要在 PHP和 Java之间共享,而Java读取操作 .sock 文件相对复杂,暂时没有集成到 GWA2 Java中去。而 -s /bin/memcached/memcached.sock 与 IP/Port 在Memached服务看来又不能共存。

由于 /bin/memcached/memcached.sock 是上次启动后遗留下来的,所以其状态可能并不是 DEAD, 所以 OPT_REMOVE_FAILED_SERVERS 也未能生效?

针对这个问题,手工移除 /bin/memcached/memcached.sock , 然后重启 HTTPD ,  GWA2 PHP 再次正常运行,缓存服务不再报错,也没有缓存服务被击穿,导致数据库查询并发大,进而系统负载高的问题出现。


-GWA2 是”通用网络应用架构( General Web Application Architeture )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.

Posted in -GWA2, 编程技术, 计算机技术 | Tagged , , | 1 Comment

㊗️ GWA2/吉娃兔八周年啦!GWA2内置模板引擎成功由Smarty替换为Hanjst

2011.01 — 2019.01 🎉

GWA2/吉娃兔 八周年啦!GWA2内置模板引擎成功由Smarty替换为Hanjst!
欢迎试用体验“轻松启动,高效产出 (EASY模式, Easy Along, Swift Yield)”的“通用网络应用开发框架”。

 314 commits / 8 years , 
3.27 commits / month.
几乎每周 GWA2 有更新,在成长.

GWA2/通用Web开发框架, 2011.01 — 2019.01 ,已经走完八个年头。这期间,GWA2 的设计思想始于Java开发语言,第一个完成的版本却是PHP开发语言的 GWA2PHP。

八年来,GWA2 从单一的PHP版本,后续又逐渐完成了 Java生产就绪版本和 Perl的生产就绪版本,规划中的 Aspx 和 Python版本预计在未来2-3年完成生产就绪的初始版本。

 八年来,GWA2成功部署无数大大小小的商业项目,并成功孕育出通用管理信息系统:-gMIS / -吉米斯

1. GWA2的价值回顾

GWA2的设计与研发思想是面向对象,面向物理世界的,在将这种思想进行工程化实现时,也经历过很多曲折。

我们团队努力要探索和实现的是一种前无古人的问题:

到底能不能实现软件研发框架的跨开发语言?

如果软件开发框架能够跨开发语言,该如何进行?需要遵循哪些规则?有无最佳实践(Best practice)?

计算机科学与技术仍然年轻,信息产业也只是经历短暂的几十年的发展,编程语言及软件工程领域,新思想,新观念,新技术,新尝试仍层出不穷、日新月异。我们庆幸在这波时代巨浪中以 GWA2 的研发探索参与其中,试图回答“软件研发框架是否能够实现跨语言”这样的问题。

从本质价值上说,之所以用软件开发框架,也是前人探索和总结的经验,“为解决一个开放性问题而设计的具有一定约束性的支撑结构”,能够“更迅速和方便地构建完整的解决问题的方案”。GWA2作为单一开发语言的开发框架,承载了这一使命,并严格遵循了面向对象,面向业务等开发规范,在扩展性、易用性方面取得可喜的进步。

在单一开发语言等软件框架的横向比较中,GWA2 也有出色的表现,如GWA2的PHP版本,“-gwa2 vs -thinkphp”, -R/L2SP 。

为何要有跨编程语言的开发框架?

我们预设一名软件工程师在其一生的职业生涯中,绝大多数人不会也不能只懂一门开发语言,在不同的职业阶段,在不同的应用项目上,甚至在不同的历史时期,会或多或少地使用两种以上的开发语言进行工作。如此以来,软件工程师就面临要学习两种以上的开发语言,然后每种开发语言再学习一种软件开发框架。

GWA2 的初衷就是解决掉后面这个问题,软件工程师在A语言掌握和习得的软件开发框架知识,可以无缝地在B语言上继续使用。无需再学习,也不必再学习另外一种额外的软件开发框架。此其核心价值之一。

其二,籍由跨开发语言的“上帝视角”,我们可以审慎地对待每一种开发语言,汲取该开发语言的优点而实现和部署在其他开发语言的相应GWA2的版本中,抛弃其缺点与不足;积极参与各个开发语言社区,以促进各个开发语言的竞向发展。从而实现在不断完善和增强改进GWA2的基础上,推动人类在软件领域的集体进步。

2. GWA2内置模版引擎由从Smarty 到Hanjst

GWA2最近较大幅度的改进是其内置模版引擎由原来的 Smarty 改为 Hanjst。

这首先得益于 Hanjst的生产环境就绪版本的发布(-Hanjst, -汉吉斯特, -R/U2SK )。谈及改动的动机,大致由如下几点。

1) Smarty 本身已经足够好,足够强大到满足生产环境需求,这是 Smarty 在之前我们的遴选中能够胜出的原因之一。Smarty 简洁明了的表达语言很接近自然语言,令其学习门槛低,容易上手,而进阶应用也保持了这种简洁,所以学习曲线并不陡峭。

我们在 GWA2PHP 中集成了 Smarty ,他工作地很好。当我们研发 GWA2Java时,发现 网上 Smarty爱好者已经有将 Smarty 移至成 Java 版本的, Smarty4J ,于是我们也顺理成章地集成了 Smarty4J。

遗憾的是, Smarty4J 是大约7-8年其版本,且其后没有更新,只兼容 Smarty 2的语法,这极大地限制 GWA2Java 进一步的发展。

2)寻求跨开发语言的 模版引擎的想法一直在我们的 Todo List上,最早在 2016年我们就尝试一种 Jstpl的模版引擎创制。

当初的想法一是对跨开发语言的模版引擎的认识,逐渐归集到 JavaScript身上,二是网上现存的JavaScript的模版引擎虽各有千秋,各具特色,但拿出来跟 Smarty相提并论但并没有,多数JavaScript模版引擎均属画地为牢自我限制,然后孤悬一偶。

同时,作为 Smarty的重度用户,在深度使用 Smarty时,也发现一些不足。

3)带着这些想法,我们希望创制一种能够在语法、功能上与Smarty媲美,基于JavaScript的能够跨开发语言的模版引擎。

令人惊奇的是,Smarty 爱好者如此广泛,让 Smarty JavaScript也被研制出来了: JSmart (-R/s2SR ) 。这个开源的模版引擎也在我们的考察范围之内,令人稍微不满意的是,我们无法接受下面这样的模版表达式:

<script id="test_tpl" type="text/x-jsmart-tmpl">
    Hello {$name}
  </script>

我们认为, 第一行和第三行应该去掉。参考: -R/U2SK 。

4)加上其他要改进的 Smarty的语法,我们最终还是决定新造一个我们认为可以做得更好的轮子, Hanjst / 汉吉斯特。

从2016年开始,历时3年的探索与研制,2019年元旦开花结果,-Hanjst, Han JavaScript Template Language/Engine 终于发布一个生产就绪版本,中文名 -汉吉斯特。详见:-R/U2SK 。

3. GWA2的下一个八年

2019.01 — 2027.01

我们会将 GWA2 持续研发下去,继续完善和增强,不断增加和扩张公用类库,拓展增加更多的开发语言版本,如 GWA2Python版本, GWA2Apsx版本等。

我们还将继续完善作为GWA2的集成部分,也可以独立发展的 Hanjst模版,以减少和降低研发人员在使用模版方面的困扰。

最主要的,GWA2 的各个版本都将被部署和应用到更多商业项目中,在其中被检视、检验,并发现问题、修正问题、改进性能等,这些实践是GWA2 不断进步的前提和基石。

我们相信,信息产业、软件行业在未来信息时代的人工智能普遍应用阶段更逐渐成功社会发展和人类进步的基础技术领域和基本设施范畴。

🎉期待GWA2 的下一个八年,祝愿我们共同的下一个八年更美好!㊗️

 


 

-GWA2 是”通用网络应用架构( General Web Application Architeture )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.

 

Posted in -GWA2, -Hanjst/-汉吉斯特, 服务器运维, 编程技术, 计算机技术 | Tagged , , , | Leave a comment

Apache Tomcat JDBC连接池接入MySQL数据库的NamingContext异常排解

在最近新部署的 -GWA2 in Java 的实例中,一切进展顺利,唯独在启用连接池访问 Tomcat 接管的 MySQL 数据库连接池时报错出异常。问题排解过程曲折,值得记录如下。服务器端日志信息如下:

java.lang.ClassCastException: class org.apache.naming.NamingContext cannot be cast to class javax.sql.DataSource (org.apache.naming.NamingContext is in unnamed module of loader java.net.URLClassLoader @5383967b; javax.sql.DataSource is in module java.sql of loader ‘platform’)

根据报错信息,找出报出问题的代码段如下:

if(this.hasSocketPool){
try{
    this.ctx = new InitialContext();
    this.ds = (DataSource)ctx.lookup(“java:comp/env/jdbc/”+this.myDb); //- error!
}
catch(Exception ex){
ex.printStackTrace();
}
}

就是在 ctx.lookup 返回对象进行强制类型(DataSource)转换时发送错误,抛出异常。

让人费解的是,这些代码在另外的运行时环境时,运行良好,难道跟新部署的环境有关? Tomcat 9.0+ / MySql 8.0+ / Java 11.0+ ?

报错信息的字面意思是 “A类不能强制转为B类(A类在未命名的加载器模块C中,B类在platform加载器的java.sql模块中)”。根据这些理解,大致是加载的类出现错乱了,于是沿着这个思路搜索一下网上其他同学的过往经历。

网上的资讯大致可以分为两种,一种是的确加载错了 org.apache.naming.* 相关的类,另外一种更大的可能是没有正确地在 Tomcat中配置 conf/server.xml 和 conf/web.xml ,这个参照 Tomcat的手册可以很快排除。

而第一种,加载错乱的情况,在GWA2 Java中,理论上不应该发生,因为我们在 inc/MySql.class 中明确地声明了加载如下类:

<%@page import=”javax.sql.DataSource,
java.sql.DriverManager,
java.sql.ResultSet,
java.sql.PreparedStatement,
javax.naming.Context,
javax.naming.InitialContext”%>

显然,其中并没有显示地加载任何 org.apache.naming 相关的类。尽管如此,我们还是在代码层面将类的调用再一次的明确下来,使用类的绝对路径以避免可能引起的混淆。改进后的代码为:

javax.naming.Context ctx = new javax.naming.InitialContext();
javax.naming.Context envCtx = (javax.naming.Context)ctx.lookup(“java:comp/env”);
envCtx = (javax.naming.Context)envCtx;
Object dsObj = envCtx.lookup(“jdbc/”+this.myDb);

很遗憾,带上绝对路径的类的声明与应用于事无补。

迫不得已,我们决定将部署归零,清空所有配置,重新下载最新版的 Tomcat, GWA2 Java等,然后重新安装,再次运行时,很遗憾,问题依旧!

几乎要放弃了,这种可能由于软件不匹配导致的问题,已经超出应用层和代码层的解决能力范畴。不能放弃,还有最后一招——分析源代码——还没使用。于是耐下心来,翻看 Tomcat 的API文档和 Java 的API 文档,逐个对象查询、分析,并在程序中逐个步骤进行断点测试。

javax.naming.NamingEnumeration dsList = envCtx.list(“jdbc/”);
debug(“dsObj:”+dsObj+” / “+dsObj.toString()+” ctx:”+ctx+” envctx:”+envCtx+” envctx.getEnv:”+envCtx.getEnvironment());
debug(“dsList:”+dsList+” mydb:”+this.myDb);
while(dsList.hasMore()){
    debug(“dsList: next:”+dsList.next());
}

-R/B2SR 
https://tomcat.apache.org/tomcat-9.0-doc/api/index.html

-R/72SS 
https://docs.oracle.com/en/java/javase/11/docs/api/java.naming/javax/naming/Context.html

进一步地日志输出中,我们看到了蛛丝马迹,在测试代码的第二步,原本应该返回 javax.naming.Context 对象的,却被 Tomcat 替换为 org.apache.naming.NamingContext. 所以后就几乎全都跑偏了。

Thu Jan 03 05:56:32 UTC 2019 dsObj:org.apache.naming.NamingContext@368631b7 / org.apache.naming.NamingContext@368631b7 ctx:javax.naming.InitialContext@4f52e2fc envctx:org.apache.naming.NamingContext@5b51d294 envctx.getEnv:{}
Thu Jan 03 05:56:32 UTC 2019 dsList:org.apache.naming.NamingContextEnumeration@152fa16f mydb:
Thu Jan 03 05:56:32 UTC 2019 dsList: next:userdb: org.apache.tomcat.dbcp.dbcp2.BasicDataSource
Thu Jan 03 05:56:32 UTC 2019 dsList: next:contentdb: org.apache.tomcat.dbcp.dbcp2.BasicDataSource
Thu Jan 03 05:56:32 UTC 2019 dsList: next:newsdb: org.apache.tomcat.dbcp.dbcp2.BasicDataSource

当我们调用 org.apache.naming.NamingContext 对象的方法 .getEnvironment 和 .list 进一步地输出时发现,配置信息 userdb, contentdb 和 newsdb 都在。 为何返回是一个包含列表的对象NamingContext 而不是一个 DataSource类型的数据?

谜底揭开!在当前运行时环境中关键变量 this.myDb 为空,当传入一个空值的 资源标识符(数据库资源)时,ctx.lookup 不是报错未找到,而是返回了DataSource的父类 NamingContext!

(DataSource)ctx.lookup(“java:comp/env/jdbc/”+this.myDb); //- error if empty myDb

修正方式:
1)在 GWA2 Java中对 this.myDb 做兼容,如果为空,则不启用默认数据库连接池的连接;
2)尝试递交 bug给 Apache Tomcat 开发组,修改报错信息或改进返回值类型,减少对用户可能产生误导的信息。
3) 尝试回复stackoverflow上类似悬而未决的一问题。

翻阅源代码,仔细查看API文档依然是解决问题的终极大杀器之一。

-GWA2 是”通用网络应用架构( General Web Application Architeture )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.

Posted in -GWA2, 编程技术, 计算机技术 | Tagged , , , , | Leave a comment

Hello 2019! Hanjst/汉吉斯特 模板语言及引擎创新发布

Hello 2019!  Hanjst/汉吉斯特 模板语言及引擎创新发布。

值此一元复始之际,恭祝 网友们新年万事如意!
寄望 Hanjst/汉吉斯特能帮助大家从各种模板中解脱出来,为人类做出更大的贡献。

1. 背景

网页模板语言/引擎缘起于 MVC 思想的引入。当软件项目膨胀复杂到足够大时,软件研发人员与UI/UE设计人员就需要分别独立出来,其中设计制作人员工作的V(View)部分需要用模板语言与引擎。

模板语言及引擎的设计与研发工作是一项既简单又复杂的工作。简单地说,模板就是一种变量替换的工作,在模板中预留相应的占位符和变量标记,模板引擎在工作时在相应的占位符将对应的变量替换为实际对应的数值即可。

复杂地说,模板语言是一种全新表达语言的设计,设计一门语言,其难度是可想而知的,这门语言要能够满足日常沟通之需要,首先或入门的是语言设计者要考虑的,是该模板语言能够普遍接受和广泛使用,这样语言才有生命力。无疑,简洁而表意丰富是重要而优先的考虑项。

先行者已经在模板领域创制出大量符合各种需求的模板语言与模板引擎,这里是一个简单的归集  -R/U2SJ ,  为了更好的梳理其发展类别,我们绘制了一个 Mind map:

Fig1. 网页模板语言分类概括

2. 问题讨论

如在Fig1中所展示的,模板语言及引擎有很多种类,每个分类下面又有不同的应用实例,可谓多姿多彩,琳琅满目。实际上,在网络上搜索一下可能会发现,网页模板语言和引擎多到不胜枚举,连JSP、PHP这样的开发语言都可以归类为某种模板语言的范围。

通过脑图的分析,我们发现在这一领域还有两个问题没有得到解决,或者没有得到很好的解决:1)服务器端,有没有一种模板语言与引擎可以实现跨开发语言的? 2)客户端/浏览器终端,有没有一种模板语言与引擎能够不需要Script tags的?

针对第一个问题,我们搜索了多次,发现的确有针对不同开发语言而设计的模板语言与引擎,多数只是针对某几种主流语言开发了模板编译引擎,只是做到“准跨开发语言”,另外就是,这些看似高级的模板语言与引擎,大多数都是私有软件,非开源,需要购买获取授权才能使用。

至于第二个问题,Script tags,一般的定义是这样的,如果我们在客户端使用JavaScript来写一个模板,通常都需要先声明一段区块头部,然后完事之后再声明一下区块尾部,这个区块的头尾部使用Script tags来实现的,如下:

<script id="template" type="x-tmpl-mustache">
Hello {{ name }}!
</script>

这是令人不悦的,为何要表述一句 “Hello {{name}}”, 无辜地多写了第一行和第三行,不能省掉吗?

令人无可忍受地还有其他的,
3)logicless 。如果一种模板语言无法表达逻辑,这是什么逻辑?
4){{name}}。为何必需用两个“{{” ,而不是一个“{”?
5)<#list>. 为何要用 “<#” , 能再简洁易懂些吗?


Fig2 腾讯理财通客户端等JavaScript模版

从 Fig2 中我们可以看到这些令人不满意等地方,函数等调用 | f2y | n2t 借用了命令行管道等意思,如果有参数呢?能否写成:

f2y(n2t(IMonthProfit)) 
or
IMonthProfit.n2t().f2y()

通过Fig2 我们还发现 模版语言,尤其是 JavaScript 模版语言在App上应用等依然存在,模版等使用并没有随着Web向App转换而减少。

于是,怀着这些不满意,我们设想满足以下需要来设计一套新的模板语言与引擎:

A)跨开发语言,与服务器开发语言不做绑定,同时开源,免费使用;
B)去掉 Scripts tags;
C)基于JavaScript提供,同时与服务器端一致强大而复杂的表达、表示能力。

如能满足以上,我们在继续研制 -GWA2  / -吉娃兔 的道路上,有望一通各个开发语言的模板引擎,而不是在开发 Java 版本的 GWA2时 选择 Velocity, 在 开发 PHP 版本的 GWA2 时选择 Smarty 等问题。

以语言学家的视角来设计这套模板语言与引擎,
以工程师的思维来实现语法、语义的程序化表达,
这就是 Hanjst 模板语言及引擎。

3. Hanjst, 汉吉斯特 模板语言及引擎

Hanjst是一种基于JavaScript的模板语言及解析引擎,她可以运行在客户端,也可以运行在服务器端。

Hanjst能够表述逻辑控制,能够实现与服务器端模块语言相同的功能。

特征/功能

  • Hanjst运行在客户端时完全客户端解析,节省服务器端计算资源;

  • Hanjst模板语言独立,不与服务器端开发语言做任何绑定;

  • 纯粹的MVC,层间数据用JSON格式传递;

  • 常见模板语言功能全支持,附带复杂而强大的JavaScript编程能力;

  • 无学习成本,直接使用JavaScript书写模板语言;

  • 开源的,免费使用;
  • ….

Han 是我妻子的姓(韩), 也是出现我女儿和儿子名字中的音节。Han 也是中文“汉族”的意思。

Hanjst 模板语言及引擎设计用来终止在HTML模板语言领域不断地“再造轮子”的活动,尽管这听起来有些怪异。

Hanjst 的语法与基于 PHP 的Smarty语言有相似的地方,原因是我们借鉴了 Smarty的一些设计,之所以如此,是我们赞同 Smarty 在语言精炼方面精益求精的探索( -R/x12SU  )。

Note that the PHP syntax uses 5 punctuation characters to display a simple variable: <?=?>, whereas Smarty uses 2: {}

Hanjst 依托JavaScript内部对象及函数的功能,赋予了在模板中直接调用这些功能的能力,实现了媲美服务端模板语言一致的表示、表达能力。如表达截短一个字符串:

{$myString.substring(0, 10)} 

 

4. 发展规划及设想

Hanjst 模板语言及引擎已发布在 -GitHub 上,地址为: https://github.com/wadelau/Hanjst

Hanjst 模板语言及引擎的样例展示地址, -Hanjst , -R/j2SP 。 现在就可以点开尝鲜。

Hanjst 模板语言及引擎的参考手册在编辑中,不日将在线发布。

Table of Contents

I. What is Hanjst?
1.
Hanjst Installation
2.
Basic Settings
II. Hanjst for Template Designers
3.
Syntax and Semantic
4.
Variables
5.
Modifiers on Variables
6.
Built-in Functions
7.
Warnings and Errors
III. Hanjst Template for Programmers
8.
JSON Data
9.
Includes
10.
Compile and Cache
IV. Search Engine Optimization
11.
HTML Head Element
12.
Plain Content Div Element
13.
Robot-oriented Links
V. Advanced Applications for Hanjst
14.
Embedded in HTML Elements

 

5. 不足及改进

目前已知的不足之一是在客户端运行编译模板文件时,对搜索引擎不够友好。

针对这一问题,我们提供了优化HTML head, 曝露 Hanjstjsondata 等方式进行补充。

其他的,请大家试用并反馈。

2019年元旦,Hanjst/汉吉斯特 正式对外公布。

Posted in -Hanjst/-汉吉斯特, 编程技术, 计算机技术 | Tagged , , , , , | Leave a comment

gMIS吉密斯更新Workflow工作流、FileMgr文件柜及GTAjax等模块

gMIS吉密斯 近期更新了Workflow工作流、FileMgr文件柜及GTAjax等模块,记录于此,备忘备查。北京雾霾持续严重级别,雾霾指数持续300多。翻阅两年前的2016Nov26, 雾霾情况居然相同的严重。

  1. WorkFlow工作流改进更新
    因工作需要,很早的时候就在 gMIS 中增加了一个简易的工作流功能。这次在考虑了多用户协作方面对该功能进行了拓展。
    扩增 Act Options功能,进一步释放操作潜能,在被管理的任意一条数据上,除了常规的“编辑/打印/删除”等,可以允许开发者有针对性的增加任意多的操作动作,这些动作可以通过 xml 绑定到指定的数据表上。
    <actoption>actHrefOne | actHrefTwo | …</actoption>

    Workflow 在 gMIS吉密斯中简称为“todolist/任务管理”, 之前是类似与便签的工作笔记,现在通过 ActOption 增加了 回复 / 转发 等功能,可以为工作流转提供更多便利性。如:

    <actoption>jdo.php::tbl=THIS_TBL,pnskpid=THIS_ID,id=THIS_ID,pnsktriggerbyparent=THIS_triggerbyparent,pnsktriggerbyparentid=THIS_triggerbyparentid,act=’addbycopy’::回复::confirm=0,blank=0 |jdo.php::tbl=THIS_TABLE,pnskpid=THIS_ID,id=THIS_ID,act=’addbycopy’::转交::confirm=0,blank=0</actoption>

    actoption 配置功能标签的增加,将为被管理对象带来更多操作便利,为增加个性化操作提供了一条通道。

  2. 新增文件管理功能FileMgr

    最近在 gMIS 实现了一个简易的Web网盘,可以考虑下载试用。如下是一些操作参考内容。网盘逐渐成为刚需,而且目前市面上有各种各样的网盘服务,限于各种原由,其通用性均差强人意,比如“随时随地跨设备”这样的要求。

    我作为技术“顾问”也多次被寻求类似的简易的网盘解决方案,在 gMIS的过往部署中,也屡次被提及此功能,都是由于“懒”,没有上手弄。这次“出手”成下面这样的gMIS版本的网盘。
    数据表设计为冗余字段 parentid, parentname, pparentname, 其中parentid用于记录上一级目录的名称,适合机器读取操作,parentname用于记录上一级目录的名称,pparentname用于记录当前目录的祖父目录。
    其中, parentname和pparentname都采用了fullpath/全目录的结构设计,适合人读取、理解、使用和接收。

    1)访问路径: Π 首页 → 桌面 & 系统配置 → 文件柜 | 文件柜
    2)上传文件或新建目录
    3)子目录导航、浏览
    4)文件下载/更新,子目录的修改
    当目录名称被修改时,按逻辑同步修改其下所有资源和子目录的目录名称;
    当目录被删除时,按逻辑检查目录下是否非空,当目录下还有内容时,删除目录动作将被拒绝;
    5)其上叠加了很多 gMIS 的各种增强的辅助功能。

    FileMgr 文件柜可以为用户提供了全功能的在线文件管理,轻松实现文件的集中管理、分享、分发、备份等目的。

  3. 升级 GTAjax至最新 5.6 版本
    gMIS 依赖 GTAjax 实现页面局部刷新或者后台通信。这次更新gMIS要解决目标数据表的字段名称为“name”的表单的新增、修改异常问题。

    例如当某个数据表包含有某个字段名称为“name”时,在生成新增HTML表单时,会自动创建如下HTML表单,
    <form name=”gmisForm” id=”gmisForm”>
        <input name=”name” id=”name”/>
        ….
    </form>

    针对上述表单,gMIS 会依照一贯的方法呼叫 GTAjax 进行表单数据递交。

    此时,如果通过 <button name=”submitbtn” type=”submit” onclick=”javascript:doAction(this.form.name);”></button> 对表单的递交进行处理的话, this.form.name 预期返回的是 “gmisForm”, 而如果有一个input元素的名称是“name”时,HMTL form的 this.form.name 会返回一个 input对象。

    GTAjax 是一个单独项目,主要用来处理在页面无刷新的情况下,对页面元素进行局部更新,从而实现更高效地HTTP通信。
    GTAjax 项目开源地址在 -GTAjax

  4. 其他更新与修正
    1)修正了导出数据到MS Office Excel时的UTF BOM指定,增加打开目标数据文件的模式为“wb”;
    2) 更新了文件上传模块,增加更多的上传错误明细显示;
    3) 更新了核心类 MySQLix.class, 增加异常日志打印;
    4)更新了登录模块验证码功能,增加实时校验验证码功能;
    5)改进act/trigger参数传递;
    6)改进 pickup 区域同步刷新机制;
    7)改进 class/pagenavi ,增加 notcontainslist等操作符;
    8)多实例对象共享多数据库配置。在最早的设计中,gMIS 只依赖  gtbl.class 一个全局对象完成对数据的操作,因此在实现对多个数据库进行操作时,只需在 gtbl.class 中进行多数据库的连接配置即可。
    随着 gMIS 的功能的增强,我们增加了越来越多的实例对象,如 IntSiteSearch, Pivot, PickUp 等,如何在这些对象里共享 gtbl.class 的多数据库信息成为需要解决的问题。
    本次引入了全局配置参数 args_to_parent 将 gtbl.class 的共享配置信息传递给 InSiteSearch, Pivot 和 PickUp 等。

-gMIS (general Management Information System) 是一种基于 -GWA2 (General Web Application Architecture) 的通用管理信息系统应用软件,具有可配置的输入和输出接口、开箱即用等特征。
可以在其上构建各种信息管理应用软件系统,如
内容管理系统(CMS), 客户资源管理(CRM), 企业资源计划管理(ERP),
办公自动化系统(OA)等, 以及各种行业应用管理系统软件,如
人力资源管理系统(HR),学生管理,档案管理,旅游管理,图书管理,
商品管理及业务运营支撑系统(BOSS)等等。
实现零代码开发、快速搭建各种管理信息系统(MIS, Management Information System).

-gMIS is a -GWA2 based Management Information System (MIS) software with characteristics like configurable input and output interfaces, open-box-to-use.
Various management application software systems can be built on it, such as
Content Management System (CMS), Customer Resource Management (CRM), Enterprise Resource Planning Management (ERP),
Office automation systems (OA), as well as different industry application management system softwares, such as
Human Resource Management System (HR), Student Management, Archive Management, Tourism Management, Book Management,
Commodity management and business operations support systems (BOSS), etc.
With zero code development, -gMIS can build a set of management information systems (MIS) software in a few minutes.

Lower Costs, 
Better Productivity.
降低成本,
提高效率.

Posted in -gMIS, -GTAjax, 编程技术, 计算机技术 | Tagged , , , , , , | 1 Comment

GWA2Perl研发:try-catch无法退出循环、方法传参引用传值及多数据库链接

在使用 GWA2Perl 开发时遇到一些破费周折才发现的 Bug或改进的功能,分析记录如下,备忘。 GWA2 是一套跨语言的网络应用软件开发框架,目前有PHP、Java和Perl版本可供下载选用,也即 GWA2PHP, GWA2Java 和 GWA2Perl。

1. 应用 Tiny::Try 的Catch模块无法执行退出循环的问题


use Tiny::Try
….
foreach my $i(keys %alist){
try{
    # something
}
catch{
    if(aCondition==1){
        next; # cannot?
    }
}
}

此处的 next 无法按预期执行. 改进的措施是,预先顶一个 $tryresult = 0; 然后在成功的时候,将 $tryresult =1; 在 try::catch 执行完毕之后再对 $tryresult 进行判断,以决定是否退出循环. 修改后的代码大致如下。


use Tiny::Try
….
foreach my $i(keys %alist){
my $tryresult = 1;
try{
    # something
}
catch{
    if(aCondition==1){
        next; # cannot?
    }
    $tryresult = 0;
}
if($tryresult == 0){
    next;
}
}

2. Perl方法传递参数应用传值的问题

my %alist = (‘a’=>1, ‘b’=>2);
&functionA(\%alist);
&functionA(%alist); # wrong!
&functionA($alist) # wrong!

my $blist = \%alist;
&functionA($blist);
&functionA(\%blist); # wrong!

Perl的方法参数传递问题,在此前的贴文中进行过相应的讨论,如 -R/H2SP 和 -R/32SJ , 这次重新再三的提及,主要还是由于在Perl的参数传递过程中,极易发生误解,对Perl依靠形式来获取数据类型的做法认识的不够深刻。如给定同一个变量名称,可能表述不同的意思。

$varA = undef; –> 一个普通的未知类型的变量 varA;
$varA[0] –>  一个数组变量 varA ;
$varA{‘a’} –> 一个哈希变量 varA ;
$varA = []; –> 一个hashref变量 varA;

正是这种随意性使得Perl语言的变量掌握起来让人容易出错,再结合传值或者传引用,迷惑性更大。

3. Perloop/Perlobj 面向对象的Perl进行多数据库同时连接的问题

3.1.问题描述
在 GWA2Perl的实现中,对象连接数据库通过 WebApp –> Dba –> Conn –> Driver 的过程( -R/12SL  )。 设若有对象ObjectA,需要连接数据库DatabaseA; 有对象ObjectB,需要连接数据库DatabaseB。
在此设置下,若单独运行实例化的 ObjectA,或者ObjectB均没有问题,或者同时运行ObjectA/ObjectB,同时连接到数据库DatabaseA,也没有问题。 当我们希望同时运行实例化的ObjectA/ObjectB,并分别连接数据库DatabaseA/DatabaseB时,问题就发生了,Perl的运行时环境中,总是留存最后一个活跃的数据库连接信息。
类似的问题并不会在非PerlOOP的环境中产生,如果在通过的函数式编程中,可以通过声明不同的 $dbi 实例来映射到不同的数据库连接上,并保持到一个session执行结束或者手工关闭。比如 $dbiDatabaseA 连接到DatabaseA上,$dbiDatabaseB连接到DatabaseB上。

3.2. 通过对象实例的UniqueId来区别实例
根据对问题的描述,在 PerlOOP中,实例化后的对象共享数据库连接,如果其中以参数的方式带入不同的数据库连接信息,实例化后对象的无法保持数据库信息与具体实例的对应关系。
解决的思路是在 WebApp一层增加如下设施:
1) + getUniqueId
2) + _checkDbConn
其中 1) 是在对象实例化后根据对象 Scalar::Util 的方法 refaddr 来获取对象的唯一 Id号,然后在 WebApp 中,实现对象与数据库信息做绑定;
2) 在 WebApp 中每当进行数据库读写操作时,获取当前实例化对象的 唯一Id,然后从环境变量 %hmf 中获得其绑定的 数据库信息,从数据库对象 $dba 中获得当前活跃的数据库信息,然后对两者做比较,当两者相符时,继续前行;当两者不一致时,重置/切换数据库连接至实例化对象所绑定的数据库上。
也许这是临时解决方案,在后续的PerlOOP中能得到解决,或者在 Perl 6中能够将对象封装的更严密些。

3.3 实例化后的对象根据唯一Id扩展
实现了可以同时操作多个数据库的PerlOOP,GWA2Perl的能力将进一步扩增,其他类似的资源读取均可以实现多源读取,如Session,Cache,File等其他网络资源。
这一问题是第二次碰到,起初遇到时,想到的是在程序中临时切换数据库连接,当其时并没有更好的解决方案,今次深入分析,获得一个可以自动化的持续解决方法,可以实现:
1) 同一个对象在一个时期内,总是持续一致地维持对资源的连接;
2) 不同的对象,拥有不同的资源连接,且可以同时并行。

-GWA2 是”通用网络应用架构( General Web Application Architeture )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.

Posted in -GWA2, 编程技术, 计算机技术 | Tagged , , , , | Leave a comment