写写年度收益率年均收益率和年化收益率

银行存款利率一降再降,叠加一升再升的通货膨胀率( https://ufqi.com/news/ulonglist.5786.html ),实际上的存款利率已经早是负数,我们所持有的资金的购买力在不知不觉中降低再降低,贬值再贬值。只是由于官方存款利率还没有变成负数,直观上我们还感觉不到,或者刺激得不是那么强烈。

然而,“先知先觉”的同学们已经开始积极主动的进行投资理财了。在这项充满挑战和机遇,也伴随着刺激和风险的活动中,需要具备一些基础知识或者名词定义。其中较为高频和优先的词语叫做收益率,根据使用场景不同,又分为年度收益率,还有月度,月息,七日,每日收益率等等,还有年化收益率和年均收益率等。

这篇打算深究一下这几个收益率名词的定义和使用场景。这是温习经济学过程中的第四篇习作,之前三篇分别是《写写1929年美国经济大萧条与2020年美国股市大跌》( https://ufqi.com/blog/us-1929-economic-crisis-2020-stock-shock/ ),《写写🏦存款利率贷款利率和负利率》( https://ufqi.com/blog/captial-rate-and-minus-rate/ ) 和 《治大国若过小家——写写王朝兴衰更替背后的经济账》( https://ufqi.com/blog/political-reform-country-vs-home/  )。

前文在写写存款利率贷款利率和负利率的文章中已经谈到,当今,除了中国央行公布的官方存款利率是正数,美国美联储官方公布存款利率区间是0~0.25,其他一些国家和地区已经是存款负利率了。这只是名义存款利率,叠加通货膨胀率,则实际货币贬值得更加厉害,可能这也是国际社会上,不存钱,超前消费和信用消费诱因之一。

1. 年度、年化和年均的基本概念定义及计算公式

在讨论年度收益率,年化收益率和年均收益率之前,需要先定义和假设一下:
本金、期初/起初值,通常用 P 表示,Prime;
终值、末期/末值,通常用 F 表示, Final?
利率,用 R 表示, Rate;
期数、轮次,用 n 表示。
接下来要用到一些简单易懂的公式了,以便给那些“太长不看”的同学快速的答案。

年度收益率 R = ( ( F / P ) – 1 ) * 100% ;
年化收益率 R =  ( F / P ) ^( 1 / n ) – 1 ;
年均收益率 R = Sum ( R0 : Rn ) / n ;

其中: / 表示除法运算, * 表示乘法运算, ^ 表示幂运算, Sum 是求和函数, R0 是第一期收益率, Rn 是第n期收益率。这里的“期” 默认是指年。

年度收益率 含义是本年(自然年或者财政年),期末的数值除以期初的本金值,然后做百分化表示;
年均收益率 含义也相对好理解,就是每年平均,将多个年份的收益率加起来做算术平均数即可。年均还有另外一层意思是横向的,比如将同一年份内的多个不同数据对象的数值加起来做算术平均,如2019国民年均收入增长率。
年化收益率,相对较复杂一些,这里有复利计算的思想在里面,也即每年的收益率的计算总是以上一年的终值作为本金。另外,就是这里的轮次和期数 n , 当 n > 1 时,可以理解为多个年份后计算年化收益率;当 n < 1 时,表示短期收益率的延长理论值,这也是我们能够在小于一年期的理财产品中能够看到“七日年化利率”的由来。

行文至此,概念和理论希望已经说清楚了,接下来写写数据上的干货。我们希望使用上面的几个指标来考察一下全国社保基金(全国社会保障基金, ssf.gov.cn )权益投资收益的历年数据情况。

2. 全国社保基金投资年度、年化和年均收益率分析

拿全国社保基金投资收益率说事,是因为她干得漂亮。“(全国社保基金)理事会是境内最大机构投资者…,全国社保基金成立以来,取得了骄人的投资业绩,自20008月成立至2017年底,年均投资收益率8.44%累计投资收益额大于累计财政净拨入额。

Fig-1. 全国社保基金权益投资收益率2001-2020

上图表格中收录了全国社保20年来的每年年度收益率(绝对值),基于年度收益率,我们推导计算出了年化收益率和年均收益率。为了方便计算,我们假设了全国社保基金本金初期值为 10K,其实真实值应该是 200亿人民币左右。也为了凑数,我们根据2020年前11个月的数据,估算了2020年的年度增长率 15% 。

可以看出年度收益率波动较大,而年化收益率较平缓,年均收益率与年化收益率接近,且偏大。

可以看出,收益率最好和次高的年份是 2007和2006年,分别是 43% 和 29%。收益最差的年份是 2008和2018年,分别是 -6.8% 和 -2.3% 。令人惊奇是, 2009和2019都迎来了“报复性”的增长。
截至 2020年,20年来,全国社保基金年化收益率为 8.5% , 年均增长率为 9%, 这一业绩的确是“骄人”。之所以取得这样的成绩与好年份超高收益有关,如 2006-2007,2014-2015, 2019-2020. 其余年份也几乎乏善可陈。
这三个时间段里前两个刚好对应则中国股市是两次大的股灾,分别是2007年和2015年,牛气冲天之后一落千丈!全国社保基金的投资负责人是如何做到精准逃顶的?

2019-2020 这个时段的高收益却分别对应中国股市的两个低点,分别是2019年1月的2440点和2020年3月的2745点。中国股市分别在这两个低点之后迅雷不及掩耳之势快速拉升,2019年之后断崖下跌!2020年高位震荡至今。

小结她的傲人业绩,2006-2007, 2014-2015, 成功逃顶,赚取超高收益后在股灾来临之前一刻安全撤离;
2019-2020,成功埋伏,在市场最低点勇于加仓,在获得一定收益后,再度出逃, 如此操作,2019年一次,2020年一次,分别斩获 10+% 的收益率!
成功逃顶或有不可描述的缘由或故事,但成功埋伏确有某种投资人的慧眼识珠。
如果用美国投资大师沃伦巴菲特的话来配音,或就是那句“在别人贪婪时恐惧,在别人恐惧时贪婪。”

拉长历史来看,总是大道至简。20年来,全国社保基金的投资人可能换了几茬,也许回撤和亏损的理由各个不同,但赚取盈余的姿势和理由总是那么一致。只是我们凡夫俗子,不识庐山真面目,只缘身在此山中。做事后盘点说得头头是道,实盘操作当时已惘然。

3. 中国央行20年来的M2年度、年化和年均增速分析

Fig-1的表格中右侧是同时期中国央行M2的增长速度数据。广义货币供应量(M2,Broad Money)的定义大致约等于全社会的货币量。货币(M0)=流通中的现金,即流通于银行体系之外的现金。狭义货币(M1)=(M0)+单位活期存款;广义货币(M2)=M1+准货币(单位定期存款+居民储蓄存款+其他存款+证券公司客户保证金+住房公积金中心存款+非存款类金融机构在存款类金融机构的存款)。

为了方便计算,我们也假设了M2的本金、初期值为 10K。由于M2的增速里面一个重要因素是GDP的增长,所以我们还在后面增加了同时期的GDP增速。官方定义上,M2的增长,主要是由于GDP增加了。两者一致是理想状态,增加多少东西(货物或服务)印多少钱;如果GDP增速大于M2增速,则货币升值,如果GDP增速小于M2增速,则货币贬值。

通过上面的记录数据,我们发现全国社保基金投资年化收益率 8.5%, 确实傲人的业绩,而同时期的M2是多少呢? 通过公开数据收集、计算得出,2001-2020期间M2的年化增长率为 14.8% , 同时期GDP的年化增长率为  8.9%。于是我们有这样一组对比数据:

2001-2020年间主要年化收益率、增长率数据
全国社保基金投资年化收益率: 8.5% ;
中国央行M2年化增长率: 14.8% ;
中国GDP年化增长率: 8.9% ;
M2净增长率:M2增长率 – GDP增长率 = 6% ;

从这一角度看,全国社保基金投资收益跑赢了M2净增长率(扣减GDP增长率),净年化收益率为 8.5% – 6 = 2.5%。
进一步地,我们发现2001-2020这20年间,如果某项投资年化收益率低于 M2净增长率 6% 的话,其持有的货币(资产)的实际购买力是下降的,货币(资产)被贬值。

此外,根据M2的历史数据,我们会发现,2008年金融危机时候的“大放水”,“四万亿”的确推高M2,使其急速上升,致使2009年的M2年度增长率达到 27.7% 。而2017年以来,M2年度增长率开始大幅下降至 8% 左右,几乎与GDP年度增长率接近,似乎是完美的理想状态了。

小结全文,年度收益率年均收益率和年化收益率本不难理解和使用,希望上面的这些数据能够存档下来,便于后面接续使用,更长时期观察、对比和分析。

-R/D2SO

写写年度收益率年均收益率和年化收益率

《投资学》进阶阅读推荐必读之书。

发表在 社会生活 | 标签为 , , , , , , | 10条评论

中国国民党Apache Softwares亮月亮科技OpenAI ChatGPT

GWA2吉娃兔引入JsDelivr公用CDN的开发与配置

新冠肺炎疫情持续差不多一年了,疫苗已经在望,希望人类早日战胜这个病魔。

GWA2吉娃兔 持续更新升级,这次在升级更新优化的路上,走得更远,尝试引入公用CDN(Content Delivery Network,内容分发网络)。借此,使得基于GWA2的各种应用程序、网页能够如虎添翼一般,更快的响应用户请求。这次改进源于我们持之以恒地追求——更高、更快和更强。

根据此前梳理的提速优化思路(-gMIS 吉密斯 升级:增加缓存,按时间快捷检索和全局SessionId等,https://ufqi.com/blog/gmis-update-with-cache-searchbytime/),我们分别在缓存和减少页面持续两个方便进行了各种优化改进。其中在缓存优化方向,已经进行了客户端缓存和服务器端缓存,独缺少网络层缓存(CDN)这块。迟迟没有下手进行这个网络层缓存的升级操作,一是CDN相对而言与代码层开发关系不大,或者没有关系;二是网络层的CDN几乎等同于加服务器、加带宽的意思,迟迟没有合适的机会。

根据 V2EX上技术高手的介绍,我们在考察了JsDelivr公用CDN之后,发现是一个很好的开源CDN方案,可以实现免费免备案使用的静态资源分发。

  WITH    

 

1. 使用JsDelivr的准备工作
JsDelivr 允许托管和分发的网页文件类型是JavaScript(.js)、CSS(.css) 和部分小尺寸的图片(.jpg, .png等)。

JsDelivr 可以读取开源发布在 npm 、GitHub和WordPress 上的以上相关静态文件。出于便于管理和更新GWA2所使用的全部静态资源类文件,我们选择将上述文件放在 GitHub 的公开项目上(Repository)。

在GitHub上为某个项目或者网站、App建立一个对应的Repos, 将GWA2 的 view子目录下的所有非html文件上传到 GitHub 对应的 Repos下即可。这些文件包括 ,js, .css, .ico, .jpg, .png 等等。

由于JsDelivr的目标是分发静态资源文件,当加载.html文件时,其content-type 为 text/plain , 所以目前还无法使用JsDelivr 分发 .html. 从另外一个角度来说,.html 文件通常包括有业务逻辑或者模板语言,放在自家服务器上,反而更好。

经过以上几步准备工作,现在可以通过如下路径访问到已经放入 CDN网络的静态文件。地址例如,

https://cdn.jsdelivr.net/gh/UserName/ReposName/view/SiteName/abc.css

其中, gh 代表在 JsDelivr语境中的 GitHub,
UserName 为当前资源文件在GitHub 上的用户名称,
ReposName 为当前资源文件在 GitHub 上的项目名称,
view 为 GWA2 的子目录,负责视图,文件结构保持与本地服务器相一致。

 

2. 在GWA2中引入CDN

GWA2 从最早时期已经采用了 MVC 分层设计,因此针对视图文件的修改,相对集中。所有视图文件的加载,都通过一个叫做 $viewdir 的全局变量进行控制。 $viewdir 告诉服务器或者模板引擎,视图文件的具体位置。

如果要引入JsDelivr ,则只需要在项目中,适当修改 $viewdir 的指向即可。通常涉及到的文件在 comm/footer.inc 中。

GWA2PHP:
$cdnStaticPrefix=”//cdn.jsdelivr.net/gh/UserName/ReposName”;
$viewdir = $cdnStaticPrefix.”/”.$viewdir;

GWA2Java:
//- +cdn, 12:34 2020-12-04
String cdnStaticPrefix = “//cdn.jsdelivr.net/gh/UserName/ReposName”;
viewdir = cdnStaticPrefix + “/” + viewdir;

 

3. 速度提升明显用户反馈良好

经过上述修改后,程序同步及html或模板更新后,页面浏览加载会感觉提升明显。直觉上会有所谓的“秒开”。这对于在国内浏览海外服务器的相关网站时,对比尤其明显。

理论上分析,一个HTML文件中,实际 html 代码的尺寸占比很小,网上有一些这方面的数据,可能在10%左右,而更多的则是需要呈现页面的 .js, .css和各类页面元素等。如果将后者这些静态资源文件交给CDN网络,其提速效果自然有突飞猛进的感觉。

另外,这些原本需要本地服务器解析请求做出应答的内容,完全交给了CDN网络,无疑极大地降低了本地服务器的负载和减少了本地网络的带宽占用。相应地,这些富裕出来的资源可以更好、更快地响应HTML页面的输出。

此消彼长,基本是在国内的用户浏览海外服务器的网站,页面打开实现“秒开”也是很有可能的。
这里的“秒开”应该主要是指首次打开某个全新的页面,由于GWA2已经在客户端进行了大量的缓存,在第二次之后打开或者刷新页面,这些静态的.js .css和图片文件等,多数将都由浏览器调用本地缓存来实现响应,那将是页面加载的极致快速。

有时候幸福来得就是这么突然,海外服务器的页面可以实现了秒开,而且这个CDN由于不涉及到具体内容文件,因此可以不用中国地区的备案,而且她也是免费的——GitHub免费寄存静态资源文件,JsDelivr负责免费分发到距离用户最近的地方——据说全球有上数百个CDN节点,这几乎可以媲美一流的CDN服务。

 

4. CDN回滚与容错

作为可靠的庞大的CDN网络,JsDelivr是稳定的,但也需要预防万一的突发偶然情况,如果由于某种未知的原因 JsDelivr突然不能用了,如何可以快速平滑的切回到本地服务器?

也即CDN服务需要能够在必要的时候进行回滚或者降级,以实现容错。这个在 GWA2 里改动相对简单,参照上面增加CDN的时候操作,如果感知到 CDN不可用时,可以清空其赋值即可将资源文件的请求切换到本地服务器上来。也即通常情况下说的所有CDN本击穿了。

GWA2PHP:
$cdnStaticPrefix=””; # failover
$viewdir = $cdnStaticPrefix.”/”.$viewdir;

GWA2Java:
//- +cdn, 12:34 2020-12-04
String cdnStaticPrefix = “”; # failover
viewdir = cdnStaticPrefix + “/” + viewdir;

5. 多源CDN及应用层CDN队列

显然,GWA2 可以在代码层实现多源CDN的集群式配置,我们可以在程序中定义 $cdnStatixPrefix 作为当前CDN分发网络的标志,可以可以同样地定义 N个不同的CDN网络,如 $cdnStaticPrefix2, $cdnStaticPrefix3… $cdnStaticPrefixN.

当有这么一个群组队列的CDN可以用时,可以使用随机算法或者权重算法,将请求分发给这个CDN池,从而实现更加可靠的内容分发。

当然,也可以加上一定的心跳检测装置,自动对下线失效的CDN做移除处理。同样地,基于心跳检测,将恢复正常的CDN网络加入到队列中来,从而实现网络自动化、智能化运行。

如上,完成 GWA2吉娃兔引入JsDelivr公用CDN的开发与配置.

 


-GWA2 吉娃兔 是“通用网络应用架构( General Web Application Architeture, https://ufqi.com/dev/gwa2/ )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、在线医疗、在线教育、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.  比如 开源通用管理信息系统软件 gMIS吉密斯( //ufqi.com/dev/gmis/ ), 新闻聚合 UfqiNew有福新闻( //ufqi.com/news/ )
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, online medical services, online teaching, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.


 

JSDelivr: A free CDN for Open Source

fast, reliable, and automated

serving ~ 94 billion requests / month
 

serving ~ 2990 TiB / month
 

around since 2012
 
发表在 -GWA2, 服务器运维, 编程技术, 计算机技术 | 标签为 , , , , | 3条评论

書中自有顔如玉愛自己悅己容2nd愛自己悅己容汽車老司機車載

治大国若过小家——写写王朝兴衰更替背后的经济账

最近在读网红历史长篇文章《晚清沧海事》( 上下卷在线连载: https://ufqi.com/news/ulongpage.1008.html  ),在其中接近尾声的部分,有一个章节叫做《 晚清沧海事:制度落后就要挨打-117:下卷六十六:光复伊犁:晚清灭亡的实情》。这个章节里剖析了晚清灭亡的真实情况,从作者的观点,晚清政府未能对外抵御强敌,对内镇压反叛势力是根本原因之一。作为两个政治想象的另外一个,意图改革儒家思想也加速了其衰落,最终走向不得不面临的大清帝国崩盘的局面。

细究起来,晚清政府之所以未能在对日本等国的作战中取得胜利,主要原因之一是晚清在勉力镇压了内部反叛势力(太平天国军、捻军等)之后,经济上受到重创,国库见底。在接下来的拮据日子里,又要面临一个子掰两半花的局面,那就是晚清著名的 海防还是疆防的大辩论。这里的海防是大清帝国的海上防务,主要是针对同时明治维新崛起的日本和欧洲列强。而并不多见于历史的疆防,则是指西北的陕甘宁和新疆、西藏等地区的内乱和外敌。内乱是穆斯林持续不断的反叛,外地是土耳其、印度(英属)和俄国等。

总结就是晚清政府由于常年征战导致经济上连年负债,越没钱越弱,越弱越遭人欺负,越没钱,死循环。一个大国的治理,竟如同一个小家过日子一样,穷死。

古圣贤者老子在名篇《道德经》里著文“治大国若烹小鲜”。由于所言极其简略,加上时日久远,解读众说纷纭。比较主流的解释有两种,一种是治国不要折腾,寓意烹小鲜不能来回翻转。还有一种解法是说,小鲜不若大鱼,不能掐头去尾删减内脏,那就几乎不剩下啥了,要原样蒸煮。这种解法寓意治国要兼收并蓄,不删减,不增殖,顺其自然。

这里本人倾向于第二种解释,顺其自然。不过结合对此前的理解,稍加改动为“治大国若过小家”。看着一个泱泱大国,治理道理的背后,竟然与寻常百姓的一家一户过日子一样,都是围绕挣取几块钱,吃上一口饭。这个观点也在斯塔夫里阿诺斯(Leften Stavros Stavrianos)的《全球通史》里被提到,王朝循环的根本原因是经济管理的循环,而造成经济循环的原因,则是帝国开支超过税收。

这是读习经济学的第三篇心得体会写作,之前两篇分别是《写写1929年美国经济大萧条与2020年美国股市大跌》( https://ufqi.com/blog/us-1929-economic-crisis-2020-stock-shock/ )和《写写🏦存款利率贷款利率和负利率》( https://ufqi.com/blog/captial-rate-and-minus-rate/ )。

简而言之,一个大国的治理,与一个小家庭过日子一样的道理,也是开门七件事,柴米油盐酱醋茶,关门七件事,吃喝拉撒睡洗刮。其核心就是一个字,钱!没有一个大国是在国库充盈的时候被击垮的,而所有王朝被覆灭的时候,都是国库亏空的。宛如家境殷实的家庭不容易离散出问题,而贫贱夫妻百事哀。

Fig 1. 王朝兴衰更替背后的经济账

一个政权(政府)初始创立,开始“今儿起我话事”,都听我的安排,给我上税(如上图)。
如果是一个允许讲道理(民主自由)的政权,基本内部就不存在起义、反叛等事件,因为允许公开有礼有节的抗辩,自然会遵循所谓市场规律,自由发展。勤快的懂得钻营的人就会获得超过平均数的收入和财富,于是有资本利得的助力,人群有贫富分化,踩着马太效应进而形成垄断,而垄断是经济危机的伏笔。

于是,政府要警惕垄断,预防经济危机,当经济危机发生时,国库可能会亏空。为避免这种情况,政府要避免经济危机发生,也就是避免垄断,也就是避免过分的贫富差距极大化。当经济危机不可避免的发生时,需要采取一切可能的手段来救助经济。如果成功了,皆大欢喜,如果不能,在野党就会翻盘上台,政府被和平更替。还有一种情况比较危险是,隔壁老王的邻国这时候趁火打劫来入侵处于经济危机时候的国家。

相反地,如果一个政权(政府)是不允许讲道理(独裁专制)的,内部起义、反叛就不可避免了。内部干架的区别主要是大的反抗和小的反抗,镇压了的反叛和镇压不了的反叛。从设立开始话事的时候起,反对派就一直在积蓄力量,政府主要收入来源的税基就像一个有蚁穴的大坝一样,潜移默化的逐渐减少。此消彼长,纳税的减少,而吃税(吃财政)的人却是反方向逐年月的增长,国库从一开始有盈余到平衡,到不可逆转的出现亏空。

反对派无法通过讲道理来实现诉求,只好战场上刀把子说话,不可避免的,持续动荡,帝国疲于应付,财政日趋紧张。周遭环伺的隔壁老王的邻国这时候也会插上一杠子,一般会正面敲竹杠,或者正面敲竹杠叠加或明或暗地支持反对派的叛军。兴盛一时的帝国无可奈何地走向了内忧外患的地步,无论是攘外必先安内,还是颠倒过来,一个锅里吃饭,就那么多米,区别不大。

晚清政府既要努力镇压西北陕甘新疆西藏穆斯林的反叛,还要对付海上来袭的日本和欧洲列强,不是不能打,实在是没钱了,生生打没钱的。据说晚清政府军队组织从中原地带运送粮草往大西北打仗,起运30担粮食,终到1担粮食,其余29担粮食在来回途中被吃掉了。从这个角度理解,国民政府时候,蒋介石面临似乎也有类似的局面。

在这个不讲道理的政府来看,无非是镇压了上一个反叛军,然后迎接下一个反叛军。在这个无休止的循环中,如果某一次反叛军胜利了,政府就彻底完蛋,另一个新政府就此设立。
如果他还是一个不讲道理的政府,就再次开启那个反抗-镇压模式的无休止地狱模式。
如果他良心发现,转为允许讲道理的政府,那就进入与经济危机做斗争的娱乐模式。

隔壁老王式的邻国是一个烦人的存在。由于国与国之间没有所谓正义,只有所谓利益,而且是无羞耻、无底线的地盘之争,所以,一旦一个政府被刺探到其国库亏空,就想一个普通百姓家庭一样,如果穷的揭不开锅,那受人欺负几乎是必然的。如果这时候有被大户财阀看得上的东西,无论是人还是财物,往往都会被使用各种手段被掠走。

家庭如此,政府国家亦然。百姓穷居闹市无人问,国家也是弱国无外交。
治大国若过小家,手中有粮,心中不慌。这背后都是经济活动,起支配作用的是经济规律。

发表在 社会生活 | 标签为 , , , | 12条评论

Apache Softwares亮月亮科技OpenAI ChatGPTPdf Drive

GWA2吉娃兔🐇Java中的文件上傳表單處理若干問題

在 GWA2Java 中處理文件上傳的HTML表單被稱爲是“客貨混裝”的HTTP請求處理。

文件上傳處理是HTTP Web開發中較爲特殊的應用,對開發者有一定的要求。無論是流行的PHP,Aspx或者JSP都需要一定的處理技巧。由於實在想不起來10多年前是如何赤手純代碼來處理客貨混裝的HTML文件上傳表單,這次還是詳細地記錄一次,以備再過些時日忘卻了而備查。

還有一層考慮是,在處理HTML的文件上傳表單時,需要考慮與 GWA2Java的融合,涉及到GWA2 的文件處理的核心模塊,因此也需要或者也是檢視GWA2架構設計的一次極好的機會。
對此前的 GWA2 Java項目的巡視,我們發現已經有一些項目涉及到文件上傳,但基本上多數是使用Ajax異步上次等,回避了“客貨混裝”模式,某個HTML表單只負責文件上傳,而另外一個表單再收集其他數據。

所以,這次要在 GWA2Java 中更好的整合進文件上傳,并且是客貨混裝模式——處理一個表單,裏面同時包括兩個字段:張三的姓名文字和張三的頭像圖片。

1. 瀏覽器客戶端 HTML表單中enctype

如果需要在瀏覽器客戶端的HTML表單中進行文件上傳,需要明確顯式地指定 Form元素的 enctype 屬性為 multipart/form-data 。

2. 服務器端接收處理文件上傳的第三方組件

基於 Apache Tomcat的 Java Web Server,進行服務器端的文件上傳處理,推薦使用的組件是 Apache commons-fileupload-1.4.jar , 一并的也要引入 Apache commons-io-2.7.jar。

3. HTTP Request.getParameter 失效

儅客戶端使用文件上傳的表單遞交數據時,Java Web Server中常規的 Servlet 對象 HTTPRequest的主要方法 request.getParameter 就失效。這也是普通程序無法處理客貨混裝的原因之一。

取而代之的,儅 enctype=multipart/form-data , 需要通過第三方組件獲取到相應的表單參數。
在 GWA2 中,其中的路由模塊嚴重依賴HTTP Request的參數,這時候,需要將主要路由參數放入Form的Action屬性中。
可以改進的另外一個方法是,通過引入 Apache commons-fileupload 的相關對象,便利 FormItems 對象,從而獲得表單中的常規非文件字段,文本文件字段的名稱和值。

遍歷FormItems獲得HTTP Request請求參數之後,再通過 request.setAttribute寫回到當前Request對象,如此即可巧妙地彌補 request.getParameter 失效的問題。
由於在 GWA2Java 中,獲取外部參數通常由 Wht.get 的方法進行,這個方法除了調用 request.getParameter 之外,還會進一步地的訪問 request.getAttribute , 從而實現了對 request.setAttribute 的訪問。再進一步地的 Wht.get 還會對訪問數據做一些基本的安全檢查。

樣例代碼:

ServletFileUpload sfileupld = new ServletFileUpload((new DiskFileItemFactory()));
formItems = sfileupld.parseRequest(request); // can only be parsed once!
if (formItems != null && formItems.size() > 0){
String iname, ivalue; byte[] bytes;
for (FileItem item : formItems){
// processes only fields that are common form fields
if (item.isFormField()){
bytes = item.getFieldName().getBytes(“ISO-8859-1”); // why 8859?
iname = new String(bytes, “UTF-8”);
bytes = item.getString().getBytes(“ISO-8859-1”);
ivalue = new String(bytes, “UTF-8”);
request.setAttribute(iname, ivalue);
//debug(“ctrl/item: iname:”+iname+”, ivalue:”+ivalue);
}
}
}

 

4. HTML表單上傳request 能且僅能被parse一次

上文中提到的獲取 FormItems 需要從 HTTP Request中提取,

List<FormItem> formItems = uploadInstance.parseRequest(request);

這裏的Request,只能被 parseRequest 執行一次,如果在同一次請求處理程序中,再次對這個 request 執行 parseRequest 時,就會返回異常為空的錯誤。
因此,儅我們需要在程序頂部通過便利 FormItems 設置 request.setAttribute 時,還需要保留 FormItems 作爲全局對象,在後面這裏處理實際上傳文件時使用,避免再次調用 parseRequest 產生爲空的錯誤異常。

5. 揮之不去的字符轉碼: 從 ISO-8859-1 到 UTF-8

從心裏上,我們是抗拒在代碼中進行字符集轉碼的,所以從一開始,我們在 GWA2Java 中進行了前後端統一全流程一貫地使用UTF-8字符集,從而避免在系統程序内做無謂的轉碼工作。(參考:-GWA2 Java版本的i18n/中文编码/乱码问题,https://ufqi.com/blog/gwa2-java-i18n/

偏偏這裏儅使用客貨混裝模式進行文件上傳時,通過parseRequest出來的 FormItem 其中的非ASCII字符的編碼是 ISO-8859-1 ,對於像 GWA2Java 這樣默認的 UTF-8 環境,字符集轉碼成爲迫不得已的事情。

6. 文件上傳處理方法的歸置

在 GWA2 的架構設計中,文件上傳功能,歸屬于文件模塊,引入系統的接口文件是 inc/FileA , 針對不同的文件系統,有不同的文件類來實現 inc/FileDirver , 如 默認的文件處理是 Linux 的 inc/FileSystem .

在歸屬上,這些 inc 目錄下的類及其方法是“大家閨秀”,一般不參與到具體業務處理程序的,只能通過統一界面接口 inc/WebApp 來調用。因此理想的是調用文件上傳的邏輯流程大致為:

ctrl/a.jsp –> mod/ModA –> inc/WebApp –> inc/FileA –> inc/FileSystem .

由於文件上傳,屬於非常規的“操作”需求,另外一種非標準的捷徑是,在 mod/ModA 中直接實例化 inc/FileSystem , 從而便利地觸發對 upload 方法的運用。但這只針對具體的項目可行,且不需要可移植性。比如如果宿主系統不是 Linux, 那就不能實例化 inc/FileSystem , 相應地可能需要實例化 inc/WindowsFileSystem 來處理宿主環境是 Windows 的文件上傳。

7. 有進有出,文件刪除的操作

在此之前,核心接口類 inc/WebApp 中定義了 readObject/writeObject 用來讀寫非數據庫源的數據。其中 inc/FileA 中相應地定義了 read/write 方法,只是還沒有對應的刪除方法 rm 的實現。

接著這個機會,我們歸置並實現了 inc/FileA, inc/FileDriver 和 inc/FileSystem 三個類的 rm 方法,同時改造 inc/WebApp.rmBy 方法,將上述方法進行對接。

inc/WebApp.rmBy(“file:Path_To_File”) –> inc/FileA.rm –> inc/FileSystem.rm .

 GWA2Java, GWA2 就是這樣通過一個又一個項目實踐,不斷豐富完善,日益健壯强大,儅融合和沉澱足夠多的智慧和精華,一定能取得更大的成就。我們在 UfqiWork 有福工坊 ( https://ufqi.com/work/ )上首先實現了 GWA2Java 處理文件上傳的客貨混裝模式。


-GWA2 吉娃兔 是”通用网络应用架构( General Web Application Architeture, https://ufqi.com/dev/gwa2/ )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、在线医疗、在线教育、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, online medical services, online teaching, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.


ufqiwork-logo

有福工坊UfqiWork 是一个在线服务交易平台。( https://ufqi.com/work/ )
有福工坊提供在线分类服务信息,致力于在线撮合服务交易的买方和卖方,并为买方、卖方提供“行准”服务,居间担保服务交易。行准服务的提供方为居间交易的第三方。有福工坊的服务交易平台为整个服务交易流程的第四方。

-R/32ST

https://ufqi.com/blog/gwa2-java-file-upload-issues/

发表在 -GWA2, -Hanjst/-汉吉斯特, 服务器运维, 编程技术, 计算机技术 | 标签为 , , , , | 一条评论

中国国民党革委会中国国民党Apache Softwares亮月亮科技

A practical analysis on $hadow$ocks

Things are getting worse even for an ordinary computer programmer to bypass the Internet walls in some countries or districts. There are quite a lot of techniques involved in making a working solution to get through the walls safely to smoothly.

Knowledge on TCP/IP is an entry for this exam. Deep understanding of the walls is an essential point and other requirements are data communications, data security, network security and data encryption.

Besides those above, programmers are also being asked what application is being deployed over the wall. The most-deployed application is HTTP, and therefore they need to understand more than usual on its protocols. Multiple operating systems and programming languages could help programmers easily get things done.

What’s more, for both sides, the battles of blocking and anti-blocking are always continually being evolved  and they just look like spear vs. shield. One working technique may fail tomorrow if it has been acquired by another side. 

Here is a workflow based on what we have learnt from $hadow$ocks, one of the most-starred repositories on GitHub.

Work flow:

–> packets plain sent (1)
–> $hadow$ocks-windows-client(2) –> obfs-local(3)
–> packets wrapped over Internet
–> obfs-server(4) –> $hadow$ocks-libev-server(5)
–> packets REQUEST & RESPONSE (6)
–> $hadow$ocks-libev-server(7) –> obfs-server(8)
–> packets wrapped over Internet
–> obfs-local(9) –> $hadow$ocks-windows-client(10)
–> packets plain recv (11)


https://ufqi.com/blog/analysis-on-hadowocks-202008/

-R/A2SP

发表在 服务器运维, 编程技术, 计算机技术 | 标签为 , , | 一条评论

好奇婴幼儿中国国民党革委会中国国民党Apache Softwares

GWA2吉娃兔🐇升級基於事件驅動的緩存處理模塊

時間過得飛快,距離上次升級改進GWA2吉娃兔🐇已經又三個月過去了。GWA2吉娃兔🐇升级模板引擎子系统( https://ufqi.com/blog/gwa2-updt-template-engine/ )。這期間,GWA2一直在進行細微改進升級,這次記錄的是改進較大的一個地方,對内置Built-in的緩存模塊進行了再次優化。其中的細節和思考值得分享,備忘於此。

GWA2吉娃兔🐇自相應體系創建以來,花了大量的時間和精力持續不斷地推進創建“更好的下一個版本”。關於緩存相關的改進,有記錄可以見于“GWA2-Java built-in cache with connection pool design/带连接池的缓存流程设计( https://ufqi.com/blog/gwa2-java-built-in-cache-with-pool-flowchat/ )”、“-GWA2 更新缓存调用built-in cache方法( https://ufqi.com/blog/gwa2-built-in-cache/ )”。



圖1. GWA2吉娃兔内置緩存機制

這些努力都是希望基於GWA2的應用系統跑得快些,再快些!待到進行到某種極緻的狀態時,往往面臨的是某種權衡和取捨。比如緩存功能,如果訪問速度更快,則預期的緩存時間越長,更新頻次越低。而對於某些改動,又需要立即更新,這就需要做出某種平衡和不同優先級的考慮。有些系統可以允許緩存一定時間再將改動提到到前端系統,有些系統則對實時性要求較高,不允許有片刻的緩存。

這樣總體考慮,大致是三種情況:1)全部用緩存,數據更新及時性次級考慮,2)全部不用緩存數據即時更新,系統效能次級考慮,3)部分查詢用緩存,平衡系統效能和數據及時性。
gMIS吉密斯 ( https://ufqi.com/dev/gmis/ ) 作爲 GWA2吉娃兔的一個應用實例,就是使用3)方式,部分查詢使用緩存,另外一部分完全不使用緩存,這樣在系統效能和數據及時性之間做tradeoff. 比如gMIS管理所訪問的當前數據表不使用緩存,數據及時性得到保證,而一些公共菜單、權限檢查等則使用了緩存,更新無法立即生效,需等待一個緩存失效的周期。

有沒有一種機制將這種實時性區分開來(第4種情況:全部使用緩存而又能保證數據的及時性, 既….又….?)?儅允許緩存時,使用默認的緩存機制,將數據緩存起來,以此來提升系統響應速度;儅需要實時性時,則立即進行相關數據的更新。經過一番探索,我們采用事件驅動機制,增加了對這些設想的工程實現。其大致思路時,儅用戶發起對系統的寫入、更新操作時,在更新系統對象狀態時,即刻觸發對緩存的更新,從而實現了按需更新想要緩存的目標,讓緩存數據與系統對象真實狀態保持高度一致性、同步性。這些改進包括如下兩個地方。

1. 改進頂級類 inc/WebApp,rmBy 方法的實現

改造之前,inc/WebApp.rmBy 的操作只支持針對數據庫接口的刪除操作。這次改進之後,inc/WebApp.rmBy 將支持形如 “cache:keyString” 的參數定義,儅接收到這樣的參數時,觸發對相應的緩存的刪除。

緩存刪除操作通過 inc/Cachea 接管后效用相應的緩存驅動,進而實現對緩存的刪除、更新操作。也即,通過改進 inc/WebApp.rmBy , 調用 inc/WebApp.writeObject , 通過寫入一個沒有緩存值的對象來發起對當前緩存的更新。這一流程中數據的流轉大致如下。

…. –> mod/ObjectInstance.setBy(execBy) –> inc/WebApp.rmBy
–> inc/WebApp.writeObject –> inc/Cachea.rm
–> inc/Memcached.rm –> …
圖2. GWA2 緩存刪除操作

相應地,不但可以在 inc/WebApp 中通過 rmBy(“cache:keyString”) 的形式調用針對緩存的清理,也可以在任何繼承或實現了 inc/WebApp 的類中調用該方法,實現對緩存的更精準的控制。比如通過圖2. 實現了對單條數據記錄字段級的更新時同步更新緩存的操作,如果針對一個具有多條數據集的操作,該如何同步進行緩存更新操作?

顯然地,需要在控制器中,顯示地調用 mod/ObjectInstance.rmBy(“cache:keyString”) 的方法來清空所涉及到的緩存對象。這是超出内置緩存的範疇,需要具體問題具體分析進行,尤其是每個cache的key不同時,如果有多條cache需求更新,還需要多次調用 rmBy(“cache:anotherKeyString”) .

2. 優化更新操作時觸發緩存操作

在此之前,按圖1.的標志,内置緩存只在數據對象讀取時發生作用,也即在 inc/WebApp.getBy/execBy 時生效,對於寫入、更新操作 inc/WebApp.setBy/execBy 時,無需調用相應的緩存功能模塊,因爲寫入數據無需進行緩存。

帶上開篇提到的問題,儅我們需要在寫入、更新操作時進行緩存更新時,采用事件驅動模式進行相應操作時,需要在寫入、更新操作 inc/WebApp.setBy/execBy 考慮一下緩存。只不過這時候考慮緩存,不是寫入緩存,而是也同步“更新緩存”。具體的改進包括如下兩項。

2.1. 改進 inc/WebApp.setBy

inc/WebApp.setBy 此前的方法中,支持第三個參數 HashMap args 形式,其主要功能是考慮需要寫入非數據庫時的需求。比如寫入緩存系統,寫入文件系統等,儅有這些發生時,需求被進一步地前傳給 inc/writeObject .

接著這個可擴展的機制,我們可以在寫入數據庫時,也通過 args 帶入需要更新的緩存keyString, 儅完成了相應的寫入數據庫的操作時,相應地發起對緩存的更新操作。其流程與圖2.描述相同。

2.2. 改進 inc/WebApp.execBy 

inc/WebApp.execBy 的情況稍微複雜一些。在目前的設計中,inc/WebApp.execBy 是為了滿足一些特定的SQL查詢語句,儅我們無法通過 getBy/setBy 實現目標SQL查詢時,execBy 就被排上用場。他甚至可以替代 getBy/setBy ( 在某些GWA2的新手,或者簡單應用中,開發者甚至只用這一種方法即可完成與數據庫的全部讀寫操作 ) ,因而需要考慮 execBy 的讀取和寫入兩種情況。

儅 execBy 執行讀取操作時,其第三個參數 HashMap args 本身就帶有 cache keyString 的參數,意在用於儅讀取成功時,通過這個cache keyString 將查詢結果緩存起來,下次再有類似查詢時,優先主動使用緩存數據。這也是 圖1. 我們的内置緩存的運行機制。

現在我們需要更多地考慮一層,儅 execBy 執行寫入、更新操作時,儅完成相應的操作后,需要進一步地考察 args 中的 cache keyString 參數,如果給定了相應的cache keyString,則我們認爲這是需要同步觸發更新緩存的操作,於是就進一步地呼叫 inc/WebApp.rm(“cache:keyString”) , 同步完成對緩存的更新。

只是,這裏如果是通過 execBy 發起對非數據庫的操作呢? 比如,通過 execBy 發起對 緩存系統,文件系統的操作呢? 目前還沒有這方面的需求,不過的確是需要再考慮的事情。@todo .


-GWA2 吉娃兔 是”通用网络应用架构( General Web Application Architeture, https://ufqi.com/dev/gwa2/ )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、在线医疗、在线教育、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, online medical services, online teaching, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.


GWA2吉娃兔 基於事件驅動的緩存處理機制已經在 有福工坊UfqiWork ( https://ufqi.com/work/ )上得到部署應用。

ufqiwork-logo
有福工坊UfqiWork 是一个在线服务交易平台。
有福工坊提供在线分类服务信息,致力于在线撮合服务交易的买方和卖方,并为买方、卖方提供“行准”服务,居间担保服务交易。行准服务的提供方为居间交易的第三方。有福工坊的服务交易平台为整个服务交易流程的第四方。

-R/B2SU
https://ufqi.com/blog/gwa2-updt-build-in-cache/

发表在 -GWA2, 服务器运维, 编程技术, 计算机技术 | 标签为 , , , | 留下评论

汽車老司機好奇婴幼儿中国国民党革委会中国国民党