GWA2吉娃兔🐇Java中的文件上傳表單處理若干問題

在 GWA2Java 中處理文件上傳的HTML表單被稱爲是“客貨混裝”的HTTP請求處理。

文件上傳處理是HTTP Web開發中較爲特殊的應用,對開發者有一定的要求。無論是流行的PHP,Aspx或者JSP都需要一定的處理技巧。由於實在想不起來10多年前是如何赤手純代碼來處理客貨混裝的HTML文件上傳表單,這次還是詳細地記錄一次,以備再過些時日忘卻了而備查。

還有一層考慮是,在處理HTML的文件上傳表單時,需要考慮與 GWA2Java的融合,涉及到GWA2 的文件處理的核心模塊,因此也需要或者也是檢視GWA2架構設計的一次極好的機會。
對此前的 GWA2 Java項目的巡視,我們發現已經有一些項目涉及到文件上傳,但基本上多數是使用Ajax異步上次等,回避了“客貨混裝”模式,某個HTML表單只負責文件上傳,而另外一個表單再收集其他數據。

所以,這次要在 GWA2Java 中更好的整合進文件上傳,并且是客貨混裝模式——處理一個表單,裏面同時包括兩個字段:張三的姓名文字和張三的頭像圖片。

1. 瀏覽器客戶端 HTML表單中enctype

如果需要在瀏覽器客戶端的HTML表單中進行文件上傳,需要明確顯式地指定 Form元素的 enctype 屬性為 multipart/form-data 。

2. 服務器端接收處理文件上傳的第三方組件

基於 Apache Tomcat的 Java Web Server,進行服務器端的文件上傳處理,推薦使用的組件是 Apache commons-fileupload-1.4.jar , 一并的也要引入 Apache commons-io-2.7.jar。

3. HTTP Request.getParameter 失效

儅客戶端使用文件上傳的表單遞交數據時,Java Web Server中常規的 Servlet 對象 HTTPRequest的主要方法 request.getParameter 就失效。這也是普通程序無法處理客貨混裝的原因之一。

取而代之的,儅 enctype=multipart/form-data , 需要通過第三方組件獲取到相應的表單參數。
在 GWA2 中,其中的路由模塊嚴重依賴HTTP Request的參數,這時候,需要將主要路由參數放入Form的Action屬性中。
可以改進的另外一個方法是,通過引入 Apache commons-fileupload 的相關對象,便利 FormItems 對象,從而獲得表單中的常規非文件字段,文本文件字段的名稱和值。

遍歷FormItems獲得HTTP Request請求參數之後,再通過 request.setAttribute寫回到當前Request對象,如此即可巧妙地彌補 request.getParameter 失效的問題。
由於在 GWA2Java 中,獲取外部參數通常由 Wht.get 的方法進行,這個方法除了調用 request.getParameter 之外,還會進一步地的訪問 request.getAttribute , 從而實現了對 request.setAttribute 的訪問。再進一步地的 Wht.get 還會對訪問數據做一些基本的安全檢查。

樣例代碼:

ServletFileUpload sfileupld = new ServletFileUpload((new DiskFileItemFactory()));
formItems = sfileupld.parseRequest(request); // can only be parsed once!
if (formItems != null && formItems.size() > 0){
String iname, ivalue; byte[] bytes;
for (FileItem item : formItems){
// processes only fields that are common form fields
if (item.isFormField()){
bytes = item.getFieldName().getBytes(“ISO-8859-1”); // why 8859?
iname = new String(bytes, “UTF-8”);
bytes = item.getString().getBytes(“ISO-8859-1”);
ivalue = new String(bytes, “UTF-8”);
request.setAttribute(iname, ivalue);
//debug(“ctrl/item: iname:”+iname+”, ivalue:”+ivalue);
}
}
}

 

4. HTML表單上傳request 能且僅能被parse一次

上文中提到的獲取 FormItems 需要從 HTTP Request中提取,

List<FormItem> formItems = uploadInstance.parseRequest(request);

這裏的Request,只能被 parseRequest 執行一次,如果在同一次請求處理程序中,再次對這個 request 執行 parseRequest 時,就會返回異常為空的錯誤。
因此,儅我們需要在程序頂部通過便利 FormItems 設置 request.setAttribute 時,還需要保留 FormItems 作爲全局對象,在後面這裏處理實際上傳文件時使用,避免再次調用 parseRequest 產生爲空的錯誤異常。

5. 揮之不去的字符轉碼: 從 ISO-8859-1 到 UTF-8

從心裏上,我們是抗拒在代碼中進行字符集轉碼的,所以從一開始,我們在 GWA2Java 中進行了前後端統一全流程一貫地使用UTF-8字符集,從而避免在系統程序内做無謂的轉碼工作。(參考:-GWA2 Java版本的i18n/中文编码/乱码问题,https://ufqi.com/blog/gwa2-java-i18n/

偏偏這裏儅使用客貨混裝模式進行文件上傳時,通過parseRequest出來的 FormItem 其中的非ASCII字符的編碼是 ISO-8859-1 ,對於像 GWA2Java 這樣默認的 UTF-8 環境,字符集轉碼成爲迫不得已的事情。

6. 文件上傳處理方法的歸置

在 GWA2 的架構設計中,文件上傳功能,歸屬于文件模塊,引入系統的接口文件是 inc/FileA , 針對不同的文件系統,有不同的文件類來實現 inc/FileDirver , 如 默認的文件處理是 Linux 的 inc/FileSystem .

在歸屬上,這些 inc 目錄下的類及其方法是“大家閨秀”,一般不參與到具體業務處理程序的,只能通過統一界面接口 inc/WebApp 來調用。因此理想的是調用文件上傳的邏輯流程大致為:

ctrl/a.jsp –> mod/ModA –> inc/WebApp –> inc/FileA –> inc/FileSystem .

由於文件上傳,屬於非常規的“操作”需求,另外一種非標準的捷徑是,在 mod/ModA 中直接實例化 inc/FileSystem , 從而便利地觸發對 upload 方法的運用。但這只針對具體的項目可行,且不需要可移植性。比如如果宿主系統不是 Linux, 那就不能實例化 inc/FileSystem , 相應地可能需要實例化 inc/WindowsFileSystem 來處理宿主環境是 Windows 的文件上傳。

7. 有進有出,文件刪除的操作

在此之前,核心接口類 inc/WebApp 中定義了 readObject/writeObject 用來讀寫非數據庫源的數據。其中 inc/FileA 中相應地定義了 read/write 方法,只是還沒有對應的刪除方法 rm 的實現。

接著這個機會,我們歸置並實現了 inc/FileA, inc/FileDriver 和 inc/FileSystem 三個類的 rm 方法,同時改造 inc/WebApp.rmBy 方法,將上述方法進行對接。

inc/WebApp.rmBy(“file:Path_To_File”) –> inc/FileA.rm –> inc/FileSystem.rm .

 GWA2Java, GWA2 就是這樣通過一個又一個項目實踐,不斷豐富完善,日益健壯强大,儅融合和沉澱足夠多的智慧和精華,一定能取得更大的成就。我們在 UfqiWork 有福工坊 ( https://ufqi.com/work/ )上首先實現了 GWA2Java 處理文件上傳的客貨混裝模式。


-GWA2 吉娃兔 是”通用网络应用架构( General Web Application Architeture, https://ufqi.com/dev/gwa2/ )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、在线医疗、在线教育、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, online medical services, online teaching, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.


ufqiwork-logo

有福工坊UfqiWork 是一个在线服务交易平台。( https://ufqi.com/work/ )
有福工坊提供在线分类服务信息,致力于在线撮合服务交易的买方和卖方,并为买方、卖方提供“行准”服务,居间担保服务交易。行准服务的提供方为居间交易的第三方。有福工坊的服务交易平台为整个服务交易流程的第四方。

-R/32ST

https://ufqi.com/blog/gwa2-java-file-upload-issues/

Posted in -GWA2, -Hanjst/-汉吉斯特, 服务器运维, 编程技术, 计算机技术 | Tagged , , , , | Leave a comment

A practical analysis on $hadow$ocks

Things are getting worse even for an ordinary computer programmer to bypass the Internet walls in some countries or districts. There are quite a lot of techniques involved in making a working solution to get through the walls safely to smoothly.

Knowledge on TCP/IP is an entry for this exam. Deep understanding of the walls is an essential point and other requirements are data communications, data security, network security and data encryption.

Besides those above, programmers are also being asked what application is being deployed over the wall. The most-deployed application is HTTP, and therefore they need to understand more than usual on its protocols. Multiple operating systems and programming languages could help programmers easily get things done.

What’s more, for both sides, the battles of blocking and anti-blocking are always continually being evolved  and they just look like spear vs. shield. One working technique may fail tomorrow if it has been acquired by another side. 

Here is a workflow based on what we have learnt from $hadow$ocks, one of the most-starred repositories on GitHub.

Work flow:

–> packets plain sent (1)
–> $hadow$ocks-windows-client(2) –> obfs-local(3)
–> packets wrapped over Internet
–> obfs-server(4) –> $hadow$ocks-libev-server(5)
–> packets REQUEST & RESPONSE (6)
–> $hadow$ocks-libev-server(7) –> obfs-server(8)
–> packets wrapped over Internet
–> obfs-local(9) –> $hadow$ocks-windows-client(10)
–> packets plain recv (11)


https://ufqi.com/blog/analysis-on-hadowocks-202008/

-R/A2SP

Posted in 服务器运维, 编程技术, 计算机技术 | Tagged , , | 1 Comment

GWA2吉娃兔🐇升級基於事件驅動的緩存處理模塊

時間過得飛快,距離上次升級改進GWA2吉娃兔🐇已經又三個月過去了。GWA2吉娃兔🐇升级模板引擎子系统( https://ufqi.com/blog/gwa2-updt-template-engine/ )。這期間,GWA2一直在進行細微改進升級,這次記錄的是改進較大的一個地方,對内置Built-in的緩存模塊進行了再次優化。其中的細節和思考值得分享,備忘於此。

GWA2吉娃兔🐇自相應體系創建以來,花了大量的時間和精力持續不斷地推進創建“更好的下一個版本”。關於緩存相關的改進,有記錄可以見于“GWA2-Java built-in cache with connection pool design/带连接池的缓存流程设计( https://ufqi.com/blog/gwa2-java-built-in-cache-with-pool-flowchat/ )”、“-GWA2 更新缓存调用built-in cache方法( https://ufqi.com/blog/gwa2-built-in-cache/ )”。



圖1. GWA2吉娃兔内置緩存機制

這些努力都是希望基於GWA2的應用系統跑得快些,再快些!待到進行到某種極緻的狀態時,往往面臨的是某種權衡和取捨。比如緩存功能,如果訪問速度更快,則預期的緩存時間越長,更新頻次越低。而對於某些改動,又需要立即更新,這就需要做出某種平衡和不同優先級的考慮。有些系統可以允許緩存一定時間再將改動提到到前端系統,有些系統則對實時性要求較高,不允許有片刻的緩存。

這樣總體考慮,大致是三種情況:1)全部用緩存,數據更新及時性次級考慮,2)全部不用緩存數據即時更新,系統效能次級考慮,3)部分查詢用緩存,平衡系統效能和數據及時性。
gMIS吉密斯 ( https://ufqi.com/dev/gmis/ ) 作爲 GWA2吉娃兔的一個應用實例,就是使用3)方式,部分查詢使用緩存,另外一部分完全不使用緩存,這樣在系統效能和數據及時性之間做tradeoff. 比如gMIS管理所訪問的當前數據表不使用緩存,數據及時性得到保證,而一些公共菜單、權限檢查等則使用了緩存,更新無法立即生效,需等待一個緩存失效的周期。

有沒有一種機制將這種實時性區分開來(第4種情況:全部使用緩存而又能保證數據的及時性, 既….又….?)?儅允許緩存時,使用默認的緩存機制,將數據緩存起來,以此來提升系統響應速度;儅需要實時性時,則立即進行相關數據的更新。經過一番探索,我們采用事件驅動機制,增加了對這些設想的工程實現。其大致思路時,儅用戶發起對系統的寫入、更新操作時,在更新系統對象狀態時,即刻觸發對緩存的更新,從而實現了按需更新想要緩存的目標,讓緩存數據與系統對象真實狀態保持高度一致性、同步性。這些改進包括如下兩個地方。

1. 改進頂級類 inc/WebApp,rmBy 方法的實現

改造之前,inc/WebApp.rmBy 的操作只支持針對數據庫接口的刪除操作。這次改進之後,inc/WebApp.rmBy 將支持形如 “cache:keyString” 的參數定義,儅接收到這樣的參數時,觸發對相應的緩存的刪除。

緩存刪除操作通過 inc/Cachea 接管后效用相應的緩存驅動,進而實現對緩存的刪除、更新操作。也即,通過改進 inc/WebApp.rmBy , 調用 inc/WebApp.writeObject , 通過寫入一個沒有緩存值的對象來發起對當前緩存的更新。這一流程中數據的流轉大致如下。

…. –> mod/ObjectInstance.setBy(execBy) –> inc/WebApp.rmBy
–> inc/WebApp.writeObject –> inc/Cachea.rm
–> inc/Memcached.rm –> …
圖2. GWA2 緩存刪除操作

相應地,不但可以在 inc/WebApp 中通過 rmBy(“cache:keyString”) 的形式調用針對緩存的清理,也可以在任何繼承或實現了 inc/WebApp 的類中調用該方法,實現對緩存的更精準的控制。比如通過圖2. 實現了對單條數據記錄字段級的更新時同步更新緩存的操作,如果針對一個具有多條數據集的操作,該如何同步進行緩存更新操作?

顯然地,需要在控制器中,顯示地調用 mod/ObjectInstance.rmBy(“cache:keyString”) 的方法來清空所涉及到的緩存對象。這是超出内置緩存的範疇,需要具體問題具體分析進行,尤其是每個cache的key不同時,如果有多條cache需求更新,還需要多次調用 rmBy(“cache:anotherKeyString”) .

2. 優化更新操作時觸發緩存操作

在此之前,按圖1.的標志,内置緩存只在數據對象讀取時發生作用,也即在 inc/WebApp.getBy/execBy 時生效,對於寫入、更新操作 inc/WebApp.setBy/execBy 時,無需調用相應的緩存功能模塊,因爲寫入數據無需進行緩存。

帶上開篇提到的問題,儅我們需要在寫入、更新操作時進行緩存更新時,采用事件驅動模式進行相應操作時,需要在寫入、更新操作 inc/WebApp.setBy/execBy 考慮一下緩存。只不過這時候考慮緩存,不是寫入緩存,而是也同步“更新緩存”。具體的改進包括如下兩項。

2.1. 改進 inc/WebApp.setBy

inc/WebApp.setBy 此前的方法中,支持第三個參數 HashMap args 形式,其主要功能是考慮需要寫入非數據庫時的需求。比如寫入緩存系統,寫入文件系統等,儅有這些發生時,需求被進一步地前傳給 inc/writeObject .

接著這個可擴展的機制,我們可以在寫入數據庫時,也通過 args 帶入需要更新的緩存keyString, 儅完成了相應的寫入數據庫的操作時,相應地發起對緩存的更新操作。其流程與圖2.描述相同。

2.2. 改進 inc/WebApp.execBy 

inc/WebApp.execBy 的情況稍微複雜一些。在目前的設計中,inc/WebApp.execBy 是為了滿足一些特定的SQL查詢語句,儅我們無法通過 getBy/setBy 實現目標SQL查詢時,execBy 就被排上用場。他甚至可以替代 getBy/setBy ( 在某些GWA2的新手,或者簡單應用中,開發者甚至只用這一種方法即可完成與數據庫的全部讀寫操作 ) ,因而需要考慮 execBy 的讀取和寫入兩種情況。

儅 execBy 執行讀取操作時,其第三個參數 HashMap args 本身就帶有 cache keyString 的參數,意在用於儅讀取成功時,通過這個cache keyString 將查詢結果緩存起來,下次再有類似查詢時,優先主動使用緩存數據。這也是 圖1. 我們的内置緩存的運行機制。

現在我們需要更多地考慮一層,儅 execBy 執行寫入、更新操作時,儅完成相應的操作后,需要進一步地考察 args 中的 cache keyString 參數,如果給定了相應的cache keyString,則我們認爲這是需要同步觸發更新緩存的操作,於是就進一步地呼叫 inc/WebApp.rm(“cache:keyString”) , 同步完成對緩存的更新。

只是,這裏如果是通過 execBy 發起對非數據庫的操作呢? 比如,通過 execBy 發起對 緩存系統,文件系統的操作呢? 目前還沒有這方面的需求,不過的確是需要再考慮的事情。@todo .


-GWA2 吉娃兔 是”通用网络应用架构( General Web Application Architeture, https://ufqi.com/dev/gwa2/ )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、在线医疗、在线教育、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, online medical services, online teaching, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.


GWA2吉娃兔 基於事件驅動的緩存處理機制已經在 有福工坊UfqiWork ( https://ufqi.com/work/ )上得到部署應用。

ufqiwork-logo
有福工坊UfqiWork 是一个在线服务交易平台。
有福工坊提供在线分类服务信息,致力于在线撮合服务交易的买方和卖方,并为买方、卖方提供“行准”服务,居间担保服务交易。行准服务的提供方为居间交易的第三方。有福工坊的服务交易平台为整个服务交易流程的第四方。

-R/B2SU
http://ufqi.com/blog/gwa2-updt-build-in-cache/

Posted in -GWA2, 服务器运维, 编程技术, 计算机技术 | Tagged , , , | Leave a comment

Graph圖的相似性計算的極值問題

數據集的相似性計算,其應用十分廣汎,在現有的各類人工智能的底層算法中,大多數都是基於概率(可能性)的近似計算,然後取最大可能性的近似值。參考 理解计算:从根号2到AlphaGo ——第1季 从根号谈起 ( https://ufqi.com/news/ulongpage.191.html )。 另外使用神經網絡可以模擬任意曲綫函數,A visual proof that neural nets can compute any function ( http://neuralnetworksanddeeplearning.com/chap4.html ) 。
甚至,在早期的搜索引擎的計算中,如果計算兩個段落或者兩篇文章的相似性,也有使用基於圖的算法,將每篇文章視爲一個 graph,然後使用下面的圖的相似性的算法來計算兩者之間的相似性。

從一堆圖片中找到貓的照片是類似算法,車牌識別是這種算法,人臉識別、語音識別等都是類似的應用,神經網絡、深度學習等,莫不如是。人工智能AI之外,我們看到各種基於興趣的商品推薦,在綫廣告的智能匹配等等,都有這些算法的身影。
我們曾經開展過在綫廣告點擊率預測模型,其中運用到KNN算法,其核心就用到了 Euclidean Distance的計算 ( https://www.researchgate.net/publication/330742123_A_practical_study_on_imbalanced_data_re-sampling_for_conversion_rate_of_online_advertising ) 。

Neo4j 關於圖(Graph)的相似性計算(Similarity algorithm)提供了若干算法。
https://neo4j.com/docs/graph-data-science/current/alpha-algorithms/

這些算法都有詳細的解釋説明,樣例代碼等,這裏還有對幾種不同算法的對比分析(參考:余弦距离、欧氏距离和杰卡德相似性度量的对比分析 , https://www.jianshu.com/p/c4bbad87f873 )。 其中應用較多的是 餘弦距離和歐氏距離。

cosine similarity

Cosine Similarity/餘弦距離計算公式

euclidean

Euclidean Distance/歐氏距離計算公式

在 Neo4j 的文檔中,對餘弦距離和歐氏距離的應用場景都有差不多的描述:

我们可以使用欧几里德距离算法来计算两个事物之间的相似性。然后我们可以使用计算出的相似度作为推荐查询的一部分。例如,根据用户的偏好来获得电影推荐,这些用户所給出的评分与您看过的其他电影的评分相似。
We can use the Cosine Similarity algorithm to work out the similarity between two things. We might then use the computed similarity as part of a recommendation query. For example, to get movie recommendations based on the preferences of users who have given similar ratings to other movies that you’ve seen.

Neo4j是一個開源的NoSQL的原生圖數據庫。Neo4j is an open-source, NoSQL, native graph database that provides an ACID-compliant transactional backend for your applications.
圖數據庫存儲的數據單位是節點(Node)和關係(Relations)。
通常,圖用一組數據表示,如 g1(a0, a1, a2, a3, ….), g2(b0, b1, b2, b3, ….),極值情況下,如 g1(a0), g2(b0) 如何比較和計算相似性?這是本文試圖探討的要點。我們還結合研發中的 ufqiwork-logo有福工坊UfqiWork ( https://ufqi.com/work ) 的實際應用案例對所提議的算法進行了驗證,取得了預期的效果。

將極值比如 g1(10) 和 g(100) 進行計算時,幾乎每個算法都會返回極其不相似的結果值: -1 .

如果我們想進一步地探討, g1(10) 和 g2(100) 的不相似值, 與 g2(100) 和 g3(1000) 的不相似值,有多少程度上的不同呢? 顯然上面的算法在都返回不相似的極值 -1 時,兩者的不相似是一樣的,而真實情況真的是一樣嗎?如果不一樣,怎麽來描述這種不相似的差異?

簡單而直接的做法是考察兩個數值之間的減法差值或除法商值,差值或商值的大小決定了兩個數據的差異性,正比例關係。
比如,10~100的差值是90,商值是10, 100~1000的差值是900,商值是10.

如果我們要定義或者套用一下相似性,10~100的相似性用數值表達是多少? 100~1000的相似性用數值表達是多少?如果比較差值的話,後者的差別大於前者,如果比較商值的話,前者與後者相等。從語義上來解讀,顯然使用商值較符合預期,業績兩者的差異是10倍。

使用絕對商值10來描述相似性顯然不太合適,爲了便於表述為相似性,我們還需要對其進行歸一化處理。為方便描述兩個數值的商值,我們對商值取log10對數,這樣大幅降低絕對值的範圍並提供更大的曲綫表述空間,其絕對值的細微變化能夠映射到相應的對數值上。


對數log10(x)的坐標曲綫

嘗試進行歸一化(Normalization)處理時,需要設定區間閾值。如果兩個數相等,其商值為1,取對數log10(1)時, 得到值為 0,可以認爲儅兩個數的如上這麽計算過程之後值為0時,這兩個數的相似性是 100%。

那麽,多大是不相似呢?如果做歸一化或者百分比,我們需要確定、劃定一個“不相似值”的標準,無論是取商值,還是再對商值取對數,需要一個明確而具體的數值來表示或界定完全不相似。這個數值可能最終需要靠經驗獲得,也與要考察的數據可能的取值範圍有關,比如考察人的身高時,相差一倍就有種十萬八千裏的感覺;而考察星系,十萬八千里也可能只是一倍的表述。因此,這個用以界定“不相似”的閾值 k 應該是根據經驗和應用場景而定。

於是,我們就可以寫出我們用於求值某兩個任意數的相似性值,設若k為完全不相似,則某兩個數的相似性表述區間為 [0, k] , 針對這個取值範圍,再進行歸一化處理則相對容易。最終,我們擬寫了下面這個求取兩個任意數值的相似性的函數表達式:

F(n1, n2, k) = normalize{ min[k,  log10[ max(n1, n2)/min(n1, n2)] ] };

其中n1, n2為待求取相似性的兩個數值, k為經驗常數極值(表示完全不相似值)。
其計算過程可以描述爲:
1) 比較n1, n2的大小;
2) 求取n1, n2較大值除以較小值的商;
3) 對商值取log10對數;
4) 比較對數值與常熟k的大小,如果商值的對數值大於k,取k值;
5) 對前一步數值做歸一化處理,得到預期值在 [0, 1] 之間.

由此,我們獲知,儅兩個數的商值一樣時,其相似性是一樣的。因此10~100 和 100~1000的相似性是一樣的。對商值做進一步的處理是爲了表述和運算方便。類似的算法我們在 ufqiwork-logo有福工坊UfqiWork ( https://ufqi.com/work ) 進行試用,取得了一定的預期效果。

圖的極值問題只是相似性問題中的特例,同時這些所謂的極值也是相對的,儅g1(a1), g2(a2), g3(a3)…. 等多個極值組合為一個大的圖G(a1, a2, a3….)時,其與另外一個大G(b1, b2, b3…)相比較計算相似性時,又回歸到到文檔看到提到的數據集相似性問題計算了。

 


ufqiwork-logo
UfqiWork 有福工坊 服務交易所

有福工坊UfqiWork 是一个在线服务交易平台。
有福工坊提供在线分类服务信息,致力于在线撮合服务交易的买方和卖方,并为买方、卖方提供“行准”服务,居间担保服务交易。行准服务的提供方为居间交易的第三方。有福工坊的服务交易平台为整个服务交易流程的第四方。

线上签约,线下交割。有福工坊整合服务交易的 信息流和 资金流,在线承载买卖双方的需求供给信息匹配、交易撮合,在线承担交易双方的资金拨付、担保。服务交易的 标的物在线下实施、交割。

有福工坊服务交易平台服务于提供居间交易的“行准”,通过行准服务于服务交易的买卖双方。交易标的物与其他电子商务交易不同的是其非标准性,如房屋、工作/职业、家政/维保、汽车、医疗、教育、金融、出行、时尚等等。相应地行准为房产中介,猎头中介,商品导购、推荐、带货等。
所不同于现有分类市场的地方在于:站在买方立场代表买方利益的居间服务;买方有定价权,居间服务报价。相应地,卖方也可以使用定价权雇佣代表卖方立场和利益的居间服务。

有福工坊UfqiWork 圖標中 “有” 的紅色高亮部分,既像是“房屋”(住房),也像是“凳子”(工作),寓意 有福工坊UfqiWork 致力於為用戶提供住房、工作、家政等各類信息匹配及撮合交易服務。

Posted in 计算机技术 | Tagged , , , , , | 1 Comment

GTAjax升級:一劍🗡磨十年改進JavaScript表單遞交瀏覽器異常等

2020年7月以來,持續對 UfqiLong 有福常在 進行升級改進。
改進過程中遇到之前不曾見的問題,在使用 GTAjax進行異步遞交 有福常在UfqiLog 的文章内容時,有隨機性地出現遞交失敗。進一步的跟蹤發現,儅點擊遞交后,GTAjax接管了表單遞交動作並觸發了進度顯示並進行讀秒操作。

但是,詭異的是,GTAjax在後臺並未真的將遞交發送給服務器端後臺。於是我們決定對 GTAjax開啓 debug 模式,進行深入分析,爲何之前不曾有這樣的問題,爲何問題會是隨機性出現,而又爲何,儅第一次遞交失敗后,第二次原樣操作,卻能成功?

帶著這些問題,我們準備深入分析一下。開啓 GTAjax的debug模式相對簡單,在 運行時參數裏:

var myGTAjax = new GTAjax();
myGTAjax.set(‘isdebug’, true);

這樣即可打開 GTAjax 的過程數據輸出,從而觀測到整個通訊過程。通過分析debug日志,問題很快鎖定到 postForm.submit() 這個節點上。
也即,在使用 ForceFrame 模式進行表單遞交時,依賴 JavaScript的 HTMLFormElement.submit() 這個方法進行最終的數據遞交。

這個是 W3C、HTML DOM和 JavaScript等標準組織封裝好的方法,無法進一步地往下拆解。問題就轉化為爲何 submit() 遞交失敗呢?通過進一步地分析,我們發現在 GTAjax 接管真正的 HTML Form表單時,通常會通過 _DFM_F 方法將 onsubmit 返回一個 false,從而阻止正常的遞交,然後GTAjax 再開展一系列的準備動作之後,再遞交 postForm.submit() 進行遞交。

詭異的地方在於,Google Chrome、MS Edge等瀏覽器,之前即便對HTML Form設置了 _DFM_F, 調用 postForm.submit() 時並不會受影響,而且儅 GTAjax 通過 _RGT 方法進行初始化設置之後再次調用 _DFM_F ,然後再次 postForm.submit() 時,卻是可以通行過去,如預期地進行與服務器端的通信。

我們推測,可能是近期的Google Chrome和MS Edge瀏覽器的升級,增加了對HTML Form遞交前的JavaScript等狀態檢查,所以如果發現某個Form的onsubmit 綁定了 return false的動作,就自動終止當前的操作;相反,則繼續如常。 

定位到問題,並經過粗略的原因分析之後,解決問題的辦法也就隨之而來。如果當前被執行的HTML Form被設置了 onsubmit 的檢查,則需要對已經設置的 onsubmit 進行重寫,使之能夠覆蓋之前的設置,尤其是之前 return false 的設置,以使得後續的Form遞交操作能夠順利進行。 改進主要集中在 _SUB 這個内部調用的子函數上。

在執行postForm.submit() 之前,對當前 postForm的onsubmit 進行檢查。

//postForm.submit(); // maybe fail due to this._DFM_F . 10:42 2020-07-04
if(postForm.onsubmit == null){
    postForm.submit();
    GTAj._DBG(GTAj.vA[‘ib’], ‘this._SUB’, ‘Sync form:        [‘+postForm.name+’] is being submitted.’);
}
else{
    GTAj.currentPostFormId = postForm.name!=” ?     postForm.name : postForm.id;
    postForm.onsubmit = (function(){
        var myTimerId = window.setTimeout(function(formId){
    document.getElementById(GTAj.currentPostFormId).submit();
GTAj._DBG(GTAj.vA[‘ib’], ‘this._SUB’, ‘Async form:[‘+GTAj.currentPostFormId+’] is being submitted.’);
}, 10); //- 0.01 sec
return true;
})();
}

如果當前被執行的 postForm的onsubmit 沒有被設置過,則繼續使用之前的邏輯,直接執行 postForm.submit();

如果當前被執行的 postForm的onsubmit已經被設置過,則需要重寫onsubmit的綁定與賦值操作。經過多次實驗,我采取了JavaScript anonymous function的方式,重新對當前postForm的onsubmit進行賦值操作。初始我們將一個匿名函數賦值給當前的 postForm, 形如:

postForm.onsubmit = function(){ return true; }

在我們的實測過程中,這一匿名函數,在不同應用場景和不同的瀏覽器中,仍有一定的隨機性出現匿名函數不被執行的情況。為保全起見,我們進一步地改進這個匿名函數,不但定義了匿名函數同時隨後執行這個你們函數,將返回值賦給 postForm.onsubmit .

在匿名函數體外,我們還通過全局變量 GTAj,將當前被執行的postForm的相關信息帶入匿名函數内;在匿名函數體内,我們設定了一個隨後立即執行的新的匿名函數,這第二個内嵌的匿名函數將完成這個表單的真實遞交動作。執行的時序變成: …. 1)定義一個匿名函數A—- 2)在匿名函數A内定義另一個異步的匿名函數B—- 3)執行這個匿名函數A —- 4)將匿名函數A的返回值true賦值給 postForm.onsubmit —- 5)時間觸發執行匿名函數B —– 6)實際執行postForm.submit() 操作 —– 7)監測服務器返回值進度….

改進后,分別在 Google Chrome,MS Edge 和 Mozilla Firefox 多個瀏覽器的不同應用場景下實測,均取得預期效果,不再發生或者隨機性發生,遞交Form未被執行的情況,故障問題得到順利解決。完整程序源代碼可以在 GTAjax 主頁( https://ufqi.com/dev/gtajax/ )和 GitHub上查詢(wadelau/GTAjax)。

這可能是軟件更新史上間隔最長的一次更新,GTAjax的官網主頁記錄記錄的上次更新時間為 2011-07, 距今已經九年過去了。著實令整個軟件作者也感到時光飛逝,一方面感慨時間過得太快,同時也對 GTAjax 歷時十多年,還能夠堅强、頑强地服務于業務系統的旺盛生命力感到一陣驚喜。

這不就是那種“Best as Air(好到無形)”極好的案例嗎? 幾乎每個工作日打開的基於 gMIS 吉密斯系統,其中都有 GTAjax 工作的身影,而他總是能夠不負囑托,完成每一次基於 GTAjax 的HTTP請求。

實際上,2011年以來,GTAjax 也做過小幅的升級改進和Bug修復,根據軟件源代碼中的更新標記,至少有如下幾次。

gtajax logo

* GTAjax.js
* @abstract: General-Targeted Ajax
* @author: wadelau@hotmail.com,wadelau@gmail.com
* @since: 2006-2-17 14:04
* @code: 5.7 // a.bc , funcs added b+, errs updated c+
* @NOTICE: DO NOT USE THIS COMMERICALLY WITHOUT AUTHOR’S PAPER AUTHORIZATION
* @update: Tue Feb 1 20:47:03 GMT 2011 

* Wed Jan 26 17:31:33 GMT 2011
* Wed Jul 20 08:08:09 BST 2011
* Fri Mar 16 16:36:52 CST 2012
* 12:15 Friday, February 20, 2015
* Sun Jan 24 12:56:43 CST 2016
* Fri May 25 08:51:23 CST 2018, code format refine and cA.sort bugfix
* Wed Oct 31 21:57:26 CST 2018, +form Name validate
* 11:06 Friday, August 16, 2019, imprvs with form validate
* 11:55 2020-07-04, bugfix for submit fail with forceFrame.

GTAjax 初創于 2006年2月,距今已經有 15年的歷史了。對於日新月異的軟件及互聯網行業來説,這差不多是古董級的軟件了。然而,基於開放標準和成熟技術棧,15年后,GTAjax依然穩定運行和應用在各種Web軟件中,這不能不説是相當成功的案例。

可以設想和對比的是,在應用層軟件,有有多少能使用15年之久?不要說15年,基於私有類庫和標準而開發的軟件,可能5年、10年之後已經難以覓得蹤跡,GTAjax 伴隨 gMIS 吉密斯 等軟件能夠一直運行到現在,並繼續運行到下一個5年,10年,是一件值得慶賀的事情。

軟件的生命力或者生存周期有多久?需要多久? 摩爾定律說硬件計算速度每18個月翻倍,軟件是否也只能用18個月要改版、升級換掉,甚至是完全推導重建?

實際上,GTAjax 生存的越久,越有可能遇到“趕不上趟”的情況,畢竟技術的發展與進步,日新月異,每隔3-5年幾乎就是天翻地覆的改變。GTAjax能夠堅持其可用、好用、能用達15年之久,應該說算是某種“成功”。

幾乎同時期的很多軟件都已經銷聲匿跡了。也可以設想,如果不是使用的開放的HTML、CSS和JavaScript等標準,而是使用某一家公司的某項私有技術,其情況可能就完全無法預料,更誑論與時俱進、歷久彌新了。縱向地時間跨度看,要保護和珍視一個軟件,盡可能延遲其生命周期,保持旺盛生命力,唯一可取的方式就是使用開放的技術與標準,構建面嚮未來的軟件。

從這一方面來説,基於WEB的應用軟件已經完勝了基於某個公司或者平臺的“本地應用”。10年前,差不多是WEB軟件真大行其道的時候,以美國Apple公司的Appstore反其道而用之,强推基於其自有的平臺軟件(App),構築强大的軟件壁壘,同時引導、脅迫無數軟件開發者不斷的爲其開發軟件(App),短則數月,長則數十月,App的快速更迭,也意味著大量的新寫成的代碼,像曇花一現一般消失了。

當然,也有及其少數的本地應用App頑强地頻繁地更新升級穿越了10年以上的歲月時空,如游戲魔獸世界WoW,即時通信軟件騰訊QQ等。這其中也包括,Web軟件賴以運行的網絡瀏覽器,如MS IE,Mozilla Firefox,Google Chrome,Apple Safari,Opera等。

在人民網工作期間,儅其實我們用的基於WEB的内部辦公系統(OA)相當有些年份(5-6年?),當時覺得,爲何不升級采用新技術? 甚至是再一個5-6年之後(10多年前),這個OA系統依然在運行中。現在想來,這是一筆極大的財富,因爲軟件的本身的技術棧是公開的標準,沒有很快地被業界全部抛棄,所以企事業單位的投資,得以延用至今繼續發揮作用。

當然,也不是說公開、開發的技術標準就止步不前,相反,公開、開放、開源的技術也在不斷的改進升級,只是由於影響巨大,各方需要多輪磋商,考慮各種因素,相對於一家公司的一項技術,其進度必然是緩慢的,當然也是理性而鑒定的。

比如 GTAjax 在開發計劃中,就規劃了 GTAjax-6.x 版本,主要考慮外部因素如下:

* 12:15 Friday, February 20, 2015
* 6.x Bears
HTML 5
ECMAScript 5, 6
HTTP/2 and Event-driven,
highly-cached,
code style of high-performance and readability
* in mind

尤其是其中的 HTML5,JavaScript 6 和 HTTP2 這些是在業界公開討論多年的技術標準,日益成熟,在新應用部署時會加快采用。相信在不久的將來,GTAjax-6.x 就緒時,能夠充分利用這些新技術特徵,在兼容之前的前提下,繼續為互聯網社區做出新的貢獻,下一個 15年,30年,50年。

與之相關 GTAjax更新Blog有:1)gMIS吉密斯更新Workflow工作流、FileMgr文件柜及GTAjax等模块( https://ufqi.com/blog/gmis-workflow-filemgr-gtajax/ ),2)-gMIS, -GWA2, -GTAjax 一并更新 ( https://ufqi.com/blog/gmis-gwa2-gtajax-update/ )。

世界仍不平靜,新冠肺炎疫情仍在傳播,愿軟件開發者多開發些生命周期更長的軟件,為世界和平貢獻智慧和力量,不要讓軟件成爲快消品, 而是要讓軟件成爲耐用品、藝術品。

-R/M2SR
https://ufqi.com/blog/gtajax-updt-form-submit-202007

Posted in -GTAjax, 编程技术, 计算机技术 | Tagged , , | Leave a comment

勞動的振興一家親

許久沒有寫家長里短的生活片段,說工作太忙,或者因爲新冠肺炎疫情都是不準確的。根本原因是在某種壓力之下,缺乏了對生活的感悟和思考,觀察和體會。真如同現在忽而要寫寫我們的生活剪影一樣,是有感而發,有所觸動,希望能言之有物,說説我們勤勞而辛勤工作的片段。

家住兩室兩廳,初裝修時,被改成三室一廳,兩個臥房,一個留作書房+鋼琴。四口人,如果岳父母來的話,是6口人,難免有些擁擠,通常每個房價要睡三口人。所以我們想把次臥的兩張板床換做一套上下床,不至於擁擠不堪。起初打算買新的,考慮到木料的,新的有味道,加上我們都一貫勤儉節約,就想著尋覓一個二手的上下鋪木床。妻子就在阿里鹹魚上尋找。這算是背景。

經過一陣子觀察,終於訂了一套附近小區的上下鋪木床,需要我們自己去拆卸了,搬運回來,再組裝起來。這個故事就是要記錄我們一家幾口在這個活動中的積極配合、辛勤勞作的過程。

2020年6月17日,是農曆閏四月的一個大熱天,大概有36度左右。我們在上午工作、學習之後,下午15:30按約定去賣方家裏拆卸床鋪。拆卸難度比預期的大,拆卸過程也比預期的長。Yoyo和我一道前往,個頭像個成年人一樣的大孩子,在與我配合的時候,一點不差。從擰卸螺絲、往外樓下搬運木板、床架,幹得很認真,很勤快,也很辛苦。大家都大汗淋淋的。只是暫時還沒有水喝,我們需要忙了大約一小時之後,待拆卸、搬運、裝車,然後運到家裏樓下、卸貨下車之後才能回去喝水。

這期間有個細節頗為意外。Yoyo搬運床板時,手指被床板的木刺兒刺破。在行動前,我預料會有這樣的事情發生,所以出門前我備了手套,並叮囑Yoyo也帶手套。顯然,YOyo沒儅個事,也沒戴手套就上手幹活了。木刺兒很鋒利,穿刺了Yoyo食指的表皮,從另一側穿出。我看著都覺得疼得厲害,她居然還開玩笑說,木刺兒刺穿了表皮、真皮和小部分組織細胞等等,然後將餘留在皮膚裏的木刺拔出。我趕緊制止了她的任務,讓她趕緊清洗,並將我的手套給她,囑咐她保護好手指,回去后再消毒、包紥處理等。

這些發生時,我忽然覺得Yoyo這孩子長大了,有能力處理一些突發情況,她對疼痛的耐受,超乎我的想象,即便受傷了,仍然繼續上上下下地幫我搬運完所有的木料,然後我隨著出發,她再自行騎電動車返回。

作爲父親,我既爲Yoyo的勇敢而欣慰,也有點擔憂,她這種超乎異常的鎮靜與堅强,會不會太狠了點?

貨到之後,Yoyo也前後脚回來,還好!我隨即囑咐她回去喝水、消毒包紥手指。另外讓她叫Hanu下來幫我搬運東西到樓上去。我連忙從車上卸貨,在單元門口堆放了一地。

不久,Hanu就樓裏冲出來,擼起袖子就開始搬運木料。我讓他擔心木刺兒,回去穿長袖衣服,撿自己能搬得動的木料往回搬。Hanu幹起活來,也很積極主動,一趟一趟,樓上樓下,和Yoyo,我,三人穿插著不停地往返,不一會,就搬木料從單元門口悉數運到了家裏來。僅僅多了Hanu一雙手,我忽然覺得比從賣方樓上運到樓下快了很多!

說易行難,待到我們將木料運到家裏之後,三日幾乎都累的不想動了,我們決定稍事休息,然後再進行組裝。

由於拆卸的時候進行的匆忙,沒有拍照留存樣子,我只好凴印象,一點一點地回想某個部件該在什麽部位,組裝的時候先組裝什麽再組裝什麽的先後順序等。而且在組裝之前,我們需要把原來室内的物件再歸置一下,在Hanu和Yoyo的幫助下,事情一一有序進行。

組裝最難的部分是將床鋪的骨架裏起來,在一個有限的空間裏,我們三個人覺得有點困難。主要是Hanu不能單獨扶住樹立一根床腿,太粗壯、太厚重了,如果兩根、三根甚至四根柱子不同時立起來的話,就沒法往一起使用橫梁連接、固定起來。辦法總比困難多,我們一起還是想了很多辦法,剋服了這些問題,最終樹立起骨架,後面就相對容易,逐漸上架更多的部件。

這期間,門口居然接連有兩次快遞送到門口,不得已我們沒法接,之後大聲地對門口喊,知道了把快遞放門口吧,而快遞員也有回應說,好的,只是運來的東西是冷鏈食品,需要馬上放冰箱裏…., 一片忙碌中.

Minina下班歸來,也加入我們的隊伍之中,協助清洗、消毒木料等,同時還為我們準備晚餐,對了,已經忙了一下午了,1拆卸—2搬運下樓—3裝車—4運送—5卸車—6搬運上樓—7組裝–8清洗消毒…., 這個漫長的流程,我們已經幾乎快完成了。

中間多次休息喝水,然後還有一次吃完飯,晚飯后繼續歸置,清理,大約忙到晚上21:30左右,終於結束當天的工作。從15:30出發啓動任務,差不多進行了連續6個小時的辛勞忙碌。

稍後休息。我回想之前有過 的一些搬家、運床的經歷。最早我從學校的宿舍搬出到平房居住,後來搬家到樓房,再後來搬家到我和Minina購置的新房,然後從這個小房搬家到現在住大房子。期間經歷可謂曲折、艱辛。這些搬家中,每一次幾乎都是親朋好友有力出力,有車出車,都來搭把手,雖然辛苦,卻也順利。

好像這是第一次,我帶兩個孩子,完成了將一個碩大的木製上下床從一個地方搬運到另外一個地方。孩子們大了? 我有幫手了?真相可能是孩子們真大了,而我還未老,也許現在就是創建功業的大好時機。 在不遠的將來,孩子們將重新走我和Minina年輕時走過的路,如果我們能將孩子們的起點墊起得更高些,或許他們能走得更遠些。

正如我們的父輩不辭辛苦地支持我們向更高、更好地生活邁進,我們也要沿著這樣的路綫,將孩子們遞送到更高、更好的生活方向和軌道上去,扶上馬,再送一程。這,或許就是人類生生不息、代際傳承的文化内涵和精神圭臬

一而再,再而三,家族之勢可成也。


姐姐Yoyo苦練一陣子的菊花字體“期末”,出現在學校班級的板報上,她言自己有兩科目以上都是榜眼,所以未能留言“狀元語錄”。我聞,亦爲之嘆息不已。


弟弟Hanu隔三岔五地會臨描一些圖畫書的插圖,如小鹿斑比(上圖),丁丁歷險記等,惟妙惟肖,煞是逼真。我意甚喜,而她母親則說,畫什麽像什麽並不是想象力的發揮。

時光就是這麽一晃就過去好幾年,上次寫 Yoyo的帖子是2015年,《化干戈为玉帛:平息争执的四个方法》:https://ufqi.com/blog/four-ways-to-get-out-of-disputes/ , 上次寫Hanu的帖子是2016年,《鸡蛋黄色的Orange和外教课english dict》:https://ufqi.com/blog/hanu-egg-yolk-orange-yoyo-eng-dict/ 。

—-

https://ufqi.com/blog/xenxin-family-hardwork-202006/

-R/S2SP

Posted in 社会生活 | Tagged , , , , , , | Leave a comment

🙋Hanjst汉吉斯特优化+JsonDataFromScript等

近日继续对 🙋Hanjst汉吉斯特优化改进。这次的改进思考是从服务器端返回的 HanjstJsonData的容器设计问题。目前的做法是服务器端的HanjstJsonData放入终端页面的一个Div元素中。这个Div的id默认被设置为Hanjstjsondata。

<div id=”Hanjstjsondata” style=”display:none;height:0px;width:0px;”>

HANJST_JSON_DATA
</div>

这么设计并实施有显而易见的好处,简单易行,而且部署实施复杂度和实际运行效率,都在可以接受的范围。然而在一些极端情况下,网速较慢时这个DIV会曝露给终端用户,而且需要在浏览器中读取到这个DIV的内容,并进行JSON.parse操作。有没有可能将服务器返回的HanjstJsonData 直接以JavaScript的JSON变量形式放入浏览器中,使得JavaScript和Hanjst可以直接调用?这样改进后,运行速度是否会更快?

同时,还要考虑的问题是,如果做这样的改动,比如可以接收来自JavaScript脚本的JSON数据,与此同时同时,还要前向兼容目前已经使用的方式方法,也即,需要继续支持能够使用DIV形式来传递JSON数据。

另外,还要考虑到,如果新的功能,来自JavaScript的JSON数据被引用,那么是否就丢弃来来自DIV的JSON数据?两者是否需有一个优先级?

从理论上分析,如果从服务端返回的JSON数据直接放入JavaScript的JSON对象中,会减少现有的JavaScript中读取DIV内容,并进行JSON.parse的过程,与之对应地,需要考察的过程就是JavaScript中处理较大的JSON对象的效率,这个过程是否高于从DIV中读取contents并对读取到对contents进行JSON.parse?

实践出真知。我们最终决定改造Hanjst的解析引擎,使之支持来自JavaScript的JSON数据对象,在Hanjst运行环境初始化完成后,开始对JSON数据对象的探测。Hanjst 使用window.hasOwnProperty(Hanjstjsondata) 的方法来探测是否在当前JavaScript运行时环境中已经定义了Hanjst Json data的数据对象。 如果探测到已经定义了有来自JavaScript的Hanjst JSON data数据对象被定义,则使用这个作为后续的数据源。

如果没有探测到相应的数据对象被定义,则程序进行之前的过程——根据HanjstJsonDataId寻求相应的DIV,然后读取DIV的contents,然后再对contents进行JSON.parse 的操作。

如此以来,将来自JavaScript的JSON数据对象置为第一优先级,如果有则终止对DIV对探寻,如果没有再继续之前的DIV中的JSON数据的读取。既实现了对之前对兼容,也扩展了对来自JavaScript的JSON数据的支持。

改进之后增加使用JavaScript声明变量来引入JSON数据对象的写法:

<script async>

//- first order, detect

//- HANJST_JSON_DATA

var Hanjstjsondata = {“pagetitle”: “-Hanjst, Hanjst汉吉斯特”};

</script>

 

Hanjst demo ( https://ufqi.com/dev/hanjst/Hanjst.demo.html) 的页面实测中,使用来自DIV的JSON数据和使用来自JavaScript的JSON数据对象,两者在运行时间上并没有明显的区别。Hanjst demo的解析运行时间 (普通PC桌面浏览器),在两种情况下均在 20~40ms之间,也即 0.02~0.04s之间完成页面的样式和内容的merging操作并更新整个页面的body。

可能是Hanjst demo页面尺寸和复杂度较低,JSON data数据对象也不大,所以在运行时间上无法明显区分开来。待有正式商用的较大尺寸的页面和较复杂的页面逻辑、较大尺寸的JSON data时,再做详细的对比。目前只能从理论上证明:使用来自JavaScript的JSON对象可能会快些。

这是最近接二连三地对 Hanjst汉吉斯特进行更新的第三篇,前两篇分别是:
https://ufqi.com/blog/hanjst-ensafeexpr-updt/ , 🙋Hanjst汉吉斯特改进+enSafeExpression安全表达式等; https://ufqi.com/blog/hanjst-showimage-dotpos/ , 🙋Hanjst汉吉斯特升级:+showImageAsync及性能改进等;

其他一些改进:

1)修改了一处 正则表达式中的 matchStr 被引用时,将双引号“进行转义操作。
2)改进了一处 关于注释代码清理的正则匹配问题,在检查 // 注释之前,先行去除 /* */

/\/\*([^]+?)\*\//gm

3)增加了一處顯示功能, {=$i+2} , 先對 $i 進行賦值操作,然後再在當前位置顯示出來
此前要顯示一個變量需要經過兩步驟:

a. 賦值操作: {$i=$i+2} , 空語句,只執行語句,不做顯示;
b. 顯示操作: {$i} ;

目前a, b兩步驟可以合并為一步: {=$i+2} , 先賦值操作,后顯示操作。
相當於截至目前,有兩種顯示操作方式:
3.1) {$i} : 在當前位置顯示 $i 的值;
3.2) {=$i+2} : 先進行賦值計算操作,然後再在當前位置顯示出 $i 的值. 

{$i} 等價於 {=$i+0} .

 

….


Hanjst

🙋Hanjst汉吉斯特 是一种基于JavaScript的模板语言及模版解析引擎,她运行在客户端或服务器端。

🙋Hanjst汉吉斯特 能够表述逻辑控制,能够实现与服务器端模版语言相同的强大功能。

  • Hanjst当完全在客户端解析时,节省服务器端计算资源;

  • Hanjst模板语言独立,不与服务器端资源做任何绑定;

  • 纯粹的MVC,层间数据用JSON格式传递;

  • 常见模板语言功能全支持,附带复杂而强大的JavaScript编程能力;

  • 无学习成本,直接使用JavaScript书写模板语言;

  • ….

Hanjst is a JavaScript-based templating language and parsing engine that runs on both the client-side and/or server-side.

Hanjst can express logical controls and achieve the same functionalities as the server-side templating languages.

  • Hanjst’s Run-time in client-side, reduce computing render in server-side;

  • Hanjst is Language-independent, not-bound with back-end scripts or languages;

  • Totally-isolated between MVC, data transfer with JSON;

  • Full-support template tags with built-in logic and customized JavaScript functions;

  • No more tags languages to be learned, just JavaScript;

  • ….

 

 https://ufqi.com/blog/hanjst-updt-jsondata-from-script/
-R/N2SL

Posted in -Hanjst/-汉吉斯特, 编程技术, 计算机技术 | Tagged , , , , | Leave a comment

🙋Hanjst汉吉斯特改进+enSafeExpression安全表达式等

Hanjst汉吉斯特模版语言及模版引擎,近期持续改进升级。
这次改进主要是增加了对安全输出表达式兼容,由于涉及到对软件开发过程中的效率和软件运行效率的平衡和取舍,所以多写了几句,以描述这个权衡利弊对思考过程。距离上次更新:🙋Hanjst汉吉斯特升级:+showImageAsync及性能改进等 ( https://ufqi.com/blog/hanjst-showimage-dotpos/ ),时间过得并不算长,希望Hanjst早日成熟而稳定下来。

1. 问题及背景

Hanjst 模版语言解析引擎在编写时,启用了JavaScript的 strict mode ( https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Strict_mode ),对程序语句执行严格对语法检查,因此如果书写不严格会偶尔抛出异常错误警告来。之所以这么要求,使用JavaScript对strict mode,是希望Hanjst汉吉斯特能够用在一些关键领域和苛刻岗位,将异常错误消灭在程序编写阶段。

让异常在“编译时”发生,进而得到解决,属于编程语言方面的准编译型。这本是好事,因为Hanjst 除了用在普通的资讯网站,也会用在电商、金融等领域,对其进行苛刻的语法检查,是必需的步骤。

然而,这也有弊端,就是开发时比较耗费时间,需要考虑各种情况,反复测试各种情景下的软件行为,无意会加大开发成本。比如常见的 strict mode下的报错:未定义变量和访问对象为undefined。报错信息在 Hanjst里有较人性化的显示输出,参考:汉吉斯特Hanjst+更新升级:error reporting, innerLoop和loadingLayer ,https://ufqi.com/blog/hanjst-error-reporting-innerloop-and-loadinglayer/  。

如果因为对接的系统处于非关键领域和苛刻岗位,对于往复出现的这种变量未定义或者访问undefined对象,能不能进行一些主动兼容?这次就是考察这个问题。

2. 解决思路及方法

对这个问题的考察,大致两种方法:
1)在模版编译时,去掉 JavaScript对strict mode,使之不再做严格对检查,从而避免类似未定义变量和访问undefined对象;
2)第二种思路是在保持 strict mode对前提下,做一些局部的微调,使之能够兼容这些低级错误,也保留对其他语法对严格检查。

在大的方向上去掉Strict mode显然是不行的,这会从本质上动摇Hanjst用在关键领域和苛刻岗位的定位。这一点不应拿来讨论。启用strict mode,进行编译时语法检查,对严肃软件是必需的。

在JavaScript中,探测一个变量是否被定义,是一件容易的事,使用类似 typeof 对指令,可以判断某个变量是否被定义。如果对每一个变量在输出前都做这样的检查,显然陷入了“一个人有病,全国人吃药💊”的非理智状态,这也是之前的尝试被阻止的原因之一。
因此如果要启用针对变量的探测,需要有某种机制来感知已经被定义了的变量。

另外,如果不使用 JavaScript eval等危险性较高对函数,如何去感知某个字符串所代表对变量是否被定义了?使用内置对象 Function构建匿名函数吗?如果匿名函数的话,其单独的变量作用域与变量实际运行环境又有显著的不同,该如何操作?

第三,在模版语言中,我们允许对象的属性访问,这类对象,可能是运行时环境的全局变量,也可能是局部变量;这类对象既可能是一维的Hash数据list,还可能还多位的Hash嵌套,可能存在第一维的数据对象是已经被定义的,而第二维、第三维是未定义的,而此时如果是未定义的,就有可能抛出异常来。

待问题进一步地发散为:
1)继续启用Strict mode,
2)在1)的情况下,实现对未定义变量和未定义对象对访问兼容;
3)尽量不要使用高危函数,如 eval;
4)保证2)都情况下,不能不分情况的对所有变量进行兼容操作;
5)需要区分是全局变量,还是局部变量,各种情况最好都能兼容;
6)需要区分一维对象和多维对象,各种情况最好都能兼容。

经过一番艰难地探索,在尝试寻求鱼和熊掌兼得的情况下,采取如下措施:
1)使用 typeof 生成待执行的变量是否被定义的JavaScript语句;
2)新增环境变量赋值语句的list,用以检测某个变量是否显式地被定义;
3)使用 window.hasOwnProperty 探测某个全局变量是否被定义;
4)使用递归方式拆解多维数据对象,如, $aList[$ak1][$ak2][$ak3] .

基于以上分析在 Hanjst.js 中新增 _enSafeExpression 函数用于对待输出对变量及对象进行安全性检查。

3. 样例演示

{$a=1}  –> 类似的语句被登记为该变量已经被显式地声明;

{$a}  –>  ((typeof $a == ‘undefined’) ? ” : $a) , 输出 $a 对语句如果探测到没有被定义,将被改写为三目运算符的表达式;

$aList[$ak1][$ak2][$ak3] –> $aList[$ak1], $aList[$ak1][$ak2] , 将待输出对三维数据分别逐级拆解,形成待探测的两个变量/对象,再分别予以构建使用三目运算符的表达式,形成由顶部到底部的逐层检测,大致为:
((typeof $aList[$ak1] == ‘undefined’) ? ” : ((typeof $aList[$ak1][$ak2] == ‘undefined’) ? ” :$aList[$ak1][$ak2][$ak3]))

更多维的数据对象,也依此类推。 

4. 其他

版本号升至 v1.7, +其他一些细微的优化调整,

一个简单地问题细究起来,居然一点都不简单,纸上得来终觉浅,绝知此事要躬行。一个小任务,变量输出前进行主动安全性检查,居然唠唠叨叨地写了差不多2000字。

毕竟,Hanjst汉吉斯特在追求平衡的艺术,追求极致而完美。

….


🙋Hanjst汉吉斯特 是一种基于JavaScript的模板语言及模版解析引擎,她运行在客户端或服务器端。

🙋Hanjst汉吉斯特 能够表述逻辑控制,能够实现与服务器端模版语言相同的强大功能。

  • Hanjst当完全在客户端解析时,节省服务器端计算资源;

  • Hanjst模板语言独立,不与服务器端资源做任何绑定;

  • 纯粹的MVC,层间数据用JSON格式传递;

  • 常见模板语言功能全支持,附带复杂而强大的JavaScript编程能力;

  • 无学习成本,直接使用JavaScript书写模板语言;

  • ….

Hanjst is a JavaScript-based templating language and parsing engine that runs on both the client-side and/or server-side.

Hanjst can express logical controls and achieve the same functionalities as the server-side templating languages.

  • Hanjst’s Run-time in client-side, reduce computing render in server-side;

  • Hanjst is Language-independent, not-bound with back-end scripts or languages;

  • Totally-isolated between MVC, data transfer with JSON;

  • Full-support template tags with built-in logic and customized JavaScript functions;

  • No more tags languages to be learned, just JavaScript;

  • ….

    两天来,连续创作两篇,在写blog的历史上,也是少有的行为。同期写就的另一篇: 写写🏦存款利率贷款利率和负利率 , https://ufqi.com/blog/captial-rate-and-minus-rate/  。

http://ufqi.com/blog/hanjst-ensafeexpr-updt/
-R/x12SX
https://ufqi.com/news/list.932.html

Posted in -Hanjst/-汉吉斯特, 编程技术, 计算机技术 | Tagged , , , | 2 Comments

写写🏦存款利率贷款利率和负利率

2020年以来,经济发展受新冠肺炎疫情影响,进行大幅深度回调,宏观层面金融政策和财政政策接踵而至,为了保经济、保不下挫、保下挫的不太厉害操碎了心。利率调整是宏观经济干预工具箱中较为亮眼的那种,有点像像是瑞士军刀Swiss Knife或者互联网络中netcat命令. 这篇打算写写利率及负利率,算是经济学学习笔记第二篇。(这里是第一篇:写写1929年美国经济大萧条与2020年美国股市大跌https://ufqi.com/blog/us-1929-economic-crisis-2020-stock-shock/ )欢迎批评指正。

几个月前,网上有篇美团副总裁谈“为什么中国To B企业都活得这么惨?-4( https://ufqi.com/news/ulongpage.250.html )”的文章也提到负利率,说法是负利率就是你去向小A借钱做生意不但不用支付利息,等期末小A再多给付你一笔钱;或者说,你向小A借了100元,等期末你只需向小A还款90元就行。
这是一种错误的说法,天上掉馅饼的事不会发生(发生了也不会砸你头上),负利率不是这么解释和应用的。本文首先要澄清这一点。

1. 利率的一些定义及名词

利率,教科书上的定义是资金的价格,使用资金的成本。经济学上,正常情况下,价格是不能小于零(等于零是白送),当某种商品或服务的价格为负时,一定是异常的、极端的情况。
可能这也是美联储2020年这次一撸到底将美元的利率降低到 0–0.25% 附近,而没有一下子极端地将美元利率弄成负的。
还要注意的是,这个利率,潜台词或者默认是指“存款利率”,不是贷款利率。


(1900-2013 美国存款利率)

需要进一步地厘清可能的名词:
1) 存款利率,小A将钱存入银行时,银行按“存款利率”给付利息,这是最大众,最普遍,也是默认的“利率”的指代;
2)贷款利率,小A申请一笔住房贷款,银行发放一笔贷款给小A,小A按期按“贷款利率”支付利息给银行,当然本金也要按计划慢慢还;
3)名义利率,就是名义上的利率,官方(中央银行)公布的利率,与实际利率相对于,与通货膨胀率相关;
4)实际利率,就是名义利率扣减掉通货膨胀率之后的真实所得的利率,这部分在投资上也成为无风险收益,是计算和比较其他投资收益的基准,也称为“躺赢”的钱;
5)通货膨胀率,大致可以理解单位资金/货币的实际购买力的变化率,通俗地说是货币的贬值速度,贬值率。为何货币会贬值?( 从硬货币到代币到信用货币: https://ufqi.com/news/ulongpage.658.html

通过一番对名词的解读,我们发现,实际上,能够实现赚取躺赢的钱,很少很少,以美元利率为例,假如存款利率为 0.2%(名义利率),实际利率会是多少呢? 美联储的使命之一就是极力地维持美元的通货膨胀率在年2%以下,设若这一目标达成(很多时候只高不低),美元的实际利率是 -1.8%。 又成为负的了!
也就是目前的美元存款,没法实现躺赢,要想拿到美元躺赢的钱,只能在名义利率大于通货膨胀率时,才可能发生,也即名义利率在 2% 以上时。从美元存款利率1900-2013间100多年的历史来看,多数年份的利率都远高于 2%, 均值是 8%,这个是相当高的无风险收益了。
其他货币依此类推。

2.有存款负利率,没有贷款负利率

回头说 贷款利率,这个利率的普及远不如存款利率,因为相比存款的人,贷款的人仍然显得很少。所以也很少讨论。实际上,贷款利率与存款利率是挂钩的,这个挂钩的依据是银行的开销。


(央行一年期存款利率1.5%,贷款4.35%)

银行这种经济基础设施是需要花钱的,有各种开销。这些开销来源,一块大头就是利率差,也即贷款利率减去存款利率的差值。由于银行还有其他方面的收益,以及作为贷款方有资格在多个银行间询价,贷款利率往往不是整齐划一的,反而参差不齐,甚至相去甚远。

然而,有一点明确的是,贷款利率不会为负。即便是在存款利率为负的情况下,贷款利率还仍然高挺着不动。当存款利率为负时,你存钱到银行,需要每月给银行费用(管理费等),而还不曾发生,你从银行贷款了,银行每月还发钱给你,这就有点不符合常识,也是违背经济学基本规律的。总之,贷款利率不会为负的,负利率是一个混淆视听的说法。正确地说是,存款负利率。

等一下,储户存款负利率时,从银行的视角来看,就是银行借小A的钱用,然后每月小A还得付款给银行,对银行来说,就是妥妥地贷款负利率啊!为何会发生这种情况,为何不是逆转过来的样子?
发生了什么事? 为何资产、资金一夜之间从正资产(产生现金流)变成负资产(损耗现金流)?投资行为一夜之间变成消费活动?
为何只有银行能够享受这种贷款负利率的优惠?

3. 能坦然面对存款负利率吗?

在文章“新冠肺炎疫情之后,中国何去何从? ( https://ufqi.com/news/ulongpage.631.html )” 中,作者在谈论GDP和经济时这样感慨如下。

这很好地验证了我读博时导师对我的训诫:
你在问最好的商业模式?
很好。要么你去打天下然后收税,要么去拿一张银行牌照。

我们能够很容易地的推导出来,当存款利率为正的时候,银行是吃贷款用户的钱;当存款利率为负的时候,银行是两头吃,继续吃着贷款客户的利息,也同时吃着存款用户的钱。

问世间真有这么好的商业模式吗?这么梦幻的事情正在发生,在那些存款负利率的国家。庆幸美联储、中国央行等还没官宣存款负利率,虽然通货膨胀率已经完全抹去存款名义利率的收益,好在这还起着遮羞布的作用。

如果掀开了存款正利率这块遮羞布,将存款利率弄成负的,银行狰狞的面貌就露出来了,站在它背后的大Boss也若隐若现了。
也许有经济学家或者银行辩驳说,吃储户的钱,就可以降低贷款户的利率了,然后支持经济发展,bulabulaaaa…… 

存款负利率是对公民财产赤裸裸地剥夺,是明火执掌地征收“货币税”。持有某种货币,所以要纳税(收费),只是这个税未经法定,收取机关也不是税务局,而是银行。
将富裕阶层分化升格为大富豪或降格到中产,将中产阶层直接降格为无产,无产阶层免受其害,因为不持有“货币”。

这将加速社会两级分化,财富进一步地向少数人集中,中产无可避免地下坠到无产,到后来,绝大多数人除了可以出卖的劳动力,其他一无所有。

4. 危言耸听的风险错配

存款负利率的实施会加速摧毁中产阶层,使之降格到无产阶层,而不是升格到富裕阶层。可以想象的是,面对为数不多的一笔存在银行里的钱,每个月要还“利息”,怎么想都觉得不爽,要么花掉这笔钱,吃喝玩乐算了。

理性的人,会将钱取出,去买理财等进行有风险投资活动。注意我们上面提到存款利率是无风险收益。现在没有无风险收益,而且还要倒贴钱拿着这笔钱,又不能吃光花净,只好冒险去进行有风险的投资活动。

在一个危机四伏的投资环境里,对于不懂、不擅长进行风险管理的投资者来说,亏完这些血汗钱,可能只是时间问题。
这本来是专业风险管理、专业投资进行的活动,因为存款负利率完全转移到毫无理论知识和实践经验的平民百姓头上,作为不同专业、不同职业的人,可能完全没有投资理财的技能,也不会学习投资理财的知识。

中产就这么慢慢地被消解为无产,而一些富裕阶层,由于需要更多地面对有风险的投资活动,在一次次有风险的投资活动中,或输或赢,保持富裕阶层,或消解为新中产,进一步地大概率地滑落到无产。

当我们还在讨伐“食利阶层”时,一不小心地,我们都成了,日光族、月光族和年光族,从此再无需为存款负利率担忧,稍有风吹草动,生活也可能万劫不复,因为没有可以代替肉身抵挡风险的“资产、资金”。

或许只是危言耸听,普通民众只是多了一项“货币税”而已,我们从摇篮到坟墓,我们所交的税多得多了。只是相比较而言,这个“税”有些特殊,令人锥心。

如果有那么一天,存款负利率时,我们也能同时申领到贷款负利率的贷款,或许会好些。

https://ufqi.com/blog/captial-rate-and-minus-rate/

-R/c2SO

https://ufqi.com/news/ulonglist.405.html

https://ufqi.com/news/list.2397.html

Posted in 社会生活 | Tagged , , , | 1 Comment

GWA2吉娃兔🐇升级模板引擎子系统

近期,全球范围内的新冠肺炎疫情有所缓解,抗击疫情有发展成为常态化的趋势,复工复学正有序展开。GWA2 吉娃兔🐇 在此期间升级改进了模板引擎系统。

这是一件令人开心的事,夙愿已久,终得实现。
大约7-8年前,当我们完成GWA2 PHP版本所有主要功能架构后,开始审视代码进行加强和优化时,就设想在模板文件的加载部分需要优化改进。 这一设想,拖来拖去,竟然有7-8年过去了。

通常情况下,GWA2专注于架构设计,遵循 MVC的设计理念,将 V(视图)的工作交给了当时选定的 Smarty模板引擎来处理。像我们在此前讨论的一样,Smarty模板引擎被选中,是有一些考虑在里面(参考:㊗️ GWA2/吉娃兔🐇八周年啦!GWA2内置模板引擎成功由Smarty替换为Hanjst , https://ufqi.com/blog/gwa2-8-years-with-smarty-to-hanjst/ );同样地,当我们使用 Hanjst汉吉斯特替换 Smarty时,也是对这些考虑的再次审视。

重启这一问题,是因为 GWA2在准备数据和模板文件之后,在模板引擎工作之前,还有一些工作需要处理,这就是 GWA2的模板引擎子系统的预处理部分。这部分主要包括大致两方面的工作。

  1. GWA2 模板引擎子系统的两件工作
    1. 模板子系统之前预处理
      GWA2 在结束一次请求的业务处理之后,会根据输出变量 fmt 的具体情况来决定将要输出内容的格式,是纯文本,还是普通的HTML,还是JSON 或者 XML。
      在这一步完成后,如果需要输出HTML,在指定了待输出的模板文件之后,余下的工作将由模板引擎来跟进处理。
       .
    2. 设计层的静态内容替换:资源路径、关键词等
      通常的软件项目开发中,设计师和工程师,前端工程师和后台工程师,是不同的角色,由不同的人来担任。这主要是由于他们各自的工作不同。
      在网络应用中,特别是网页应用中,视图通常是普通的HTML,当前端工程师将HTML准备好之后,相应的HTML文件被添加到项目代码库中。

      只是这样的HTML原文件还不能直接使用。主要原因包括,需要需要改一些页面的头部和尾部共用的部分,这些共用的部分,需要提取出来,单独存放,以便于共用,或者实现模板的嵌套等高级功能。

      另外一项必不可少的工作是对资源路径、关键词进行替换等。原始的HTML代码可能是如下这样的情况:
      ….
      <img src=”images/abc.png” alt=”an image”/>

      这里的一个图片元素,其路径是相对路径,而到服务器端真实环境时,可能相对路径就不能用了,它与用户实际访问的路径可能不在一个地方。这时候,就需要对 “images/” 进行替换操作。
      这次替换操作,是每次模板加载时都是动态替换的。
      如果没有模板缓存,则每次都需要动态替换,除非程序开发人员在拿到HTML文件时手工给修改一次。
      这是理智的,却不是实际可操作的,因为设计师和前端工程师通常需要修改HTML,每次递交到系统都来一次这样的手工替换修改,是恼人的,也是不可靠的。

      所以,多次实践之后,我们考虑还是将这部分工作交给程序和系统去做比较可靠。与之对应的,模板应该有缓存机制,这也是我们最早就注意到要优化的地方之一。
      .

    3. 模板文件的读取加载
      模板文件在完成动态替换后,还需要实际的实现从磁盘文件读取然后输出给客户端的过程。

      这一过程的缓存也尤为重要。如果缓存了相关页面,则每次读取时,不需要磁盘操作,直接从相应的内存缓存中进行读取,速度会大幅提升。
      额外地,有些模板引擎还能够对模板进行预编译,进而更快地提升模板引擎的处理速度。
      .

  2. GWA2兼容 Smarty模板引擎 和 Hanjst汉吉斯特模板引擎
    1. Hanjst汉吉斯特模板引擎
      Hanjst汉吉斯特是目前 GWA2 默认的和推荐的模板引擎。(参考: https://ufqi.com/blog/category/hanjst/ )
      Hanjst 在接管模板加载工作后,也需要需要完成上述两项工作。通过磁盘文件系统读取模板文件,进行替换资源路径操作,然后再将替换后的模板内容与要输出的环境变量内容一并输出到前端。

      在前端页面通过 JavaScript完成数据内容与模板形式的融合。
      加入模板引擎子系统的缓存后,上面的预操作(读取模板文件,替换静态内容)就可以省略,其仅在缓存失效的情况下再重新做一遍预操作的工作。当预操作完成后,进行缓存写操作,以便接下来的第二次请求使用缓存内的模板形式,从而避免了读取磁盘文件内容然后进行静态内容替换等操作。
      提升了模板加载效率,也提升了系统处理速度。
      .

    2. Smarty模板引擎
      Smarty模板引擎即将被替换掉。在 GWA2 中,我们将在未来的版本逐渐使用 Hanjst 替换掉 Smarty . 目前 GWA2 Java的模板引擎已经升级为 Hanjst. GWA2 PHP的模板引擎还是 Smarty,预计会在未来1-2年内完成从 Smarty 到 Hanjst 的升级.

      在现有的版本中,我们也对 Smarty模板进行了一定的缓存支持升级改进。早前Smarty 本身已经具有一定的预编译与缓存操作。
      GWA2 的预操作在其之前,也即读取文件并做静态路径替换等。
      增加了这些预操作的缓存之后,GWA2的 Smarty 模板引擎子系统有望跑得更快。
      .

  3. GWA2 模板子系统缓存开关 
    缓存对正式运行环境有帮助,较明显地性能提升,但对开发环境有干扰。
    也即修改不能及时提现出来,有缓存周期。有鉴于此,我们在 GWA2 中对模板缓存开启设置了两个变量开关: is_debug 和 enable_cache .

    只有 is_debug == false 并且 enable_cache == true 时,才会开启 GWA2 的模板引擎的缓存。 前者的变量是针对是否开发环境的约束,如果是开发环境,则不会开启缓存,任何在模板文件上的修改即可生效。
    只有 enable_cache == true 才能够支持模板引擎的缓存,否则无处缓存。

    因此,如果不想启用模板引擎缓存,可以任意修改这两个控制变量其中一个即可。当然,也可以在输出控制的程序里 comm/footer.inc 中直接操作 enableTplCache 变量,使之始终开或者关。

    此外,我们还单独提供了模板缓存的单独有效期变量, tplCacheExpire, 其默认取自于 GWA2 的缓存有效时长。

 

五月是美好的季节,在姹紫嫣红、麦浪滚滚的时光里,从更深层面近乎完美地实现了多年来的一个心愿,所谓幸福,大抵如此。对个人如此,对 GWA2 社群,应该也是福音。

已经启用模板引擎缓存系统的产品包括 有福新闻( https://ufqi.com/news/ ) | 有福常在( https://ufqi.com/news/mod.ulong.html ) | 木子商城( http://www.muzimed.com ) 等。

 


-GWA2 是”通用网络应用架构( General Web Application Architeture )”,基于 -GWA2 可以轻便构建各种网络应用程序,
包括复杂的在线购物商城、在线医疗、在线教育、 旅游交易平台、社群或者社交网站和新闻资讯网站等,
也包括各种企事业单位网上门户,在线交互及服务作业系统等.
还可以包括为NativeApp做服务器端支持, 甚至是WebApp的全部.
-GWA2 是为数不多的支持跨开发语言的应用框架,目前支持 -Java, -PHP, -Perl, -Aspx and -Python .

-GWA2 is a “General Web Application Architecture” and based on -GWA2 developers can easily build a variety of network applications,
including complex online shopping malls, online medical services, online teaching, travel trading platforms, community or social networking sites and news information sites, etc.
Also the applications include various online portals of enterprises and institutions, online interaction and service operations systems.
Moreover it contains server-side support for NativeApp, or even all of the WebApp.
-GWA2 is one of the web frameworks which provide cross-language support for -Java, -PHP, -Perl, -Aspx and -Python at present.

-GWA2 is E.A.S.Y 
Easy Along, Swift Yield
轻松启动, 快速产出.

https://ufqi.com/dev/gwa2/

-R/E2SS

https://ufqi.com/blog/gwa2-updt-template-engine/

Posted in -GWA2, -Hanjst/-汉吉斯特, 服务器运维, 编程技术, 计算机技术 | Tagged , , , , | 3 Comments

☘ gMIS吉密斯升级:点选Pickup2.0和安全及权限系统等

落霞与孤鹜齐飞,秋水共长天一色

2020年以来,新冠肺炎疫情持续肆虐中华大地,继而蔓延至全球,成为世纪大流行瘟疫。我们持续支持全球众志成城、携手并肩,共克时艰,攻克病毒。

gMIS吉米斯部署的实例日益增多,二次开发者也不断跟进研制新功能或完善现有模块。在使用过程中,gMIS吉米斯不断迎接新的需求,也发现一些亟需改进的功能模块,如下是一些最近的更新记录,备忘于此。3月份开春以来,gMIS吉米斯也迎来更新的密集期,如下是继3月的 “gMIS吉米斯升级支持IPv4/IPv6双栈网络模式( https://ufqi.com/blog/gmis-with-ipv4-ipv6-dual-stack/ )” 之后又一次一定范围升级。

1.  gMIS Bugfix:getUrlByTime + Pickup

点选Pickup 是 gMIS吉米斯标志性功能之一,这一模块详情在 “超越前端Beyond Frontend — 吉密斯/gMIS 增加点选/PickUp概览功能( https://ufqi.com/blog/beyond-frontend-gmis-updt-with-pickup/ )” 中有详细的记载与描述。

点选Pickup 实现的原理是,在页面加载完成后,对目标数据表相应字段的值进行范围划分,并根据设置将这些值划分到10个或者更多个区间,然后每个区间作为一个点选的选项,陈列出来。随后,用户根据自己的意图,进行某个或者某几个区间的点选,进而自动形成筛选条件,呈现出筛选结果集来。

这是理想的点选应用的场景,有时候事情往往不一直是这样。比如 gMIS还有另外的功能,可以自动生成按时间区间的超级链接,今天/昨天/本周/上周/本月/上月 等,如果这个本周的时间范围,与点选的区间不重合,就会出现问题。

这次的升级就是要解决这个问题,解决问题的办法是,当用户/系统的请求的区间范围不在点选的候选列表的区间时,就自动将这个不在任意区间的选择条件作为一个新的区间,附列在点选条件对应的列表后面。我们称之为 点选Pickup 2.0.

2. gMIS系统安全加固
2.1. 登录会话:闲时自动退出后的返回按钮阻止处理

当无交互动作(键盘,鼠标)处于闲时状态时,过一个给定时间自动退出,此时按浏览器返回按钮,通常会回到退出前的一个页面。

gMIS的权限设计中,鉴权的依据是SID,如果这个SID没有失效,则刷新一下还可以用。所以,超时自动退出这样的事情,就有了两个思路:

A. 在签发SID的时候,将其有效时长约定为希望用户无交互时的最大等待时长;
B. 在浏览器的网页里通过JavaScript实现对回退按钮的阻止;
C. 当然了,也可以A和B同时使用。

本次安全加固的修改之一即是实现上述目标,阻止用户在约定的时候内弹出后再回退到系统中来。

2.2. 权限系统改造:闭合系统close-end向开放open-end转变

基于防火墙理念设计的权限系统能够满足几乎所有能够想象得到的用户访问控制。

开放系统,默认所有模块向所有人可用,如果需要进行权限约束的地方,再逐项约束条件加进来,以实现对访问的限制。
闭合系统,默认所有模块向所有人不可用,如果需要某些模块向某些人开放,再逐项增加许可条件进行开放,以实现对资源的可用。这是此前 gMIS吉米斯采用的权限设置策略。

明显地,闭合系统适合对安全要求苛刻的场景和案例,遵守“无授权不许可”的原则,实行的是“白名单WhiteList”制度;而开放系统则适合一般常见的场景和应用案例,遵循“法无禁止即可行”的原则,实行的是“黑名单BlackList”制度。
此前gMIS吉米斯选择闭合系统,是基于安全的考虑,现在转为开放系统也考虑到应用gMIS吉米斯的更多的中小企业、中小型管理信息系统的场景。

有鉴于此,我们针对 gMIS的权限系统做了改进,使之默认的权限实施由闭合系统转为开放系统。

当然,所谓的闭合系统(close-end)和开放系统(open-end)都是相对的,比如在闭合系统里,如果加上一条访问规则,允许所有组的用户访问所有组的模块,则其实际上就成为一个开放的系统;同样地,如果在一个开放的系统里,如果加上一条访问规则,不允许任何组的用户访问任何组的模块,则该系统又瞬间由开放系统转为闭合系统。

如此以来,则实现了,开合自由,最大限度的将选择权交给系统管理员。

2.3. gMIS权限系统升级:对人为错误尝试兼容

基于防火墙理念的权限系统设置,对系统管理员有一定的要求,要求熟悉用户访问规则的书写,当发生非预期情况时,能够根据警告信息或者日志记录进一步地的分析原因,定位限制实施涉及到的条款,然后排解故障。

系统管理员终归是人,难免有偏差和遗漏,为此我们在gMIS吉米斯系统权限审查程序中增加了对可能出错的条款的兼容,一个隐式的规则是:当单元模块与单元模块组发生错配时,通常会丢弃这一错误配置,现在进一步地修改为,仍旧使用单元模块进行权限规则的适配,进一步地降低错误带来的伤害,进行一定程度上的容错。

也正是因为此,gMIS吉米斯 使用了迄今位置最为复杂的一条SQL查询语句,这也从另外一个侧面反映是SQL语言复杂表达能力和MySQL数据库强大的解析能力。

select id,accesstype,objectfield,userid,usergroup
from useraccesstbl
where istate=1 
    and (
       (
            (userid='”.$thisId.”‘ or userid=0) 
            and (usergroup='”.$thisGrp.”‘ or usergroup=0)   
            and (objectid='”.$objId.”‘ or objectid=0)
            and (objectgroup='”.$objGrp.”‘ or objectgroup=0)
       )
       or (userid='”.$thisId.”‘ and objectid='”.$objId.”‘)
      )
order by id desc, accesstype desc limit 100

每当构造这些复杂而强大的SQL表达式时都会感慨SQL语言的设计者的精巧与智慧,也同时对强扭作态的基于反射与映射的开发框架执行创制的各种检索命令表示遗憾与可惜。如果不设计成SQL这样就无法完成类似表达,而如果设计成同样的,几乎等于是重复相同的工作。

3. 增强对页面 UTF-8和页面语言的声明

此前:
<meta http-equiv=”Content-Type” content=”text/html;charset=utf-8″ />

改进后:
<meta http-equiv=”Content-Type” content=”text/html;charset=utf-8″ />
<meta charset=”utf-8″/>

相应地,根据gMIS 对 i18n 多国语言的升级,gMIS吉密斯i18n多语言国际化更新( https://ufqi.com/blog/gmis-i18n-updt/ ),我们也增加了针对 html lang的属性指定。

此前:
<!DOCTYPE html><html>

改进后:
<!DOCTYPE html><html lang=”{$lang[‘ilang’]}”>

4. 改进表单验证:增加对必填项的星标提示和高亮显示提醒

对于必填项,在录入表单中给与星标提醒;在递交表单内容时,对需要进行录入数据验证的,按指定的规则进行验证,对于不符合要求的数据项,给与高亮显示,并终端表单递交,等待用户的进一步操作。

表单数据项的验证,只要依靠 -GTAjax 来进行,详情参考: https://ufqi.com/dev/gtajax/ 。

5. gMIS软件使用授权增加开源许可协议Apache License.

gMIS吉密斯开发者和用户可以任意修改、使用,保留相应版权信息, 遵循 Apache开源软件许可协议。

Apache Licence是著名的非盈利开源组织Apache采用的协议。该协议和BSD类似,同样鼓励代码共享和尊重原作者的著作权,同样允许代码修改,再发布(作为开源或商业软件)。需要满足的条件也和BSD类似:

    需要给代码的用户一份Apache Licence
    如果你修改了代码,需要在被修改的文件中说明。
    在延伸的代码中(修改和有源代码衍生的代码中)需要带有原来代码中的协议,商标,专利声明和其他原来作者规定需要包含的说明。
    如果再发布的产品中包含一个Notice文件,则在Notice文件中需要带有Apache Licence。你可以在Notice中增加自己的许可,但不可以表现为对Apache Licence构成更改。

Apache Licence也是对商业应用友好的许可。使用者也可以在需要的时候修改代码来满足需要并作为开源或商业产品发布/销售。

.

6. gMIS 内核 inc/Dba升级

伴随gMIS 的底层架构 GWA2 吉娃兔 ( https://ufqi.com/dev/gwa2/ ) 的内核Bug修复升级,gMIS吉米斯也对其 inc/Dba.class 进行升级改进。主要改进是在 SQL语句进行安全检查前,需要匹配字段名和赋值的对应关系,这已经是 GWA2 在这方面的第三次较大范围的算法改进。

涉及到的类和方法: inc/dba.class: hm2idxArray .

7. gMIS 顶部菜单布局调整

改进了顶部菜单栏的布局,修正了其中 通知区域的CSS错误,改变了各个列的显示比例。

其他细节修饰的调整。

涉及到的页面: view/index_main, view/ido_main .

 


-gMIS (general Management Information System,吉密斯) 是一种基于 -GWA2 (General Web Application Architecture,吉娃兔) 的通用管理信息系统应用软件,具有可配置的输入和输出接口、开箱即用等特征。

可以在 gMIS吉米斯 上构建各种管理信息应用系统软件,例如:
内容管理系统(CMS), 客户资源管理(CRM), 企业资源计划管理(ERP),
办公自动化系统(OA)等,
也可以是各种行业应用管理系统软件,例如:
人力资源管理系统(HR),学生管理,档案管理,旅游管理,图书管理,
商品管理及业务运营支撑系统(BOSS)等等。
gMIS吉米斯 能够实现零代码开发、数分钟内快速搭建各种管理信息系统(MIS, Management Information System).

-gMIS is a -GWA2 based Management Information System (MIS) software with characteristics like configurable input and output interfaces, open-box-to-use.
Various management application software systems can be built on it, such as
Content Management System (CMS), Customer Resource Management (CRM), Enterprise Resource Planning Management (ERP),
Office automation systems (OA), as well as different industry application management system softwares, such as
Human Resource Management System (HR), Student Management, Archive Management, Tourism Management, Book Management,
Commodity management and business operations support systems (BOSS), etc.
With zero code development, -gMIS can build a set of management information systems (MIS) software in a few minutes.

Lower Costs, 
Better Productivity.
降低成本,
提高效率.

Posted in -gMIS, -GTAjax, -GWA2, 服务器运维, 编程技术, 计算机技术 | Tagged , , , , , , | 1 Comment

🙋Hanjst汉吉斯特升级:+showImageAsync及性能改进等

自2019年元旦🙋Hanjst汉吉斯特 模板语言及其编译引擎发布,已经过去一年多了。

这期间随着 🙋Hanjst汉吉斯特 的推广应用,我们也陆续发布了如下一些更新内容:
🛠️Hanjst/汉吉斯特更新加JavaScript运行时优化等
汉吉斯特Hanjst+更新升级:error reporting, innerLoop和loadingLayer
汉吉斯特Hanjst模板语言及引擎在线文档Doc&API首发

最近又对Hanjst汉吉斯特进行了一些更新,分别叙述如下,以备查备忘。

1. 升级: 增加API接口函数 Hanjst.showImageAsync, 用于显示HTML的图片元素

1.1. 背景及问题

<img src=”{$imgPath}” alt=”” />
该语句在 Hanjst 调用之前会造成一次对服务器端不存在的图片文件 “{$imgPath}” 的无效请求。
若非服务器端做了一些基于 .htaccess 的指向,这个请求多数情况下会返回 404 错误。实际是无意义的操作,应该设法避免。

1.2. 解决思路方法
解析HTML的页面元素 <img 是由浏览器的页面解析引擎触发,因此在流程上无法阻止对 <img 的解析。可行的思路是可以在 <img 的属性src上做文章,也即给 src 一个确定的,没有 Hanjst汉吉斯特变量的值,这样在加载时,就不会有异常抛出,然后在通过某种机制,让真正的 src值重载到这个 <img 元素上去。

给HTML中的 img 元素找一个合法合理的 src值并不容易,在网上已经讨论了很多,src值如果是“” 空值(src=“”)的话,往往会导致重新加载一次当前页面作为当前img的数据源,这显然不是预期的效果,同样的,src=“#”, src=“javascript:”, src=”about:blank”,  src=”//:0″ 等等都不是很理想。

经过一番探索,我们觉得给src能够获取预期的效果的有两种思路:
A. 给予 src=”img/default.png” , 给一个默认缺省图片路径;
B. 给与 src=”data:image/png;base64,MA==” , 给与一个内容为 0 的base64图片值。

有了图片的src替代值,然后再使用 data-src 引入图片的真实的src值,通过JavaScript在页面元素加载完成后,将data-src值正式写入到当前的 <img 元素中去。

下一个待考虑的问题就是,如何调用这样一个方法或者对象,比如在 Hanjst里增加了 showImageAsync, 引用时,是写作: Hanjst.showImageAsync , 还是将这个方法输出到全局变量 window上去,写作  window.showImageAsync 或者 showImageAsync ?

经过一番思考,我们审慎地将 showImageAsync 输出到全局变量 window 上。这样在使用时,可以直接调用, 写作: showImageAync(imgId) 。

1.3. 样例

修改前:
….
<img src=”{$imgPath}” alt=””/>

修改后:

<img src=”data:image/png;base64,MA==” alt=”” id=”{$imgId}” data-src=”{$imgPath}”/>
{$showImageAsync($imgId)}

1.4. 扩展支持更多图片异步加载
图片异步加载,对改善页面在低速网络下的表现有极大的帮助。我们在 写写5G网速及页面提速中的延迟加载Lazyloadinghttps://ufqi.com/blog/5g-network-speed-webpage-lazyloading/) 中进行了描述,如果在 Hanjst汉吉斯特中默认就集成了这样的功能,或者整个 Hanjst或者整个页面的表现具有较大的帮助。

在非上述情况下的一些场景中,也可以主动引入 showImageAsync 来使得图片能够异步加载。这一点可算是额外收获,买一赠一。

2. 改进:引入局部 bracketPos 和 dotPos ,用于判断模板语言的表述

2.1. 背景及问题

1)  {$aFunc(0.2)}  –> 解析有误。

在Hanjst的语法定义中,要在当前位置显示一个变量,直接使用如下写法即可:
2) {$var}

同时这个字符和后面的表达式还可以表示更多的意义:
3) {$aFunc()} –> 执行 aFunc函数并将结果显示在当前位置;
4) {$aFunc($var)} –> 携带参数执行 aFunc函数并将结果显示在当前位置;
5) {$aFunc($var1, $var2)}  –> 携带两个以上参数执行 aFunc函数并将结果显示在当前位置;
6) {$var.substring(0, 10)}  —> 针对变量 $var 执行JavaScript原生的字符串截取函数substring,并将结果显示在当前位置;
7) {$var=1} –> 正常的 JavaScript 赋值语句,不会在当前位置显示任何内容;
8) {$var++} –> 正常的 JavaScript 字符串运算操作,不会在当前位置显示任何内容;
  
然而,针对表达式 {$aFunc(0.2)} 的解析过程中,发送了错误,主要问题是在区分 . dot 和 , comma 时发生了异常,需要修复。

2.2. 解决思路方法

定位到问题的原因是由于  . dot 和 , comma 的位置问题,在程序中针对该场景下增加兼容即可,涉及到的改动也不算大,主要是在局部增加了变量 bracketPos 和 dotPos。判断的情况包括,当 dotPos 小于 bracketPos 时,是通常情况下的 6) 的表达式, 当 dotPos 大于 bracketPos 时,就是要表达的 1) 式。

2.3. 样例

修改前:

{$aFunc(0.5)} –> 解析错误,程序抛出异常

修改后:

{$aFunc($abc)} –> aFunc($abc)
{$aFunc(0.5)} –> aFunc(0.5)  ,携带参数 0.5 执行函数 aFunc 并将结果显示在当前位置
{$a.substring(0, 5)} –> $a.substring(0,5)

3. 其他一些改进优化

3.1.  重新启用 Hanjst.asyncScriptArr。
3.2. 改进 appendScript。
3.3. 改进了异步调用导入脚本程序的时序。
3.4. 同步更新了 Hanjst的在线文档手册( https://wadelau.github.io/hanjst/index ),+showImageAsync 自定义函数章节.

….


🙋Hanjst汉吉斯特 是一种基于JavaScript的模板语言及解析引擎,她运行在客户端/服务器端。

🙋Hanjst汉吉斯特 能够表述逻辑控制,能够实现与服务器端模版语言相同的功能。

  • Hanjst当完全在客户端解析时,节省服务器端计算资源;

  • Hanjst模板语言独立,不与服务器端资源做任何绑定;

  • 纯粹的MVC,层间数据用JSON格式传递;

  • 常见模板语言功能全支持,附带复杂而强大的JavaScript编程能力;

  • 无学习成本,直接使用JavaScript书写模板语言;

  • ….

Hanjst is a JavaScript-based templating language and parsing engine that runs on both the client-side and/or server-side.

Hanjst can express logical control and achieve the same functionality as the server-side templating languages.

  • Hanjst’s Run-time in client-side, reduce computing render in server-side;

  • Hanjst is Language-independent, not-bound with back-end scripts or languages;

  • Totally-isolated between MVC, data transfer with JSON;

  • Full-support template tags with built-in logic and customized JavaScript functions;

  • No more tags languages to be learned, just JavaScript;

  • ….

 

Posted in -Hanjst/-汉吉斯特, 编程技术, 计算机技术 | Tagged , , , | 5 Comments

写写1929年美国经济大萧条与2020年美国股市大跌

2020年初就注定了这是不平凡的庚子年。跨年的新冠肺炎疫情在全球蔓延,叠加沙滩与俄罗斯的石油协议谈崩,美国股市经历了史上最严重的大跌——就是最严重的,没有之一。
美国股市截至目前(2020Mar22)只有发生五次因为下跌引起的熔断,而2020年3月的这两周内,就占了其中四次。活了80多岁的投资大师巴菲特在第二次发生时说,活了那么久此前只见过一次,话音未落,第三次、第四次和第五次接踵而至,祸不单行!
所以其灾难程度,似乎远超过2008年的次贷危机,直接与1929年的大萧条相提并论。

关注和学习经济学以来,逐渐形成对经济危机的史前认知:… — 经济扩张 — 生产过剩  — 不合格信贷 — 信贷危机 — …., 以2008年次贷危机为蓝本,我大致绘制了经济危机发生的周期性机制。

最近几天接连读到 萨缪尔森:经济学文昭谈古论今:1929年大萧条 , 傅志彬洗脑的历史 和 招商证券的美股下跌的逻辑与A股见底的信号 等相关资料,这些竟然都是相通的,于是尝试在吸收和消化的基础上做些整理与回顾的工作。
这也是近几年来研读经济学读物的心得体会的试水之作。

1. 1929年经济大萧条的成因

经济危机或者经济大萧条是令人恐怖的事情,其危害程度不亚于一场战争。资料记录显示1929年的大萧条直接或间接导致美国约700万人丧生,约占其总人口的7%(?)。 2008年的次贷危机,据记录,约有 730万工作机会消失,由此导致的灾难及死亡目前还没查到相关数据。

传统意义上,或者“正统”的经济学历史上,对1929年的经济大萧条,普遍认为是资本主义本质缺陷问题,自由市场发展到一定阶段的必然产物。对其开出的药方就是政府大幅度干预经济,进行投资扩张,以图恢复和提振经济,使其脱离泥潭,重新走上正常轨道。

根据 文昭谈古论今:1929年大萧条的原因分析 和 傅志彬: 洗脑的历史——后洗脑时代 的内容解析来看,1929年的经济大萧条的触发诱因可能存在经济基本面的问题,但当时的货币政策和财政政策未能正确处置问题,化解风险,才是导致后来经济大萧条的根本和直接原因。

“佛理德曼1941-1943年为罗斯福政府财政部顾问,是新政的制定者,参与者。当然,后来佛理德曼转变了态度,变成了彻底的自由经济倡导者。

佛理德曼认为,1929年的大萧条并不是什么资本主义经济本质缺陷造成的,而是当时具有发行货币权力的几家美联储银行错误的货币政策造成的,大萧条的罪魁祸首不是自由经济造成的,而是政府干预过多造成的。

最后美国走出经济危机也不是什么罗斯福新政的功劳。(《自由选择》《《资本主义与自由》)”

复盘1929年当时的情况,如果央行或者财政部提供了及时的流动性,阻止银行倒闭,从而避免银行储户的挤兑风潮,也许历史或应该改写。关于经济上的凯恩斯主义和自由主义的论述,在  “聊聊中国社会现状–潜规则-2 ” 中也有相关类似的讨论。

所以,从本质上看,当经济危机发生时,基本面有异常,初期是对经济发展预期的管理,中期是对流动性的支持,而后期应该是降息减税使得企业融资成本降到最低。至于强势政府干预,进行以政府为主导的投资活动和经济扩展,则不是非必要的。

政府的角色,始终是对市场的监管,对垄断的警惕,对金融机构的苛刻,从而为市场经济的主体营造公开、公平、自由竞争的营商环境。其他的则会水到渠成,纷至沓来。

如上图周期性分析所得,垄断的形成会加剧贫富两级分化,这本身就是社会稳定的定时炸弹;而放松对金融机构的依规合法地苛刻监管,则可能导致流动性问题,进而将金融问题传导转化为经济危机。

2. 2008年经济危机回顾

根据 “招商策略:美股下跌的逻辑与A股见底的信号” 中对 2008年经济危机的分析,大致可以简单概况为,贝尔斯登和雷曼兄弟的倒下,并没有引发储户的挤兑,也没有进一步地传到到商业(储蓄)银行。
原因可能是由于这两家银行都是投资银行,其客户小众且受众群体单一,而后续的美联储和财政部等联手为后续的银行提供无限流动性支持,则从根本上阻断了危机进一步传到商业(储蓄)银行,也就不会发生像1929年储户挤兑银行的事情。

从这一点上来看,2008年金融危机期间的政府(央行)救市的行为是正确的,成功的。与之对应地,我们可以粗略地评价说,1929年经济危机期间,政府(央行)的救市行为是错误的,失败的。

这种在经济基本面发生偏差时,初期的经济发展预期干预失败(恐慌蔓延),中期的流动性支持失败,后期的解救并刺激(降息减税)经济失败,在任何时候任何政治、经济体制下都可能发生,且一定会导致严重的经济大萧条。这种情况的发生,与是否资本主义,还是社会主义关系不大。

如果简单地说,1929年的经济大萧条是经济的基本面发生问题(虚假的繁荣),初期的经济发展预期干预失败,中期的流动性支持失败;2008年的金融危机可以归结为,经济活动中的金融监管失败(不合格的贷款发放),发展预期干预失败,所幸的是中期流动性支持获得成功,从而阻止了2008年的金融危机转化为更严重的经济大萧条。

3. 2020年美国股市大跌观望

2020年庚子之初,新冠肺炎疫情始发于中国武汉,一时突然爆发,全国封城封国,禁止一些人际交往和经济活动,除了保障民生的基本物资流通,其余的皆处于封停状态。

中国武汉的新冠非典疫情持续1个多月后,病毒进一步扩散蔓延到全球各个国家和地区,从而引起本轮的美国股市大跌。

2020年2月19日开始,新冠疫情在全球加速蔓延,情绪冲击下美股开启第一轮下跌,到2月末跌幅12.3%。
3月5日~3月9日,油价暴跌引发投资者对经济衰退的担忧,美股超跌12%,避险资产黄金和美债涨。

3月11日~3月18日,市场的暴跌引发流动性问题,杠杆资金被动平仓、机构恐慌、回购市场流动性匮乏,FRA-OIS利差类似2008年一样快速飙升。
美股或有最后一跌:欧美疫情尚未得到控制,疫情造成的经济冲击才刚开始,未来两个季度经济数据将出现明显下滑,失业率飙升。

概况地说,经济基本面由于疫情的封城封国必然导致下滑大跌,股市作为经济的晴雨表进行大跌,是必然的正常表现;此时就需要对预期的干预,然而,显然地病毒的传播,不以人的意志为转移,在有效疫苗发明之前,其他都是暂缓权宜之计,预期干预失败。

经济危机发展到需要政府为全社会经济活动提供充足流动性支持。
对银行的资金支持,使其免受储户挤兑;
对企业的资金支持,为其提供低息甚至0利率贷款,为其降税免税,为其承诺/营造良好预期,使其免于因倒闭而造成更大范围的失业人群;
对民众的资金支持,为其提供直接现金补助,贷款展期等等,使其免于由铤而走险而造成社会动荡。

紧随其后地,随着对病毒的深入研究,尽快找到疫苗,平复恐慌心理,政府进一步地降息减税,促使市场主体——企业复工复产,经济逐渐恢复,市场得以休养生息。甚至是撸起袖子政府直接下场投资公共事业项目以快速提振经济。

然后一切如旧,天下太平,歌舞升平。

只是黎明到来之前,有人将看不到日出。不幸被病毒感染致死诚可怜悯,因经济危机次生灾害导致的家破人亡亦令人惋惜。
过冬时,那些储粮的能熬过,那些没有储备的或者储备不足的,显然要全靠政府的救济,救济不足或未被及时救济的,就成了经济危机的牺牲品。

这时候比任何情况下都需要全社会发挥人道主义精神,共克时艰,共度难关。
一个高度全球化的社会,高度信息化的时代,彼此唇齿相依,休戚与共,山川异域,风月同天。

Posted in 社会生活 | Tagged , , , , , , , | 1 Comment

写写5G网速及页面提速中的延迟加载Lazyloading

最近关注网络速度多一些,无论是财经人士口中的新基建的5G,还是家庭路由器中的5G Wifi,也包括即将购买新的5G手机… 写完上一篇:gMIS吉米斯 升级支持IPv4/IPv6双栈网络模式  之后,觉得还有必要再写写热点5G及其带宽速度。

尽管互联网络已经突飞猛进地发展建设这么多年,如果留意某些情况下,打开一个图文页面仍觉得很吃力。尽管终端手机和运营商都提供了百兆、几百兆的连接速度,基本的图文页面打开,仍难用流畅来形容。

冷静地观察一下,眼下的网络浏览有点像开车去城里的大医院看医生的过程;
1) 飞速地冲出小区上了城市主干道(宽带入户:快),
2) 主干道拥堵,龟速(社区到电信局共享带宽:卡),
3) 跨区快速路、城市环路拥堵,龟速(城市间、运营商之间、跨国:堵),
4) 进医院区难、停车漫长,挂号排队漫长(服务端带宽及队列:慢),
5) 见医生,快速面谈几分钟(服务器处理单个请求:快)。

概略地看,现在的堵点在中间网络层,不在终端层(最后一公里),无论是快速的5G手机、5G基站,还是光纤入户几百兆、千兆的路由,出了小区之后开始就卡、堵、慢。拥堵点在社区到电信局、跨城市跨运营商跨国家以及服务器端带宽及队列,也即骨干网和数据中心

1. 5G Wifi 和 5G Cellular

两者的共同点是,这两个5G都是无线通信技术。
这两者的区别是前者的5G是指Wifi通信标准802.11x中的 5Ghtz的频率段,而后者5G是指第五代通信标准,具体用到多少频率段,各国各运营商自己选定。下图是中国三大运营商的5G Cellular用到的频率段。

5G Wifi 和 5G Cellular非要翻译一下是: 5G Wifi: 5G赫兹频率的高保真无线连接技术;5G Cellular: 第五代蜂窝式组网技术 。5G手机,就是支持第五代蜂窝式组网技术的手机。5G家用路由器就是支持5G赫兹频率高保真无线连接技术的路由器。

近期网络新闻中扑面而来的5G应该是指 5G Cellular,可想而知,扩展再多的5G基站,使用再快的5G手机,也无法解决上述过程中的卡、堵、慢。5G Cellular下的点对点的局部连接,或有积极意义,对推动局部组网的物联网或有帮助。

这么拥堵而艰难的骨干网和数据中心,为何一些成规模的互联网服务还是看起来很流畅,图文浏览不说,甚至是视频点播、直播也还可以?大致有三点:1) 资源下沉&前置到用户最近的地方(医生到小区门口开诊);2) 压缩及传输技术的进步使得高清图像数据流可以在低速网络上运行(骑车或者开飞机去看VIP医生);3) 热点数据.

这些都需要巨大的开支(更多的硬广告时间/更构陷的软内容设计)来支撑。

2. 网络页面加载中的延迟加载Lazy loading

无论是终端提速,还是骨干网和数据中心的提速,都是系统工程、社会工程。作为其中的个体,一个网站和一个网页如何能在既有的网络速度条件下,为用户提供更好的浏览体验,是技术和设计人员需要共同考虑的问题。这其中延迟加载Lazy Loading技术是颇受欢迎的技术之一。

 通常情况下,浏览器加载一个图文页面,通常是按自然顺序,由前到后,自上而下的进行。当某些资源尺寸较大时,可以通过一些技巧跳过这些大块头,将页面全貌布局显示完成后再分出时间和精力来处理这大块头的对象,这就是延迟加载。

比如网页中的图片,或者较大的数据List。我们曾经在 gMIS吉米斯 的部署中遇到要将上万条记录加载到一个 Select 中的需求,通过异步延迟加载可以很好的改善浏览体验,避免页面卡死。

gMIS/吉米斯 GitHub源代码:
comm/ido.js: function imageLoadAsync(imgId, imgRealPath);

细究起来,延迟加载Lazy Loading可以区分为两个层次:
1) 将图片等从主体文本中区分开来,通过网页中的 JavaScript 的 window.setTimeout 可以将某些图片延迟加载;
2) 更进一步地,可以将一组图片的每一张都使用网页中的 JavaScript 的 window.setTimeout 分别予以延迟一定的时间。

尤其是后一种做法,只要延迟的速度跟得上用户的浏览和阅读的速度即可,这样可以避免同时并发多个HTTP请求拖慢浏览器,也避免了瞬间地对服务器的并发请求的冲击。

-Ufqi-News 有福新闻 和 一些基于 -GWA2 吉娃兔 的应用中,我们设计了如下这样的图片异步延迟加载的策略。

<img class=”iconList” src=”loading.gif” data-src=”real-image-1.jpg” alt=”-x-“/>
<img class=”iconList” src=”loading.gif” data-src=”real-image-2.jpg” alt=”-x-“/>

….

<script>
var delayImgLoadi = window.setTimeout(function(){
//-
var myImgs = document.getElementsByClassName(“iconList”);
var imgListSize = myImgs.length;
var mysrc = ”;
for(var ii=0; ii<imgListSize; ii++){
mysrc = myImgs[ii].getAttribute(‘data-src’);
if(mysrc == ”){
myImgs[ii].src = ‘data:image/jpeg;base64,0’;
}
else{
var loadAsyncImg = window.setTimeout(function(myObj, mySrc){
myObj.src = mySrc;
}, 1000*1.5*ii, myImgs[ii], mysrc);
}
}
//-
}, 1500*1);
</script>

这种策略的具体实现是,
首先将一组图片的默认 src资源指向一个默认的图片(如 loading.gif ), 页面加载时会快速完成这个图片列表;
其次在页面下面安排了一段 JavaScript 代码,安排了一个异步执行的代码段A,其中将要读取上面一组图片;
再次,代码段A根据读取到的图片,判断其真实src( data-src )是否合法,如果合法,就额外地安排另外一个异步执行的代码段B;
最后,代码段B将这个真实的src从服务器端读取过来,并呈现在页面中,执行速度是每1.5秒读取一个。

当代码段A被安排完成后,页面已经呈现完成,用户可以阅读其中的文字内容;当代码段B被执行时,用户已经开始阅读内容;随着代码段B被顺序执行时,图片也一一呈现,用户也就顺序阅读到图片;只要代码段B的执行速度大于用户的阅读速度,用户体验应该是能够保证的。

其中 src=“data:image/jpeg;base64,0” 表示加载一个空图片,内容为 Base64的形式文本,无需再做额外地HTTP请求。

幸运地是,针对这种设想,HTML国际标准组织正在设法将其变成标准的一部分。

Loading Attribute
The loading attribute allows the browser to defer loading of images/iframes that are off-screen until the user scrolls near them. Indicates if the element should be loaded lazily (loading="lazy") or loaded immediately (loading="eager").  WIP: WHATWG PR #3752

<img src="image.jpg" loading="lazy" alt="..." />
<iframe src="video-player.html" loading="lazy"></iframe>

也许未来,想要 img 和 iframe这些资源异步加载,只要一个 loading属性来设置一下即可。

Posted in -gMIS, -GWA2, 服务器运维, 编程技术, 计算机技术 | Tagged , , , , | 1 Comment

gMIS吉米斯升级支持IPv4/IPv6双栈网络模式

今天是三八国际妇女节, 恭祝女同胞节日快乐!新冠肺炎疫情尚未解除,各自安好!

1. IPv6地址及与IPv4并存过渡的双栈网络模式

距离论文 IPv6 Address in Dot-Base62x 的发表差不多十年过去了,IPv6的应用也逐渐从学术论文到实验网,从实验网到工业部署和商业应用,终于IPv6的逐渐启用,开始由底至上的由网络层影响到应用层。

比如在 gMIS吉米斯 中,安全检查依赖对用户请求的IP的监测。当IP地址由IPv4向IPv6过渡时,应用层看到的地址,可能是IPv4,也可能是IPv6,尤其是在IPv6/IPv4双栈网络中(下图2),这种情况尤其明显。

例如,当我们在启用了IPv6的网络下,查看终端用户的IP时( -myip ),情况可能是这样:

Internet Protocol version 4 (IPv4)
120.244.128.xxx

Internet Protocol version 6 (IPv6)
2409:8a00:6055:b650:b5df:f4f3:36cd:xxxx

也即同一个用户,可能有两个IP地址,一个IPv4地址,一个IPv6地址,两者可能交替出现,在此前的部署应用中,如果侦测到用户IP地址发生改变,可能会有潜在的中间人攻击发生。面对新情况,需要更新升级程序处置这样由于网络层发生改变而引起的安全检测的 false positive alert.

2. gMIS吉米斯支持 IPv4/IPv6双栈模式的思路及实施

从纯技术上说,改进对一种新网络模式的支持,由原来的单用户单IP变成单用户多IP的支持,要改动的地方很多,难度也较大,甚至容易滋生新的安全漏洞等。

经反复比对各种实施方案,兹选取如下一种实施对gMIS吉米斯支持IPv4/IPv6双栈模式的改进。其主要思路时,当侦测到同一用户的IP地址发生改变时,将用户弹出系统,使用新IP再次验证一次,使得用户在新IP, IPv4 或 IPv6 下也获得同样的授权,如此以来,用户在两个IP下都进行了授权验证。在用户层,经过两次登录后,在接下来的操作中,网络层IP地址的切换,已经可以无缝衔接,自动漫游。

在系统中,分别将两次验证的授权Token以不同的名称记录到客户端,通常是 Cookie或请求地址的参数里,这样,当用户的IP再次漂移改变时,从Cookie中读取到读取到对应IP下的Token即可。

改动涉及到的程序文件:
A. comm/header.inc
根据已经读取到的IP地址,判断是IPv4或者IPv6,并将判断结果标记记录到运行时环境变量中去。也即 $_CONFIG 中。
B. extra/signinup
在通过用户授权验证,进行Cookie或请求参数写操作时,如果当前网络为 IPv6,则在原Token名称后附带形如 “v6” 的标记。
C. inc/session.class
在进行用户请求的鉴权时,通过Cookie或请求参数等读取Token,如果当前网络为 IPv6,则在原Token的名称后附带形如 “v6” 的标记。

 


扩展开来,推而广之地看,IPv6/IPv4的共存过渡阶段,双栈模式下,所有上层应用基于用户单一IP考虑的地方,都需要进行这方面的调整。这是IT/互联网届的又一个类似 “千年虫/2000年/千禧蟲” 的问题。

基于IP地址的安全核验,需要修改考虑这种新情况,类似上述分析与升级改进。
基于IP地址的用户识别,需要改进;基于IP地址的统计,基于IP地址的位置识别,基于IP地址的资源调度….

所有的IT及互联网应用软件系统,都需要重新审视由单用户多IP产生的新问题,而且越早越好,越快越好,因为IPv4/IPv6的共存和过渡阶段,目前来看会是一个相当长的过程,也许是10,20年,甚至是50年。

 


额外地,关于 IPv6 Address in Dot-Base62x 的应用,

例如在启用了IPv6的家用网关路由器(Home Gateway)或者光猫一体机(Fibre Modem + Router)中,默认的Web管理控制台的IPv4地址的访问路径通常为:
http://192.168.1.1/ 或者 http://192.168.0.1/

其对应的IPv6地址的访问路径通常为:
http://[fe80::1]/ 或者 http://[fe80:0:0:0:0:0:0:1]/

显然地,后者IPv6地址的访问路径看起来不友好,也有些费解,增加了中括号[]用于括起来IPv6地址,同时冒号:不单独特指网络服务的端口号,也可能是IPv6地址的一部分。

相应地,如果上述IPv6地址( fe80::1 或者 fe80:0:0:0:0:0:0:1 ) 用Dot-Base62x 来表示的话,则其形式如下:
http://x3e00.0.0.0.0.1/ 

只此一种,明确无误,没有简写变项,也兼容目前所有网络协议规范,不需要引入中括号[], 也不会影响冒号:用来特指网络服务的端口号的定义。
在形式上,与IPv4一样,使用点号.来区分地址段,不同的只是长度上多了两个地址段. 这也是实际意义上的增长,IPv4由四段组成,IPv6地址由6段组成.

同样地,上述终端用户IPv6地址,
Internet Protocol version 6 (IPv6)
2409:8a00:6055:b650:b5df:f4f3:36cd:xxxx
也可以表述成 Dot-Base62x 的地址形式为:
xxxx.xxxx.xxx.yyyy.yyyy.yyy

这是推荐使用 IPv6 Address in Dot-Base62x 的主要原因之一.

 


3. gMIS吉米斯相关的更新改进

A. 改进连接数据库时进行长连接的操作;

B. 改进对数据表记录状态默认值的描述,增加了”其他”选项等;

C. 改进了写用户终端Cookie的操作,增加了失效时间和有效路径范围.

D. Next @todo, 使用模板引擎 -Hanjst 替换掉 Smarty . 

 


-gMIS (general Management Information System,吉密斯) 是一种基于 -GWA2 (General Web Application Architecture,吉娃兔) 的通用管理信息系统应用软件,具有可配置的输入和输出接口、开箱即用等特征。

可以在 gMIS吉米斯 上构建各种管理信息应用系统软件,例如:
内容管理系统(CMS), 客户资源管理(CRM), 企业资源计划管理(ERP),
办公自动化系统(OA)等,
也可以是各种行业应用管理系统软件,例如:
人力资源管理系统(HR),学生管理,档案管理,旅游管理,图书管理,
商品管理及业务运营支撑系统(BOSS)等等。
gMIS吉米斯 能够实现零代码开发、数分钟内快速搭建各种管理信息系统(MIS, Management Information System).

-gMIS is a -GWA2 based Management Information System (MIS) software with characteristics like configurable input and output interfaces, open-box-to-use.
Various management application software systems can be built on it, such as
Content Management System (CMS), Customer Resource Management (CRM), Enterprise Resource Planning Management (ERP),
Office automation systems (OA), as well as different industry application management system softwares, such as
Human Resource Management System (HR), Student Management, Archive Management, Tourism Management, Book Management,
Commodity management and business operations support systems (BOSS), etc.
With zero code development, -gMIS can build a set of management information systems (MIS) software in a few minutes.

Lower Costs, 
Better Productivity.
降低成本,
提高效率.

Posted in -gMIS, Base62x, 服务器运维, 编程技术, 计算机技术 | Tagged , , , , , , | 4 Comments