0
5月11日，第七次全國人口普查結果公布。
國家統(tǒng)計局總統(tǒng)計師曾玉平在發(fā)布會直播中表示，“普查數(shù)據(jù)質量是普查統(tǒng)計工作的生命線……利用信息化，對普查方式進行創(chuàng)新：首次全面采用電子化，實時及時上報數(shù)據(jù)；首次實現(xiàn)普查對象通過互聯(lián)網(wǎng)自主填報；首次利用行政大數(shù)據(jù)進行比對核查；首次實現(xiàn)利用互聯(lián)網(wǎng)云計算云服務實時處理工作；首次用信息化系統(tǒng)對700多萬普查員進行線上管理?！?/p>
騰訊云在背后為第七次全國人口普查保駕護航。據(jù)統(tǒng)計，在該項目中，騰訊云數(shù)據(jù)庫支持了十億級用戶數(shù)據(jù)、七百萬個終端和百萬級峰值TPS（每秒處理量）。
我國每十年進行一次人口普查：從1953年的算盤，到后續(xù)的計算機，數(shù)據(jù)采集的變遷從未改變紙表錄入的形式。而到了第七次全國人口普查，電子化采集全面取代紙表，將數(shù)據(jù)直接上報到國家統(tǒng)計局。700萬普查員、全體中國大陸公民，首次在線上完成人口普查數(shù)據(jù)采集。
這也意味著，需要開發(fā)一套中國首例、同時是觸達人群最大的線上系統(tǒng)。你輸入的一條條數(shù)據(jù)，最終匯成統(tǒng)計結果的汪洋大海：這背后的數(shù)據(jù)采集、流轉、脫敏、處理分析過程，難度超出所有人想象。這是一個高并發(fā)、極其復雜、在全球歷史上都堪稱首次的項目。
2020年3月，騰訊正式接到第七次全國人口普查項目，封閉開發(fā)啟動。接到這個消息時，架構師王飛心里清楚，這意味著要在疫情肆虐之時與他才一個多月的孩子分開。
這個所有普查員同時操作的系統(tǒng)，要保證數(shù)據(jù)安全和服務穩(wěn)定，比他以往接觸的所有項目對性能的要求都更加苛刻，他必須在架構的設計以及后續(xù)的壓測運維中全力以赴。整個項目周期的嚴峻性、交付難度，都需要團隊付出更大的心力。
時間緊迫，任務艱巨。700萬普查員實際上形成了一個巨大的企業(yè)組織，分散流動在全國各處，如何讓其保持整齊劃一，只能一邊不斷討論梳理，一邊在摸索中開發(fā)產(chǎn)品功能。
第一個任務，是要一款集合了任務分配、數(shù)據(jù)采集功能的企業(yè)微信小程序，需在一個月之后上線。
這背后需要騰訊云數(shù)據(jù)庫極強的負載能力?！按罅康臄?shù)據(jù)要收集上來，同時數(shù)據(jù)的更新和數(shù)據(jù)的查詢是互相交錯的，不僅要應對動態(tài)的人口流動，比如一個人今天在深圳而明天在北京，同時要準確對應起人和戶、人和人之間的關系?！蓖躏w介紹說。
本次全國人口普查項目，騰訊云數(shù)據(jù)庫提供了既具有擅長OLTP場景能力，同時擅長聯(lián)機分析處理OLAP場景能力引擎的企業(yè)級分布式數(shù)據(jù)庫TDSQL，通過“雙引擎”設計支撐人口普查工作完成。前者專門用來做前端生產(chǎn)系統(tǒng)的事務處理，其最大的優(yōu)點是即時地處理輸入的數(shù)據(jù)，并及時響應，實時保持系統(tǒng)數(shù)據(jù)處于最新狀態(tài)；后者負責后期數(shù)據(jù)聯(lián)機查詢分析處理，支持復雜的分析操作。
雙引擎技術能力的融合，完整、平穩(wěn)、高效地支撐了全國人口普查數(shù)據(jù)登記及統(tǒng)計分析整個體系化工作。測試中，TDSQL數(shù)據(jù)庫應對高并發(fā)場景時可以實現(xiàn)最高250萬每秒的吞吐量，這樣的吞吐規(guī)模已經(jīng)可以滿足目前中國人口2倍的數(shù)量。借此，TDSQL數(shù)據(jù)庫扛住了普查過程中的并發(fā)高峰。
同時，業(yè)務具有大規(guī)模實時查詢分析的需求，普查員在前端不斷錄用的數(shù)據(jù)也將在TDSQL OLAP能力引擎中進行進一步的數(shù)據(jù)分析。而這些需求TDSQL也很好地滿足了。據(jù)了解，在這些龐大的數(shù)據(jù)中，不乏多張超級大表關聯(lián)高并發(fā)統(tǒng)計查詢，其每張表中存放了超過20億+條記錄。如果把其中存放一張超級表的空間用來存放平均50萬字的書籍，可以放下超過1000萬本，一個人終其一生也讀不完。
在此過程中，OLAP分析計算開銷大、延遲長，同時還要滿足海量的并發(fā)請求，TDSQL OLAP引擎通過水平擴展多個只讀平面，即可良好地滿足業(yè)務的要求，為復雜查詢分析場景提供線性讀擴展能力，并通過在多個平面前置負載均衡做到擴縮容業(yè)務完全無感知；與此同時，基于全局一致性技術，可實時保障多平面下內部的全局讀一致性。
一位普查員站在內蒙古牧區(qū)，在飛揚的草場中舉著手機，眉頭緊皺。手機里的信號在此處中斷了，這也意味沒法在此完成在線登記。得知消息后，項目組意識到，必須要想個辦法。
離線狀態(tài)下，數(shù)據(jù)不能實時上報，更會出現(xiàn)兩個普查員在同一個離線區(qū)域同時上報的情況，如何實現(xiàn)在恢復信號的情況下，有序采集上報數(shù)據(jù)，需要在原有的基礎上做更精細化的打磨。
隨著全國試點的啟動，類似于離線的問題也逐漸被 發(fā)現(xiàn)、放大。隨著試點范圍逐漸增大，從一個街道的7、8萬人，直接變成了全國31個省市的幾千萬人，性能要求越來越高，問題越來越多。
人口普查的信息登記，最終需要落到“人”身上——每一個普查員都必須正確理解和使用登記表單。全國32個省/自治區(qū)都使用騰訊樂享進行普查員的線上培訓，方便普查員獲取一手政策資料、參與線上課程學習。通過騰訊樂享，普查員更快速地理解表單指標含義、掌握與居民們溝通的技巧、更精準地記錄數(shù)據(jù)。
（第七次全國人口普查軟件培訓）
騰訊樂享像一張網(wǎng)，連接了所有的普查員，讓普查工作順利高效進行下去。
為了兼顧不同人群的不同上門場景與操作習慣。全國試點之前，還需要額外完成自主填報功能的實現(xiàn)。如何在沒有普查員在場的情況下自主完成信息填報，需要增加大量的數(shù)據(jù)審核功能，例如身份證號填錯了，就出現(xiàn)提示，讓其重新填寫。同時，易用性、便捷性是自主填報小程序的重中之重。
除了繁重的開發(fā)工作之外，內外的團隊、不同的產(chǎn)品、差異的技術、不熟悉的流程也給剛剛開始的項目帶來了很多的工作量和難度。
整個人口普查項目部分模塊使用了云開發(fā)功能，避免了應用開發(fā)過程中繁瑣的服務器環(huán)境搭建及運維，開發(fā)人員只需要專注于業(yè)務邏輯的實現(xiàn)，讓整個發(fā)開過程簡單又高效。
兩個月時間內，項目組基于騰訊云原生容器化的方式進行開發(fā)和構建。從業(yè)務部署、壓力測試到最終上線，本次項目全面云原生化，底層的容器技術及TKE提供的新一代容器網(wǎng)絡方案帶來了極致性能提升，可穩(wěn)定支撐100萬人同時上報。
同時，通過微服務網(wǎng)關、服務鑒權、賬戶權限等安全體系以及微服務路由等治理手段，有效保障了本次項目的服務質量和安全性。
在全國試點展開的同時，壓測的工作也如火如荼地開展了起來。最終上線時，全國人口信息需要在15天內完成采集，預測將達到50萬每秒查詢率（QPS），這一政務史上最高的海量并發(fā)，勢必會對后臺帶來嚴峻的考驗。
技術人員必須提前測出所有風險，不然系統(tǒng)極有可能全面崩潰。
為了不影響白天綜合試點的運轉，所有的壓測都安排在了夜里，那段時間里，壓測人員也幾乎沒有睡過一個完整的覺。系統(tǒng)一直處于滿載狀態(tài)，隨時都需要緊急調優(yōu)。彼時人手也緊缺，項目組成員經(jīng)常一測就是一個通宵。
保障系統(tǒng)穩(wěn)定方面，除了壓測工作，在災備設計上，整個數(shù)據(jù)庫還采用了一主三從和異地災備的備份方案，在某個數(shù)據(jù)節(jié)點出現(xiàn)故障時，都能保證數(shù)據(jù)的完整和一致；哪怕出現(xiàn)大規(guī)模的突發(fā)情況，通過異地災備，也能夠進行數(shù)據(jù)恢復。
“打擾了，我是人口普查員，現(xiàn)在正要對您家做普查登記?！?/p>
47歲的吳景文是沙坪壩天星橋街道的普查員，這是他第二次參與人口普查。一樣的紅帽子、紅馬甲，不同的是這一次他的胸前多了本證件，上面印著用于登記的二維碼。
（普查員上門調查）
摸底階段，前線的普查員將在正式采集開始前上門摸清全國住戶的基本情況，以為正式采集提供參考。項目組所在的北京泰鵬大廈7樓，成為了唯一7*24小時燈火通明的樓層。從第一條數(shù)據(jù)，到后續(xù)全國用戶的上報，一個多月的時間里，現(xiàn)場122人全力投入到了重保工作之中，把泰鵬大廈變成了后方?jīng)]有硝煙的戰(zhàn)場。
11月1日零點，在國家統(tǒng)計局的會議室中，舉行了一場簡短而隆重的開網(wǎng)儀式，宣告了第七次全國人口普查短表登記正式啟動。
（零點行動）
該階段，主要采集人口基本信息，而緊隨而至的長表采集階段，則會在短表的基礎上，增加更多字段進行采集。
而在后方，從上線的那一刻，交付項目總監(jiān)李欣一直都非常忐忑。全國短表數(shù)據(jù)將在后續(xù)的15天里完成采集。從開始第一天起，每秒查詢率（QPS）就猛增到7萬，峰值一舉達到了11萬左右。這么多的數(shù)據(jù)，一條都不能丟，系統(tǒng)也一秒都不能斷。還好在此前精心的架構設計、持續(xù)的產(chǎn)品優(yōu)化、密集的性能壓測使問題不斷得到解決，采集系統(tǒng)始終保持穩(wěn)定運行。
然而除了數(shù)據(jù)采集之外，在數(shù)據(jù)處理上，也帶來了極大的壓力。隨著七人普采集工作正式啟動，全國所有的統(tǒng)計人都迎來了不眠夜，各省都在加班加點工作。項目組也在24小時、甚至48小時連軸轉。
據(jù)不完全統(tǒng)計，在此次第七次全國人口普查項目中，騰訊共有40多個部門、超過300人參與其中，封閉周期長達200多天。據(jù)新華網(wǎng)統(tǒng)計報道，與2010年全國第六次人口普查的紙表入戶登記方式相比，電子采集的方式將登記時間縮小到了20分鐘以內，也很大程度上降低了后期數(shù)據(jù)錄入、處理的難度。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
