網(wǎng)絡(luò)測試這個活兒干得越久越覺得難的不是全棧網(wǎng)絡(luò)測試儀表不會用而是問題說不清。鏈路通了不代表業(yè)務(wù)流暢時延正常不代表應(yīng)用體驗(yàn)好設(shè)備CPU不高也可能丟包嚴(yán)重。我參與過的不少網(wǎng)絡(luò)驗(yàn)收項(xiàng)目都卡在同一個環(huán)節(jié)測試方案各做各的物理層用光功率計(jì)數(shù)據(jù)面用打流工具應(yīng)用層再用仿真腳本出了跨層問題很難快速收斂。這篇就把我們半年多跑過的測試方案與場景實(shí)踐完整捋一遍包括設(shè)計(jì)邏輯、參數(shù)選擇、實(shí)測案例和踩坑記錄給同樣在搞網(wǎng)絡(luò)驗(yàn)收和運(yùn)維的同行做個參考。1. 全棧網(wǎng)絡(luò)測試儀表到底把哪些能力塞進(jìn)了一臺機(jī)器先說一個很現(xiàn)實(shí)的問題市面上的網(wǎng)絡(luò)測試工具不少但多數(shù)是“單科狀元”。負(fù)責(zé)物理鏈路的只管誤碼率負(fù)責(zé)路由協(xié)議的只管控制面收斂負(fù)責(zé)應(yīng)用層的只管HTTP事務(wù)成功率。真正到了數(shù)據(jù)中心搬遷、專線割接、新園區(qū)上線這種大節(jié)點(diǎn)你會發(fā)現(xiàn)需要同時搬三臺設(shè)備到現(xiàn)場每臺設(shè)備還要不同的操作人員最后報告格式還不統(tǒng)一等于各說各話。1.1 傳統(tǒng)分段測試為什么越來越不夠用前兩年我們做某數(shù)據(jù)中心擴(kuò)容驗(yàn)收物理鏈路用一臺光功率計(jì)測衰減用另一套儀表打二層流量跑吞吐應(yīng)用層又專門起了一臺仿真服務(wù)器跑業(yè)務(wù)腳本。三層測試分開做最直接的后果是吞吐測試發(fā)現(xiàn)丟包但根本說不清是光纖衰耗大、交換機(jī)轉(zhuǎn)發(fā)瓶頸還是光模塊收發(fā)光異常。因?yàn)槿_設(shè)備沒有統(tǒng)一的時間基準(zhǔn)連“丟包發(fā)生的那一刻其他層在干什么”都對齊不了。后來團(tuán)隊(duì)里A同學(xué)提了一個思路能不能按“端到端業(yè)務(wù)視角”來做驗(yàn)收而不是按層級分開測于是我們開始找能同時覆蓋物理層、數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層和應(yīng)用層的設(shè)備這才注意到網(wǎng)測科技的全棧測試儀表。所謂“全?！蓖ㄋ字v就是一臺機(jī)器既能當(dāng)光模塊誤碼儀又能當(dāng)路由協(xié)議模擬器還能當(dāng)應(yīng)用層壓力機(jī)并且這些能力共用同一個時鐘源、同一套統(tǒng)計(jì)口徑。1.2 全棧儀表的關(guān)鍵能力與參數(shù)選型的時候我們對比了幾類產(chǎn)品最后留下的核心參數(shù)要求是這樣的能力域關(guān)鍵指標(biāo)我們的最低要求物理層端口類型支持10GE/25GE/40GE/100GE光口物理層誤碼率測試支持PRBS碼型誤碼率統(tǒng)計(jì)到10的負(fù)12次方量級數(shù)據(jù)鏈路層幀長與VLAN支持64到9216字節(jié)自定義幀可嵌套多級VLAN網(wǎng)絡(luò)層路由協(xié)議至少支持常見動態(tài)路由協(xié)議模擬如OSPF、BGP傳輸層連接能力單端口并發(fā)連接數(shù)不低于數(shù)百萬級應(yīng)用層業(yè)務(wù)仿真支持HTTP、數(shù)據(jù)庫、視頻流等主流業(yè)務(wù)流模型全局時間戳精度亞微秒級支持PTP或1588時鐘同步這里有個容易被忽略的點(diǎn)多端口。全棧儀表如果只有兩個測試端口很多場景根本沒法做。比如測雙鏈路主備切換至少需要四個端口——兩個接主鏈路方向兩個接備鏈路方向才能模擬鏈路的真實(shí)拓?fù)?。我們最后選的是一臺帶八個100GE端口的中型機(jī)箱平時現(xiàn)場測試一臺就能搞定這是傳統(tǒng)分體方案比不了的優(yōu)勢。2. 從需求到執(zhí)行測試方案設(shè)計(jì)的一整套流程很多人拿到儀表先連上線開測這是最容易翻車的操作。全棧儀表功能多反而更需要先想清楚測什么、邊界在哪里。我們現(xiàn)在的標(biāo)準(zhǔn)流程是“畫像—拆解—定基準(zhǔn)—執(zhí)行—復(fù)盤”五步前兩步?jīng)Q定了測試的有效性后兩步?jīng)Q定了測試的可信度。2.1 先畫被測系統(tǒng)畫像畫像這一步核心是把網(wǎng)絡(luò)拓?fù)?、設(shè)備清單、業(yè)務(wù)模型、變更窗口四件事畫在一張圖上。以某數(shù)據(jù)中心擴(kuò)容為例新增了四個機(jī)柜接入層換了支持100GE上聯(lián)的新型號交換機(jī)核心層配置了動態(tài)路由業(yè)務(wù)上要跑三套應(yīng)用——Web訪問、數(shù)據(jù)庫同步、視頻流傳輸。畫完拓?fù)鋱D之后要標(biāo)注每個鏈路的“最大期望流量”。這里我有一個具體做法先看歷史監(jiān)控平臺上的峰值流量再問業(yè)務(wù)方未來半年的增量預(yù)期兩者相乘再乘1.5的安全系數(shù)就是測試目標(biāo)流量。比如Web業(yè)務(wù)當(dāng)前峰值2Gbps預(yù)期翻一倍那測試目標(biāo)就是6Gbps左右。這個數(shù)字不是拍腦袋定的是能讓業(yè)務(wù)方簽字確認(rèn)的驗(yàn)收基線。2.2 三層用例拆解法畫像畫完用例按三層拆。物理層用例包括光纖衰減、誤碼率、光模塊收發(fā)光功率網(wǎng)絡(luò)層用例包括二三層轉(zhuǎn)發(fā)時延、路由收斂時間、ACL命中應(yīng)用層用例包括業(yè)務(wù)事務(wù)成功率、響應(yīng)時間分布、并發(fā)用戶上限。每一層用例都要能獨(dú)立執(zhí)行同時又能聯(lián)合分析。舉個例子我們在設(shè)計(jì)“視頻流傳輸質(zhì)量”這條用例時網(wǎng)絡(luò)層同時打了一條“UDP大包高帶寬流量”作為背景流量。這樣做的目的是驗(yàn)證當(dāng)網(wǎng)絡(luò)有壓力時視頻流是否還能保持穩(wěn)定幀率而不是在空載網(wǎng)絡(luò)里測一個理想值。這種“背景流量業(yè)務(wù)流量”疊加的方式是分段測試最難實(shí)現(xiàn)的。2.3 基準(zhǔn)值與閾值怎么定定閾值這件事我們踩過一次很深的坑。最早做園區(qū)網(wǎng)絡(luò)驗(yàn)收時把時延閾值直接定成“越小越好”結(jié)果鏈路空載時平均時延0.2毫秒加背景流量后跳到1.8毫秒業(yè)務(wù)方認(rèn)為不合格但網(wǎng)絡(luò)團(tuán)隊(duì)說這個值已經(jīng)優(yōu)于設(shè)計(jì)指標(biāo)了兩邊僵了一周。后來我們改成按業(yè)界常見的基準(zhǔn)模型來定不再自己拍腦袋二層轉(zhuǎn)發(fā)按線速要求三層轉(zhuǎn)發(fā)參考標(biāo)準(zhǔn)測試基準(zhǔn)業(yè)務(wù)驗(yàn)收按Y.1564這類業(yè)務(wù)配置模型來走。標(biāo)準(zhǔn)不一定完全貼合業(yè)務(wù)但它提供了一個公認(rèn)的“公平參照系”最大的價值是讓甲乙雙方在測試前就把合格線說清楚而不是測試后互相拉扯。閾值建議一次性寫進(jìn)方案文檔評審?fù)ㄟ^后就不允許單方面改。3. 場景一數(shù)據(jù)中心擴(kuò)容與整機(jī)性能驗(yàn)收數(shù)據(jù)中心這個場景最典型的特點(diǎn)是“高密度、大流量、對可靠性要求苛刻”。我們的驗(yàn)收通常分三個階段先證明路是通的再證明路是寬的最后證明路上跑業(yè)務(wù)不難受。3.1 鏈路與誤碼先證明“路是通的”物理鏈路驗(yàn)證很多人覺得只要link up就行這是最大的誤解。光模塊對接成功后我們直接用儀表起PRBS碼型測試連續(xù)跑十五分鐘看誤碼率。有一次測試發(fā)現(xiàn)一條40公里DC互聯(lián)鏈路的誤碼率在10的負(fù)9次方量級表面看網(wǎng)絡(luò)是通的但這樣的誤碼率在傳輸大文件時會產(chǎn)生大量重傳業(yè)務(wù)體感會非常差。排查鏈路顯示問題出在光模塊收光功率接近靈敏度閾值再查發(fā)現(xiàn)是ODF架上的法蘭盤灰塵太多。清潔之后收光功率上來了三個dB誤碼率直接降到零。這個案例給我們的教訓(xùn)是誤碼率測試不能省凡是光鏈路必須測滿十五分鐘以上并且要看誤碼實(shí)時曲線而不是只看最終平均值。3.2 吞吐與并發(fā)把數(shù)據(jù)面壓到極限鏈路驗(yàn)證通過后進(jìn)入數(shù)據(jù)面壓測。我們會用儀表的多個端口同時向被測交換機(jī)打流量從64字節(jié)小包到9216字節(jié)巨幀全覆蓋逐步提高線速百分比。這里看兩個關(guān)鍵指標(biāo)一是不同幀長下的線速轉(zhuǎn)發(fā)能力二是加擾過程中有沒有丟包。小包轉(zhuǎn)發(fā)最能暴露設(shè)備轉(zhuǎn)發(fā)瓶頸。因?yàn)樾“棵氚鼣?shù)多CPU和芯片處理壓力大。實(shí)際測試中我們發(fā)現(xiàn)某型號交換機(jī)宣稱支持線速轉(zhuǎn)發(fā)但在64字節(jié)幀下達(dá)到80%線速就開始輕微丟包而廠商的規(guī)格書只寫了“支持線速”沒寫條件。這種問題如果不實(shí)測上線后很容易在突發(fā)流量下出故障。另外并發(fā)連接測試要模擬真實(shí)的TCP會話模型不能只追求連接數(shù)大。我們通常設(shè)置“連接建立速率”和“連接保持?jǐn)?shù)”兩個維度比如每秒建立5萬個新連接同時保持兩百萬個長連接觀察設(shè)備會話表是否正常老化、新建會話是否受影響。3.3 QoS與業(yè)務(wù)體驗(yàn)從指標(biāo)到體驗(yàn)網(wǎng)絡(luò)指標(biāo)合格不等于業(yè)務(wù)體驗(yàn)合格。我們做驗(yàn)收時會在壓測流中疊加標(biāo)注了不同優(yōu)先級的流量檢查交換機(jī)有沒有按配置做隊(duì)列調(diào)度。其中一個測試方法是把視頻流打上高優(yōu)先級標(biāo)簽把大文件傳輸流設(shè)為低優(yōu)先級在全鏈路擁塞的情況下觀察視頻流是否仍然保持低時延、低抖動低優(yōu)先級流量是否被合理丟棄。實(shí)測下來如果設(shè)備沒開QoS高優(yōu)先級流和低優(yōu)先級流的時延會一起惡化視頻就會出現(xiàn)卡頓開啟嚴(yán)格優(yōu)先隊(duì)列后高優(yōu)先級流的平均時延能從擁塞時的5毫秒回落到0.3毫秒左右。這個對比數(shù)據(jù)是網(wǎng)絡(luò)團(tuán)隊(duì)向業(yè)務(wù)方解釋“為什么要開QoS”最有說服力的素材。4. 場景二廣域網(wǎng)專線與分支機(jī)構(gòu)鏈路評估廣域網(wǎng)場景和機(jī)房完全不同。鏈路距離長、中間經(jīng)過的設(shè)備多、運(yùn)營商責(zé)任邊界模糊一旦業(yè)務(wù)體驗(yàn)不好很難說是哪一段的問題。我們的策略是用儀表做“主動測量”讓問題在割接窗口內(nèi)暴露出來。4.1 雙鏈路切換與故障注入某分支機(jī)構(gòu)從單專線改成雙鏈路主備接入后需要在割接前驗(yàn)證切換可靠性。我們用了四端口方案兩個端口模擬主用鏈路方向兩個端口模擬備用鏈路方向中間接入一臺廣域網(wǎng)加速設(shè)備。測試時在主鏈路方向上注入斷鏈故障同時儀器以每秒一次的高頻采樣方式記錄業(yè)務(wù)流的連續(xù)狀態(tài)。實(shí)測發(fā)現(xiàn)業(yè)務(wù)中斷時間約1.2秒超出業(yè)務(wù)方承諾的“秒級切換”預(yù)期。進(jìn)一步排查發(fā)現(xiàn)斷鏈后路由協(xié)議要等三個丟失探測周期才觸發(fā)切換把探測報文間隔調(diào)小后切換時間降到400毫秒以內(nèi)。如果沒有全棧儀表同時模擬主備方向流量這種切換性能驗(yàn)證很難在現(xiàn)場可信地完成。4.2 網(wǎng)絡(luò)損傷模型對業(yè)務(wù)的影響廣域網(wǎng)驗(yàn)收還要回答一個問題鏈路質(zhì)量差到什么程度業(yè)務(wù)會真正變卡我們用儀表內(nèi)置的網(wǎng)絡(luò)損傷模型來模擬不同鏈路狀態(tài)參數(shù)包括丟包率、單向時延、時延抖動、帶寬限制。當(dāng)時測了一套數(shù)據(jù)庫遠(yuǎn)程同步業(yè)務(wù)測試結(jié)果很典型損傷條件事務(wù)平均響應(yīng)時間業(yè)務(wù)表現(xiàn)正常狀態(tài)12ms流暢增加20ms單向時延42ms可接受有感知增加1%隨機(jī)丟包超過200ms明顯卡頓增加5%隨機(jī)丟包頻繁超時不可用這個數(shù)據(jù)告訴我們該業(yè)務(wù)對丟包比對時延更敏感。所以在后續(xù)鏈路選型時我們更關(guān)注鏈路的丟包率指標(biāo)也據(jù)此調(diào)整了無線鏈路的糾錯參數(shù)。4.3 7×24小時長穩(wěn)回歸長穩(wěn)測試聽起來簡單就是把流量掛著跑一整天實(shí)際上最容易暴露兩類問題一類是設(shè)備長時間運(yùn)行后內(nèi)存緩慢增長另一類是緩存池老化導(dǎo)致轉(zhuǎn)發(fā)時延逐步升高。我們的標(biāo)準(zhǔn)做法是用儀表按“工作日早高峰模型”循環(huán)打流早高峰帶寬拉滿午間降為40%夜間降到10%連續(xù)跑七天每小時記錄一次時延、丟包、CPU、內(nèi)存。這種周期性模型比恒定壓力更能暴露調(diào)度算法的缺陷。實(shí)際測試中某臺邊緣設(shè)備在第三天凌晨出現(xiàn)內(nèi)存增長不回落的跡象重啟后恢復(fù)我們據(jù)此要求廠商更新了版本才繼續(xù)后續(xù)驗(yàn)收。5. 場景三園區(qū)網(wǎng)接入與安全策略驗(yàn)證園區(qū)網(wǎng)看起來技術(shù)含量比數(shù)據(jù)中心低但接入終端五花八門PoE供電、DHCP壓力、安全策略誤殺都是高頻翻車點(diǎn)。全棧儀表在這種場景里的價值主要是能一部頂多部快速把接入側(cè)能力摸清楚。5.1 接入層壓力與PoE供電驗(yàn)證園區(qū)接入層最常見的問題是PoE供電不足。我們遇到過某一款A(yù)P接上后頻繁重啟查了一圈最后發(fā)現(xiàn)是交換機(jī)PoE預(yù)算不足AP啟動瞬間功率超了閾值。用儀表做PoE驗(yàn)證時我們會模擬多臺高功率PD設(shè)備同時連接逐端口查看分配的功率等級和實(shí)際輸出功率是否匹配。DHCP壓力測試也值得做。用儀表模擬幾百個終端同時請求地址觀察DHCP服務(wù)器響應(yīng)成功率和分配速度。實(shí)測某園區(qū)網(wǎng)絡(luò)上聯(lián)擴(kuò)容后DHCP地址池配置錯誤導(dǎo)致部分終端獲取不到地址這類問題在業(yè)務(wù)方自己拿電腦測試時根本發(fā)現(xiàn)不了因?yàn)閿?shù)量不夠。5.2 安全策略命中與限速隔離驗(yàn)證園區(qū)網(wǎng)通常有防火墻和ACL策略我們驗(yàn)收時會用儀表構(gòu)造帶有不同特征標(biāo)記的業(yè)務(wù)流驗(yàn)證三類問題一是策略有沒有匹配預(yù)期二是匹配到策略后放行和阻斷是否符合預(yù)期三是限速策略是否真的把流量壓到設(shè)定帶寬。有一次現(xiàn)場驗(yàn)證發(fā)現(xiàn)某條限速策略配置成“雙向各限10Mbps”實(shí)際測試時下行確實(shí)到10Mbps就丟包但上行能跑到50Mbps。排查發(fā)現(xiàn)設(shè)備對“限速方向”的語義理解和我們預(yù)期不一樣后來把策略拆成上行和下行兩條分別配置才正常。這種細(xì)節(jié)用業(yè)務(wù)腳本很難覆蓋但流量發(fā)生器能輕松復(fù)現(xiàn)。5.3 無線漫游與終端兼容性測試園區(qū)無線驗(yàn)收我們除了測信號覆蓋還會用儀表模擬終端做漫游測試。核心指標(biāo)是漫游切換時延和丟包數(shù)。測試方法是模擬一臺終端在兩個AP之間來回移動同時持續(xù)傳輸U(kuò)DP流觀察切換過程中的丟包窗口。有一個問題是有些AP組合在漫游時會觸發(fā)一次較長的重認(rèn)證過程導(dǎo)致切換時延超過200毫秒實(shí)際表現(xiàn)為視頻通話短暫卡頓。通過儀表的精確時間戳記錄我們把問題定位到認(rèn)證服務(wù)器的會話緩存配置上調(diào)整之后切換時延降到50毫秒以內(nèi)。這種跨AP、跨認(rèn)證鏈路的聯(lián)合分析只有在時間戳統(tǒng)一的條件下才能做到。6. 實(shí)測中反復(fù)踩過的三個坑再全棧的儀表落地時也會遇到“儀表自身沒問題、測試方法有問題”的情況。這三類坑我們反復(fù)踩過每一條都是用真金白銀換來的教訓(xùn)。6.1 端口鏡像丟包讓誤碼率“假陽性”做鏈路測試時有人習(xí)慣把儀表接到交換機(jī)的端口鏡像口上想“順便”看一下真實(shí)流量中的誤碼。這個做法相當(dāng)危險。端口鏡像本身在復(fù)制報文時就會丟包儀表會把這種丟包當(dāng)成鏈路誤碼得出“鏈路質(zhì)量不合格”的錯誤結(jié)論。我們的處理原則是誤碼率測試必須用物理透傳方式讓流量真實(shí)經(jīng)過被測鏈路而不是通過鏡像口觀察如果確實(shí)要看真實(shí)流量那就明確區(qū)分“在線監(jiān)測”和“在線測試”兩種模式不要在驗(yàn)收報告里混用數(shù)據(jù)。這個坑最開始讓我們白白排查了兩天就因?yàn)闆]注意到儀表接的是鏡像口。6.2 時間戳精度不夠時延測試沒有意義時延測試的前提是兩端時鐘對齊。全棧儀表如果內(nèi)部沒有高精度時鐘或者沒有啟用PTP同步測得的一跳時延誤差可能比實(shí)際時延還大。具體案例我們測一條跨城專線時延第一次測得平均時延3.8毫秒第二次重測變成5.6毫秒差異來源就是儀表沒有完成時鐘同步。啟用1588時鐘同步之后連續(xù)多次測試結(jié)果穩(wěn)定在4.2毫秒上下數(shù)據(jù)才真正可用。現(xiàn)在我們的標(biāo)準(zhǔn)操作是任何時延測試前先檢查儀表主從時鐘同步狀態(tài)同步未達(dá)到鎖定狀態(tài)絕不開測。6.3 打流太猛把現(xiàn)網(wǎng)業(yè)務(wù)誤傷在現(xiàn)網(wǎng)設(shè)備上做測試最怕把測試流量打到了生產(chǎn)業(yè)務(wù)上。有一次我們想測一臺核心交換機(jī)的剩余容量直接把儀表兩個端口分別接到兩個業(yè)務(wù)VLAN里打背景流量結(jié)果高優(yōu)先級業(yè)務(wù)流量被擠掉了一截引來業(yè)務(wù)方投訴。從那以后我們給測試立了規(guī)矩所有現(xiàn)網(wǎng)設(shè)備的壓力測試必須部署獨(dú)立測試VLAN或者在低峰期窗口執(zhí)行背景流量上限原則上不超過鏈路帶寬的30%并且先和業(yè)務(wù)方確認(rèn)影響邊界。全棧儀表雖然能打出線速流量不代表你就有權(quán)把所有線速打到生產(chǎn)網(wǎng)絡(luò)里。7. 把單次測試變成持續(xù)測試自動化與報告測試儀表如果只能到現(xiàn)場調(diào)試價值會大打折扣?，F(xiàn)在網(wǎng)絡(luò)變更越來越頻繁我們把大量常規(guī)測試腳本化讓儀表像一臺“持續(xù)運(yùn)行的探針”一樣嵌入日常運(yùn)維。7.1 用Python腳本把測試任務(wù)自動化我們目前的做法是把常用的測試用例封裝成Python腳本通過儀表的接口下發(fā)配置、啟動測試、收集結(jié)果。from nettest_api import TestSession session TestSession(host192.0.2.10) session.initialize() task session.create_task(throughput_test) task.set_ports(txport1, rxport2) task.set_traffic(framesize128, line_rate80, duration60) task.start() result task.get_result() session.export_report(formatjson, path/report/throughput_test.json)這個自動化的價值在于同一個用例在不同設(shè)備、不同時間跑出來的結(jié)果口徑完全一致不用再依賴操作人員手動調(diào)節(jié)參數(shù)?，F(xiàn)在設(shè)備到貨驗(yàn)收、版本升級回歸我們都會自動跑一遍基線用例半小時內(nèi)生成一份對比報告效率比之前高了至少三倍。7.2 測試報告標(biāo)準(zhǔn)化與團(tuán)隊(duì)協(xié)作報告標(biāo)準(zhǔn)化這件事優(yōu)先級經(jīng)常被低估。我們一開始的報告五花八門有的只寫“通過”有的貼一堆原始截圖復(fù)盤時根本沒法橫向比較。后來統(tǒng)一了報告字段測試場景、拓?fù)浜唸D、儀器端口、流量模型、壓力參數(shù)、觀測時長、判定閾值、原始結(jié)果、結(jié)論、遺留問題。每個字段都是必填項(xiàng)。A同學(xué)負(fù)責(zé)出報告網(wǎng)絡(luò)團(tuán)隊(duì)負(fù)責(zé)結(jié)論初判業(yè)務(wù)方最后簽字確認(rèn)。這份報告既是驗(yàn)收憑證也是后續(xù)排障的基線數(shù)據(jù)。自動化腳本跑的回歸測試如果結(jié)果超過閾值會直接觸發(fā)告警并附上前一次測試的對比數(shù)據(jù)。這樣一來網(wǎng)絡(luò)團(tuán)隊(duì)不用每次都看原始日志問題就能被快速定位到“哪一次變更引入了劣化”。我自己實(shí)際操作下來感受最深的一點(diǎn)是全棧網(wǎng)絡(luò)測試儀表只是一件工具測試方案才是真正的靈魂。同一臺設(shè)備測前有沒有畫像、用例有沒有疊加背景流、閾值有沒有和業(yè)務(wù)方對齊跑出來的結(jié)果可能是完全不同的兩套結(jié)論。工具幫我們把各層數(shù)據(jù)拉到同一張時間軸上但決定測試做得對不對的還是我們自己的方法和流程。建議每一個團(tuán)隊(duì)在添置儀表的同時把方案評審和報告標(biāo)準(zhǔn)一并定下來這個投入比買設(shè)備本身更值錢。