2018年我寫第一篇SCI的時候導師丟給我一句話“NHANES這個數(shù)據(jù)庫免費數(shù)據(jù)量大你自己去挖?！蹦菚r候我連NHANES全稱都念不順下載數(shù)據(jù)全靠看英文頁面硬啃XPT文件用什么打開都不知道權重怎么處理更是一頭霧水。前前后后折騰了兩個月才跑通一個最簡單的分析。這兩年帶著不少師弟師妹重復同樣的過程問來問去還是那幾個問題數(shù)據(jù)在哪下、文件怎么讀、權重要不要管、多個周期怎么合并。所以這篇文章就想把NHANES數(shù)據(jù)庫從入門到基本操作講清楚作為系列第一篇先解決“它是什么、怎么拿數(shù)據(jù)、數(shù)據(jù)怎么組織”這三件事。如果你是第一次接觸NHANES或者下了數(shù)據(jù)但不知道怎么處理這篇文章能幫你少走一半彎路。1. NHANES數(shù)據(jù)庫到底是什么1.1 從一次全國調查說起NHANES全稱National Health and Nutrition Examination Survey翻譯過來是“全國健康與營養(yǎng)狀況調查”。它的數(shù)據(jù)由美國國家衛(wèi)生統(tǒng)計中心NCHS負責管理運作上歸在疾病控制與預防中心CDC體系下。很多人剛聽到“美國”兩個字就以為只能用來研究美國人群其實這是一個誤區(qū)。NHANES的公開數(shù)據(jù)沒有任何國別限制全球研究者都能免費下載國內用NHANES發(fā)SCI的文章也早就非常多內分泌、營養(yǎng)、心血管、職業(yè)暴露、精神衛(wèi)生各個方向都在用。這個調查的歷史最早可以追溯到1960年代最初是隔幾年做一次全國性調查比如NHANES I、NHANES II、NHANES III樣本周期不連續(xù)。1999年開始它改成“連續(xù)調查”模式每年采集一整年的數(shù)據(jù)每兩年作為一個發(fā)布周期對外公布。到現(xiàn)在NHANES已經(jīng)積累了二十多年、十余個周期的連續(xù)數(shù)據(jù)每個周期大約覆蓋五千到一萬人所有周期加起來是幾萬甚至十幾萬人的規(guī)模。我一開始對NHANES的定位理解偏了——我以為它是一個純粹的“營養(yǎng)調查數(shù)據(jù)庫”。實際上它的范圍遠超營養(yǎng)。問卷部分涵蓋吸煙、飲酒、慢性病史、用藥、睡眠、抑郁篩查、性行為、飲食頻率體檢部分包括身高體重、血壓、腰圍、握力、體成分化驗部分更是涵蓋了血常規(guī)、血脂、血糖、糖化血紅蛋白、維生素、重金屬、炎癥指標、性激素等等。等于說它是一個“健康百科型”的橫斷面數(shù)據(jù)庫。1.2 抽樣設計決定了數(shù)據(jù)不能當普通調查用NHANES的樣本不是隨便找一群人填問卷而是采用分層多階段概率抽樣。直觀理解就是先按地理區(qū)域分層抽縣再在縣里抽街區(qū)街區(qū)里抽住戶住戶里抽個人。整個抽樣的目標是讓最終受訪者能夠代表美國非住院平民人口的整體情況。這里面有個關鍵設計為了更好地估計特定亞組NHANES會對老年人、青少年、墨西哥裔美國人、非裔美國人等群體做“過采樣”。也就是說這些人群被抽中的概率比他們在總人口中的比例要高。這樣做的目的是保證每個亞組都有足夠的樣本量做統(tǒng)計分析。但這種設計帶來的直接后果就是——樣本是“偏”的不能直接拿原始樣本量算比例而必須用權重調整。這一點在第4部分會專門展開。NHANES的數(shù)據(jù)采集也分為兩大塊。第一塊是家庭訪談問卷由經(jīng)過培訓的訪談員入戶完成問的都是主觀報告信息比如有沒有確診過糖尿病、過去30天有沒有吸煙。第二塊是在移動體檢中心通?？s寫為MEC里完成的身體檢查和實驗室采樣這是硬數(shù)據(jù)血壓是當場測的血是當場抽的不是靠受訪者回憶。這也是NHANES最有價值的賣點——很多數(shù)據(jù)庫只有問卷自報數(shù)據(jù)而NHANES有一大批客觀實測指標。1.3 “連續(xù)NHANES”是你最常接觸的概念如果你在文獻里看到“continuous NHANES”或“NHANES 1999-2018”說的就是1999年之后連續(xù)開展、每兩年一個周期發(fā)布的數(shù)據(jù)。1999年之前的數(shù)據(jù)則叫NHANES I/II/III或者其他主題調查使用方式不太一樣現(xiàn)在絕大多數(shù)研究用的都是連續(xù)NHANES的數(shù)據(jù)。周期命名也需要記牢1999-2000是一個周期2001-2002又是一個周期依此類推。每個周期發(fā)布一套獨立的數(shù)據(jù)文件。需要特別注意的是2020年這個節(jié)點由于疫情原計劃的2019-2020周期實際只調查到2020年3月就中斷了官方把2019-2020的數(shù)據(jù)文件和2017-2018合并成一個發(fā)布包叫“2017-March 2020 Pre-Pandemic Data”。所以如果你找“NHANES 2019-2020”可能會發(fā)現(xiàn)它和2017-2018放在一起這不是文檔錯誤而是官方的處理方式。合并多年份周期做分析是NHANES的常規(guī)操作。單個周期樣本量只有幾千到一萬人做某些亞組分析會很吃力所以大家經(jīng)常把多個周期合并成一個大樣本。比如研究維生素D與全因死亡的關系可能直接把1999-2018十個周期全合并樣本量直接到數(shù)萬人。合并的具體操作稍后講。2. 為什么值得花時間研究它2.1 免費、開源、樣本量大最直接的吸引力就是免費。注冊NHANES賬號完全免費下載數(shù)據(jù)不需要付費不需要機構授權不需要審批。這對學生和剛起步的研究者特別友好。不像有些數(shù)據(jù)庫要申請、要授權費用、要倫理審查NHANES的數(shù)據(jù)公告里明確說明開放給全球研究者使用。樣本量方面單看一個周期似乎不大但合并多年份以后優(yōu)勢就出來了。比如研究肥胖或高血壓這類常見問題合并近20年數(shù)據(jù)后人數(shù)可以上萬甚至十萬級別病例組和對照組都綽綽有余。而且這些數(shù)據(jù)是統(tǒng)一的調查方案、統(tǒng)一的實驗室標準、統(tǒng)一的數(shù)據(jù)字典體系合并的邏輯一致性比你把幾個獨立小數(shù)據(jù)庫硬拼在一起要可靠得多。還有一點是發(fā)表認可度。NHANES系列數(shù)據(jù)在國際期刊上的接受度一直很高因為它代表性強、變量公開可查、方法學文檔完善審稿人通常不會質疑數(shù)據(jù)的質量。你只需要把調查周期、抽樣設計、權重處理、排除標準寫清楚方法學部分就立得住。2.2 變量覆蓋廣客觀指標是亮點這是NHANES區(qū)別于很多問卷類數(shù)據(jù)庫的核心優(yōu)勢。做臨床研究的人都有體會如果只有自報“我有沒有高血壓”誤差很大而NHANES直接給你一個用標準血壓計測出來的收縮壓和舒張壓再配合是否服用降壓藥的問題就能比較準確地定義高血壓狀態(tài)。實驗室指標更是豐富。血常規(guī)里白細胞、血紅蛋白、血小板都有生化指標里總膽固醇、高密度脂蛋白、低密度脂蛋白、甘油三酯、空腹血糖、糖化血紅蛋白營養(yǎng)指標里有維生素D、葉酸、鐵蛋白環(huán)境暴露領域還有血鉛、血汞等重金屬指標部分周期還測了炎癥指標、性激素、甲狀腺功能。近幾年的周期還增加了更多新指標比如某些有機污染物。研究什么方向就能在數(shù)據(jù)字典里找對應的化驗變量。問卷部分覆蓋的是“生活方式”和“主觀健康”信息。我常用的有吸煙是否吸過100支煙、目前每天吸多少支、飲酒、體力活動、睡眠時長、抑郁量表PHQ-9、疼痛、牙齒健康、用藥記錄。用藥這一塊很有價值它包含了處方藥的通用名、藥物類別編碼可以研究特定藥物使用與化驗指標的關系。還有家族史、收入水平、教育程度、婚姻狀況、保險情況這些重要的協(xié)變量做調整分析基本夠用。2.3 和其他數(shù)據(jù)庫比優(yōu)勢在哪很多人會問NHANES和MIMIC、SEER、CHARLS這些數(shù)據(jù)庫到底怎么選。我做了個簡單對比NHANES全國性橫斷面調查覆蓋一般人群主打健康營養(yǎng)和慢性病含體檢和實驗室實測指標適合做患病率、關聯(lián)性研究。MIMIC重癥監(jiān)護病房的大數(shù)據(jù)包含生命體征、入出院記錄、醫(yī)囑、檢驗結果、護理記錄適合做ICU患者預后、臨床決策方向屬于縱向患者數(shù)據(jù)。SEER腫瘤登記數(shù)據(jù)覆蓋大量癌癥病例包含腫瘤分期、病理、生存隨訪適合做癌癥流行病學和生存分析。CHARLS中國中老年健康養(yǎng)老調查縱向面板自報信息和部分體檢數(shù)據(jù)適合研究中國中老年人群的衰老和慢性病。對比起來NHANES的獨特位置其實是“一般人群實測指標多年份可合并”。如果你需要的是一個能代表全人群、又有客觀生化指標的數(shù)據(jù)源NHANES幾乎是首選。如果你研究的是ICU患者、腫瘤發(fā)病趨勢或中國老齡化問題那就要考慮其他數(shù)據(jù)庫。不過也別過度神化它。第一NHANES是橫斷面設計變量和結局同時采集做因果推斷比較吃力第二它代表的是美國非住院平民人口結論外推到其他國家或住院患者時要謹慎第三部分變量在不同周期的定義、編碼甚至單位都可能變化這給多周期合并埋了坑。3. 正式使用前的下載與準備工作3.1 注冊官網(wǎng)賬號雖然不是必須但建議做NHANES的官方網(wǎng)站是cdc.gov/nchs/nhanes/。打開后你看到的頁面風格很樸素沒有花哨的交互但資料非常全。絕大多數(shù)數(shù)據(jù)文件的下載都不要求登錄直接點擊就能下載。那我為什么還建議注冊因為注冊后有幾點實際好處一是可以下載部分限制訪問的數(shù)據(jù)比如含更細地理信息的文件二是官方發(fā)布新周期數(shù)據(jù)或文檔更新時會有公告三是你在做研究時要引用官方文檔登錄狀態(tài)下載和查詢記錄更方便。注冊流程很簡單填郵箱、設置密碼、驗證郵件就可以不需要機構郵箱也不需要審批。注冊免費這點不用擔心。3.2 XPT文件到底是什么格式怎么打開這是新手最容易卡殼的地方。我在指導別人時十個里有八個第一反應是用Excel打開下載好的文件結果要么打不開要么打開一片亂碼。原因是NHANES提供的主要數(shù)據(jù)下載格式是SAS Transport Version 8文件后綴是.XPT。這不是Excel能直接處理的格式而是一種由SAS發(fā)明的跨平臺數(shù)據(jù)傳輸格式專門用來在不同統(tǒng)計軟件之間交換數(shù)據(jù)。為什么要用這個格式因為XPT文件能保留變量名、變量標簽、格式說明這些元信息。比如一個變量叫RIAGENDRXPT文件里還帶有一個標簽“Gender of the participant”讀入統(tǒng)計軟件后你能看到這個變量的含義。如果轉成CSV標簽就丟了。讀取XPT最常用的工具組合R語言用haven包的read_xpt()或foreign包的read.xport()Python用pandas.read_sas()SPSS和SAS本身也能直接讀取。我個人的建議是如果你以后要長期用NHANES做分析直接學R配合survey、dplyr、tableone這些包處理NHANES數(shù)據(jù)非常順。Python也能做但統(tǒng)計描述和加權分析這一塊生態(tài)沒有R成熟。3.3 動手下載第一個數(shù)據(jù)文件以人口學文件為例演示一下完整流程你后面下其他文件照葫蘆畫瓢就行。第一步在官網(wǎng)首頁找到“Questionnaires, Datasets, and Related Documentation”入口點進去之后按年份選擇調查周期。假設你要下載1999-2000周期的Demographics數(shù)據(jù)就選“1999-2000”。頁面會列出一堆文件類別常見的有Demographics、Dietary、Examination、Laboratory、Questionnaire、Limited Access等。不同周期的頁面布局會有一點差別但整體邏輯差不多。第二步點開Demographics類別會看到對應表格列里面有“Demographics (DEMO)”字樣旁邊標明數(shù)據(jù)文件大小后綴是XPT。同時還有一份HTML格式的數(shù)據(jù)字典Codebook和一份文檔Documentation。下載XPT文件是你拿數(shù)據(jù)的第一步但一定記得把代碼本也下載或在線保留下來。你后面分析時查變量就靠它。第三步把XPT文件放到工作目錄用R讀取library(haven) demo - read_xpt(DEMO.XPT) dim(demo) colnames(demo)第一次讀取成功后你應該能看到一個幾千行、幾十列的數(shù)據(jù)框。其中每一行對應一個受訪者每一列對應一個變量。比如RIAGENDR是性別RIDAGEYR是年齡按年記錄RIDRETH1是種族。這些變量名看起來有些奇怪但NHANES的變量命名有一定的規(guī)律前綴常常是模塊縮寫比如RI開頭多半是“interview/exam”相關的人口學變量LB開頭一般是實驗室laboratory變量MCQ開頭是慢性病問卷medical conditions questionnaire。讀到這一步你已經(jīng)有能力下載任何NHANES數(shù)據(jù)文件了。核心步驟就是選周期、找類別、下XPT、讀進來。但下載只是開始真正的難點是理解數(shù)據(jù)內部的邏輯關系尤其是變量關聯(lián)方式和權重。4. 數(shù)據(jù)結構里的關鍵邏輯變量、權重與合并4.1 認識三個核心變量NHANES數(shù)據(jù)文件很多但所有文件之間并不是孤立的它們靠幾個關鍵變量串起來。你必須在心里刻住三個變量名。第一個是SEQNrespondent sequence number受訪者序列號。這是每個受訪者在當個周期內唯一的編號可以理解成數(shù)據(jù)庫里的主鍵。所有數(shù)據(jù)文件——人口學、體檢、化驗、問卷——都用這個編號來標識同一個人。你要把化驗數(shù)據(jù)和人口學數(shù)據(jù)合并就是按SEQN匹配。就好比兩個Excel表格都有“學號”這一列你按學號VLOOKUP一樣。第二個是調查周期標識。早期周期里常見的是SDDSRVYR比如1999-2000周期值為12001-2002周期值為2依此類推。當你合并多個周期的文件時這個變量能幫你區(qū)分每個樣本來自哪個周期做分層描述或亞組分析時非常有用。近年的周期里這個變量可能用別的名字或位置需要查代碼本確認。第三個是權重變量。人口學文件里通常有WTMEC2YR、WTMEC4YR分別代表2年體檢權重和4年體檢權重。MEC就是指移動體檢中心也就是完成體檢部分的人群權重。為什么要體重這是整個NHANES分析最核心也最容易被忽視的一環(huán)。4.2 權重變量為什么繞不開先打個比方。假設你要估算全班同學的早餐習慣但你調查時故意多問了一些女生那么班級原始數(shù)據(jù)里女生比例比真實比例高如果你直接拿這個數(shù)據(jù)算“全班女生比例”結果一定是偏的。NHANES也是這個邏輯它為了確保特定亞組有足夠樣本故意讓某些人群的入樣概率更高。要找回“全美國非住院平民人口”的真實比例就必須對每個樣本按它的入樣概率做加權。具體怎么用如果只是描述性統(tǒng)計比如全人群的糖尿病患病率就要加權否則結果會明顯偏離CDC官方報告的數(shù)字。做回歸分析時學術界有兩種觀點嚴格派認為在所有估計中都應該考慮抽樣設計務實派認為當模型是研究關聯(lián)而非估計總體水平時可以不加權。我個人的操作習慣是描述性統(tǒng)計必須加權建模時會把加權模型和未加權模型都跑一下敏感性分析里報告兩種結果這樣審稿人也不會挑毛病。R里面處理NHANES數(shù)據(jù)我一般用survey包?；玖鞒淌窍榷x調查設計對象library(survey) nhanes_design - svydesign( id ~SDMVPSU, strata ~SDMVSTRA, weights ~WTMEC2YR, nest TRUE, data demo )這里的SDMVPSU和SDMVSTRA是NHANES專門提供的偽抽層和偽單元變量官方建議在做方差估計時使用。定義了設計對象以后可以用svymean、svytotal、svyglm等函數(shù)做加權均數(shù)、加權總數(shù)和加權回歸。這一套東西做完你的結果才是“有代表性”的。4.3 多周期合并的策略當你決定合并多個周期時數(shù)據(jù)合并本身并不復雜把不同周期的文件按同樣的變量結構用rbind或者bind_rows拼起來就行。麻煩的是兩個問題變量名和編碼的一致性以及權重的調整。先說變量一致性。NHANES不同周期的變量名在多數(shù)情況下是一致的但也不是沒有例外。比如某些實驗室指標早期用舊方法檢測后來換了檢測方法變量名可能不同單位也可能從mg/dL變成mmol/L。還有些問卷問題改變了措辭或選項變量的編碼就從0/1變成了1/2/3。所以合并前一定要逐個周期查看代碼本確認你要的變量在每個周期都存在而且定義一致。如果不一致就需要做映射或轉換。這一步非常耗費時間但跳過去后面就是坑。再說權重調整。如果你合并了兩個周期可以直接使用人口學文件里提供的4年權重WTMEC4YR。如果你合并了三個或更多周期官方給出的常用做法是新建一個權重變量把原始的2年權重除以合并的周期數(shù)。比如合并1999-2018共10個周期新權重就是WTMEC2YR / 10。為什么是除以10而不是乘以因為每個2年周期權重代表的是當年那個周期總人口的近似合并10個周期以后如果不調整權重總和相當于放了10倍的人口結構性放大。除以周期數(shù)后合并樣本的加權總和才回到一個合理的人口量級。這個處理雖然不是唯一方案但操作簡單、被廣泛接受寫文章時注明“combined weights were constructed by dividing the 2-year weights by the number of cycles”就行。我自己的習慣是合并前先做一個檢查單獨看2017-2018周期的加權平均年齡和官方發(fā)布的人口特征是否一致再和1999-2000周期對比確認權重使用正確。如果算出來的均值和官方報告差得太離譜八成是權重用錯或變量單位有問題。5. 新手最容易踩的坑與排查技巧5.1 常見問題速查表這幾年的指導經(jīng)驗里大家翻車的場景高度相似。我整理了一張速查表你如果卡住了可以直接對號入座?，F(xiàn)象可能原因解決辦法下載的XPT文件Excel打不開XPT是SAS傳輸格式不是Excel表格用R的read_xpt()或Python的read_sas()讀取變量名和代碼本對不上下載了錯誤的周期或錯誤的文件核對文件前綴和周期年份重新下載對應文件合并后樣本量異常大或異常小不同周期的樣本篩選條件不一致逐周期檢查數(shù)據(jù)字典確認排除條件一致算出的患病率/均值和官方差異很大沒有使用權重用survey包定義調查設計對象并加權分析同一變量在不同周期編碼不一致各周期獨立維護變量定義合并前建立變量映射表統(tǒng)一編碼后再合并SEQN匹配后大量缺失兩個文件中的SEQN不在同一周期確認匹配的兩個文件都來自同一調查周期5.2 幾個容易翻車的細節(jié)第一個細節(jié)是實驗室文件的變量后綴。NHANES實驗室數(shù)據(jù)經(jīng)常為同一個檢測項目提供多個版本比如原始值、排除異常的值、甚至按不同單位重編碼的版本。變量名后面可能帶L或M這樣的后綴含義在代碼本里有注釋。很多人讀進R以后用原始列名直接跑回歸發(fā)現(xiàn)結果完全對不上就是因為沒注意選的是哪個版本。第二個細節(jié)是缺失值的編碼。NHANES的缺失不是只用一個NA表示代碼本里常見編碼有7、8、9分別對應“拒絕回答”“不知道”“不適用”。還有.D表示無法檢測.R表示拒絕這些符號在讀取時會被識別為缺失但如果你用SAS或其他軟件直接導入某些軟件可能把它們當成字符型數(shù)據(jù)處理導致數(shù)值變量變字符分析報錯。讀取后要檢查列的屬性必要時用haven包已經(jīng)自動處理好的labelled類數(shù)據(jù)做轉換。第三個細節(jié)是飲食數(shù)據(jù)的周期問題。NHANES的飲食回顧數(shù)據(jù)體積非常大包含幾十個食物組分變量而且早期周期和近期的飲食數(shù)據(jù)組織方式有差別。如果你要做膳食成分或營養(yǎng)攝入研究建議先確認目標周期是否有飲食數(shù)據(jù)以及用什么調查工具采集的。我見過有同學想分析維生素D攝入下載了實驗室文件里的血清維生素D又把飲食問卷里的維生素D攝入當成同一個東西其實一個代表體內水平一個代表膳食攝入兩者概念完全不同。第四個細節(jié)是限定訪問數(shù)據(jù)。有些變量比如更精細的地理信息、某些直接標識信息是限制訪問的普通下載拿不到需要申請并獲得批準。很多新手下到一半發(fā)現(xiàn)某個變量不在XPT文件里以為是下載錯誤實際是因為它屬于受限數(shù)據(jù)。官方頁面會明確標注“Restricted Data”字樣。如果研究確實需要可以去走申請流程但不建議第一篇研究就依賴這些變量。第五個提醒是多周期合并時的變量標簽。bind_rows合并多個周期的數(shù)據(jù)框時R會自動按列名匹配。如果兩個周期的同一變量在SAS格式里標簽不同合并后可能變成帶差異的對象。我在實操中最穩(wěn)妥的做法是先選取需要的變量子集統(tǒng)一列名再把每個周期轉成普通data.frame最后合并。不要一上來就全變量合并那會讓數(shù)據(jù)框龐大且脆弱。5.3 資料與學習路徑建議如果你剛入門我最推薦的學習路徑不是看論文而是先用一個具體的研究問題去“跑通全流程”。比如“美國成年人血清維生素D水平與代謝綜合征的關系”這個方向非常適合做NHANES第一篇。你要做的步驟是第一步下載1999-2018所有周期的Demographics文件合并保留年齡、性別、種族、教育、收入、權重等變量。第二步下載對應的實驗室變量文件找到血清25(OH)D的變量按SEQN合并。第三步定義代謝綜合征變量可能需要腰圍、血壓、空腹血糖、甘油三酯、高密度脂蛋白這些分布在體檢文件和化驗文件里。第四步用survey包定義加權設計做描述統(tǒng)計再做加權多因素回歸。這一套流程下來你基本就把NHANES的數(shù)據(jù)下載、變量定位、數(shù)據(jù)合并、加權分析全練了一遍。之后再換到骨質疏松、睡眠、抑郁或者其他方向只需要換變量而已。我個人在實際操作中還有一個習慣每下載一個數(shù)據(jù)文件都順手把代碼本的HTML另存一份到本地按周期和類別歸檔。這個習慣在寫文章時回報特別大因為你在寫方法學部分時要精確報告變量名、周期、檢測方法沒有代碼本光靠記憶會崩潰。另一個建議是早期不要貪多不要試圖一次下載幾十個文件研究“全宇宙”先鎖定一個臨床問題控制變量數(shù)量跑出結果后你自然會對數(shù)據(jù)有什么、數(shù)據(jù)缺什么有感覺。NHANES看起來復雜但它的邏輯其實很統(tǒng)一樣本是按周期組織的文件之間靠SEQN連接所有統(tǒng)計推斷都要回到權重。把這三點刻在腦子里數(shù)據(jù)大門就算真正打開了。