久久亚洲成a人片熟女精品色一区二区三区|国产精品视频第一精品视频|av天堂热无码手机版|亚洲?v无码久久无遮挡|国产精品偷伦视频免费观看国产|麻豆国产自产精品丰满熟妇|av无码av不卡一区二区|久久亚洲精品中文字

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

linux-command 手冊(cè)解讀:strace 系統(tǒng)調(diào)用跟蹤工具詳解與實(shí)戰(zhàn)

linux-command 手冊(cè)解讀:strace 系統(tǒng)調(diào)用跟蹤工具詳解與實(shí)戰(zhàn) 文檔教程【免費(fèi)下載鏈接】linux-commandLinux命令大全搜索工具內(nèi)容包含Linux命令手冊(cè)、詳解、學(xué)習(xí)、搜集。https://git.io/linux項(xiàng)目地址https://gitcode.com/GitHub_Trending/linux/linux-command點(diǎn)擊查看免費(fèi)下載本篇文章基于 linux-command 倉庫中的 strace 命令文檔 展開系統(tǒng)講解這一「集診斷、調(diào)試、統(tǒng)計(jì)于一體」的系統(tǒng)調(diào)用跟蹤工具從語法與全部選項(xiàng)入手通過追蹤系統(tǒng)調(diào)用、跟蹤信號(hào)傳遞、系統(tǒng)調(diào)用統(tǒng)計(jì)三個(gè)經(jīng)典實(shí)例再到分析 Oracle lgwr 進(jìn)程寫入行為的綜合實(shí)戰(zhàn)讓讀者掌握用 strace 定位故障、理解程序工作過程、量化系統(tǒng)調(diào)用開銷的完整方法論。strace 是什么系統(tǒng)調(diào)用與信號(hào)的雙重觀察窗口strace 命令是一個(gè)集診斷、調(diào)試、統(tǒng)計(jì)于一體的工具它通過對(duì)應(yīng)用的系統(tǒng)調(diào)用和信號(hào)傳遞進(jìn)行跟蹤幫助工程師解決問題或了解應(yīng)用的工作過程。需要明確的是strace 與專業(yè)的調(diào)試工具如 gdb定位不同它不是一個(gè)專業(yè)調(diào)試器不會(huì)提供斷點(diǎn)、單步執(zhí)行、變量查看等交互式調(diào)試能力而是以「旁觀者」的視角記錄程序與內(nèi)核之間的每一次交互。Linux 用戶態(tài)程序的一切行為最終都要通過系統(tǒng)調(diào)用syscall到達(dá)內(nèi)核例如讀寫文件、分配內(nèi)存、創(chuàng)建進(jìn)程、網(wǎng)絡(luò)通信同時(shí)進(jìn)程也會(huì)接收來自內(nèi)核或其他進(jìn)程的信號(hào)signal。strace 恰好把這兩類事件全部記錄下來并解析成人類可讀的文本這就構(gòu)成了觀察程序行為的兩個(gè)最佳窗口。在 linux-command 倉庫中strace 與幾個(gè)工具形成互補(bǔ)關(guān)系便于橫向?qū)Ρ壤斫鈒trace 命令文檔跟蹤進(jìn)程調(diào)用庫函數(shù)的情況與 strace 跟蹤系統(tǒng)調(diào)用恰好互補(bǔ)二者常搭配使用gdb 命令文檔功能強(qiáng)大的程序調(diào)試器支持?jǐn)帱c(diǎn)、單步、變量查看屬于真正的「專業(yè)調(diào)試器」strace 不與其競(jìng)爭(zhēng)。strace 最簡(jiǎn)單的用法就是執(zhí)行一個(gè)指定的命令在命令結(jié)束之后它也就退出。在命令執(zhí)行的過程中strace 會(huì)記錄并解析命令進(jìn)程的所有系統(tǒng)調(diào)用以及這個(gè)進(jìn)程所接收到的所有信號(hào)值。語法strace [ -dffhiqrtttTvxx ] [ -acolumn ] [ -eexpr ] ... [ -ofile ] [-ppid ] ... [ -sstrsize ] [ -uusername ] [ -Evarval ] ... [ -Evar ]... [command [ arg ... ] ] strace -c [ -eexpr ] ... [ -Ooverhead ] [ -Ssortby ] [ command [ arg... ] ]兩種語法形式的區(qū)別在于第一種是常規(guī)跟蹤模式直接跟蹤并實(shí)時(shí)輸出每個(gè)系統(tǒng)調(diào)用第二種固定以-c開頭進(jìn)入統(tǒng)計(jì)模式只輸出系統(tǒng)調(diào)用的匯總統(tǒng)計(jì)報(bào)表。-Ooverhead用于設(shè)置每個(gè)系統(tǒng)調(diào)用的開銷值微秒級(jí)以便-c統(tǒng)計(jì)時(shí)扣除該開銷得到更真實(shí)的耗時(shí)-Ssortby指定統(tǒng)計(jì)結(jié)果的排序字段如 time、calls、errors 等。選項(xiàng)詳解strace 的選項(xiàng)覆蓋面很廣下面是文檔中給出的完整選項(xiàng)清單-c 統(tǒng)計(jì)每一系統(tǒng)調(diào)用的所執(zhí)行的時(shí)間,次數(shù)和出錯(cuò)的次數(shù)等. -d 輸出strace關(guān)于標(biāo)準(zhǔn)錯(cuò)誤的調(diào)試信息. -f 跟蹤由fork調(diào)用所產(chǎn)生的子進(jìn)程. -ff 如果提供-o filename,則所有進(jìn)程的跟蹤結(jié)果輸出到相應(yīng)的filename.pid中,pid是各進(jìn)程的進(jìn)程號(hào). -F 嘗試跟蹤vfork調(diào)用.在-f時(shí),vfork不被跟蹤. -h 輸出簡(jiǎn)要的幫助信息. -i 輸出系統(tǒng)調(diào)用的入口指針. -q 禁止輸出關(guān)于脫離的消息. -r 打印出相對(duì)時(shí)間關(guān)于,,每一個(gè)系統(tǒng)調(diào)用. -t 在輸出中的每一行前加上時(shí)間信息. -tt 在輸出中的每一行前加上時(shí)間信息,微秒級(jí). -ttt 微秒級(jí)輸出,以秒了表示時(shí)間. -T 顯示每一調(diào)用所耗的時(shí)間. -v 輸出所有的系統(tǒng)調(diào)用.一些調(diào)用關(guān)于環(huán)境變量,狀態(tài),輸入輸出等調(diào)用由于使用頻繁,默認(rèn)不輸出. -V 輸出strace的版本信息. -x 以十六進(jìn)制形式輸出非標(biāo)準(zhǔn)字符串 -xx 所有字符串以十六進(jìn)制形式輸出. -a column 設(shè)置返回值的輸出位置.默認(rèn) 為40. -e expr 指定一個(gè)表達(dá)式,用來控制如何跟蹤.格式[qualifier][!]value1[,value2]... qualifier只能是 trace,abbrev,verbose,raw,signal,read,write其中之一.value是用來限定的符號(hào)或數(shù)字.默認(rèn)的 qualifier是 trace.感嘆號(hào)是否定符號(hào).例如:-eopen等價(jià)于 -e traceopen,表示只跟蹤open調(diào)用.而-etrace!open 表示跟蹤除了open以外的其他調(diào)用.有兩個(gè)特殊的符號(hào) all 和 none. 注意有些shell使用!來執(zhí)行歷史記錄里的命令,所以要使用\. -e traceset 只跟蹤指定的系統(tǒng) 調(diào)用.例如:-e traceopen,close,rean,write表示只跟蹤這四個(gè)系統(tǒng)調(diào)用.默認(rèn)的為setall. -e tracefile 只跟蹤有關(guān)文件操作的系統(tǒng)調(diào)用. -e traceprocess 只跟蹤有關(guān)進(jìn)程控制的系統(tǒng)調(diào)用. -e tracenetwork 跟蹤與網(wǎng)絡(luò)有關(guān)的所有系統(tǒng)調(diào)用. -e stracesignal 跟蹤所有與系統(tǒng)信號(hào)有關(guān)的 系統(tǒng)調(diào)用 -e traceipc 跟蹤所有與進(jìn)程通訊有關(guān)的系統(tǒng)調(diào)用 -e abbrevset 設(shè)定strace輸出的系統(tǒng)調(diào)用的結(jié)果集.-v 等與 abbrevnone.默認(rèn)為abbrevall. -e rawset 將指定的系統(tǒng)調(diào)用的參數(shù)以十六進(jìn)制顯示. -e signalset 指定跟蹤的系統(tǒng)信號(hào).默認(rèn)為all.如 signal!SIGIO(或者signal!io),表示不跟蹤SIGIO信號(hào). -e readset 輸出從指定文件中讀出 的數(shù)據(jù).例如: -e read3,5 -e writeset 輸出寫入到指定文件中的數(shù)據(jù). -o filename 將strace的輸出寫入文件filename -p pid 跟蹤指定的進(jìn)程pid. -s strsize 指定輸出的字符串的最大長(zhǎng)度.默認(rèn)為32.文件名一直全部輸出. -u username 以u(píng)sername的UID和GID執(zhí)行被跟蹤的命令面對(duì)這么多選項(xiàng)可以從四個(gè)維度來組織理解輸出控制類-o filename將輸出寫入文件對(duì)應(yīng)下文的「重定向輸出」-a column對(duì)齊返回值的輸出位置-s strsize限制字符串輸出長(zhǎng)度-q抑制附加消息-v展開所有調(diào)用細(xì)節(jié)如環(huán)境變量、狀態(tài)、輸入輸出等因調(diào)用頻繁默認(rèn)不展開的內(nèi)容-x/-xx控制非標(biāo)準(zhǔn)字符串的十六進(jìn)制顯示-i打印系統(tǒng)調(diào)用入口地址。進(jìn)程跟蹤類-f跟蹤 fork 出的子進(jìn)程守護(hù)進(jìn)程排障常用-ff配合-o時(shí)按filename.pid為每個(gè)進(jìn)程單獨(dú)輸出-F嘗試跟蹤 vfork-p pid掛接到已運(yùn)行進(jìn)程-u username以指定用戶身份運(yùn)行被跟蹤命令。時(shí)間類-r相對(duì)時(shí)間-t/-tt/-ttt三種時(shí)間戳精度-T單次調(diào)用耗時(shí)-c匯總統(tǒng)計(jì)-Ooverhead扣除系統(tǒng)調(diào)用開銷-Ssortby指定統(tǒng)計(jì)排序字段。診斷輔助類-d調(diào)試信息-h幫助-V版本信息。其中最重要的是-e expr其格式為[qualifier][!]value1[,value2]...。qualifier 只能是trace、abbrev、verbose、raw、signal、read、write之一默認(rèn)是tracevalue 是用于限定的符號(hào)或數(shù)字感嘆號(hào)表示否定。例如-e open等價(jià)于-e traceopen表示只跟蹤 open 調(diào)用而-e trace!open表示跟蹤除 open 以外的所有調(diào)用。另有all和none兩個(gè)特殊值。注意有些 shell 會(huì)用!執(zhí)行歷史命令因此在命令行中需要加反斜杠轉(zhuǎn)義。trace限定符還提供了幾個(gè)預(yù)置分類非常實(shí)用-e tracefile只跟蹤文件操作相關(guān)系統(tǒng)調(diào)用-e traceprocess只跟蹤進(jìn)程控制相關(guān)系統(tǒng)調(diào)用-e tracenetwork跟蹤所有網(wǎng)絡(luò)相關(guān)系統(tǒng)調(diào)用-e tracesignal跟蹤所有與信號(hào)相關(guān)的系統(tǒng)調(diào)用-e traceipc跟蹤所有與進(jìn)程間通信相關(guān)的系統(tǒng)調(diào)用。read/write限定符則用于輸出指定文件描述符上讀寫的數(shù)據(jù)內(nèi)容例如-e read3,5表示輸出從 fd 3、5 讀出的數(shù)據(jù)——這在分析協(xié)議交互時(shí)非常有用。實(shí)例一追蹤系統(tǒng)調(diào)用讀懂程序的一舉一動(dòng)做一個(gè)很簡(jiǎn)單的程序來演示 strace 的基本用法。C 語言代碼如下# filename test.c #include stdio.h int main() { int a; scanf(%d, a); printf(%09d\n, a); return 0; }程序邏輯極其簡(jiǎn)單從標(biāo)準(zhǔn)輸入讀一個(gè)整數(shù)再按 9 位寬度補(bǔ)零輸出。用gcc -o test test.c編譯得到可執(zhí)行文件 test然后用 strace 調(diào)用執(zhí)行strace ./test執(zhí)行期間程序會(huì)要求輸入一個(gè)整數(shù)輸入 99得到結(jié)果// 直接執(zhí)行test的結(jié)果 oracleorainst[orcl]:~ $./test // 執(zhí)行的結(jié)果 99 000000099 // 通過strace執(zhí)行test的結(jié)果 oracleorainst[orcl]:~ $strace ./test // strace的trace結(jié)果 execve(./test, [./test], [/* 41 vars */]) 0 uname({sysLinux, nodeorainst.desktop.mycompany.com, ...}) 0 brk(0) 0x8078000 fstat64(3, {st_modeS_IFREG|0644, st_size65900, ...}) 0 old_mmap(NULL, 65900, PROT_READ, MAP_PRIVATE, 3, 0) 0xbf5ef000 close(3) 0 open(/lib/tls/libc.so.6, O_RDONLY) 3 read(3, \177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0\3\0\1\0\0\0\200X\1..., 512) 512 fstat64(3, {st_modeS_IFREG|0755, st_size1571692, ...}) 0 old_mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ee000 old_mmap(NULL, 1275340, PROT_READ|PROT_EXEC, MAP_PRIVATE, 3, 0) 0xa02000 old_mmap(0xb34000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED, 3, 0x132000) 0xb34000 old_mmap(0xb37000, 9676, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) 0xb37000 close(3) 0 set_thread_area({entry_number:-1 - 6, base_addr:0xbf5ee740, limit:1048575, seg_32bit:1, contents:0, read_only_exec:0, limit_in_pages:1, seg_not_present:0, useable:1}) 0 munmap(0xbf5ef000, 65900) 0 fstat64(0, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ff000 read(0, 99 99\n, 1024) 3 fstat64(1, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5fe000 write(1, 000000099\n, 10000000099 ) 10 munmap(0xbf5fe000, 4096) 0 exit_group(0) ?從 trace 結(jié)構(gòu)可以看到程序完整的工作過程系統(tǒng)首先調(diào)用execve開始一個(gè)新的進(jìn)程接著進(jìn)行環(huán)境初始化——uname獲取內(nèi)核信息、brk調(diào)整堆、一系列old_mmap映射動(dòng)態(tài)庫libc.so.6代碼段與數(shù)據(jù)段、set_thread_area設(shè)置線程本地存儲(chǔ)最后程序停頓在read(0, ...)上——這對(duì)應(yīng)scanf等待輸入。輸入 99 后程序調(diào)用write將格式化后的數(shù)值000000099輸出到屏幕fd 1最后調(diào)用exit_group退出進(jìn)程完成整個(gè)執(zhí)行過程。這里值得留意的是每個(gè)系統(tǒng)調(diào)用末尾的 0、 3、 10它們是調(diào)用的返回值例如read(0, 99\n, 1024) 3表示從標(biāo)準(zhǔn)輸入實(shí)際讀到了 3 個(gè)字節(jié)write(1, 000000099\n, ...) 10表示寫出了 10 個(gè)字節(jié)。返回值是 strace 輸出中最關(guān)鍵的信息之一排障時(shí)經(jīng)常據(jù)此判斷調(diào)用是否失敗負(fù)數(shù)即出錯(cuò)。實(shí)例二跟蹤信號(hào)傳遞觀察進(jìn)程如何被終止仍使用上面的 test 程序觀察進(jìn)程接收信號(hào)的情況。先執(zhí)行strace ./test等到等待輸入的畫面時(shí)不要輸入任何內(nèi)容然后打開另一個(gè)終端窗口輸入killall test可以看到程序隨即退出最后的 trace 結(jié)果如下oracleorainst[orcl]:~ $strace ./test execve(./test, [./test], [/* 41 vars */]) 0 uname({sysLinux, nodeorainst.desktop.mycompany.com, ...}) 0 brk(0) 0x9ae2000 old_mmap(NULL, 65900, PROT_READ, MAP_PRIVATE, 3, 0) 0xbf5ef000 close(3) 0 open(/lib/tls/libc.so.6, O_RDONLY) 3 read(3, \177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0\3\0\1\0\0\0\200X\1..., 512) 512 fstat64(3, {st_modeS_IFREG|0755, st_size1571692, ...}) 0 old_mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ee000 old_mmap(NULL, 1275340, PROT_READ|PROT_EXEC, MAP_PRIVATE, 3, 0) 0x2e9000 old_mmap(0x41b000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED, 3, 0x132000) 0x41b000 old_mmap(0x41e000, 9676, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) 0x41e000 close(3) 0 set_thread_area({entry_number:-1 - 6, base_addr:0xbf5ee740, limit:1048575, seg_32bit:1, contents:0, read_only_exec:0, limit_in_pages:1, seg_not_present:0, useable:1}) 0 munmap(0xbf5ef000, 65900) 0 fstat64(0, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ff000 read(0, 0xbf5ff000, 1024) ? ERESTARTSYS (To be restarted) --- SIGTERM (Terminated) 0 (0) --- killed by SIGTERM 這次的關(guān)鍵變化在最后三行阻塞在read(0, ...)上的進(jìn)程收到 SIGTERM 信號(hào)read 系統(tǒng)調(diào)用被中斷返回? ERESTARTSYS (To be restarted)該返回值表示系統(tǒng)調(diào)用將被重啟緊接著 strace 打印出--- SIGTERM (Terminated) 0 (0) ---標(biāo)記信號(hào)到達(dá)并以 killed by SIGTERM 明確告知 test 進(jìn)程是被 SIGTERM 信號(hào)殺死的。killall命令默認(rèn)發(fā)送的正是 SIGTERM可參考倉庫中 killall 命令文檔它把「按名稱查找進(jìn)程 發(fā)送信號(hào)」兩步合并為一步。這一實(shí)例展示了 strace 的典型排障用法當(dāng)程序「莫名其妙」退出時(shí)strace 能明確告訴你是被哪個(gè)信號(hào)終止的——這在排查 OOM Killer、外部監(jiān)控腳本誤殺、服務(wù)重啟等場(chǎng)景中尤其有用。實(shí)例三系統(tǒng)調(diào)用統(tǒng)計(jì)量化程序行為strace 不光能追蹤系統(tǒng)調(diào)用通過-c參數(shù)它還能將進(jìn)程所有的系統(tǒng)調(diào)用做一個(gè)統(tǒng)計(jì)分析。執(zhí)行帶-c參數(shù)的 stracestrace -c ./test得到的統(tǒng)計(jì)結(jié)果oracleorainst[orcl]:~ $strace -c ./test execve(./test, [./test], [/* 41 vars */]) 0 % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 45.90 0.000140 5 27 25 open 34.43 0.000105 4 24 21 stat64 7.54 0.000023 5 5 old_mmap 2.62 0.000008 8 1 munmap 1.97 0.000006 6 1 uname 1.97 0.000006 2 3 fstat64 1.64 0.000005 3 2 1 read 1.31 0.000004 2 2 close 0.98 0.000003 3 1 brk 0.98 0.000003 3 1 mmap2 0.66 0.000002 2 1 set_thread_area ------ ----------- ----------- --------- --------- ---------------- 100.00 0.000305 68 47 total統(tǒng)計(jì)表清晰地揭示了程序的行為特征open被調(diào)用了 27 次卻出現(xiàn) 25 次錯(cuò)誤error 列stat64調(diào)用 24 次出現(xiàn) 21 次錯(cuò)誤——這是因?yàn)閯?dòng)態(tài)鏈接器在搜索共享庫時(shí)會(huì)對(duì)多個(gè)候選路徑逐一open/stat64找不到就返回錯(cuò)誤直到命中正確的路徑這是正?,F(xiàn)象而非故障。% time列展示每個(gè)系統(tǒng)調(diào)用的耗時(shí)占比seconds是該類調(diào)用的累計(jì)耗時(shí)usecs/call是單次調(diào)用平均耗時(shí)calls是調(diào)用次數(shù)errors是出錯(cuò)次數(shù)。末尾的total行給出全局匯總本次運(yùn)行共 68 次調(diào)用、47 次出錯(cuò)、總耗時(shí) 0.000305 秒。這個(gè)功能對(duì)分析程序性能熱點(diǎn)極有價(jià)值哪類系統(tǒng)調(diào)用最耗時(shí)、出錯(cuò)最頻繁一眼即知從而為優(yōu)化方向如減少文件系統(tǒng)訪問、增加緩存、合并小寫入提供數(shù)據(jù)支撐。常用參數(shù)實(shí)戰(zhàn)除了-cstrace 還提供了其他常用參數(shù)便于按需獲取信息。重定向輸出參數(shù)-o用于將 strace 的結(jié)果輸出到文件中。如果不指定-o默認(rèn)輸出設(shè)備是 STDERR也就是說-o filename和2filename的結(jié)果是一樣的# 這兩個(gè)命令都是將strace結(jié)果輸出到文件test.txt中 strace -c -o test.txt ./test strace -c ./test 2test.txt理解這一點(diǎn)的實(shí)際價(jià)值在于strace 結(jié)果默認(rèn)走 stderr 而非 stdout因此既可以用-o讓工具自己管理輸出文件也可以借助 shell 的重定向機(jī)制把輸出導(dǎo)入任意位置例如配合grep過濾、tee同時(shí)查看和保存。跟蹤產(chǎn)生大量輸出時(shí)務(wù)必使用文件保存避免終端刷屏影響觀察。對(duì)系統(tǒng)調(diào)用進(jìn)行計(jì)時(shí)strace 可以使用-T參數(shù)將每個(gè)系統(tǒng)調(diào)用所花費(fèi)的時(shí)間打印出來每個(gè)調(diào)用的時(shí)間開銷顯示在調(diào)用行最右邊的尖括號(hào)內(nèi)oracleorainst[orcl]:~ $strace -T ./test // 這里只摘錄部分結(jié)果 read(0, 1 1\n, 1024) 2 2.673455 fstat64(1, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 0.000014 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5fe000 0.000017 write(1, 000000001\n, 10000000001 ) 10 0.000016 munmap(0xbf5fe000, 4096) 0 0.000020 exit_group(0) ?注意read調(diào)用耗時(shí) 2.673455 秒——這是它阻塞等待鍵盤輸入的時(shí)間與程序執(zhí)行邏輯一致而后續(xù)調(diào)用都是微秒級(jí)。這一參數(shù)把「哪次調(diào)用慢」精確到單個(gè)系統(tǒng)調(diào)用級(jí)別是定位 IO 瓶頸、鎖等待、網(wǎng)絡(luò)阻塞的利器。系統(tǒng)調(diào)用的時(shí)間strace 會(huì)將每次系統(tǒng)調(diào)用的發(fā)生時(shí)間記錄下來使用-t/-tt/-ttt三個(gè)參數(shù)即可看到效果參數(shù)名輸出樣式說明-t10:33:04 exit_group(0)輸出結(jié)果精確到秒-tt10:33:48.159682 exit_group(0)輸出結(jié)果精確到微秒-ttt1262169244.788478 exit_group(0)精確到微秒且時(shí)間表示為 Unix 時(shí)間戳三種精度的選擇取決于分析粒度粗看調(diào)用序列用-t足夠分析毫秒級(jí)延遲或調(diào)用頻率用-tt需要與其他日志時(shí)間戳如應(yīng)用日志、數(shù)據(jù)庫 trace 文件做跨源對(duì)齊時(shí)-ttt輸出的 Unix 時(shí)間戳最方便計(jì)算時(shí)間差。截?cái)噍敵?s參數(shù)用于指定 trace 結(jié)果每一行輸出的字符串長(zhǎng)度。下面看看對(duì) test 程序中-s參數(shù)的影響指定-s 20然后在 read 時(shí)輸入一個(gè)超過 20 個(gè)字符的數(shù)字串strace -s 20 ./test read(0, 2222222222222222222222222 // 我們輸入的2一共有25個(gè) 22222222222222222222..., 1024) 26 // 而我們看到的結(jié)果中2只有20個(gè)默認(rèn)情況下字符串最多顯示 32 個(gè)字符文件名除外文件名一直全部輸出。當(dāng)關(guān)心調(diào)用參數(shù)中的大塊數(shù)據(jù)如完整的 SQL 文本、協(xié)議報(bào)文時(shí)就需要調(diào)大-s反之當(dāng)輸出中夾雜大量二進(jìn)制數(shù)據(jù)影響閱讀時(shí)可以調(diào)小-s讓輸出更清爽。跟蹤一個(gè)現(xiàn)有的進(jìn)程strace 不僅能自己初始化一個(gè)進(jìn)程進(jìn)行跟蹤還能掛接到現(xiàn)有進(jìn)程上參數(shù)-p就是起這個(gè)作用的strace -p pid掛接運(yùn)行中的進(jìn)程是生產(chǎn)環(huán)境排障的典型姿勢(shì)進(jìn)程已經(jīng)出現(xiàn)異??ㄋ馈⒏哓?fù)載、句柄泄漏時(shí)才介入無需重啟進(jìn)程直接觀察其當(dāng)前行為。掛接后按 CtrlC 即可停止跟蹤并恢復(fù)進(jìn)程正常運(yùn)行。綜合實(shí)戰(zhàn)strace 分析 Oracle lgwr 進(jìn)程前面介紹了不少功能和參數(shù)下面來看一個(gè)實(shí)用的綜合案例研究 Oracle 的 lgwrLog Writer日志寫進(jìn)程進(jìn)程驗(yàn)證它是否像文檔所述那樣每 3 秒寫一次 log 文件??紤]到 lgwr 寫日志的觸發(fā)條件比較多需要找一個(gè)空閑的 Oracle 實(shí)例做這個(gè)實(shí)驗(yàn)。第一步獲取 lgwr 進(jìn)程的 PIDps -ef|grep lgwr oracle 5912 1 0 Nov12 ? 00:14:56 ora_lgwr_orcl得到 lgwr 的 PID 是 5912ps -ef | grep的常規(guī)找進(jìn)程方式可參考倉庫中 ps 命令文檔。啟動(dòng) strace將跟蹤結(jié)果輸出到 lgwr.txt 文件中strace -tt -s 10 -o lgwr.txt -p 5912這里綜合使用了三個(gè)參數(shù)-tt輸出微秒級(jí)時(shí)間戳用于精確觀察寫入間隔、-s 10截?cái)嘧址敵鰈gwr 寫入的數(shù)據(jù)塊很大只關(guān)心前 10 個(gè)字符即可、-o lgwr.txt將結(jié)果寫入文件避免長(zhǎng)時(shí)間跟蹤刷屏。過一會(huì)兒停止 strace然后查看結(jié)果。由于輸出較多為了方便只查看 Oracle 寫入 log 文件時(shí)用到的 pwrite 函數(shù)調(diào)用grep pwrite\(20 lgwr.txt為什么 grep 時(shí)用pwrite(20呢因?yàn)楫?dāng)前機(jī)器打開的 log 文件句柄編號(hào)從 2 開始。具體查找方法是先找出當(dāng)前活動(dòng)的日志文件都有哪些在 SQL*Plus 中執(zhí)行select member, v$log.status from v$log, v$logfile where v$log.group#v$logfile.group#;得到MEMBER STATUS -------------------------------------------------- ---------------- /db/databases/orcl/redo-01-a/redo-t01-g03-m1.log INACTIVE /db/databases/orcl/redo-03-a/redo-t01-g03-m2.log INACTIVE /db/databases/orcl/redo-02-a/redo-t01-g02-m1.log CURRENT /db/databases/orcl/redo-04-a/redo-t01-g02-m2.log CURRENT /db/databases/orcl/redo-01-a/redo-t01-g01-m1.log INACTIVE /db/databases/orcl/redo-03-a/redo-t01-g01-m2.log INACTIVE /db/databases/orcl/redo-02-a/redo-t01-g04-m1.log INACTIVE /db/databases/orcl/redo-04-a/redo-t01-g04-m2.log INACTIVE然后到 /proc 中查看該進(jìn)程打開的文件句柄ll /proc/.5912/fd/得到lrwx------ 1 oracle dba 64 Dec 30 10:55 18 - /db/databases/orcl/redo-01-a/redo-t01-g01-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 19 - /db/databases/orcl/redo-03-a/redo-t01-g01-m2.log lrwx------ 1 oracle dba 64 Dec 30 10:55 20 - /db/databases/orcl/redo-02-a/redo-t01-g02-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 21 - /db/databases/orcl/redo-04-a/redo-t01-g02-m2.log lrwx------ 1 oracle dba 64 Dec 30 10:55 22 - /db/databases/orcl/redo-01-a/redo-t01-g03-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 23 - /db/databases/orcl/redo-03-a/redo-t01-g03-m2.log lrwx------ 1 oracle dba 64 Dec 30 10:55 24 - /db/databases/orcl/redo-02-a/redo-t01-g04-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 25 - /db/databases/orcl/redo-04-a/redo-t01-g04-m2.log對(duì)照 SQL 查詢結(jié)果可知狀態(tài)為 CURRENT 的兩個(gè)活動(dòng)日志文件group 2 的兩個(gè)成員對(duì)應(yīng)的句柄是 20 和 21。至此grep pwrite\(20 lgwr.txt的過濾條件就有了依據(jù)。得到的結(jié)果如下11:13:55.603245 pwrite(20, \1\\0\0J!..., 1536, 4363264) 1536 11:13:55.603569 pwrite(21, \1\\0\0M!..., 1536, 4363264) 1536 11:13:55.606888 pwrite(20, \1\\0\0M!..., 1536, 4364800) 1536 11:13:55.607172 pwrite(21, \1\\0\0M!..., 1536, 4364800) 1536 11:13:55.607934 pwrite(20, \1\\0\0P!..., 1536, 4366336) 1536 11:13:55.608199 pwrite(21, \1\\0\0P!..., 1536, 4366336) 1536 11:13:55.610260 pwrite(20, \1\\0\0S!..., 1536, 4367872) 1536 11:13:55.610530 pwrite(21, \1\\0\0S!..., 1536, 4367872) 1536 11:14:00.602446 pwrite(20, \1\\0\0V!..., 1536, 4369408) 1536 11:14:00.602750 pwrite(21, \1\\0\0V!..., 1536, 4369408) 1536 11:14:00.606386 pwrite(20, \1\\0\0Y!..., 1536, 4370944) 1536 11:14:00.606676 pwrite(21, \1\\0\0Y!..., 1536, 4370944) 1536 11:14:00.607900 pwrite(20, \1\\0\0\\..., 1024, 4372480) 1024 11:14:00.608161 pwrite(21, \1\\0\0\\..., 1024, 4372480) 1024 11:14:00.608816 pwrite(20, \1\\0\0^!..., 1024, 4373504) 1024 11:14:00.609071 pwrite(21, \1\\0\0^!..., 1024, 4373504) 1024 11:14:00.611142 pwrite(20, \1\\0\0!..., 1536, 4374528) 1536 11:14:00.611454 pwrite(21, \1\\0\0!..., 1536, 4374528) 1536 11:14:05.602804 pwrite(20, \1\\0\0c!..., 1024, 4376064) 1024 11:14:05.603119 pwrite(21, \1\\0\0c!..., 1024, 4376064) 1024 11:14:05.607731 pwrite(20, \1\\0\0e!..., 1024, 4377088) 1024 11:14:05.608020 pwrite(21, \1\\0\0e!..., 1024, 4377088) 1024 11:14:05.608690 pwrite(20, \1\\0\0g!..., 1024, 4378112) 1024 11:14:05.608962 pwrite(21, \1\\0\0g!..., 1024, 4378112) 1024 11:14:05.611022 pwrite(20, \1\\0\0i!..., 1536, 4379136) 1536 11:14:05.611283 pwrite(21, \1\\0\0i!..., 1536, 4379136) 1536從輸出可以清楚讀出11:13:55 有一組寫操作隨后 11:14:00、11:14:05 又各出現(xiàn)一組——兩次寫日志的時(shí)間間隔正好是 5 秒。每組寫操作中l(wèi)gwr 對(duì)成員文件 20 和 21 交替以pwrite寫入 1024/1536 字節(jié)的數(shù)據(jù)塊pwrite 的第三個(gè)參數(shù)是寫入長(zhǎng)度第四個(gè)參數(shù)是文件偏移返回值等于寫入長(zhǎng)度表示寫入成功。這驗(yàn)證了 lgwr 的周期性寫入行為也完整展示了一個(gè)「strace 掛接生產(chǎn)進(jìn)程 SQL 查詢定位文件 /proc 確認(rèn)句柄 定向 grep 過濾」的組合排障方法論。小結(jié)何時(shí)使用 strace回顧全文strace 的典型使用場(chǎng)景可以歸納為四類程序「憑空」退出或行為異常用strace或strace -f跟蹤子進(jìn)程觀察卡在哪個(gè)系統(tǒng)調(diào)用、收到什么信號(hào)參考實(shí)例二的 SIGTERM 定位法性能熱點(diǎn)定位用-c得到系統(tǒng)調(diào)用統(tǒng)計(jì)表或-T定位單次慢調(diào)用參考實(shí)例三與常用參數(shù)一節(jié)理解陌生程序的內(nèi)部工作過程用默認(rèn)跟蹤模式完整記錄其啟動(dòng)、初始化、主循環(huán)的每一步系統(tǒng)調(diào)用參考實(shí)例一生產(chǎn)環(huán)境診斷運(yùn)行中的進(jìn)程用-p掛接 -o落盤 -tt精確時(shí)間戳配合 grep 過濾感興趣的系統(tǒng)調(diào)用參考綜合實(shí)戰(zhàn)中的 lgwr 案例。掌握 strace 后Linux 上「程序做了什么」不再是一個(gè)黑盒。它和 ltrace 命令文檔庫函數(shù)層、gdb 命令文檔交互調(diào)試層共同構(gòu)成了從系統(tǒng)調(diào)用到用戶態(tài)代碼的完整觀察鏈條是 Linux 工程師排障工具箱中不可或缺的一環(huán)。贊分享文檔教程【免費(fèi)下載鏈接】linux-commandLinux命令大全搜索工具內(nèi)容包含Linux命令手冊(cè)、詳解、學(xué)習(xí)、搜集。https://git.io/linux項(xiàng)目地址https://gitcode.com/GitHub_Trending/linux/linux-command點(diǎn)擊查看免費(fèi)下載相關(guān)推薦MATHC向量操作完全指南從基礎(chǔ)到高級(jí)的2D/3D向量處理MATHC向量操作完全指南從基礎(chǔ)到高級(jí)的2D/3D向量處理 MATHC是一個(gè)純C語言編寫的輕量級(jí)數(shù)學(xué)庫專注于2D和3D向量處理為游戲開發(fā)、圖形編程等場(chǎng)景提終極指南如何在xv6-riscv中實(shí)現(xiàn)系統(tǒng)調(diào)用跟蹤與strace工具功能終極指南如何在xv6 riscv中實(shí)現(xiàn)系統(tǒng)調(diào)用跟蹤與strace工具功能 xv6 riscv是一個(gè)基于RISC V架構(gòu)的教學(xué)操作系統(tǒng)通過學(xué)習(xí)它可以深入理解操操作系統(tǒng)嵌入式img2threejs 細(xì)節(jié)清單Detail Inventory實(shí)戰(zhàn)指南把參考圖中的身份細(xì)節(jié)變成可門禁的結(jié)構(gòu)化數(shù)據(jù)img2threejs 細(xì)節(jié)清單Detail Inventory實(shí)戰(zhàn)指南把參考圖中的身份細(xì)節(jié)變成可門禁的結(jié)構(gòu)化數(shù)據(jù) 導(dǎo)讀 detailInventoryAI 技能3D渲染代碼生成創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
大香蕉综合| 精品一二三区女同| 国产欧美精选自拍一区| 亚洲AV不卡在线观看| 激情五月天网| 国产亚洲中文不卡二区| 色综91| 人妻免费观看| 最新加勒比丝袜在线| 日本免费人成视频播放120秒| 操淫穴亚洲五月丁香 | 日韩性爱啪啪视频| 色综合20p| 91婷婷| 91露脸熟女专区| 亚洲玖玖爱| 久久仑合| baisiav| 亚洲av影院在线观看| 欧美色女人| 超碰97久久国| 伊人操操| 蜜桃精品一区二区三区ww| 无码在线亚洲| 丰满人妻一区二区三区四区| 伊人黄色片| 丰满少妇一区二区三区免费看| m欧洲一级午老| 狠狠干,狠狠操| 亚洲精品美女久久久久久久久| 操一操摸一摸| 白丝av| 婷婷丁香人妻 | 亚洲一区中文字幕| 天天超级碰碰碰| 中文字幕乱码人妻一区二区三区,99精品| 久久香蕉综合一本到3atv| 性色AV蜜色av色欲av| 成人AV在线网站| 91爱欧美| 国产精品久久久久久久久久久久久久久久 | 国产九月婷婷| 懂色AV一区二区三区| 亚洲 一区二区 自拍| 亚洲一区日韩精品中文字幕| 亚洲欧美国产va在线播放频| 三久久久四久久久久| 很很很很操| 婷婷五月天无码| 怡红院成人视频| 九九综合网| 干b在线性社区| 中文字幕亚洲欧美在线不卡| 区一在线观看| av操操不卡| 亚洲。日韩。欧美| 国产13区| 欧美色图小说综合| 91色婷婷综合久久中文字幕二区| 久久尹人大香焦视| 日韩精品中文字幕人妻| 日韩人体偷拍| WWW4虎| 国产女上位好爽在线| 夜夜爽妓女| AV天堂男人的天堂| 国产噜噜噜噜噜久久久久久久久| 91国精产品| 青青草视频在线观看一区二区| 91超碰人人| 美女久久久久久久| 嫩草 人人网精品| 强奸乱伦资源| 天天插天天干| 日韩欧美丝袜诱惑| 国语精品对白| A片大香蕉在线| 91天天c| 久久久久久久国产| 丝袜天堂网| 日韩三级av片| 上海一级黄片| 国产av青草| 欧美性爱一区| 亚洲Av诱惑| 美国日韩黄片| 久久久久国产精品喷潮免费观看臀| 国产一区二区三区白丝| 激情五月综合网| 女优免费一区二区永久| 美女91网址 | 久久精品99| 中文字幕在线观| 亚洲伊人a线观看视频| 国模艳艳啪啪一区| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 麻豆国产精品午夜视频| 黄色免费网页无码| 国产欧美日韩臀| 九九人妻| 日韩av不卡在线看| WWW4虎| 99少妇| 日韩中文字幕精品一区在线| 91女人的网站| 99999久久精| 天天看天天在线精品| 午夜天堂精品久久久久91| 9长久久精品| 欧美91精品国产自产| 中国操逼无码| 国产精品噜噜噜日日日| 自拍偷拍亚洲熟女妇人精品| 97亚洲资源| 日韩欧美三级| 91久久99久久91熟女精品| 日日橹狠狠爱欧美超碰| 老司机深夜影院18未满| 91视频综合在线| 狠狠操夜夜| 一区二区三区四区五区高清无码永久视频| 亚洲熟女人妻中文字幕一区二区| 欧美 亚洲 偷拍自拍| 亚洲综合性网址| 农村女一级毛卡片| 亚 欧 美 综合| 天美传媒麻豆一区二区三区国产精| 74成人在线| 67194无码不卡| 97视频在线播放| 精品-91人妻子系列| 在线亚洲丝袜视频网站| 日韩精品一区二区高清| 在线女人91| 欧美色吧综合| 久久人人看| 人人妻人人色一区二区三区| 91呆哥人妻| 福利天堂| 亚洲欧美日韩夜夜| 久久超碰日韩精品| 日本久久综合| 亚洲最新a在线观看| 免費人妻夜夜爽天天爽爽一区| 久久东京热成人| 丁香五月激情婷婷| 超碰97人妻在线| 色女综合| 国产精品熟女丝袜一区二区| 色噜噜日韩精品| 女人天堂网| 亚洲激情在线观看一区| av2014 日韩在线中文字幕| 欧美一区二区亚洲天堂| 日韩欧美加勒比| 日韩人妻少妇中文字幕| 亚洲第2页| 天欧美在线| 丁香五月天啪啪| 亚洲欧美激情小说| 夜夜 中文视频rt| 狠狠入| 久久久精品日本一道| 国产成人在线观看网址| 久久网亚洲| 亚洲人妻一区二区三区| 国产1024在线播放| 欧美综合中文| 91成人在线| 国内毛片婷婷六月色| 曰本道人妻久久久在线不卡色视频| 韩国黄色片精品久久久| AAAA级日本片免费视频| 天天爽入口| 91婷婷伊人狠人| 黄色香蕉视频网站一区| 蜜汁欧美| 99热 按摩 日韩| 九九久久精品| av在线免费一区二区| 96超碰网| 加勒比东京热五月天天堂网| 亚州精人品大香蕉| 亚洲乱码国产乱码精网站| 国产视频第二页| 亚洲熟妇图片| 成人草草视频| 久久日本熟女精品一区| 天天影视网综合少妇| 亚洲中文国际强奸字幕| 国产粉嫩蜜臀av一区二区三区| 亚洲欧美日韩国产丝袜自拍中文| 欧美在线官网| 性做久久久久久免费观看软件| 99久久久无码国产精品性啊聊| 97超碰这里只有精品| 东京热男人的天堂网| 亚洲 另类 丝袜 自拍 动漫| 97天天摸天天碰| 久碰视频| 免费观看啪视频| 色就色综合| 激情小说在线视频| 国产999精品久久久| 久久久禁| 日本久久综合| 天天香香欲综合| 91亚·色| 极品尤物在线观看| 久久性爱城| 在线观看岛国有码| 国产人妖视频一区在线观看| 亚洲欧洲av影音| 91中文字幕制服丝袜免费视频| 国产高清在线自在拍69| 久草精品视频| 偷拍2020| 国产精品第二页| 97超碰色屌| 搡老女人老91二区| 日本精品一区二区不卡| 传媒在线观看一区二区三区| 人人妻人人玩人人澡人人爽| 蜜桃av色偷偷av老熟女| 伊人天天久久动态图| 91精品国产91熟女| 欧美呦呦性爱| www.av在线视频| 成人五级久久| 国产精品蜜乳AV| 精品国产丝袜一区二区三区乱码| 国产麻豆福利av在线播放| 国产欧美一级在线观看| 五月婷色| 哈哈操电影AV| 激情人妻另类| 99re28在线观看| 天天影视91看看| 日韩综合97p| 欧日韩一二三f区| 久久久青青草| AV麻豆免费一区| 在线岛| 欧美亚洲尤物久久| 亚洲精品美女久久久久久久久| 377p欧洲日本亚洲大胆| 色一色综合网| 色性欧美| 日本东京热大香蕉a片| 人人爽天天爽| 国产超碰在线一区| 玖玖综合视频| 在线观看不卡一区二区三区| 日本男人插女人的逼黄色| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 亚洲欧美九九九| 久久久久久久久久久久九| 97在线青| 小骚逼被操的爽不爽| 97精品一区二区视频在线观看| 亚洲少妇激情一区二区三区| 偷拍亚洲| 在免费jIzzjIzz在线视频| 67914亚洲精品| 蜜桃视频一区二区三区在线观看| 久久精品国产97欧美精品亚洲| 欧美色图 色综合图| 国产成人精品必看 | 99热最新网址| 九九成人精品| 青青五月天| 国产隔壁老王影院在线| 一区二区 韩日AV| 人妻人人澡人人爽人人| 欧美牲| 成人八戒网站| 日本青青草在线| 果冻传媒A片一二三区| 青草综合| 日本性爱不卡视频| 九九自拍伦理| 国产精品又黄又猛又粗| 国产性感骚丝袜在线| 亚洲精品97久久中文字幕| 高清有码一区二区| 91九九九馒头| 少妇久久久久| 久久激情网| 97精品在线| 无码操逼视频一下| 中文字幕制服欧美久久一区| 国产午夜精品理论片一二三区区| 1二区9| 国产9l 大屁股| a级理论午夜日本| 自拍二页| 久久青青草原免费视频| 成人天天看站长推荐| 欧美影院一区二区三区| av大香蕉网站| 久久性爱视频99| 情色五月天久久久| 欧美性爱免费短视频| 久久久久久中文字幕中文字幕最新| 91色欧美| 国产欧美日韩女同性恋ww喷水精品 | 久久伊人在线五区| 久久中文字幕女同性恋一区| 亚洲av综合伊人久久| 人妻天堂综合网| 国产国产亚洲一二三久久| 人妻在线视频| 日韩精品三级| 99热综合| 超碰免费人妻在线| 91av天美性媒精品视频| 欧美日日操| 传媒免费一区二区三区| 国产精品麻豆视频网站| 国内精品久9| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 99re国产中文字幕| 欧中美三级一区二区三区| 中文字幕 人妻不满 在线视频| 日韩av在线免费网站| 午夜性| 手机在线免费看的av| 少妇天堂网络| 欧美性爱视频免费一区一A| 91爱欧美| 水澄无码AV| 婷婷伊人五月| 嫩草黄页| 女色视频社区| 黄色一区二区秘书性感| 东北老熟女| 久久久com| 视频一区二区三区精品| 插B在线观看| 色色色色综合网| 日日骚AV| 熟妇国产免费一区| 理论久久婷婷网 8| 在线播放成人高清免费视频 | av橘色网站| 超91综合网| heyZO天然素人无码AⅤ专区| 日逼97| 亚洲成人精品久久久| 911av网站免费观看| 久久久久96| 97国产超湿| 免费观看的黄色的网站| 精品无码久久久久久久杏吧| 天天干1区2区在线| 欧美色九九九| 亚洲成人综合在线| 日本免费一级AAA大片器| 超碰吊日色| 成人A片男人的天堂| 欧美性爱伊人| 51久久夜色精品国产麻豆| 夜夜春夜夜操| 青青草日韩免费观看高清在线| 夜色五月天| 岛国黄| 91欧美在线| 久久久9 9 9精品| 佐山爱中文字幕| 超碰人人草| 啪啪啪东京| suv精产一二三区| 国产情色第一第二页在线观看| 口爆综合网| 熟女突然公开看18禁影片| 欧美精品宗合| 欧美美女视频| 亚洲图片第一页| 亚洲九九视频在线观看| 夜精品久无码| 日本九九久久99播| 日韩精品区二区三区不卡| 国产精品色片一区二区| 黄色av网站在线播放| 日本精品一区二区三区四区的功能| 日本黄页视频在线观看| 亚洲黄a三级三级三级看三级| 天天肏美女| 97福利视频| 麻豆这里只有精品| 啪啪啪大香蕉| 婷婷色色网| 人人色人人操在线| 亚洲一区二区久久久久| 黑人精品一区二区在线播放| 人人搞人人插人人操| 精品人妻av区天天看片| 色香综合| 美国日韩黄片| 午夜男女爽爽大片免费观看| 日本伦乱九九九综合 | 99成人| 中文字幕在线免费观看视频| 久久草在线综合视频| 日韩精品 视频一区二区| 精品国产91内射久久| 88xx成人精品视频| 欧美激情性久久久久久| 九九精品无码专区免费| 国模无码一区二区三区在线| 色婷网| 丁香婷婷啪啪| 国产九九久久久精品| 欧美亚洲丝袜美女电影| 无码视频一区二区| 日日日色色色色色| 97超级久久| 高清视频一区| 男女啪啪网站免费视频| 国产树林里野战在线看| 91性高潮久久久久久久久| 志村玲子视频一区二区| 久久久久久波多野吉衣高潮| 亚洲高清男人天堂| 超碰免费人妻在线| 亚洲图片婷婷五月天| AV污污污污| 五月天成人综合| 中文字幕视频2区| 77国产精品| 人妻熟女一区二区三区视频| 探花精品 一区二区| 欧美传媒| 99精品免费| 天天操天天射青青草| 91爱看| 9久久久久| 极品欧美一区二区三区| 男男H黄动漫啪啪无遮挡网站| 亚洲综合五月天| 粉嫩少妇自慰在线| 另类欧美色| 99re国产精品视频| 9/A片 | 曰韩精品视频一区二区| 熟妇无码视频三区| 国产偷拍自拍在线视频| 中国少妇XXXX做受| 欧美日韩夜夜| 亚洲色婷婷综合久久一区二区三区| 国产精品视频在线观看| 丰满人妻无码一区二区三区| 四虎永久在线精品免费网址| 精品无av| 亚洲1区2区三区高清中文字幕| 伊人久久艹| 青木玲在线不卡| 98人妻精品一区二区色欲| 国产三级中文有码在线视频| 亚洲欧洲日产国产综合网| 成人一二三区| 国产精品视频白浆免费| 欧美韩国你懂得在线 | 亚洲日韩青青草色月| 一二区在线观看视频| 久久成人国产| 久久久久网站-538在线视频-欧美永久乱码 | 亚洲精品欧美专业| 久久久久国产精品久久久| 人人操人人摸人| 好舒服视频| 国产无码精品高清| 欧美熟妇精品黑人巨大一二三区| 色综91| 18禁超污无遮挡无码免费网| 日韩不卡网操逼中文字幕日韩| 日语五十路和六十路亚洲国产精品| 13小男生GAY自慰脱裤子| 狠狠操夜夜操蜜桃视频三区| 91亚洲影视| 97婷婷色| 欧美成人精品欧美一级乱黄一区二…| 久久肏大逼| 激情情色五月天| 亚洲五码一区二区三区| 国产欧美黑人丰满在线| 精品国产人成在线| 亚洲综合草草| 国产三级日产三级韩国三级| 四虎影视永久在线观看精品免费网站 | 美国aaaaa一级黄片| 色天堂综合| 欧美不卡二区| 久久久久深夜无码| 五月丁香色色网| 蜜臀久久99精品久久久久久成人小说 | 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 国产丝袜欧美在线视频| 人人妻人人操人人乐| 日日超碰亚洲| 亚码人妻| 99色天堂| 啊啊嗯嗯好爽| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 黄色无码高清黄色无码网站| 少妇同性| 国产精品蜜乳AV| 夜夜国自区| 丁香五月激情网| 一级性爱网| 亚洲美女 晚间男人天堂 | www.亚洲黄色| 亚洲偷91色| 亚洲中文字幕网| 国产女主播视频在线观看| 国产精品久久久久av| 好爽视频在线观看视频| 亚洲欧洲无码97久久精品| 国产亚洲美日韩Aⅴ中文字幕无码成人| 941超碰| 91麻豆天美国产欧美日| 亚州免费啪啪视频| 亚洲国产97在线精品一区| 久久久久久久 九九九九九九九| 欧美日韩黄片精品在线| 五十路熟女,国产欧美精品区一区二区三区 | 东京成人一区| 黄在线| 亚洲色图欧洲| 岛国不卡超碰护士AV在线播放| 在免费jIzzjIzz在线视频| 天堂性色| 99在线精品观看视频中文| 九九九九九九亚洲| 天天干天天狼在线视频| 在线国产福利网址导航| 熟女人妻精品一区二区视频| 99国产精品自在自在| 亚洲国产综合久久天堂| 日本熟妇人妻中出视频| 人妻精品一区二区| 97视频免费在线| 日产中文字幕2020| 99热综合| 色婷婷九月| 淫荡熟女乱伦网| 91天天综合| 日韩AV噜噜噜一区二区三区四区| 大香蕉色欲AV| 久久国99999| 国产剧情一区在线观看| 国产精品视频白浆免费| www.91理论| 久久久久9999| 人妻少妇精品久久久久久久| 男人天堂导航| 一本久久久精品| 国产AV人人夜夜澡人人爽麻豆| 日本超碰在线国产一区| 99久久综合网| 色色丁香| 狠狠色婷婷7777久| 亚洲综合色婷婷| 精品国产乱码久久久久久口爆网站 | 亚洲成人无码影院| 9国产超碰| 国模无码人体一区二区三| 国产熟妇 码视频户外直播| 91亚洲影视| 中文字幕乱妇免费视频| 97久久超碰日韩精品| 天天天做天天天爱天天天爽| 亚州Av天美传媒| 精品久久艹| 9997se| 天天操天天干美女网址导航| 人妻人久久精品中文字幕| 老鸭窝日丰县女人| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 欧美色图人妻| 蜜桃午夜视频一区二区| 午夜视频久久久| 91天天爱| 青青草华人在线欧美在线| 超碰在线综合97| 欲色综合| 亚洲欧美综合| 另类TS人妖一区二区三区| 东北丰满熟女国产一区| 91小视频| 丝袜美腿诱惑亚洲欧美视频在线观看 | 啊啊啊好想要| 啪啪啪精品| 强奸乱伦AV一天堂网| 翔田千里AⅤHD无码| 欧美操逼熟女| 久久色情| 久热久一区二区三区| 97超碰亚洲| 欧美九一精品久久久熟妇| 尤物AV免费网站| 精品一区二区三区丰满熟女-亚洲欧美一区| 日本道人妻久久久在线不卡色视频| 97久久超碰日韩精品| 91丝袜在线观看| 三级色综合| 综合激情婷婷| 99九九久久| 久久久精| 亚洲天堂一二| 中出在线视频| 91色拍| 日本不卡一区| 日韩av不卡在线观看| 国模限制级电影| 中文字幕78| 午夜美女诱惑电源网| 国产福利电影| 五月色丁香| 久久久中文版| 91bbb| 丰满少妇乱子伦精品无| 中文字幕视频在线观看一区二区| 免费亚洲国产精品久久一区| 国产美女91| 日本成人A片网站| 激情网五月天| 黄总AV色图| 亚洲高清欧美总合| 97在线视频观看| 3p国产色噜噜一区| 人人噜夜夜操| 天美传媒精品一区二区| 亚洲欧美激情在线视频| 超碰97亚洲| 日本护士高潮| 久久久久网站-538在线视频-欧美永久乱码 | 国产h小视频在线观看免费| 日本精品不卡一二三区| 国产精品。| 91天天| 99热伊人| 9久9久| 无码天天操| 国产又大又粗又长视频在线| 九九九久久久| a网站免费观看| 久久久免费视频18| 91丨国产丨白浆秘 洗澡动漫| 亚洲综合中文字幕有码| 尤物视频网 刘玥| 亚洲无无码αⅴ每日更新| 五月丁香在线| 国产成人五月天丁香花| 天天精品| 精品国产乱码久久久久久日本公司| 精品九区| 五月天婷婷久久| 久久久精| 国产AV久久久蜜爱影集| 激情婷婷丁香网| 五月丁香六月综合缴清无码| 熟妇高潮一区二区免费视频| 日韩97| 中日无幕一二三四区| 手机av亚洲丝袜美腿日韩第一页二页| 搡老女人老91妇女老熟女| 国产精品午夜高潮呻吟久久av| 色五月激情AV在线| 色乱二区| 久久成人东京热人妻| 色伊人91| 久久久99999久网站| 黄色AAAAA欧美| 久久偷偷色综合蜜桃| 操逼逼福利视频| 欧美激情精品久久久| 亚洲性爱无码乱伦av| 久操网线| 2019午夜福利视频| 亚洲AV永久无码一区仙野| 午夜九九| 97久久资源| 亚洲成人黄色在线观看| 国产乱人妻精品入口| 人妻一区视频| 麻豆一区二区AV天美| 红杏大香蕉| 一区AV| 999熟女精品| 日本三级韩三级99久久| 91色狼| 欧美色天堂网在线视频| 天天色播亚洲综合网站| 人妻人久久精品中文字幕| 99这里有精品| 亚洲国产91精品一区二区久久| 男人天堂日日夜夜| 操婷婷逼| 秋霞午夜成人福利片片| 美女黑人91神马| 柠檬AV导航| yw尤物av无码点击进入麻豆| 91精品免费| 日本精品一区三区| 日本成熟少妇A∨网站| 激情人妻另类| 操九九九九九九| 婷婷丁香五月天综合东京热| 美女诱惑一区| 久草老司机| 亚洲精品色| 自慰白浆在线观看| 日日操免费视频| 51一区二区三区| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 97超碰超碰| 97干色天堂| 国产无马av| 熟妇的味道HD中文字幕| 偷拍 亚洲 欧美| 国产视频小说| 日韩美女久久一区二区三区| 91色婷婷综合久久中文字幕二区| 97在线观看免费视频| 综合情欲网| 96免费视频在线| 无码9区| 午夜福利视频在线一区| 国产视频一区二区三区在线免费观看| 亚洲色色色| 国产日韩欧美亚洲精品95| 天天草天天日| 综合亚洲欧美| 亚洲图片视频小说| 秋霞鲁丝午夜无码一区二区三| 91网站18在线观看| 国产一区二区三区导航| 国产精品熟女九色九色蜜臀| 熟妇综合一区二区三区| 丰满人妻一区二区三区免费| 第四色亚洲色图| 久久国产精品一级二级三级| 免費黃色視頻觀看一| 凹凸视频在线观看伊人| 国产精品原创巨作?v网站| 久操视频在线观看| 美女诱惑一区| 欧美丝袜中文字幕07在线| 中文字幕精品专区搜索结果91| 久久九精品| 大香蕉啪啪啪啪在线| 欧美色图片91| 欧美熟女激情| 男女91| 超碰97在线 欧美 国产| 日本不卡三级网在线播放| 亚洲天堂中文字幕无码男同| 亚洲成人美女无吗| 久久香蕉国产线看观看猫咪av| 色y情视频免费看| 女人与公拘交酡2020视频| 亚洲精品一二牛牛| 亚洲精品性爱片| 精品国产乱码久久久久久口爆网站 | 国模艳艳啪啪一区| 色欲日韩欧美在线一区| 开心五月天激情网| 男人的天堂2018东京热啪啪啪| 日韩情色视频| 久久只有精品一区二区三区| 精品人妻一区二区三区-国产| 欧美三级一级| 大香蕉宅男伊人| 新视频sss国产| 老鸭窝日丰县女人| 欧美在线综合| 日本不卡一二区| 国产精品美女视频诱惑| .精品人妻一区二区三| 日韩性爱1级片视频| 伊人影院综合是一个与深夜成人在线| 国产福利av精彩对白| 亚洲一曲日韩精品| 日韩无码三级影院| 99久久精品国产高潮| 深夜啪啪啪视频免费| 一区二区三区日韩欧美| 亚洲九九爱| 97操B| av一区二区三区不卡| 天堂中文日本在线观看| 色一情一乱一乱一区91Av| 亚洲av无码成电影在线播放| 91c色| 国产欧美日韩女同性恋ww喷水精品 | 午夜福利精品| 混色激情av| 伊人久大| 丰满人妻一区二区三区四区| 亚州宗合另类| 色97欧美| 18禁的网站在线| 操人妻逼91| 色汉综合| 五月花婷婷| 在线啊啊啊| 久操网视频| 国产男女无套97| 国产剧情在线| 精品久热| 骚妻少妇精品性色无码四色A V| 大香蕉乱级| 欧美熟爽综合| 熟妇女伦乱视频| 日本午夜福利影院| 欧亚日韩综合精品国产| 日韩精品色呦呦| 黑丝少妇麻豆| 屁股久久久久久| 欧美性爱五月天| yazhououmeizongya| 操B在线观看| 国产欧美后入| 欧美精品99久久久**| 日韩激情视频| 国产精品探花色| 好吊色一区| 欧美综合国产精品久久丁香| 日本一区二区三区精品| 久久久久久九九九| 超碰97起碰| 女人综合网| 欧美亚洲玖玖玖| 综合久久99| 日本人体九九九九九九| 亚洲天堂男人的天堂| 天天日天天插| 91精品老女人| 夜夜高潮夜夜爽| 国产超碰AV在线精品| 亚洲av热热色| 欧美精品日韩久久久九| 九九九九精品一区| 国产精品免费美女视频| 五月婷婷青青草娱乐伊人| 操我无码| 东京太热男人的天堂久久久| 九九色色| 最新日本中文字幕| 啊啊啊好舒服好爽啊啊啊视频| 91精品人妻偷情| 精品国产国产AV| 懂色AV蜜臀无码精品APP | 夜夜影视四色| 久久久久女教师免费一区| 夂久色| 国产精品肉丝自拍| 偷拍偷窥与盗摄视频专区| 91夜夜蜜桃臀1区2区3区| 日韩精品一区二区日韩| 欧美日韩97在线| 最新欧洲欧美日本激情网站| 老司机福利青青草| 久操网在线| AV九九| 亚洲一区操| 久久精品99| 蜜桃视频精品一区二区| 午夜.DJ高清在线观看免费7| 超碰在线综合97| 麻豆 欧美 日韩| 噜噜噜在线视频| 中国少妇啪啪视频| 天天舔九色婷婷| 天天天天天干夜夜夜夜夜操| 青春草莓视频在线观看网址| 色哟哟av网址| 97人肏| 久久99午夜精品一区人妻| 酒色综合网| 色综合99999| 日韩乱码Av| 日韩人妻播放| 青娱乐国产剧情av一区| 天天天操天天天爱| 日韩 人妻 精品| 日本在线视频导航| 国产精品一区二区久久精品| 人妻蜜桃臀| 精品免费国产二区三区| 六月丁香啪啪啪| 久久一区二区高清免费| 色婷婷国产精品一区在线观看| 欧洲精品一二三在线| 亚洲欧洲小说图片视频 | 激情婷婷五月天| 十八禁的黄污污免费网站| 91殴美| 熟妇一区,二区,三区。| 国产精品网站www| 大香蕉男女超碰精品在线| 日韩人妻中文视频| 国模私拍一区二区三区神乳| 九九九九九精品| 色97国产69香蕉| 中文字幕综合人妻| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 亚洲天堂综合AV| 日本在线激情一区二区三区| 人人污日韩一区二区| 婷婷五月在线视频| 强奸a片网| 日本视频一区二区三区| 日韩黄片影院| 精品人妻一二三| 人人操人人肉久久精品| 青青草原av| 久久9999| 日韩专区久久久| 香蕉色网| 亚洲的天堂网| 啊啊啊要高潮了| 久久久久久中文版| 欧美一区二区三区大综合| 久热伊人99re| 青青草九九九九九| 黑操B| 情侣开房子拍 日韩无码 女的很漂亮| 亚洲五月婷婷| 国产超碰在线| 婷婷综合视频| 美女刺激久久国产欧美| 五月丁香六月婷| 狠狠综合| 蜜臀av在线播放一区二区三区| 九月丁香婷婷| 亚洲91少妇| 人人妻人人操人人乐| 黄页18禁| 天美一二三在线观看Av| 色女综合| 青女在线| 9997se| 99少妇| 日韩在线国产字幕| 中文字幕人妻资源在线| 亚洲高清无毛一区二区| 亚洲精品毛片在线观看| 日本操逼视频导航| 超碰人人超在线观看| www狠狠| 天美传媒国产原创中文字幕亚洲欧美另类 | 欧美亚洲情色| 影音先锋每日最新资源在线观看 | 欧美三级免费伊人| 大香蕉欧美国产日韩高潮| 天天做天天爱天天爽AV| 使劲用力艹少妇视频一区二区| 青青草日韩免费观看高清在线| 熟妇一区,二区,三区。| 男人的天堂va在线| 亚洲A曰本VA欧美VA视频| 约操熟妇| 综合熟女| 96AV久久久| 破处bbq| 色欧美综合| 亚洲色图尤物视频| 久久久 国产精品| 精品久久久久,69国产成人精| 九九成人精品| 啊啊在线| 日本熟女不卡视频| 熟妇操花| 日本少妇va7777| 国产欧美日产一区二区三区 - 国产欧美日 | 操国产逼| av天堂手机版追回| 91九九九馒头| 国产精品久久久久久久久久久久久久久久 | 亚卅熟女乱色| 天天摸夜夜摸| 深夜激情 | 婷婷丁香成人| 国产精品网站免费| 无马一区二区| 国产一区在线观看无码AV| 91久久久久久久| 98精品国产乱码久久久久久| 日本亚洲嫩草影院啪啪| 亚洲日本激情| 天天摸,夜夜摸| 97精品在线| 日韩熟女无码| 色婷婷小说| 亚洲欲| 日韩激情无码影院| 狠狠干狠狠干| 日日碰视频网| 夜夜嗨一区二区三区直播内容| 夜夜骑操视频| 91大神精品长腿在线观看网站| 丁香啪啪| 成人小电影网站tex| 超碰精品在线| 人人操人人摸超碰| 黑丝少妇| 少妇综合| 国产精品欧美激在线| 日本三级A片网站com| 蜜桃视频一区二区三区| 高清无码 国产精品| 玖玖综合视频| 日韩久久三区| 中国AAAAAA黄色片| 狠狠躁天天躁日日躁| 日本视频一区二区三区| 久9久9久9久9久9久9| 五月婷婷六月色| 在线日韩日本亚洲国产| 国产精品网站免费| aaaa少妇高潮大片| 国产美女自拍视频| 激情露脸爱| 日本三级一区二区 在线| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 欧美色997| 3028国产精品| 欧美亚洲首页| 亚洲97P| 成人免费在线网站| 欧美色图电影| 日韩情色AV| 大地资源在线观看中文第二页| 综合 亚洲 欧美| 麻豆精品A片免费观看| 欧美日韩国内不卡| 日韩欧美日韩| 99国内熟女露脸视频| 天天日日夜夜| 强奸乱伦亚洲第一页| 欧美亚洲特P| 国产盗摄美女如厕大神作品在线观看| 秋霞免费AV| 亚洲色图欧美色图另类图片| 久草综合视频| av天堂影视中文在字幕在线中文| 收看日本人日bb| 传媒在线观看一区二区三区| 久久水蜜臀亚洲AV无码精品| 欧美黄色片AAAAA| 99亚洲国产精品色一区二区三区| 中出人妻中文字幕91在线| 嗯嗯嗯啊啊啊在线免费观看| 欧美性爱日韩性爱| 久久人妻熟女一区二区| 性爱AV天堂| 国产精品青青草| 精品性爱一二三区| 亚洲中文字幕在线视频一区二区| 乱色老一区二区三区的观看方式| 综精品久久久aaaa| 97人人超| 探花熟女,姿勢到位,體驗感也到位| 日韩无码极品| 欧美黄色片AAAAA| 亚洲精品一二牛牛| 麻豆av一区二区| 欲色啪| 久久、1234| 97视频在线观看播放与子乱对白在线……| 操逼片中文| 国内毛片国产欧美拍| 中国特猛少妇色xxx| 久久久9 9 9精品| 亚洲天堂人人妻| 久久不卡一区二区| 欧美国产日韩清纯唯美| 日韩欧美亚洲一区二区三区影院| 亚洲av无码成电影在线播放| 亚洲开心网| 久久久91| 大香蕉性欧美| 人妻少妇久久| 98福利在线视频| 一区二区 电影 亚洲| 久热69九色熟妇97| 欧美另类色图片| 一级黄色影片| 五月天色图| 亚洲AV无码乱码在线观看性色| 亚洲毛片久久| 黄色av片三级三级三级免费看| 国产v片在线免费观看| 天堂无码| 久久 精品| 美女久久久久久久久久久| 欧美96在线|欧| 日韩91网| 亚洲综合色图欧美| 99色热| 中文字幕免费在线观看| 中文字幕精品专区搜索结果91| 成人天天爽| 中文字幕在线第二页| 熟女熟妇伦久久影院毛片一区二区 | 国产91乱伦| 国产高清26uuu| 99久久e免费热视| 国产AV久久野战精品| 精品亚洲国产成人精品| 大香网站| 久久亚洲精品成人av| 午夜精品久久久久久久99蜜桃一| 国产无码一二三区| 国产在线精品偷| 久久丁香| 欧美不卡在线美女| 精品久一区免费| 九九九九九九成人| 亚洲精品一卡二卡三卡福利视频网站| 成人精品一区二区三区| 2017超碰| 天天色综合影视网| 精品亚洲天堂| 强奸乱伦 亚洲一区| 国产精品 久久久精品一牛| 国产一区二区a毛片| 日韩一级片在线看| 婷婷五月色| 久久人人爽爽爽人久久久| 91欧美美女日韩国产婷婷| 国外91| 高颜值美女口爆高潮浪叫| 超碰2017| 久久综合国产精品国产| 熟女字幕| 殴美,日韩国产伦精品| 超碰97网址| 色69大色97香蕉| 国产久久久| 在线岛| 色婷网| 欧美少妇第一页| 97免费视频在线观看视频| 97伊人超碰| 蜜乳中文字幕a在线| 色yeye成人免费视频| 色婷婷久久| 美国久久一二三四| 午夜福利 成人 91| 日韩性爱一级片| 欧美精品久久久久久久久88| 亚洲色图久久精品蜜| 91高跟美女在线播放| 漂亮人妻被强中文字幕hd| 亚洲欧洲自拍图片专区满春格| 久久久久国产一区二| 亚洲色图 欧美热图 清纯唯美 另类自拍 |