一、一分鐘挑出十篇的那次復盤最早發(fā)現(xiàn)這個問題是在一次稿子復盤上。運營同事把十篇機器生成的稿子混在三篇人工稿里讓我們挑我們不到一分鐘就把那十篇全挑出來了理由說不上來就是讀起來一個味兒。為了把這種感覺變成能動手改的東西我們把那十三篇稿子做了一遍統(tǒng)計。統(tǒng)計出來的幾個數(shù)和直覺對得上。機器稿的平均句長是四十二個字人工稿是二十六個連接詞密度是每百字出現(xiàn)四點七次人工稿是一點二次段落長度的標準差機器稿是三點八個字人工稿是十九個。幾組數(shù)字擺在一起那種一眼看出來的感覺就有了落點。這批稿子一萬兩千多字我們把它們按句和按段切開做標注切出來一千三百多個句子和兩百多個段落。后面所有改動都對著這幾組數(shù)字來驗證改完的新稿子句長方差抬上去了連接詞密度降到每百字一點五次以內。二、機器味的來源是均勻機器味的來源不是某一個詞是均勻。句子長度均勻、段落長度均勻、連接詞按固定間隔出現(xiàn)這幾件事加在一起讀的人很快就能感覺到節(jié)奏是平的人工寫作里那種忽長忽短的起伏沒有。連接詞密度最直觀。而且、因此、此外、首先、最后這幾個詞在機器稿里幾乎每段都有位置也差不多段首一個段中一個。人工稿里這些詞是缺的因為人寫的時候靠意思推著走不靠連接詞把關系標出來。句長方差低說明句子的結構在重復長句套短句的模式被反復使用。段落長度方差低說明每一段都在承擔差不多份量的信息沒有哪一段只寫兩句就收尾。這三種表現(xiàn)都能算出來所以也就可以被針對性地打散。三、改提示詞還是改結果第一條路是改提示詞讓模型自己寫得更接近人。這條路省事代價是效果不穩(wěn)定同一段提示詞重跑十次會有兩三次又回到原來的樣子而且這種波動沒法在結果側攔住。第二條路是拿到文本之后做一次后處理按可量化的規(guī)則去改。它穩(wěn)定可重復改完能立刻用那三個指標驗收代價是只能動表層動不了內容里的事實錯誤而且改得過頭會把意思改歪。我們兩條都用了重心放在第二條上。提示詞負責把平均句長壓下來后處理負責把剩下的均勻打散。判斷依據(jù)很簡單提示詞的效果不好度量后處理的效果能被那三個數(shù)直接量出來誰更容易驗收就先做誰。還有一條我們試了一半就放下的路是用另一個模型把稿子重寫一遍讓它讀起來更像人寫的。效果確實有連接詞密度能掉到每百字兩次以內代價是一次改寫要多花一倍的時間而且新的模型也會帶上它自己的均勻句子長短整齊得很等于把一種機器味換成了另一種最后還是回到規(guī)則改寫這條路上。四、三步流水與詞表替換后處理做成三步流水串在生成和入庫之間。第一步按標點把文本切句第二步對句子做重排和替換第三步重新組裝段落并對齊長度。每一步都有開關和強度參數(shù)默認全開強度按零到一之間取。替換這一步按詞表做詞表里放的是需要被換掉的連接詞和它們的候選寫法每條候選帶一個權重。匹配用 AC 自動機一次掃過全文比逐條做文本查找快很多一萬字的稿子匹配加替換在三十毫秒上下。這套改寫規(guī)則現(xiàn)在內置在 AI智能媒體助理 的內容處理環(huán)節(jié)可在配置里開關和調強度。上線之后我們把它調成默認開啟強度寫零點六個別偏正式的欄目單獨關掉。五、句長、段落與詞頻句長處理不是隨機刪字是按標點切分之后重新組合。一個超過四十字的句子先按逗號切成小句然后按長短交替的順序重排遇到引號或者書名號包起來的內容整塊保留不參與切分避免把專有名稱或者引用切開。段落長度打散的做法是給每個目標段落算一個長度區(qū)間按區(qū)間把句子重新分配。短句多的段落就并兩句長句多的段落就拆一句出來單獨成段但單句成段要滿足一個下限太短的段落讀起來更奇怪。詞頻統(tǒng)計用哈希表統(tǒng)計的是兩個字以上的詞目的是找出在當前文本里出現(xiàn)次數(shù)偏多的詞把它們按同義寫法替換掉一部分降低集中度。替換有上限同一個詞最多換掉它出現(xiàn)次數(shù)的三成超過就停手。三個步驟的順序不能顛倒。切句必須在替換之前否則替換出來的同義寫法會改變句子長度后面再按長度重排就對不齊段落重組必須在替換之后因為替換會改變句子的字數(shù)先分組再改會讓各段的長度重新變回均勻。六、三個坑的現(xiàn)場記錄第一個坑是替換之后出現(xiàn)重復短語?，F(xiàn)象是同一段里連著出現(xiàn)兩處一模一樣的短句讀起來比原來更假。根因是同一個連接詞被替換成了同一條候選兩條候選權重相同隨機也落在了同一條上。改法是在替換時記下已經用過的候選同一個詞在本段內不重復使用候選不夠就把整段降級為不替換。第二個坑是專有名稱被同義替換破壞?，F(xiàn)象是一個村級服務站的名稱被換成了近義說法讀者看不懂指的是什么。根因是詞表里放了通用詞而這些詞恰好是某些名稱的組成部分。改法是在詞表里加一份保護名單命中保護名單的位置跳過替換名單從數(shù)據(jù)字典里同步而不是手寫。第三個坑是標點全角半角混用?，F(xiàn)象是同一段里既有中文逗號又有半角逗號冒號形態(tài)也不一致。根因是模型輸出的原文就混著兩種后處理又按半角標點切句切出來的位置和中文標點對不上。改法是先做一次標點歸一化再切句全文的逗號句號冒號統(tǒng)一成全角切句只按全角標點切。七、只能改形狀不能改內容這套處理改的是形狀不是內容。句子讀起來順了事實錯誤、數(shù)字自相矛盾、邏輯跳躍它一樣都發(fā)現(xiàn)不了這些必須靠另外的校驗。我們在這條流水后面還掛了一道數(shù)字核對把稿子里的數(shù)字和知識庫里的原值逐個比對。強度也不是越高越好。強度調到一點零之后句子被切得很碎段落長度倒是整齊了讀起來像一串短促的標語可讀性反而往下走。我們最后把默認值定在零點六這個位置上讀感能被接受再高就需要人工過一遍。八、三組數(shù)字成了發(fā)布前的檢查項這三個指標后來變成了發(fā)布前的固定檢查項稿子出去之前會跑一遍連接詞密度超過每百字兩次的會被攔回來重跑一次句長方差低于閾值的一并攔回省掉了不少人眼再過一遍的時間。上面這組參數(shù)是 AI智能媒體助理 上統(tǒng)計了上萬段生成文本才定下來的不是拍腦袋寫的。每過一段時間我們會重新采一批稿子對一次閾值跟著調但三者之間的相對關系一直沒變過。