文章主要內(nèi)容和創(chuàng)新點(diǎn)主要內(nèi)容本文提出了一種名為EvoSLD的自動(dòng)化框架，用于神經(jīng)縮放定律（Scaling Laws）的發(fā)現(xiàn)?？s放定律是描述神經(jīng)網(wǎng)絡(luò)性能（如損失、準(zhǔn)確率）隨模型大小、數(shù)據(jù)集規(guī)模、計(jì)算資源等變量變化的數(shù)學(xué)關(guān)系，傳統(tǒng)上依賴人類專業(yè)知識和手動(dòng)實(shí)驗(yàn)推導(dǎo)，耗時(shí)且易出錯(cuò)。EvoSLD通過進(jìn)化算法結(jié)合大語言模型（LLMs），共同進(jìn)化符號表達(dá)式（定義縮放定律的結(jié)構(gòu)）和優(yōu)化子程序（針對不同控制變量組擬合系數(shù)），以尋找簡潔、通用的函數(shù)形式，最小化分組數(shù)據(jù)的擬合誤差。在五個(gè)真實(shí)場景（詞匯量、監(jiān)督微調(diào)、領(lǐng)域混合、混合專家模型、數(shù)據(jù)約束預(yù)訓(xùn)練）的實(shí)驗(yàn)中，EvoSLD在兩個(gè)場景中精確復(fù)現(xiàn)了人類推導(dǎo)的定律，在其他場景中表現(xiàn)更優(yōu)，測試集的歸一化均方誤差（NMSE）最多降低了數(shù)個(gè)數(shù)量級，且優(yōu)于符號回歸、遺傳編程等基線方法，驗(yàn)證了其準(zhǔn)確性、可解釋性和效率。創(chuàng)新點(diǎn)嚴(yán)格的問題形式化：將縮放定律發(fā)現(xiàn)（SLD）形式化為優(yōu)化問題，結(jié)合分組擬合、簡潔性懲罰（限制系數(shù)數(shù)量）和尺度不變的評估指標(biāo)（如NMSE、NMAE），更符合科學(xué)實(shí)踐。首個(gè)LLM輔助的自動(dòng)化系統(tǒng)：EvoSLD是首個(gè)利用LLM輔助進(jìn)化搜索的框架，能同時(shí)處理有/無控制變量的場景，通過共同進(jìn)化符號表達(dá)式和優(yōu)化子程序，高效導(dǎo)航假設(shè)空間。實(shí)驗(yàn)驗(yàn)證的優(yōu)越性：在五個(gè)基準(zhǔn)場景中，性能顯著優(yōu)于傳統(tǒng)符號回歸（如PySR、GPlearn）和簡化版本（如固定優(yōu)化器的EvoSLD），證明其在復(fù)現(xiàn)人類