簡介本資源為北京航空航天大學(xué)《最優(yōu)化理論與方法》課程全套教學(xué)資料包面向數(shù)學(xué)、計(jì)算機(jī)、自動(dòng)化及航空航天相關(guān)專業(yè)的高年級本科生與研究生系統(tǒng)支撐理論學(xué)習(xí)、算法實(shí)現(xiàn)與工程應(yīng)用三重目標(biāo)。壓縮包含96個(gè)文件涵蓋51份PDF含Boyd《凸優(yōu)化》課件、劉老師推薦閱讀材料、教材勘誤與建模理論、32個(gè)MATLAB源碼文件m腳本、6份PPT課件覆蓋線性/非線性規(guī)劃、無約束與約束優(yōu)化等核心章節(jié)、5個(gè)Jupyter Notebook含Python科學(xué)計(jì)算與優(yōu)化實(shí)踐、以及歷年試題、大作業(yè)說明與詳細(xì)參考答案總?cè)萘?08.25MB。內(nèi)容結(jié)構(gòu)完整從引言、基礎(chǔ)理論、經(jīng)典算法單純形法、內(nèi)點(diǎn)法到啟發(fā)式方法遺傳算法、模擬退火均有對應(yīng)材料輔以航天器軌跡優(yōu)化、電力系統(tǒng)配置等北航特色應(yīng)用案例解析。目前已有122人下載學(xué)習(xí)是深入理解最優(yōu)化建模思想、掌握主流工具實(shí)現(xiàn)并銜接科研實(shí)踐的高質(zhì)量課程資源。1. 北航最優(yōu)化理論與方法.7z不是課件合集而是一套可復(fù)現(xiàn)、可調(diào)試、帶完整作業(yè)鏈的工業(yè)級教學(xué)閉環(huán)資源你手頭這份北航最優(yōu)化理論與方法.7z表面看是壓縮包實(shí)際是北航自動(dòng)化學(xué)院/數(shù)學(xué)科學(xué)學(xué)院聯(lián)合構(gòu)建的一套「最小可行教學(xué)系統(tǒng)」——它不靠PPT堆砌概念而是用23份作業(yè)含大作業(yè)12、7套課件含PPTPDF雙版本、11本核心參考書從Boyd凸優(yōu)化到袁亞湘爬山法、4套往年真題答案硬生生把“最優(yōu)化”這門公認(rèn)抽象的課拆解成可運(yùn)行、可驗(yàn)證、可踩坑、可溯源的工程化學(xué)習(xí)流。我去年帶研究生復(fù)現(xiàn)其中“第08次作業(yè)用Matlab實(shí)現(xiàn)BFGS算法求解Rosenbrock函數(shù)”發(fā)現(xiàn)連初始點(diǎn)擾動(dòng)范圍、Hessian近似更新閾值、線搜索Armijo條件參數(shù)都已預(yù)設(shè)在.m腳本注釋里更關(guān)鍵的是所有作業(yè)答案最優(yōu)化習(xí)題答案.pdf不是最終數(shù)值而是帶推導(dǎo)步驟收斂曲線迭代次數(shù)統(tǒng)計(jì)的完整報(bào)告。適合三類人想用Python/Matlab動(dòng)手寫優(yōu)化器的工程師、備考北航相關(guān)方向研究生的考生、需要快速搭建優(yōu)化算法教學(xué)原型的高校教師。它解決的不是“學(xué)沒學(xué)會(huì)”而是“能不能立刻跑通、調(diào)參、對比、寫報(bào)告”。2. 從課件結(jié)構(gòu)到知識圖譜為什么這套資源能避開“學(xué)完就忘”的陷阱2.1 課件設(shè)計(jì)暗藏遞進(jìn)式認(rèn)知錨點(diǎn)從“引言”到“約束優(yōu)化_理論”的5層穿透邏輯北航這套課件不是按教材章節(jié)平鋪直敘而是用問題驅(qū)動(dòng)式編排重構(gòu)知識鏈。以第一章 引言.ppt開篇第一張幻燈片就拋出航天器軌道修正場景“給定燃料約束如何讓衛(wèi)星在24小時(shí)內(nèi)抵達(dá)目標(biāo)軌道且誤差100m”——立刻把“優(yōu)化”從數(shù)學(xué)符號拉回物理世界。緊接著第四章 無約束優(yōu)化基礎(chǔ).ppt不講梯度下降公式而是用Excel動(dòng)態(tài)演示步長α對收斂震蕩的影響附截圖α0.01時(shí)127步收斂α0.1時(shí)發(fā)散。最關(guān)鍵的是第七章 約束優(yōu)化_理論.ppt它把KKT條件拆成三塊可行性檢查Feasibility→ 互補(bǔ)松弛驗(yàn)證Complementary Slackness→ 對偶變量合理性Dual Feasibility每塊配一個(gè)MATLAB函數(shù)模板如check_kkt_feasibility.m輸入x,λ,μ就能返回布爾值失敗項(xiàng)提示。這種設(shè)計(jì)讓學(xué)習(xí)者始終在“驗(yàn)證-失敗-修正”循環(huán)中建立直覺而非死記條件。提示課件PDF版最優(yōu)化課件PDF版(1-5章).pdf比PPT版多出17處手寫批注掃描件比如在單純形法表格中劉老師用紅筆圈出“退化導(dǎo)致循環(huán)”的真實(shí)迭代記錄來自2016年某次課堂實(shí)時(shí)演算這是理解Bland規(guī)則必要性的血淚經(jīng)驗(yàn)。2.2 參考書矩陣不是書單羅列而是按算法類型構(gòu)建的“工具箱索引”資源包里的11本參考書絕非隨意堆砌而是按算法實(shí)現(xiàn)層級形成三級支持體系層級書籍名稱核心價(jià)值典型使用場景底層原理Convex Optimization.pdf(Boyd)提供KKT、對偶性、內(nèi)點(diǎn)法收斂證明的嚴(yán)格框架調(diào)參失敗時(shí)回溯理論邊界如為何L-BFGS在非凸問題上可能卡在鞍點(diǎn)算法實(shí)現(xiàn)最優(yōu)化方法及其Matlab程序設(shè)計(jì).pdf每章附完整.m文件含注釋行數(shù)代碼行數(shù)如fminunc_custom.m實(shí)現(xiàn)DFP更新直接替換optimset參數(shù)對比自研與內(nèi)置求解器差異工程落地最優(yōu)化建模、算法與理論.pdf第6章用航空調(diào)度案例詳解“整數(shù)變量如何影響分支定界樹深度”將課程作業(yè)如第13次作業(yè)航班時(shí)刻表優(yōu)化映射到真實(shí)約束特別注意Notes on Numerical Optimization.pdf—— 這本常被忽略的筆記用不到20頁講清數(shù)值穩(wěn)定性陷阱例如在計(jì)算Hessian近似時(shí)若直接用(y_k * y_k) / (y_k * s_k)而不做正則化當(dāng)s_k接近零向量時(shí)會(huì)導(dǎo)致矩陣病態(tài)。書中給出補(bǔ)救方案H_{k1} (I - ρ_k * s_k * y_k) * H_k * (I - ρ_k * y_k * s_k) ρ_k * s_k * s_k其中ρ_k 1/(y_k * s_k ε)ε取1e-8而非1e-16避免浮點(diǎn)溢出。這個(gè)細(xì)節(jié)在第五章 無約束優(yōu)化線搜索法.ppt的“BFGS實(shí)現(xiàn)要點(diǎn)”頁有對應(yīng)MATLAB代碼驗(yàn)證。2.3 作業(yè)體系23次作業(yè)構(gòu)成“算法能力成長刻度尺”作業(yè)不是孤立練習(xí)而是按算法復(fù)雜度螺旋上升設(shè)計(jì)。以線搜索法為例第02次作業(yè)手算Armijo條件給定φ(α)f(xαd)求最大α第04次作業(yè)用MATLAB實(shí)現(xiàn)Backtracking線搜索含alpha_max1,rho0.8,c1e-4硬編碼第08次作業(yè)對比Wolfe條件與Armijo的收斂步數(shù)要求畫出||?f(x_k)||vs 迭代次數(shù)曲線第16次作業(yè)在第08次基礎(chǔ)上加入“非精確線搜索失敗時(shí)自動(dòng)切換到二分法”的容錯(cuò)機(jī)制最值得深挖的是大作業(yè)1和大作業(yè)2前者要求用遺傳算法求解基于一個(gè)例子的線性規(guī)劃簡介.pdf中的運(yùn)輸問題10個(gè)產(chǎn)地×15個(gè)銷地后者強(qiáng)制用cvx建模同一問題并對比求解時(shí)間。兩份作業(yè)的README.md明確要求提交time_comparison.xlsx包含5組不同規(guī)模數(shù)據(jù)下的CPU時(shí)間、最優(yōu)值、約束違反度。這種設(shè)計(jì)逼著學(xué)習(xí)者直面算法選擇的工程權(quán)衡——當(dāng)變量數(shù)超500時(shí)GA的魯棒性是否抵得過CVX的求解速度損失3. 從MATLAB到Python如何把北航資源無縫遷移到現(xiàn)代開發(fā)環(huán)境3.1 MATLAB腳本的Python重實(shí)現(xiàn)保留原邏輯替換核心依賴北航作業(yè)大量使用MATLAB如第05次作業(yè)用fmincon求解帶非線性約束的優(yōu)化問題但實(shí)際工程中Python更主流。遷移關(guān)鍵不是語法轉(zhuǎn)換而是保持?jǐn)?shù)值行為一致性。以fmincon的內(nèi)點(diǎn)法為例# 原MATLAB代碼第05次作業(yè) options optimoptions(fmincon,Algorithm,interior-point,... OptimalityTolerance,1e-8,StepTolerance,1e-10); [x,fval,exitflag,output] fmincon(objfun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options); # Python等效實(shí)現(xiàn)使用scipy.optimize.minimize from scipy.optimize import minimize import numpy as np def objfun(x): return x[0]**2 x[1]**2 # 示例目標(biāo)函數(shù) def nonlcon(x): # 非線性約束c(x) 0, ceq(x) 0 c [x[0]**2 x[1]**2 - 1] # 不等式約束 ceq [x[0] x[1] - 1] # 等式約束 return np.array(c), np.array(ceq) # 關(guān)鍵設(shè)置與MATLAB完全一致的容差和算法 result minimize( funobjfun, x0[0.5, 0.5], methodtrust-constr, # scipy中唯一支持等式不等式約束的內(nèi)點(diǎn)法 constraints{type: eq, fun: lambda x: nonlcon(x)[1][0]}, # 先處理等式 bounds[(0, None), (0, None)], # 變量邊界 options{ xtol: 1e-10, # 對應(yīng)MATLAB的StepTolerance gtol: 1e-8, # 對應(yīng)OptimalityTolerance verbose: 1 } )注意scipy.optimize.minimize的trust-constr算法雖對標(biāo)內(nèi)點(diǎn)法但默認(rèn)不啟用二階信息。若需完全復(fù)現(xiàn)MATLAB行為必須顯式傳入Hessian函數(shù)hess參數(shù)或啟用hesspHessian-vector product。否則在強(qiáng)非線性問題上收斂步數(shù)可能多出30%。3.2 CVX建模到Pyomo/CVXPY保留凸優(yōu)化語義的平滑過渡大作業(yè)2要求用CVX建模而CVX是MATLAB專屬。遷移到Python需注意凸性聲明的語法糖差異% CVX MATLAB代碼大作業(yè)2片段 cvx_begin variable x(n) minimize( norm(A*x - b) ) subject to sum(x) 1 x 0 cvx_end# CVXPY等效推薦語法最接近CVX import cvxpy as cp import numpy as np x cp.Variable(n) objective cp.Minimize(cp.norm(A x - b)) constraints [ cp.sum(x) 1, x 0 ] prob cp.Problem(objective, constraints) prob.solve(solvercp.ECOS) # ECOS是開源內(nèi)點(diǎn)法求解器精度對標(biāo)CVX默認(rèn) # Pyomo等效適合混合整數(shù)凸問題 from pyomo.environ import * model ConcreteModel() model.x Var(range(n), domainNonNegativeReals) model.obj Objective(exprsum((A[i,:] model.x - b[i])**2 for i in range(len(b))), senseminimize) model.con1 Constraint(exprsum(model.x[i] for i in range(n)) 1)提示cvxbook-solutions.pdf中的習(xí)題解答全部用CVX編寫但cvxpy的ECOS求解器在處理大規(guī)模稀疏矩陣時(shí)內(nèi)存占用比CVX高約15%。若遇到MemoryError改用SCS求解器一階方法精度略低但內(nèi)存友好prob.solve(solvercp.SCS, eps1e-4)。3.3 數(shù)據(jù)集與測試用例用Office Lens 20161117-104637.pdf還原手寫題的數(shù)值真相B 往年試題文件夾里的Office Lens 20161117-104637.pdf看似只是手機(jī)拍的試卷實(shí)則是關(guān)鍵數(shù)值校驗(yàn)源。該P(yáng)DF掃描了2016年期中考試第3題的手寫解答過程其中包含Rosenbrock函數(shù)具體參數(shù)f(x) 100*(x2-x1^2)^2 (1-x1)^2初始點(diǎn)x0 [-1.2, 1.0]精確最優(yōu)解x* [1, 1],f(x*) 0這意味著你可以用此數(shù)據(jù)驗(yàn)證任何實(shí)現(xiàn)# 驗(yàn)證BFGS實(shí)現(xiàn)是否正確 from scipy.optimize import minimize import numpy as np def rosenbrock(x): return 100.0 * (x[1] - x[0]**2)**2 (1 - x[0])**2 res minimize(rosenbrock, [-1.2, 1.0], methodBFGS) print(f解: {res.x}, 最優(yōu)值: {res.fun}) # 應(yīng)輸出 [0.99999999 0.99999999] 和 ~0.0若結(jié)果偏離超過1e-6說明你的Hessian更新或線搜索有誤。這個(gè)手寫題掃描件的價(jià)值在于它提供了脫離教材的理想化假設(shè)、回歸真實(shí)數(shù)值精度要求的標(biāo)尺。4. 避坑指南23次作業(yè)4套真題暴露出的5個(gè)高頻翻車點(diǎn)4.1 現(xiàn)象fmincon在非線性約束下返回exitflag -2無可行解但手算明明存在可行點(diǎn)原因MATLAB默認(rèn)的ConstraintTolerance為1e-6當(dāng)約束函數(shù)計(jì)算存在數(shù)值誤差如sin(x)在xπ處因浮點(diǎn)精度返回1.2246e-16而非0求解器判定c(x)ConstraintTolerance而放棄搜索。解決顯式設(shè)置options.ConstraintTolerance 1e-10或在非線性約束函數(shù)中加入容錯(cuò)ceq sin(x(1)) - 1e-12將理論零點(diǎn)偏移至安全區(qū)。4.2 現(xiàn)象第11次作業(yè)中單純形法迭代表格出現(xiàn)“退化”導(dǎo)致無限循環(huán)原因退化時(shí)基變量取值為0若選入變量規(guī)則不當(dāng)如最大檢驗(yàn)數(shù)規(guī)則會(huì)反復(fù)進(jìn)出基而不改善目標(biāo)值。解決強(qiáng)制啟用Bland規(guī)則——在simplex_tableau.m中修改選入變量邏輯% 原代碼易退化 enter_col find(reduced_cost tol, 1, first); % 修改后Bland規(guī)則選下標(biāo)最小的正檢驗(yàn)數(shù) candidate_cols find(reduced_cost tol); if ~isempty(candidate_cols) enter_col candidate_cols(1); % 取第一個(gè)即最小下標(biāo) end4.3 現(xiàn)象cvx建模時(shí)Disciplined convex programming error但Convex Optimization.pdf第4.2節(jié)明說該問題是凸的原因CVX的DCP規(guī)則集比理論定義更嚴(yán)格。例如log_det(X)要求X為仿射affine若X A*y B中A含變量則報(bào)錯(cuò)。解決用det_rootn替代log_det二者在凸性上等價(jià)或重構(gòu)表達(dá)式使其滿足DCPlog_det(X)→sum(log(eig(X)))需保證X對稱正定。4.4 現(xiàn)象第17次作業(yè)用遺傳算法求解整數(shù)規(guī)劃種群多樣性在50代后驟降為0原因交叉操作未考慮整數(shù)約束產(chǎn)生非法解如x12.3截?cái)嗪笕N群趨同。解決改用順序交叉Order Crossover, OX并添加修復(fù)步驟def repair_integer_solution(individual, bounds): # bounds [(0,10), (0,5), ...] 整數(shù)變量上下界 for i, (low, high) in enumerate(bounds): individual[i] int(np.clip(round(individual[i]), low, high)) return individual4.5 現(xiàn)象考試2016.pdf第2題要求證明KKT點(diǎn)唯一性但最優(yōu)化習(xí)題答案.pdf只給結(jié)論未給過程原因該題隱含條件“目標(biāo)函數(shù)強(qiáng)凸約束集為凸集”而答案省略了強(qiáng)凸性驗(yàn)證步驟。解決補(bǔ)全證明鏈由?2f(x) ? mIm0得f強(qiáng)凸強(qiáng)凸函數(shù)在凸集上至多一個(gè)極小點(diǎn)KKT條件是極小點(diǎn)的充要條件因Slater條件滿足→ KKT點(diǎn)唯一注意SensitivityA.pdf中敏感性分析部分明確指出當(dāng)約束右端項(xiàng)b_i變化時(shí)對偶變量λ_i的符號決定目標(biāo)值變化方向——這是考試2016.pdf第4題的隱藏考點(diǎn)務(wù)必結(jié)合該P(yáng)DF復(fù)習(xí)。5. 進(jìn)階技巧用Zaiwen-MasterThesis.pdf反向工程北航工業(yè)級優(yōu)化實(shí)踐5.1 從碩士論文看真實(shí)問題建模如何把“模糊需求”翻譯成數(shù)學(xué)約束Zaiwen-MasterThesis.pdf北航2019級碩士論文研究“無人機(jī)集群協(xié)同路徑規(guī)劃”其建模過程堪稱教科書級示范。論文第3.2節(jié)將“避免碰撞”這一模糊需求拆解為三層約束物理層||p_i(t) - p_j(t)|| ≥ d_min歐氏距離硬約束控制層||v_i(t) - v_j(t)|| ≤ a_max * Δt加速度限制衍生的速度差約束通信層||p_i(t) - p_j(t)|| ≤ R_comm僅當(dāng)在通信范圍內(nèi)才施加耦合約束這種分層建模思想可直接遷移到作業(yè)中。例如第14次作業(yè)物流中心選址原題只要求“總運(yùn)輸成本最低”但用此方法可擴(kuò)展# 原目標(biāo)sum(c_ij * x_ij) # 擴(kuò)展后目標(biāo)sum(c_ij * x_ij) λ1 * sum(max(0, d_ij - d_safe)^2) λ2 * sum(I(d_ij R_comm) * ||x_i - x_j||) # 其中λ1, λ2為權(quán)重I()為指示函數(shù)這樣就把“避免過度集中”安全約束和“保障局部協(xié)作”通信約束量化進(jìn)模型。5.2 論文附錄的MATLAB代碼提取可復(fù)用的工程模塊論文附錄A提供collision_avoidance.m其核心是距離約束的光滑近似% 原硬約束g(x) d_min - ||p_i - p_j|| ≤ 0 % 光滑近似g_smooth(x) log(1 exp(k*(d_min - ||p_i - p_j||))) / k % k越大越接近硬約束k10時(shí)已足夠 function g smooth_collision(p_i, p_j, d_min, k) dist norm(p_i - p_j); g log(1 exp(k*(d_min - dist))) / k; end這個(gè)技巧可拯救第10次作業(yè)中因硬約束導(dǎo)致的求解失敗——把x 0改為smooth_positive(x, k5)求解器更容易找到可行域。5.3 論文實(shí)驗(yàn)設(shè)計(jì)用Sauer - Numerical Analysis 2e.pdf驗(yàn)證算法數(shù)值魯棒性Zaiwen-MasterThesis.pdf的實(shí)驗(yàn)部分第4章采用條件數(shù)掃描法評估算法魯棒性對同一問題生成100組系數(shù)矩陣A其條件數(shù)cond(A)從1e2到1e8對數(shù)分布記錄每次求解的迭代次數(shù)和殘差||Ax-b||。這種設(shè)計(jì)源于Sauer - Numerical Analysis 2e.pdf第7.5節(jié)“病態(tài)系統(tǒng)的診斷”。你可以復(fù)現(xiàn)此法import numpy as np from scipy.linalg import hilbert # 生成病態(tài)矩陣族 for cond_target in np.logspace(2, 8, 10): A hilbert(10) # Hilbert矩陣天然病態(tài) # 縮放使cond(A)≈cond_target U, s, Vt np.linalg.svd(A) s_new s[0] * np.array([1] [cond_target**(-i/9) for i in range(1,10)]) A_cond U np.diag(s_new) Vt # 測試你的優(yōu)化器 res your_optimizer(A_cond, b) print(fcond{cond_target:.0e}, iters{res.nit}, residual{np.linalg.norm(A_condres.x-b):.2e})若迭代次數(shù)隨條件數(shù)指數(shù)增長說明算法對病態(tài)問題敏感需引入預(yù)處理如scipy.sparse.linalg.spilu。從那以后我每次驗(yàn)證新寫的優(yōu)化器都強(qiáng)制走一遍條件數(shù)掃描——哪怕作業(yè)沒要求。因?yàn)楸焙竭@套資源教會(huì)我的最重要一件事理論最優(yōu)性證明永遠(yuǎn)要和數(shù)值穩(wěn)定性測試配對出現(xiàn)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取