人工智能深度學習【免費下載鏈接】torch-rechubA Lighting Pytorch Framework for Recommendation Models, Easy-to-use and Easy-to-extend.項目地址https://gitcode.com/datawhalechina/torch-rechub點擊查看免費下載Torch-RecHub 是一個輕量級的 PyTorch 推薦系統(tǒng)框架內(nèi)置了覆蓋排序、召回、多任務與生成式推薦 4 大場景的 10 經(jīng)典數(shù)據(jù)集MovieLens、Criteo、Avazu、Amazon、Ali-CCP、YOOCHOOSE 等并附帶開箱即用的預處理腳本與樣例數(shù)據(jù)。本文將帶你完整梳理 Torch-RecHub 支持的數(shù)據(jù)集清單并手把手演示各數(shù)據(jù)集的預處理實戰(zhàn)流程讓你零基礎(chǔ)上手推薦模型訓練。 Torch-RecHub 數(shù)據(jù)集總覽Torch-RecHub 的數(shù)據(jù)集按任務場景組織在examples/目錄下每個數(shù)據(jù)集都提供預處理腳本 樣例 CSV 訓練入口三件套。全部清單如下場景數(shù)據(jù)集規(guī)模/特點預處理腳本排序Criteo13 dense 26 sparseCTR 基準run_criteo.py排序Avazu約 4000W 樣本11 天廣告日志download_avazu.py排序Amazon-Electronics19W 用戶、6W 商品preprocess_amazon_electronics.py排序Amazon-Books / Beauty書評/美妝類目交互數(shù)據(jù)preprocess_amazon_books.py排序Ali-CCP淘寶23 sparse 8 dense點擊購買雙標簽preprocess_ali_ccp.py排序AliExpress16 sparse 63 dense曝光/點擊/轉(zhuǎn)化三標簽run_aliexpress.py排序Census-Income41 列7 dense 33 sparsepreprocess_census.py召回MovieLens-1M9 個 sparse 特征 用戶觀看序列preprocess_ml.py召回一點資訊YiDian News22 列含設(shè)備/地域/文章特征preprocess.py召回Million Song Dataset百萬級用戶歌曲播放記錄process_msd.py召回YOOCHOOSE / Diginetica電商點擊流Session-based 基準preprocess_session_based.py生成式Amazon-Books / MovieLens-1MHSTU/HLLM/TIGER 序列格式preprocess_ml_hstu.py 每個數(shù)據(jù)目錄中都內(nèi)置了_sample.csv樣例數(shù)據(jù)如 criteo_sample.csv下載全量數(shù)據(jù)前即可先跑通完整流程。 排序Ranking數(shù)據(jù)集實戰(zhàn)排序任務是最常見的 CTR 預估場景examples/ranking/README.md 中給出了各數(shù)據(jù)集的詳細說明與基準結(jié)果。CriteoCTR 預估的經(jīng)典基準Criteo 是 Criteo Labs 發(fā)布的在線廣告數(shù)據(jù)集包含數(shù)百萬條廣告點擊反饋記錄共 40 個特征13 個 dense 26 個 sparse第一列為點擊標簽。它的預處理邏輯內(nèi)嵌在訓練腳本中核心步驟按列名前綴區(qū)分特征類型I開頭為 denseC開頭為 sparsedense 特征先做MinMaxScaler歸一化并額外離散化為新的 sparse 特征sparse 特征用LabelEncoder編碼用SparseFeature/DenseFeature定義特征元信息交給DataGenerator切分數(shù)據(jù)訓練一條命令即可啟動python run_criteo.py --model_name widedeep python run_criteo.py --model_name deepfm完整實現(xiàn)見 run_criteo.py其中g(shù)et_criteo_data_dict函數(shù)就是 Criteo 數(shù)據(jù)集預處理的標準范式。Avazu千萬級樣本的大數(shù)據(jù)量挑戰(zhàn)Avazu 是 Kaggle 經(jīng)典賽題數(shù)據(jù)集包含 11 天廣告數(shù)據(jù)train 約 4000W 樣本。由于 Kaggle 的 test 集缺少 label官方推薦按 7:1:2 劃分訓練/驗證/測試集。倉庫提供了帶進度條的自動下載腳本cd examples/ranking/data/avazu python download_avazu.py # 自動下載并解壓 625MB 的預處理數(shù)據(jù)Amazon 系列從 JSON 評論到訓練數(shù)據(jù)Amazon 2014 評論數(shù)據(jù)集按商品類目拆分Torch-RecHub 覆蓋了 Electronics19W 用戶、Beauty120W 用戶、Books800W 用戶三個類目。原始數(shù)據(jù)是 json 行格式包含 reviews用戶交互日志和 meta商品側(cè)特征兩個文件預處理腳本 preprocess_amazon_electronics.py 演示了完整處理鏈路逐行解析 json 為 DataFrame僅保留user_id、item_id、cate_id、time四列用build_map函數(shù)對商品 ID 和類目做 Label Encode按user_id 時間戳排序便于構(gòu)造序列特征python run_amazon_electronics.py # 用樣例數(shù)據(jù)跑 DIN 模型Ali-CCP 與 Census-Income多任務學習的標準配置Ali-CCP淘寶推薦日志包含 25W 用戶、8000W 條數(shù)據(jù)含點擊與購買兩個標簽是多任務模型AITM、ESMM、MMOE、PLE的標準評測集。其 preprocess_ali_ccp.py 處理了真實的工業(yè)級格式原始特征以\x01/\x02/\x03分隔符編碼腳本負責解析、sparse 特征 Label Encode、dense 特征 MinMax 歸一化并將測試集隨機劃分一半作為驗證集最終 2:1:1。Census-Income美國人口普查收入數(shù)據(jù)則是最小化的多任務入門集預處理后 41 列7 dense 33 sparse。preprocess_census.py 的套路非常干凈——類別列LabelEncoder、連續(xù)列MinMaxScaler、收入標簽映射為 0/1python run_census.py --model_name MMOE python run_census.py --model_name PLE 召回Matching數(shù)據(jù)集實戰(zhàn)MovieLens-1M召回模型的第一站MovieLens-1M 是召回任務的入門首選preprocess_ml.py 僅十幾行代碼就完成了核心工作讀取users.dat、ratings.dat、movies.dat三個文件注意::分隔符和ISO-8859-1編碼三表 merge 后輸出統(tǒng)一寬表。之后在 run_ml_dssm.py 中框架工具函數(shù)generate_seq_feature_match會自動構(gòu)造用戶觀看歷史序列特征hist_movie_id、隨機負采樣生成訓練樣本、并把每個用戶最后一條記錄切為測試集——這正是召回數(shù)據(jù)集預處理的三大關(guān)鍵步驟。YOOCHOOSE 與 DigineticaSession-based 推薦基準這兩個電商點擊流數(shù)據(jù)集是 NARM、STAMP 等序列推薦論文的基準。preprocess_session_based.py 用一套可配置的流水線同時兼容兩者按DATA_CONFIGS適配不同的分隔符與時間格式然后執(zhí)行標準清洗——filter_by_session_len過濾長度小于 2 的 sessionfilter_by_min_item_freq過濾出現(xiàn)次數(shù)不足 5 的商品split_train_test按時間測試取最后 7 天切分訓練/測試集Million Song Dataset音樂推薦的長尾處理MSD 包含百萬用戶對幾十萬首歌曲的播放記錄。process_msd.py 展示了大文件 長尾過濾的典型做法只讀取 50W 行做實驗、對用戶/歌曲 ID 做 Label Encode、剔除播放量低于閾值用戶 100、歌曲 50的長尾對象最后關(guān)聯(lián) sqlite 中的歌曲元信息。 生成式推薦HSTU / HLLM / TIGER 的數(shù)據(jù)準備生成式推薦對數(shù)據(jù)的格式要求不同需要將交互記錄整理成用戶級時間序列。preprocess_ml_hstu.py 支持自動下載 MovieLens-1M然后按用戶構(gòu)建交互序列 → 按時間戳排序 → 用滑動窗口策略為每個用戶生成多個訓練樣本大幅提升訓練數(shù)據(jù)量→ 在用戶級別切分 train/val/test最終輸出seq_tokens、seq_time_diffs、targets等字段。preprocess_amazon_books.py 則演示了 HLLM 的 Amazon Books 數(shù)據(jù)準備支持raw原始數(shù)據(jù)與bytedance官方處理后數(shù)據(jù)兩種來源過濾交互次數(shù)不足 5 的用戶和物品python preprocess_amazon_books.py --data_source bytedance --output_dir ./processed 預處理通用技巧與數(shù)據(jù)流水線通讀各數(shù)據(jù)集腳本后可以發(fā)現(xiàn)Torch-RecHub 的數(shù)據(jù)預處理收斂為 5 個標準動作統(tǒng)一寬表把多來源文件 merge 成一行一樣本的 CSVLabel Encode所有 sparse/類別特征含 user_id、item_id離散化為整數(shù)并記錄vocab_size歸一化dense 特征用MinMaxScaler縮放到 [0,1]序列構(gòu)造按用戶分組 時間戳排序生成歷史行為序列SequenceFeature見 features.py切分與加載交給 data.py 中的DataGenerator排序/多任務或MatchDataGenerator召回生成 DataLoadersplit_ratio[0.7, 0.1]即 7:1:2 切分更多數(shù)據(jù)流水線細節(jié)可參考官方文檔 core/data.md。 快速上手三步跑通第一個實驗# 1. 克隆倉庫 git clone https://gitcode.com/datawhalechina/torch-rechub cd torch-rechub # 2. 用內(nèi)置樣例數(shù)據(jù)跑 Criteo DeepFM無需下載全量數(shù)據(jù) cd examples/ranking python run_criteo.py --model_name deepfm # 3. 或用 MovieLens 樣例數(shù)據(jù)跑召回模型 cd ../matching python run_ml_dssm.py小結(jié)Torch-RecHub 的數(shù)據(jù)集生態(tài)覆蓋了從百萬級到千萬級、從單任務 CTR 到多任務、序列與生成式推薦的全部主流場景。新手建議從 Criteo / MovieLens-1M 的樣例數(shù)據(jù)起步跑通流程后再替換為全量數(shù)據(jù)即可復用本文的預處理套路開展自己的推薦實驗。贊分享人工智能深度學習【免費下載鏈接】torch-rechubA Lighting Pytorch Framework for Recommendation Models, Easy-to-use and Easy-to-extend.項目地址https://gitcode.com/datawhalechina/torch-rechub點擊查看免費下載相關(guān)推薦終極指南使用Fusion 360插件優(yōu)化3D打印螺紋設(shè)計的完整教程終極指南使用Fusion 360插件優(yōu)化3D打印螺紋設(shè)計的完整教程 在3D打印領(lǐng)域標準60度V型螺紋往往難以完美打印這是因為它們的設(shè)計基于機械加工的公差要人工智能機器學習深度學習分布式訓練Recommenders數(shù)據(jù)準備完全手冊處理MovieLens、MIND等流行數(shù)據(jù)集Recommenders數(shù)據(jù)準備完全手冊處理MovieLens、MIND等流行數(shù)據(jù)集 推薦系統(tǒng)數(shù)據(jù)準備是構(gòu)建高效推薦模型的關(guān)鍵第一步。Microsoft Re機器學習深度學習數(shù)據(jù)科學BasicSR數(shù)據(jù)集大全從DIV2K到Vimeo90K的完整預處理指南BasicSR數(shù)據(jù)集大全從DIV2K到Vimeo90K的完整預處理指南 BasicSR是一個強大的開源圖像和視頻恢復工具箱專門用于超分辨率、去噪、去模糊等任人工智能深度學習計算機視覺圖像處理視頻處理創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考