Re: [其他] MOD電影199清單列表, 按照下片時間排序

看板MOD (中華電信MOD)作者jasonjss (古怪天地)時間7年前 (2017/09/24 10:24)推噓5(5推 0噓 2→)

留言7則, 5人參與討論串3/3 (看更多)

※ 引述《jonas (Jonas!Jo!)》之銘言： : J大的列表真是太好用了 : 不過想請教一下 : 關於一些MOD官網未建好目錄路徑的影片 : 例如:電影199裡的新天堂樂園 : http://mod.cht.com.tw/video/movie-details.php?id=386003 : 電影199 龍紋身的女孩 : http://mod.cht.com.tw/video/movie-details.php?id=452694 : 電影199 紅色情深經典數位修復 : http://mod.cht.com.tw/video/movie-details.php?id=417886 : 等等族繁不及備載 : 不知道J大是否也有辦法用程式抓取列表呢？ : 或是量會太大？ : 或許可以懇請J大設一頁工作表來放這些迷失的名片 : 因為機上盒雖然找得到，但是要找出哪些片即將下片實在太費時了 : 光是有片名跟下片日期，即使沒有路徑幫助也很大了， : MOD官網不知為何比方說驚悚類的就漏建路徑十來片 : 好萊塢199的影集更是幾乎全都漏...Orz : 個人小小發現，如不方便也感謝J大，畢竟是MOD官網的問題... : 謝謝撥冗閱讀^^ 官網目前資料有點奇怪, 以前電影199大概都能抓到1400筆左右的資料, 等官網修正吧. 以下簡介一下目前爬蟲的機制, 以電影199來舉例, 1. 首先會進入 http://mod.cht.com.tw/video/set_monthly.php?id=1 2. 抓取每個標題連結, 例如本週上架 http://mod.cht.com.tw/video/set-type.php?id=73 熱門排行 http://mod.cht.com.tw/video/set-type.php?id=74 音樂電影 http://mod.cht.com.tw/video/set-type.php?id=75 劇情 http://mod.cht.com.tw/video/set-type.php?id=76 ... 3. 再進入每個標題(例如本週上架), 抓取每個影片連結, 例如柯羅索巨獸 http://mod.cht.com.tw/video/movie-details.php?id=459269 蠟筆小新電影 http://mod.cht.com.tw/video/movie-details.php?id=459257 恐龍尤物 http://mod.cht.com.tw/video/movie-details.php?id=459443 唱吧！奇蹟！ http://mod.cht.com.tw/video/movie-details.php?id=459271 ... 4. 最後進入每個影片連結, 抓取相關資料(片名, 多螢, 路徑, 下片日期, 簡介...) 所以如果無法透過以上方式進入的影片, 將無法抓取. 另外影集的問題, 舉個例子 http://mod.cht.com.tw/video/drama-details.php?id=448866 當步驟4進入此影片的連結後, 目前只會抓取現存的影片資料, 也就是 [Poli波力S2第1-2話] , 其他集數不會進去抓取資料, 我有嘗試過修改程式進去抓取資料, 可是會遇到三個問題 , 第一個遇到的是官網資料混亂的問題, 例如 http://mod.cht.com.tw/video/drama-details.php?id=458921 http://mod.cht.com.tw/video/drama-details.php?id=460533 ... 裡面集數非常混亂, 且包含許多錯誤的影片, 很多卡通199的影集都有類似的問題, 第二個問題是資料龐大, 如果將每個集數都抓出來的話, 卡通199-兒童的資料量就會從目前的88筆暴漲到4400筆左右. 由於怕資料量太大官網擋掉, 目前爬蟲大概是接近每0.7秒抓一個影片資料, 每天大概會抓二到三次, 如果資料量太大, 花費時間會過多. 第三個是google試算表的排序問題, 一般正常人的觀點, 排續集數的時候, 大概是這樣火影第1集火影第2集火影第3集火影第4集火影第10集火影第11集火影第12集火影第20集火影第21集火影第22集火影第99集火影第100集火影第101集但是google試算表排序的是火影第1集火影第10集火影第100集火影第101集火影第11集火影第12集火影第2集火影第20集火影第21集火影第22集火影第3集火影第4集當然, 對sort下一些參數可以改善排序, 但始終沒找到一個適用全部影集的方式, 都只能改善部分影集. 以上三個問題, 讓我目前暫時放棄抓影集的資訊. -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.116.77.25 ※ 文章網址: https://www.ptt.cc/bbs/MOD/M.1506219893.A.CB1.html