v0.2.0

訂閱源收集

最後更新


本頁說明 Collector 如何管理訂閱源,以及如何把 RSS 轉成新聞列表。

訂閱源管理


方法對應指令行為
NewCollector(db)—建立收集器,HTTP 逾時 30 秒
Add(link)add空字串直接返回;否則 InsertFeed(),已存在的 URL 會重設為啟用
Remove(link)rm/removeRemoveFeed(),將 dismiss 設為 1
List()config回傳啟用中的訂閱源,依建立時間排序

抓取與解析


GetNews() 逐一處理啟用中的訂閱源:
步驟行為
抓取HTTP GET 後以 encoding/xml 解析為 model.RSS;失敗只寫 log 並略過該訂閱源
來源名稱取 <channel><title>;為空時用訂閱源 URL
去重以去除空白後的 <link> 為鍵,跨所有訂閱源去重
時間窗發布時間早於 72 小時前的項目略過
清理標題與描述移除 HTML 標籤並還原 HTML entity
排序依發布時間由新到舊

每個回應內容都依 RSS 2.0 的 <rss><channel><item> 結構解碼。不檢查 HTTP 狀態碼:根元素不是 <rss> 的內容(例如 Atom 的 <feed> 或 HTML 錯誤頁)解碼失敗,該訂閱源在本次檢查中略過。

日期解析


pubDate 依序嘗試下列格式,全部轉為 UTC:
格式
Mon,02 Jan 2006 15:04:05 -0700
Mon, 02 Jan 2006 15:04:05 -0700
Mon, 2 Jan 2006 15:04:05 -0700
2006-01-02T15:04:05Z07:00
2006-01-02 15:04:05
time.RFC1123Z、time.RFC1123、time.RFC3339

pubDate 為空或無法解析時使用當下時間;刷新流程 會在文章已入庫時改回資料庫中的時間。

資料模型


型別欄位
model.RSSChannel
model.ChannelTitle、Description、Item []Item
model.ItemTitle、Description、Link、PubDate
model.NewsTitle、Content(RSS 描述)、Source、URL、PublishedAt、FullContent、Author、WordCount(後三者為指標,未萃取時為 nil)
EN