当前位置：首页 > 编程日记 > 正文

如何利用 C# 爬取Gate.io交易所的公告！

编程日记 2024-09-30 04:30:00

对于大部分程序员来说，都希望自己或多或少拥有一些比特币（BTC）。获取 BTC 的途径除了挖矿计算 Hash 值之外，就是去交易所购买了。

由于 BTC 的价格波动非常剧烈，入手 BTC 的时机就显得尤为关键。在交易所搞活动时入手，往往可以降低自己的交易成本。而程序员那里有时间看交易所的公告呢，做个爬虫来盯交易所的公告倒是一个不错的办法。

今天，我就带着大家用 C# 来爬取Gate.io交易所的公告。

首先，我们查看一下所要爬取数据的网页。

公告第1页的网址为：

https://gateio.news/articlelist/ann/0

公告第1页

公告第2页的网址为：

https://gateio.news/articlelist/ann/1

公告第3页的网址为：

https://gateio.news/articlelist/ann/2

可见所要爬取数据的网页地址，其变换的部分只有最后的页码数字。只要我们把这个数字作为参数传入到爬取函数中，即可爬取对应页面的数据。

其次，我们来看一下网页的源码，以第1页为例，其它的以此类推就好。

源代码

从该源码中我们发现，虽然页面显示为中文，但源码部分为英文。如果要获取中文的HTML DOM TREE 需要在网络请求头的 Cookie 中加入相应的说明 lang=cn，具体可见后面的 GetHtmlDocument 方法。

获取公告列表

查看公告部分的源码，我们发现所有的公告数据全部存储在 latnewslist 类中，在该类中找到 a 标签的 href 属性，可以得到该公告的网页地址。从上面的源码中，我们可以得到对应公告的网址为：

https://gateio.news/article/16805

详细公告

其源码如下所示，通过查找 new-dtl-info 类，我们就可得到该公告发布的时间。
获取公告发布时间

最后，我们确定获取 HTML DOM TREE 的工具为 Jumony，可以在 Github 上下载。下载地址为：

https://github.com/Ivony/Jumony

Jumony下载

这里对 Jumony 就不做过多介绍了，要是大家感兴趣，可以在图文下方留言，我后面再写几篇图文来介绍这个工具。

上面我们对爬取的网页进行了分析，确定了技术路线，接下来，我们写代码实现爬取 Gateio 交易所公告的任务。

1. 创建“交易所公告”的结构 Announcement

public class Announcement
{// 交易所名称public string ExchangeName;// 公告时间public string Time;// 公告标题public string Title;// 公告网址public string Url;// 格式化 Announcement 输出public override string ToString(){if (string.IsNullOrEmpty(Time))return base.ToString();DateTime dt = DateTime.Parse(Time);string result = "[" + dt.Year + "/" + dt.Month + "/" + dt.Day+ " " + Title.Trim() + "](" + Url + ")";return result;}
}

2. 获取“交易所公告”的 HTML DOM TREE

public static IHtmlDocument GetHtmlDocument(string url)
{IHtmlDocument document;try{document = new JumonyParser().LoadDocument(url);}catch{document = null;}return document;
}
// 方法重载，得到给定页码的公告
public static IHtmlDocument GetHtmlDocument(int page)
{string url = "https://gateio.news/articlelist/ann/" + page;HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;if (request == null)return null;// 添加Cookie 中文显示request.Headers.Add("Cookie", "lang=cn");IHtmlDocument document = new JumonyParser().LoadDocument(request.GetResponse());return document;
}

3. 获取“交易所公告”的列表 List<Announcement>

public static List<Announcement> GetGateioAnnouncement(int page)
{List<Announcement> result = new List<Announcement>();IHtmlDocument doc = GetHtmlDocument(page);if (doc == null)return result;List<IHtmlElement> lists = doc.Find(".latnewslist").ToList();for (int i = 0; i < lists.Count; i++){IHtmlElement infor = lists[i].Find("a").ToList()[0];Announcement announcement = new Announcement();announcement.ExchangeName = "Gate.io";announcement.Title = infor.Find("H3").ToList()[0].InnerHtml();string url = "https://gateio.news" + infor.Attribute("href").AttributeValue;announcement.Url = url;IHtmlDocument temp = GetHtmlDocument(url);List<IHtmlElement> t = temp.Find(".new-dtl-info").ToList();announcement.Time = t.Find("span").ToList()[0].InnerHtml();result.Add(announcement);}return result;
}

4. Markdwon 格式化输出

private string GetReport(List<Announcement> lst)
{if (lst == null || lst.Count == 0)throw new ArgumentNullException();string result = "**" + lst[0].ExchangeName + "**" + Environment.NewLine;for (int i = _lstGateio.Count - 1; i >= 0; i--){result += "- " + lst[i] + Environment.NewLine;}return result;
}

Markdown文本

5. HTML 渲染格式化输出的结果

HTML渲染

到此为止，利用 C# 爬取Gate.io交易所的公告就介绍完了。希望本篇图文对大家有所帮助。今天就到这里吧！See You！

相关阅读

如何利用 C# 开发「桌面版百度翻译」软件！
如何利用 C# 爬取「猫眼电影专业版：票房」数据！
如何利用 C# 爬取「京东 - 计算机与互联网图书销量榜」！

https://www.dkcj.cn/info/20940.html

如何利用 C# 爬取Gate.io交易所的公告！

相关文章：

人的原罪、本我和超我

软件测试的准入准出是什么?标准是什么?

如何利用 C# 爬取 One 持有者返利数据！

04.微博消息的语言检测

CIO时代学院院长姚乐：传统行业遇上大数据拥抱智能化未来

自动化测试的优势和局限性有哪些

也分享一个存储过程代码生成器开源

如何利用 C# 爬取BigOne交易所的公告！

如何提升自己的Web前端技术

tomcat 性能设置

SAP的安装后基本设定

如何通过 Scratch 教小朋友编程思维？

零基础怎么学习UI设计?有哪些简单的学习方法?

让资源管理器不显示最近常用文件夹

C# 写Windows服务

技术图文：如何利用 C# 爬取 ONE 的交易数据？

java程序猿必读的学习书籍，良心推荐!

Autools学习总结（一）

简单的实现IOCP服务器模型

资料分享：送你一本《数据结构与算法JavaScript描述》电子书！

Python中爬虫框架或模块的区别

SQL SERVER 2000写存储过程出现列名无效的解决方法

如何利用 C# + Python 破解猫眼电影的反爬虫机制？

ZooKeeper学习笔记1-----------安装启动

软件测试培训完就业方向怎么选择

LeetCode实战：合并两个有序链表

Apache反向代理设置【转载】

Suricata的输出

快速提高你的UI设计水平的一些小技巧

hibernate join fetch