当前位置：首页 > 编程日记 > 正文

记录一次自己清理数据的过程

编程日记 2024-09-30 19:30:00

今天接到一个任务，从原始数据（在不同监测点对白纹伊蚊，18周的监测数据）中提取监测点列表，然后从网上爬取各个监测点的空间信息（经纬度），并把这些经纬度数据转换成墨卡托坐标，接着将这个带有空间数据的监测点列表与原始数据进行整合，得到不同监测点各个指标的时间序列，最后把数据进行清理，按照给定的格式输出。

在这里插入图片描述

我的思路是，先把所有的监测点整理出来，去除冗余，进行排序，得到一个监测点的列表，然后调用百度的 API 接口，得到百度建议的 JSON 数据（这个数据带有经纬度信息），选择一个最贴近的建议地点，得到其经纬度。得到经纬度之后剩下的事情就很好处理了。

说做就做，得到的监测点列表如下：

在这里插入图片描述

从得到的监测点列表可以看出，原始数据的命名并不规范，如下所示：

白云区第二人民医院高塘门诊部，白云区第二人民医院高塘门诊部天台
柏塘幼儿园，柏塘幼儿园旁空地
朝阳杨梅街8号空地，朝阳杨梅街8号旁空地
德宝花园，德宝花园天台及外环境，德宝花园外环境
都市品格花园，都市品格外坏境
广钢医院(北郊分院)，广钢医院北郊分院
鹤龙，鹤龙街
……

我估计，以上数据应该指的是同一个监测点，但为了保持与原始数据一致，方便后面提取数据建立关联，我并没有做合并的操作，此时得到监测点 4069 个。

接下来就是调用百度API，得到百度建议的地点名称JSON，关键代码如下：

private static string _suggestion_url = "http://api.map.baidu.com/place/v2/suggestion";public JObject Suggestion(string query, string region)
{try{if (_vm == VerificationMode.IPWhiteList)  //IP 白名单校验{string url = _suggestion_url + "?query=" + query + "&region=" + region + "&output=json&ak=" + _ak;string json = DownloadString(url);return JsonConvert.DeserializeObject(json) as JObject;}else  //SN校验{string url = _suggestion_url + "?query=" + query + "&region=" + region + "&output=json&ak=" + _ak;IDictionary<string, string> param = new Dictionary<string, string> { { "query", query }, { "region", region }, { "output", "json" }, { "ak", _ak } };string sn = AKSNCaculater.CaculateAKSN(_ak, _sk, _suggestion_url.Split(new string[] { ".com" }, StringSplitOptions.None)[1], param);  //计算snstring json = DownloadString(url + "&sn=" + sn);return JsonConvert.DeserializeObject(json) as JObject;}}catch{return null;}
}

在这里插入图片描述

public class MonitoringPoint
{public string MonitoringPtName;public List<string> RecommendedNames;public MonitoringPoint(){MonitoringPtName = string.Empty;RecommendedNames = new List<string>();}
}

public class OperationData
{public List<MonitoringPoint> MonitoringPts;public OperationData(){MonitoringPts = new List<MonitoringPoint>();}public void ReadMonitoringPts(string fileName){MonitoringPts.Clear();string[] strs = File.ReadAllLines(fileName,Encoding.Default);for (int i = 0; i < strs.Length; i++){MonitoringPoint mp = new MonitoringPoint();mp.MonitoringPtName = strs[i].Trim();MonitoringPts.Add(mp);}}public void WriteMonitoringPts(string fileName){for (int i = 0; i < MonitoringPts.Count; i++){string[] strs = MonitoringPts[i].MonitoringPtName.Split(new char[] {' '});MonitoringPts[i].RecommendedNames = GetRecommendedPts(strs[1], "广州");}string[] strData = new string[MonitoringPts.Count];for (int i = 0; i < MonitoringPts.Count; i++){string temp = MonitoringPts[i].MonitoringPtName + ",";List<string> lst = MonitoringPts[i].RecommendedNames;for (int j = 0; j < lst.Count; j++){temp += lst[j] + ",";}strData[i] = temp.Substring(0, temp.Length - 1);}File.WriteAllLines(fileName, strData,Encoding.Default);}public List<string> GetRecommendedPts(string query, string region){List<string> lst = new List<string>();PlaceSuggestionService pss = new PlaceSuggestionService();JObject suggestionPlaces = pss.Suggestion(query, region); //建议位置if (suggestionPlaces != null){try{foreach (JObject place in suggestionPlaces["result"]){string temp = (string) place["city"] + " ";if (temp.Contains(region) == false) continue;temp += (string) place["district"] + " ";temp += (string) place["name"] + " ";temp += (double) place["location"]["lat"] + " ";temp += (double) place["location"]["lng"];Console.WriteLine(temp);lst.Add(temp);}}catch{;}}return lst;}
}

得到的百度建议列表如下图所示：

在这里插入图片描述

从这个列表可以看出，有些监测点没有返回 JSON，这可能跟我请求过于频繁有关。先把返回 JSON 的数据整理出来再说啊。

景泰西四巷停车场，停车场(景泰西四巷) 23.168635 113.275384
荔湾妇幼，广州市荔湾区妇幼保健院 23.084383 113.228215
中山一院，中山大学附属第一医院 23.13275 113.29747
市一医院，广州市第一人民医院 23.137422 113.262769
广东省政协，中国人民政治协商会议广东省委员会 23.121369 113.320943
华师幼儿园，华南师范大学附属幼儿园 23.147804 113.362476
……

从上面的例子，我们可以看到监测点与百度建议的地点其实是相同的。但表述的方式不同，这块我不想在利用 NLP 中的知识写“分词”，“编辑距离”这些代码了，于是我开始用人工的方式进行筛选，从来没有这样痛苦过，这是我的筛选成果，如下图所示：

在这里插入图片描述

真是坑爹啊！！！用了两个小时才得到 245 个结果。我写上面的代码也没有花费2个小时，我真的想抓个实验室的学生来做这些事情啊，可看到他们都在复习功课，不忍心啊，这种没啥技术含量的事情也不好意思让学生们来做啊。只能这样了，再给我一天的时间，就能把这个任务搞定了。就这样吧，今天到这里了。See You！

再瞎扯一句，如果有老师写论文，缺少写代码分析数据的合作者，可以联系我呀！我这几年积累了不少算法的实现，应该很快就能验证你的想法啊，就这样吧，See You！

https://www.dkcj.cn/info/21030.html

记录一次自己清理数据的过程

相关文章：

man nfsd(rpc.nfsd中文手册)

Java学习从入门到精通的学习建议

Automatically highlight current page in menu via Javascript

基于Vue的小日历（支持按周切换）

股市币市：数据分析与交易所公告（20190225）

哪些人适合参加UI设计培训

java常用的7大排序算法汇总

深度优先搜索算法在RPG游戏迷宫中的应用

又有六所大学考研预调剂系统已开放！

零基础参加java培训如何学习

webGL的一些咨询--web3D

如何利用 C# 爬取「京东 - 计算机与互联网图书销量榜」！

突发！微信官方证实：“绞杀”了刷量平台

Java培训一共分几个阶段

IE6,7,8,FF兼容总结

二叉树的路径（根节点到叶节点）Binary Tree Paths

股市币市：数据分析与交易所公告（20190226）

零基础怎么学UI设计

原创：嵌入图片的HTML内容在FLASH AS3中正确显示的最佳解决方案

总结六条对我们学习Linux系统有用的忠告

一份来自上海院校的考研预调剂系统已开放名单！

【Python培训基础知识】Python生成器函数

普华永道重磅报告：决定未来的八大核心科技

[转帖][实用]Linux 释放内存方法

股市币市：数据分析与交易所公告（20190227）

【Web前端培训】预解析(变量提升)

如何利用 C# 爬取「猫眼电影：热映口碑榜」及对应影片信息！

【Java学习笔记之五】java数组详解

参加Java培训需要注意什么

写得不错的几篇C/C++博客