当前位置：首页 > 编程日记 > 正文

技术图文：C# VS. Python 读取CSV文件指南

编程日记 2024-09-24 19:00:00

背景

CSV 是一种以逗号进行特征分隔的文本文件类型，在数据库或电子表格中是一种非常常见的导入导出格式。本篇图文就以泰坦尼克号船员获救预测（ Kaggle）中使用的数据集为例来说明 C#、Python和Pandas 如何读取 CSV 数据的。

CSV原始文件如下图所示：

CSV原始文件

样本的特征如下：

PassengerId：乘客ID
Survival：是否生还（0 = No，1 = Yes）
Pclass：船仓等级（1 = 1st，2 = 2nd，3 = 3rd）
Name：姓名
Sex：性别
Age：年龄
Sibsp：兄弟姐妹（siblings）/配偶（spouses）数量
Parch：父母（parents）/子女（children）数量
Ticket：船票信息
Fare：费用
Cabin：船舱信息
Embarked：登船港口（C = Cherbourg，Q = Queenstown，S = Southampton）

技术分析

C# 属于强类型语言，CSV文件可以看作样本的集合，所以需要先定义样本的结构，之后再把每一个样本对象放入链表中形成集合。有了样本的集合我们就可以自己写代码或者使用LINQ技术来分析这些样本数据了。

Python 自带了CSV模块，通过CSV模块中的reader()方法可以得到序列的迭代器，之后用 foreach 语句获取所有的样本数据。

Pandas 更加的方便，通过read_csv()方法可以直接得到一个DataFrame结构，基于该结构可以进行下一步的数据分析。

利用C#语言读取CSV数据

Step1：把样本特征封装到类中。

public class PassengerItem
{public int PassengerId;public int Survived;public int Pclass;public string Name;public string Sex;public double Age;public int SibSp; public int Parch; public string Ticket; public double Fare; public string Cabin; public string Embarked; 
}

Step2：读取CSV获取样本的集合。

public static List<PassengerItem> GetData(string filePath)
{List<PassengerItem> result = new List<PassengerItem>();string[] strs = File.ReadAllLines(filePath);for (int i = 1; i < strs.Length; i++){string str = strs[i];if (string.IsNullOrEmpty(str))continue;PassengerItem pItem = new PassengerItem();int start = str.IndexOf(",\"", StringComparison.Ordinal);int end = str.IndexOf("\",", StringComparison.Ordinal);pItem.Name = str.Substring(start + 2, end - start - 2);str = str.Remove(start, end - start + 1);string[] s = str.Split(',');if (!int.TryParse(s[0].Trim(), out pItem.PassengerId)){pItem.PassengerId = int.MaxValue;}if (!int.TryParse(s[1].Trim(), out pItem.Survived)){pItem.Survived = int.MaxValue;}if (!int.TryParse(s[2].Trim(), out pItem.Pclass)){pItem.Pclass = int.MaxValue;}pItem.Sex = s[3].Trim();if (!double.TryParse(s[4].Trim(), out pItem.Age)){pItem.Age = double.MaxValue;}if (!int.TryParse(s[5].Trim(), out pItem.SibSp)){pItem.SibSp = int.MaxValue;}if (!int.TryParse(s[6].Trim(), out pItem.Parch)){pItem.Parch = int.MaxValue;}pItem.Ticket = s[7].Trim();if (!double.TryParse(s[8].Trim(), out pItem.Fare)){pItem.Fare = double.MaxValue;}pItem.Cabin = s[9].Trim();pItem.Embarked = s[10].Trim();result.Add(pItem);}return result;
}

Step3：利用LINQ来处理样本的数据。

static void Main(string[] args)
{List<PassengerItem> p = GetData(@".\train.csv");int i = p.Count(a => !string.IsNullOrEmpty(a.Cabin));int j = p.Count(a => !string.IsNullOrEmpty(a.Embarked));Console.WriteLine("Cabin:" + i); //Cabin:204Console.WriteLine("Embarked:" + j); //Embarked:889
}

利用Python读取CSV数据

使用 CSV 模块的reader()方法，从下面的代码长度，我们可以看出读取CSV文件 Python 比 C# 要简单的多，但统计某一列信息还需要推导式来辅助完成。

import csvwith open('train.csv') as f:reader = csv.reader(f)head_row = next(reader) # 读取表头  rows = [row for row in reader] # 读取数据集# 读取列Cabin = [row[10] for row in rows if row[10].strip() is not '']Embarked = [row[11] for row in rows if row[11].strip() is not '']print("Cabin:{0}".format(len(Cabin)))print("Embarked:{0}".format(len(Embarked)))# Cabin:204
# Embarked:889

利用Pandas读取CSV数据

使用Pandas的read_csv()方法可以很方便的读取CSV文件，之后可以通过行索引或列索引很方便的获取样本或特征数据。

import pandas as pddf = pd.read_csv(r'.\train.csv')
print(df.info())
# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 891 entries, 0 to 890
# Data columns (total 12 columns):
#  #   Column       Non-Null Count  Dtype  
# ---  ------       --------------  -----  
#  0   PassengerId  891 non-null    int64  
#  1   Survived     891 non-null    int64  
#  2   Pclass       891 non-null    int64  
#  3   Name         891 non-null    object 
#  4   Sex          891 non-null    object 
#  5   Age          714 non-null    float64
#  6   SibSp        891 non-null    int64  
#  7   Parch        891 non-null    int64  
#  8   Ticket       891 non-null    object 
#  9   Fare         891 non-null    float64
#  10  Cabin        204 non-null    object 
#  11  Embarked     889 non-null    object 
# dtypes: float64(2), int64(5), object(5)
# memory usage: 83.7+ KB

总结

本文介绍了如何利用C#、Python以及Pandas来读取CSV文件，通过对比可以发现Pandas最为便捷。有一个感悟是需要与大家分享的，针对不同的场景，要换不同的语言来实现呀，千万不要向我当年那样所有的场景都用自己最熟悉的语言，比如自己写SVM的实现，而sklearn只需要配参数就好，结果耗费了不少时间精力，还没有人家写的好。哭死！！

后台回复「搜搜搜」，随机获取电子资源！
欢迎关注，请扫描二维码：

https://www.dkcj.cn/info/20166.html

技术图文：C# VS. Python 读取CSV文件指南

背景

技术分析

利用C#语言读取CSV数据

利用Python读取CSV数据

利用Pandas读取CSV数据

总结

相关文章：

零基础学软件测试去哪家培训机构好

技术图文：Numpy 一维数组 VS. Pandas Series

【Python】向函数传递任意数量的实参

word中插入下标

手机应用软件测试的思路与要点

数据结构与算法：01 绪论

rar for linux缺少GLIBC_2.7

硅谷产学研的创新循环

java技术培训之File类中常用的构造方法

数据结构与算法：02 C#语言基本语法结构

积少成多 Flash(ActionScript 3.0 Flex 3.0) 系列文章索引

WPF Snoop 2.7 源码研究

java培训基础知识都学哪些

数据结构与算法：03 C#面向对象设计 I

Centos7安装编译安装zabbix2.219及mariadb-5.5.46

软件测试开发:常见测试类型概念

技术图文：C#语言中的泛型 I

ubuntu搭建svn、git遇到的问题及解决办法

webstorm同时打开多个project方法

什么业务场景适合使用Redis?

Linux基础知识汇总(2)...持续更新中

技术图文：C#语言中的泛型 II

linux档案权限

新手UI设计师需要掌握的知识和技能

数据结构与算法：04 C#面向对象设计 II

SharePoint迁移和升级方案

零基础如何掌握web前端开发技能

数据结构与算法：05 Leetcode同步练习（一）

用Asp.net实现简单的文字水印

yum国内镜像