感谢

本篇首先特别感谢从此启程兄的《.NetCore外国一些高质量博客分享》, 发现很多国外的.NET Core技术博客资源, 我会不定期从中选择一些有意思的文章翻译总结一下。

.NET Core中的CSV解析库

本篇博客来源于.NET Core Totorials的《CSV Parsing In .NET Core》。

背景介绍

对于初级程序员来说, 使用string.Split(',')来解析CSV文件基本就是唯一可行的方法, 但是之后他们会发现除了使用逗号分隔值之外，CSV中还有其他需要处理的东西，所以作者就介绍了CSV解析的一些痛点并推荐了2个比较好用CSV解析库。

CSV解析一些痛点

一个CSV文件有可能有表头，也可能没有表头。如果表头存在的话，解析CSV时，列的顺序就不太重要了，因为你可以根据表头知道所需的数据在第几列。如果表头不存在的话，解析CSV时，就需要依赖列的顺序。所以CSV的解析，应该即支持表头，也支持按列的顺序。
CSV文件中某一列的值可能是带双引号的字符串，字符串中可能包含换行符、逗号，双引号。
- 例1：1,2,"a,b"
- 例2: 1,2,"a[换行符]b"
- 例3: 1,2,"this is ""Good""." (注：双引号字符串中的出现的连续双引号表示转义，这里真正的文本是this is "Good".)
CSV文件中每一行的数据的数据列数量“应该”一样，但不是必须一样，所以解析CSV需要处理这些不一致的情况
在.NET中，当反序列化一个CSV文件的时候，还需要
- 支持反序列化成集合
- 支持枚举
- 支持自定义映射
- 支持映射嵌套对象

.NET Core中的一些优秀CSV解析库

这里作者推荐了2个CSV解析库，一个是CSVHelper, 一个是Tiny CSV Parser。

测试例子

为了测试这些CSV解析库，我们首先创建一个.NET Core的控制台程序

然后我们添加一个Automobile类，其代码如下

    public class Automobile

    {

        public string Make { get; set; }

        public string Model { get; set; }

        public AutomobileType Type { get; set; }

        public int Year { get; set; }

        public decimal Price { get; set; }

        public AutomobileComment Comment { get; set; }

        public override string ToString()

        {

            StringBuilder builder = new StringBuilder();

            builder.AppendLine();

            builder.AppendLine($"Make: {Make}");

            builder.AppendLine($"Model: {Model}");

            builder.AppendLine($"Type: {Type.ToString()}");

            builder.AppendLine($"Year: {Year}");

            builder.AppendLine($"Price: {Price}");

            builder.AppendLine($"Comment: {Comment?.Comment}");

            return builder.ToString();

        }

    }

    public class AutomobileComment

    {

        public string Comment { get; set; }

    }

    public enum AutomobileType

    {

        None,

        Car,

        Truck,

        Motorbike

    }

最后我们创建一个csv文件sample.txt作为测试文件，我们希望将当前csv文件中的数据，反序列化到一个Automobile类的对象实例中。

其内容如下

Make,Model,Type,Year,Price,Comment

"Toyota",Corolla,Car,1990,2000.99,"Comment with a,

line break and "" quotes"

这个文件中第一行是一个表头，第二行是一个数据行，数据行中包含了

字符串内容换行
字符串中有逗号
字符串中有双引号

CSVHelper

CSVHelper是一个CSV文件的读写库。它支持读写自定义类对象。官网地址https://joshclose.github.io/CsvHelper/

安装

我们可以使用Package Manager Console来安装CSVHelper。

命令如下：

PM> Install-Package CsvHelper

解析CSV

使用CSVHelper解析CSV文件代码很简单, 还需要2步

使用CsvReader类的对象实例读取CSV文件
使用GetRecords方法来反序列化

    using (TextReader reader = new StreamReader("sample.txt"))

    {

        var csvReader = new CsvReader(reader);

        var records = csvReader.GetRecords<Automobile>();

        foreach (var r in records)

        {

            Console.WriteLine(r.ToString());

        }

    }

最终结果

从结果上看，上面提到的CSV解析痛点，CSVHelper都实现了，特别是针对Comment字段中的逗号、换行、双引号，CSVHelper都处理的很成功。

Tiny CSV Parser

下一个介绍的CSV解析器是Ting CSV Parser, 官网http://bytefish.github.io/TinyCsvParser/index.html, 它是使用配置的方式映射CSV字段, 使用方式上有点类似于AutoMapper

安装

我们可以使用Package Manager Console来安装Tiny CSV Parser。

命令如下：

PM> Install-Package TinyCsvParser

解析CSV

使用Tiny CSV Parser解析CSV文件，首先我们需要创建一个映射类。映射类需要继承自CsvMapping

映射类代码

    public class CsvAutomobileMapping : CsvMapping<Automobile>

    {

        public CsvAutomobileMapping() : base()

        {

            MapProperty(0, x => x.Make);

            MapProperty(1, x => x.Model);

            MapProperty(2, x => x.Type, new EnumConverter<AutomobileType>());

            MapProperty(3, x => x.Year);

            MapProperty(4, x => x.Price);

            MapProperty(5, x => x.Comment, new AutomobileCommentTypeConverter());

        }

    }

    public class AutomobileCommentTypeConverter : ITypeConverter<AutomobileComment>

    {

        public Type TargetType => typeof(AutomobileComment);

        public bool TryConvert(string value, out AutomobileComment result)

        {

            result = new AutomobileComment

            {

                Comment = value

            };

            return true;

        }

    }

其中有几个要点，

MapProperty是根据列的索引来映射属性的。
当映射枚举时，需要使用EnumConverter来映射。
当映射子对象的时候，需要创建子对象对应的Converter, 例如AutomobileCommentTypeConverter。

然后我们修改Program.cs, 使用CsvParser来解析sample.txt

    CsvParserOptions csvParserOptions = new CsvParserOptions(true, ',');

    var csvParser = new CsvParser<Automobile>(csvParserOptions, new CsvAutomobileMapping());

    var records = csvParser.ReadFromFile("sample.txt", Encoding.UTF8);

    foreach (var r in records)

    {

        if (r.IsValid)

        {

            Console.WriteLine(r.Result.ToString());

        }

    }

最终结果

从结果上看，Tiny CSV Parser实现了大部分CSV解析的痛点，唯一不支持的是字符串换行，这一点需要注意。

效率比较

文章的最后，作者使用Benchmark对CSVHelper和Tiny CSV Parser进行了效率比较。

测试代码如下：

    [MemoryDiagnoser]

    public class CsvBenchmarking

    {

        [Benchmark(Baseline =true)]

        public IEnumerable<Automobile> CSVHelper()

        {

            TextReader reader = new StreamReader("import.txt");

            var csvReader = new CsvReader(reader);

            var records = csvReader.GetRecords<Automobile>();

            return records.ToList();

        }

        [Benchmark]

        public IEnumerable<Automobile> TinyCsvParser()

        {

            CsvParserOptions csvParserOptions = new CsvParserOptions(true, ',');

            var csvParser = new CsvParser<Automobile>(csvParserOptions, new CsvAutomobileMapping());

            var records = csvParser.ReadFromFile("import.txt", Encoding.UTF8);

            return records.Select(x => x.Result).ToList();

        }

    }

当测试100000行数据的时候

当测试1000000行数据的时候

从测试结果上看

Tiny Csv Parser的效率比CSVHelper高很多，内存占用也少很多。

最终结论

当不需要支持字符串换行的时候，请使用Tiny Csv Parser
当需要支持字符串换行的时候，请使用CSVHelper

附源代码

巴特西

.NET Core中的CSV解析库

感谢

.NET Core中的CSV解析库

背景介绍

CSV解析一些痛点

.NET Core中的一些优秀CSV解析库

测试例子

CSVHelper

安装

解析CSV

Tiny CSV Parser

安装

解析CSV

效率比较

最终结论

最新文章

热门文章