爬虫系统的意义 爬虫的意义在于采集大批量数据,然后基于此进行加工/分析,做更有意义的事情.谷歌,百度,今日头条,天眼查都离不开爬虫. 今日目标 今天我们来实践一个最简单的爬虫系统.根据Url来识别网页内容. 网页内容识别利器:HtmlAgilityPack GitHub地址 HtmlAgilityPack官网 HtmlAgilityPack的stackoverflow地址 至今Nuget已有超过900多万的下载量,应用量十分庞大.它提供的文档教程也十分简单易用. Parser解析器 HtmlPa

.NetCore中的日志(1)日志组件解析 0x00 问题的产生 日志记录功能在开发中很常用,可以记录程序运行的细节,也可以记录用户的行为.在之前开发时我一般都是用自己写的小工具来记录日志,输出目标包含控制台.文本文件.数据库,一般都是创建全局的Logger,在需要记录日志的地方调用相应的Logger输出至相应目标.遇到输出目标多了有时候也感觉挺麻烦的,不过也还能接受.开始学习.NetCore后接触到了日志记录框架(Logging组件),虽然完全可以用之前的方式记录日志,不过应该使用更通用的方式

1.[基础]redis能带给我们什么福利 Redis(Remote Dictionary Server)官网:https://redis.io/ Redis命令:https://redis.io/commands Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. It supports data structur

支付宝账单是zip压缩文件流,里面包含了两个.csv文件. 1.请求支付宝账单下载链接,获取到zip文件流. var httpClient = _clientFactory.CreateClient(); var stream = await httpClient.GetStreamAsync(response.BillDownloadUrl);//获取流 string extractPath = $@"{_hostingEnvironment.ContentRootPath}/file/ali

前言 中间件(Middleware)对于Asp.NetCore项目来说,不能说重要,而是不能缺少,因为Asp.NetCore的请求管道就是通过一系列的中间件组成的:在服务器接收到请求之后,请求会经过请求管道进行相关的过滤或处理: 正文 那中间件是那路大神? 会经常听说,需要注册一下中间件,如图: 所以说,中间件是针对请求进行某种功能需求封装的组件,而这个组件可以控制是否继续执行下一个中间件:如上图中的app.UserStaticFiles()就是注册静态文件处理的中间件,在请求管道中就会处理对应

干货:本人不会长篇大论.能贴上去的,就是干货,能用一两句话讲明白的,不会大讲概念,不会浪费大家宝贵的时间. 前言:我们发现,超时是个非常重要的概念,如果在通讯架构中,没有超时的设计,那么这个通讯架构就是废品.我们可以很清楚的发现,HTTP 请求,SOCKET  请求,底层都离不开响应超时.如果没有设置超时/或者超时时间设置过大,那么 调用层与被调用层 将产生严重的雪崩效应.接下来,我们来讲讲超时是如何实现的. 直接贴上 干货代码--这是我 Bitter NetCore  Netty 通讯框架中的

在写代码之前,有必要了解一下.net帮我们生成的文件都是干什么用的,在开发过程中他们都负责那些地方(下面以MVC模板举例). 先简单介绍一下什么是MVC,MVC(model-view-controller)是开发web应用程序历史中积淀的一个比较清晰的文件体系,model层用于存放跟数据库交互的代码,view层用于存放前端类html代码,controller层用于存放页面访问处理逻辑的代码,这也是整个web开发的核心之一,这三块撑起了一个web应用程序体系. 了解了这个,我们继续看上图,最开始的

自从Visual Studio For  MacOS公布以来,就开始尝试在Mac上进行net core开发.断断续续遇到了各种奇奇怪怪的问题.虽然大部分利用google查查(百度屁都查不出来),都能找到解决方案,但还是做个记录吧~ 问题一: 错误提示:error MSB4057: The target "Build" does not exist in the project 记录时间:2017-03-31 原因解析:Mono版本低了.对,就是Mono版本低了,别问我为什么开发netc

为什么.NETCore? 学习新的开发框架是一项巨大的投资.您需要学习如何在新框架中编写,构建,测试,部署和维护应用程序.作为开发人员,有许多框架可供选择,很难知道什么是最适合的工作.即使您正在使用.NET开发软件,.NET Core也不相同,您需要花时间学习使用它的工具和技术.为了理解为什么.NET Core值得一看,这有助于知道你从哪里开始. 如果您是.NET Framework开发人员 .NET Core是为了重新启动某些Framework组件而为其他人提供跨平台工作的机会.由于.NET

1. 前言   看园子里面讲dotTrace 的文章不多,最近也有这方面的需要,于是去搜索了一下,.NET 性能分析方面的工具.目的呢,主要是想发现我的代码中,哪些代码占用了最多时间,来进行优化.主要有两个工具,一个是Visual-Studio 2017自带的Performance Profiler 还有一个就是 DotTrace. 两者大概长成如下这样:首先是 Performance Profiler Performance Profiler 以及 DotTrace DotTrace Visu

简介 FreeSql 是一个功能强大的 .NETStandard 库,用于对象关系映射程序(O/RM),支持 .NETCore 2.1+ 或 .NETFramework 4.6.1+. 定义 IFreeSql fsql = new FreeSql.FreeSqlBuilder() .UseConnectionString(FreeSql.DataType.Sqlite, @"Data Source=|DataDirectory|/test.db;Pooling=true;Max Pool Siz

前言 本示例通过对服务订阅的封装.隐藏细节实现.统一配置.自动重连.异常处理等各个方面来打造一个简单易用的 RabbitMQ 工厂:本文适合适合有一定 RabbitMQ 使用经验的读者阅读,如果你还没有实际使用过 RabbitMQ,也没有关系,因为本文的代码都是基于直接运行的实例,通过简单的修改 RabbitMQ 即可运行. 解决方案如下 1. 创建基础连接管理帮助类 首先,创建一个 .netcore 控制台项目,创建 Helper.Service.Utils 文件夹,分别用于存放通道管理.服务

以前dotnet web应用程序开发完成后,我们都是使用IIS部署在Windows Server上,如今netcore技术发展迅速,因为其跨平台的特性,将dotnet web应用程序部署在更方便部署和更廉价的Linux服务器上日益流行.这里简单介绍如何使用Nginx/Systemd/Kestrel将netcore web应用程序部署在Centos系统上.将会涉及两个概念:反向代理和负载均衡. 1.Nginx/Systemd/Kestrel托管netcore应用 1.1 准备netcore web

    去年接触的一个项目中,需要通过TCP与设备进行对接的,传的是Modbus协议的数据,然后后台需要可以动态配置协议解析的方式,即寄存器的解析方式,,配置信息有:Key,数据Index,源数据类型,数据库列类型,数据排列方式  一开始使用的方式是,从数据库读取出协议的配置,然后在接收到数据的时候,循环每个配置项根据配置-----解析数据------转换类型----存临时列表,,后来改进了一下,配置项存缓存,,数据库修改的时候,同时更新缓存.. 但还是慢了一点,因为需一个配置大概是20-30个

感谢 本篇首先特别感谢从此启程兄的<.NetCore外国一些高质量博客分享>, 发现很多国外的.NET Core技术博客资源, 我会不定期从中选择一些有意思的文章翻译总结一下. .NET Core中的CSV解析库 本篇博客来源于.NET Core Totorials的<CSV Parsing In .NET Core>. 背景介绍 对于初级程序员来说, 使用string.Split(',')来解析CSV文件基本就是唯一可行的方法, 但是之后他们会发现除了使用逗号分隔值之外,CSV中

Java Spring Boot VS .NetCore (一)来一个简单的 Hello World Java Spring Boot VS .NetCore (二)实现一个过滤器Filter Java Spring Boot VS .NetCore (三)Ioc容器处理 Java Spring Boot VS .NetCore (四)数据库操作 Spring Data JPA vs EFCore Java Spring Boot VS .NetCore (五)MyBatis vs EFCore

Java Spring Boot VS .NetCore (一)来一个简单的 Hello World Java Spring Boot VS .NetCore (二)实现一个过滤器Filter Java Spring Boot VS .NetCore (三)Ioc容器处理 Java Spring Boot VS .NetCore (四)数据库操作 Spring Data JPA vs EFCore Java Spring Boot VS .NetCore (五)MyBatis vs EFCore

系列文章:https://www.cnblogs.com/alunchen/p/10121379.html 本篇文章操作系统信息 Windows:Window 10 Visual Studio:2017 15.8.0 创建项目并添加Dockerfile 在VS2017及以上版本上创建一个控制台项目,这里的名称叫[ConsoleAppDockerWindows2]. 创建DockerFile文件 1)右键项目 --> 选中[添加] --> 选中[容器业务流程协调程序支持] 2)选择[Docker

前言 本文紧接上篇.Net架构篇:思考如何设计一款实用的分布式监控系统?,上篇仅仅是个思考篇,跟本文没有太大的关系.但有思考,结合现有的开源组件,实践起来更易理解起来,所以看本文之前,应该先看下上篇博文. Zipkin简介 Zipkin是一种分布式跟踪系统.它有助于收集解决微服务架构中的延迟问题所需的时序数据.它管理这些数据的收集和查找.Zipkin的设计基于Google Dapper 论文. 应用程序用于向Zipkin报告时序数据.Zipkin UI还提供了一个依赖关系图,显示了每个应用程序通

这篇介绍稍多,篇幅可能有点多,下面会针对一些重要的点做一些小测试 搜索返回文档解析 hits搜索返回的结果中最重要的一部分其中包含了 索引信息(_index,_type,_index,_source,_score),_source又是其中我们最需要的东西,里面包含了查询的整个文档的内容,默认返回10个文档,这块可以结合分页处理 took显示查询花费的时间 shards查询的数据实际都检索了几个分区,这块跟关系型数据库中的表分区差不多,mysql 中的 partitions 通过执行计划查看可以看