[20180503]珅与分隔符.txt --//今天再次遇到分隔符问题,以前也遇到过做一次,链接.http://blog.itpub.net/267265/viewspace-763696/--//这个"珅"还是许多人喜欢作为名字使用.. $ cat d1.txt123|张飞珅test|aaa1 $ cat d1.txt  | tr '|' '\n'123张飞?testaaa1 --//这样被分割成4个字段,导致错误. $ echo 珅 | xxd -c 16-bash: syntax

public static class SpellAndWbConfig { #region 变量声明 // XML文件读取实例 /// <summary> /// XML文件读取实例 /// </summary> private static XmlReader _Reader = null; // XML文件读取实例 /// <summary> /// XML文件中数据 /// </summary> private static string[] _St

/***获取汉字的拼音*/function pinyin($s, $isfirst = false) { static $pinyins; $s = trim($s); $len = strlen($s); if($len < 3) return $s; if(!isset($pinyins)) { $data = '一:yi|丁:ding|丂:kao|七:qi|丄:shang|丅:xia|丆:mu|万:wan|丈:zhang|三:san|上:shang|下:xia|丌:ji|不:bu|与:yu

转自:http://blog.csdn.net/huangxy10/article/details/10012119 Unicode汉字编码表 1 Unicode编码表  Unicode只有一个字符集,中.日.韩的三种文字占用了Unicode中0x3000到0x9FFF的部分    Unicode目前普遍采用的是UCS-2,它用两个字节来编码一个字符, 比如汉字"经"的编码是0x7ECF,注意字符编码一般用十六进制来 表示,为了与十进制区分,十六进制以0x开头,0x7ECF转换成十进制

一.初衷: 一些开源软件的配置文件中识别区分的部分用英文,那么我们在批量生成配置文件的时候,可以从CMDB导入汉字(idc_name), 然后将它转换成拼音,再或者拼接上IP地址,以便更准确的识别.例如:Smokeping的Targets配置文件,如下: +telcom menu = 中国电信 title = telcom ++yunfuxinxingshuangxian-01-61 menu = 云浮新兴双线-01 title = 61.11.11.11 host = 61.11.11.11

各种编码查询表:http://bm.kdd.cc/ 由于GB 2312-80只收录6763个汉字,有不少汉字,如部分在GB 2312-80推出以后才简化的汉字(如“啰”),部分人名用字(如中国前总理朱镕基的“镕”字),台湾及香港使用的繁体字,日语及朝鲜语汉字等,并未有收录在内.于是厂商微软利用GB 2312-80未使用的编码空间,收录GB 13000.1-93全部字符制定了GBK编码. 其使用范围如下(注意是汉字编码表,不包括符号编码): 表1 汉字编码范围 名称 第一字节 第二字节 GB231

以前写过了3个博文,都是关于汉字转拼音的,后来发现都不是很“完美”的解决方案,第一个和第二个利用的unicode编码的范围进行确定汉字的拼音,但是难免有遗漏,这个在后面的实践中发现的,后来第三个方法是穷举了汉字来获得汉字的拼音,虽然已维护好修改,但是我对于它里面包含的微型字库产生了疑虑,是否将所有汉字包含了,有没有遗漏,并且还不支持繁体字,这些特点注定它也将成为过去,但是它带给我的启发是巨大的,于是就有了这个终结篇. 这个终结方法本质就是穷举所有汉字进行处理的. 字库来源:http://xh.5

/// <summary> /// 汉字拼音首字母列表 /// 包含了20901个汉字,收录的字符的Unicode编码范围为19968至40869 /// </summary> #region ChineseCharList private static string[] ChineseCharList = { "A阿啊锕嗄厑哎哀唉埃挨溾锿鎄啀捱皑凒溰嘊敳皚癌毐昹嗳矮蔼躷噯藹譪霭靄艾伌爱砹硋隘嗌塧嫒愛碍暧瑷僾壒嬡懓薆曖璦鴱皧瞹馤鑀鱫安侒峖桉氨庵谙萻腤鹌蓭誝鞌鞍盦馣鮟盫韽啽

由于项目经历原因,经常使用awk处理一些文本数据.甚至,我特意下载了一个windows上的awk:gawk.exe,这样在windows上也能享受awk处理数据的方便性,. 俗话说,"常在河边走,哪能不湿鞋",使用awk过程中碰上过不少坑,这里稍总结一下,希望对大家有帮助. 1 FS问题 看看这两个awk脚本: cat demo_1.txt demo_2.txt |||| |@||@||@||@| awk -F '|' '{print $2}' demo_1.txt; # 脚本1 aw

好久不写,一方面是工作原因,有些东西没发直接发,另外的也是习惯给丢了,内因所致.今天是个好日子,走起! btw,实际上这种格式化输出应该不只限于某一种需求,差不多是通用的. 需求: --基本的:当前Hive查询结果存在数据与表头无法对齐的情况,不便于监控人员直接查看,或者导出到excel中,需要提供一个脚本,将查询结果处理下,便于后续的查看或者操作. --额外的:A.每次查询出来的结果字段数.字段长度不固定:B.每个数据文件中可能包含不只一套查询结果,即存在多个schema. 想法: 对于基本需

awk 用法:awk ' pattern {action} ' 变量名 含义ARGC 命令行变元个数ARGV 命令行变元数组FILENAME 当前输入文件名FNR 当前文件中的记录号FS 输入域分隔符,默认为一个空格RS 输入记录分隔符NF 当前记录里域个数NR 到目前为止记录数OFS 输出域分隔符ORS 输出记录分隔符 1.awk '/101/' file 显示文件file中包含101的匹配行.awk '/101/,/105/' fileawk '$1 == 5' fileawk '$1 ==

整理的awk的小技巧 begin是要放在正则前面的,按照这个顺序: awk 'begin{} /.*?/ {action}end{}' file FS=':' 和 -F: 是等同的 -F 表示以 XX为分隔符,那如果想要多个分隔呢?看实例: $ cat tmp ss>asdasd>hehe>asd where are you are my where are> you> are my $ awk -F '(>|are)' '{print $3}' tmp hehe my

模型: <?php namespace Admin\Model; use Think\Model; /** * 汉字转拼音 * @author huangguojin */ class ZHModel extends Model{ //utf-8中国汉字集合 private $ChineseCharacters; //编码 private $charset = 'utf-8'; public function __construct(){ if( empty($this->ChineseCha

公司最近在开发微信小程序的红包功能,语音红包需要用到文字转拼音的功能. 之前介绍过怎么将中文的汉字转为拼音的,具体看下面这篇文章. 微信语音红包小程序开发如何提高精准度 红包小程序语音识别精准度 微信小程序红包开发语音红包 - 秋峰不是风 - 博客园http://www.cnblogs.com/xinweiyun/p/8213790.html 这个文章介绍的方法,在部分繁体字,或者一些生僻字方面就识别不了.所以后来就转使用其他的方法.百度搜了很多.后来找到一个其他的类库,最后这个类库还不错.一些

我有一个问题是:是不是会有个别汉字无法在Unicode下表示,这种情况下就不能完全显示了? 各种编码查询表:http://bm.kdd.cc/ -------------------------------------------------------------------------------- Unicode汉字编码表 1 Unicode编码表    Unicode只有一个字符集,中.日.韩的三种文字占用了Unicode中0x3000到0x9FFF的部分(一共几个汉字?)  Unico

源: 218.104.69.100 218.104.69.100 安徽合肥 218.104.69.99 218.104.69.99 安徽合肥 61.190.72.38 61.190.72.38 安徽合肥 61.190.75.3 61.190.75.3 安徽合肥 61.190.75.6 61.10.75.6 安徽合肥 166.111.172.198 166.111.172.198 北京 166.111.172.199 166.111.173.25 北京 1.8.3.3 3.3.3.3 江苏南京 2

作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明.谢谢! 1 算法简介 在 结巴分词2--基于前缀词典及动态规划实现分词 博文中,博主已经介绍了基于前缀词典和动态规划方法实现分词,但是如果没有前缀词典或者有些词不在前缀词典中,jieba分词一样可以分词,那么jieba分词是如何对未登录词进行分词呢?这就是本文将要讲解的,基于汉字成词能力的HMM模型识别未登录词. 利用HMM模型进行分词,主要是将分词问题视为一个序列标注(

awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. awk有3个不同版本: awk.nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本. awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK 的确拥

目前手上有一个需要实现:将用户输入的姓名转换成汉语拼音. 使用枚举,既麻烦又易出错,发现有一个微软拼音转换工具类ChnCharInfo.dll,在此记录下: 首先需要引入此dll, 链接: http://pan.baidu.com/s/1hsa9Y40 密码: ijdi 写一个转换的Helper类: public class ChineseToCharHelper { /// <summary>得到汉字拼音(Item1:全拼 2:首字母缩写 3:大写开头全拼)</summary>

硬件环境: STM32F429,电容屏800X480 5点触控RGB屏幕 ,SPI flash: 软件环境: UCOSIII,STemwin: 汉字显示方法: 1.在SPIflash中装在字库XBF_XINSONGTI19: 2.使用U2C.exe工具进行UTF-8到字体的转化: 1)新建test.txt文件,写入汉字“你好”,另存为,选择编码方式:UTF-8: 2)打开软件U2C.exe,载入文件test.txt,导出文件名test.c: 3.在GUIBuider中加入MULTIEDIT文本显

原文地址:http://www.cnblogs.com/verrion/p/awk_usage.html Awk使用说明 运维必须掌握的三剑客工具:grep(文件内容过滤器),sed(数据流处理器),awk(报表生成器),该文档大致讲述一下awk语法和在日常运维工作中使用awk带来的好处和效率.再感叹一下awk实在是太强大了,完全是一门编程语言!(网上awk资料很多,自己整理Mark一下) 提示:Linux使用的gawk 官方解释:gawk - pattern scanning and proc