Spark直接读入fastq格式的数据
2024-10-20 16:48:54
- 输入文件： fastq格式
- 输出结果： kmer的频数和对应的kmer类型
- 系统环境Ubuntu单机版17.01
- spark版本2.7
此次测试主要用到了RDD的函数foreach和zipWithIndex，zipWithIndex这个函数是可以直接对gz文件进行操作的 - python的主要通过lambda函数来进行操作
- 测试代码如下
fastq='/home/yueyao/Spark/00.data/reads.left.fq.gz'
fq_rdd = sc.textFile(fastq)
fq=fq_rdd.zipWithIndex()
def printa(a):
print a
fq.foreach(lambda line:printa(line))最新文章
- 初识redis数据类型
- ElasticSearch5中文分词(IK)
- docker help
- Linux内核模块简介
- BZOJ3680 : 吊打XXX
- 字符串表达式String Expressions
- 如何使用SnpEff 对SNP结果进行分析
- MYSQL 遭遇 THE TOTAL NUMBER OF LOCKS EXCEEDS THE LOCK TABLE SIZE
- 什么是jetty
- Java Stax操作XML简介
- POJ1995 Raising Modulo Numbers(快速幂)
- Objective-C 基本语法：实例变量与成员变量的区别.l........实例方法和类方法区别
- MIPS指令集
- WeQuant交易策略—EMA指标
- Android studio简单布局之view基本属性
- python科学计算包numpy用法（一）
- Yaf 完全精通
- python操作三大主流数据库(7)python操作mongodb数据库①mongodb的安装和简单使用
- Android--判断是否连接成功了指定wifi
- Part 6：静态文件--Django从入门到精通系列教程