〇、概述

1、工具

http://www.dooccn.com/python3/

在线运行Python代码

2、步骤

（1）⽣成代码测试数据

（2）编写Mapper逻辑

（3）编写Reducer逻辑

（4）提交并执行

一、⽣成代码测试数据

运行代码，输出50个人，分别购买3种商品的数据

代码：

#!/usr/bin/python

# -*- coding: utf-8 -*-

import random

stocks = ["HUAWEI Mate40","Apple iphone13","Apple MacBook Pro 14","ThinkBook 14p","RedmiBook Pro14","飞鹤星飞帆幼儿奶粉","爱他美 幼儿奶粉","李宁运动男卫裤","小米踏步机椭圆机","欧莱雅面膜","御泥坊面膜","欧莱雅男士套装","金六福白酒","牛栏山42度","茅台飞天"]

sales_list = list()

for i in range(50):

    sstocks = list()

    for j in range(3):

        sstocks.append(stocks[random.randint(0,14)])

    a = "买家" + str(i) + ":" + ",".join(sstocks)

    print(a)

二、编写Mapper逻辑

拷⻉第1步1.2 ⽣成的数据到输⼊框中，然后参考mapper.py代码进⾏编辑程序

代码：

#!/usr/bin/python

# -*- coding: utf-8 -*-

import sys

#从控制台中读取数据，循环发送每行数据

for line in sys.stdin:

    #对订单进行拆分

    orders = line.strip().split(":")

    if len(orders) == 2:

        #对订单中的商品进行拆分

        stocks = orders[1].split(",")

        for stock in stocks:

            #将每一个商品作为key,value进行输出

            print('%s,%s' % (stock,1))

三、编写Reducer逻辑

拷⻉第2步⽣成的数据到输⼊框中，然后参考reducer.py代码进⾏编辑程序

代码：

#!/usr/bin/python

# -*- coding: utf-8 -*-

import sys

# 创建一个空的字典用来每一个商品的销售数据

stock_dict = dict()

for line in sys.stdin:

    if len(line.strip()) >= 1:

        # 拆分每一行的商品，销量

        stock, sales = line.split(',')

        # 判断当前商品是否在字典中有存放

        if stock in stock_dict:

            # 如果有，把字典中的商品和销量取出来，追加当前销量再放入

            stock_dict[stock] = stock_dict[stock] + int(sales)

        else:

            # 如果没有，直接把商品和销量数据放入字典中

            stock_dict[stock] = int(sales)

# 遍历字典列表，获取每一个商品的销量

for stock, sales in stock_dict.items():

    print('%s\t%s' % (stock, sales))

最终结果：各个商品的购买次数

四、提交并执行

# hadoop jar 使用hadoop命令调用jar资源

# 运行streaming程序所在的资源位置(路径)

hadoop jar /usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar

    -file mapper.py                 # 表示mapper程序所在位置

    -mapper "python mapper.py"      # 表示将要调用的map执行程序脚本

    -file reduce.py                 # 表示reducer程序所在位置

    -reducer "python reducer.py"    # 表示将要调用的reduce执行程序脚本

    -input /input/data              # 数据的输入目录

    -output /output                 # 数据的输出目录

巴特西

【大数据课程】高途课程实践-Day01：Python编写Map Reduce函数实现各商品销售量展示（类似wordcount）