案例-流量统计

我们有一份统计数据，这个数据是关于手机号消耗流量的情况，需求统计每一个手机号耗费的总上行流量、总下行流量、总流量。

13812345678 50 200
13678901234 30 150
15923456789 40 180
18856789012 60 250
17734567890 35 160
（一）需求介绍

需求统计每一个手机号耗费的总上行流量、总下行流量、总流量

（二）需求分析

在map阶段读一行数据，切分字段，抽取手机号，上行流量和下行流量。以手机号为key，bean对象为value输出。

一个手机号有多行数据。

按行读出手机号，上行流量和下行流量。

但是，map，reducer函数都需要我们使用键值对的数据，所以我们需要一个类来描述。

k2: 手机号码

v2: phoneFlowBean对象

reduce阶段将每个手机号对应的phoneFlowBean对象封装的信息。

（三）编写流量统计的Bean对象

 
 
import org.apache.hadoop.io.Writable;
 
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
 
//hadoop 序列化
//三个属性：手机号，上行流量，下行流量
public class FlowBean implements Writable {
    private String phone;
    private Long upFlow;
    private Long downFlow;
    public FlowBean(String phone, Long upFlow,Long downFlow){
        this.phone = phone;
        this.upFlow = upFlow;
        this.downFlow = downFlow;
    }
    //定义get/set方法
    public String getPhone() {
        return phone;
    }
    public void setPhone(String phone) {
        this.phone = phone;
    }
    public long getUpFlow(){
        return upFlow;
    }
 
    public void setUpFlow(Long upFlow) {
        this.upFlow = upFlow;
    }
 
    public Long getDownFlow() {
        return downFlow;
    }
 
    public void setDownFlow(Long downFlow) {
        this.downFlow = downFlow;
    }
 
    //定义无参构造
    public FlowBean(){}
    //定义一个获取流量的方法
    public Long getTotalFlow() {
        return upFlow + downFlow;
    }
 
    @Override
    public void write(DataOutput dataOutput) throws IOException {
        dataOutput.writeUTF(phone);
        dataOutput.writeLong(upFlow);
        dataOutput.writeLong(downFlow);
    }
 
    @Override
    public void readFields(DataInput dataInput) throws IOException {
        phone = dataInput.readUTF();
        upFlow = dataInput.readLong();
        downFlow = dataInput.readLong();
    }
}

（四）编写Mapper类

 
 
 
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
 
import java.io.IOException;
 
 
//1.继承Mappper
//2.重写map函数
public class FlowMapeer extends Mapper<LongWritable, Text, Text,FlowBean> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
 
 
        //1.获取一行数据，使用空格拆分
        //手机号就是第一个元素
        //上行流量就是第二个元素
        //下行流量就是第三个元素
        String[] split = value.toString().split("");
        String phone = split[0];
        Long upFlow = Long.parseLong(split[1]);
        Long downFlow = Long.parseLong(split[2]);
//2.封装对象
        FlowBean flowBean = new FlowBean(phone,upFlow, downFlow);
// 3.写入手机号为key,值就是这个对象
        context.write(new Text(phone),flowBean);
    }
}

（五）编写Reducer类

 
 
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
 
import java.io.IOException;
 
//1.继承 Reducer
//2.重写reduce函数
public class FlowReduce extends Reducer<Text,FlowBean,Text,Text> {
    @Override
    protected void reduce(Text key,Iterable<FlowBean> values, Context context)throws IOException, InterruptedException {
        //1.遍历集合，取出每一个元素，计算机上行流量和下行流量的汇总
        Long upFlowSum = 0L;
        Long downFlowSum = 0L;
        for (FlowBean flowBean : values) {
            upFlowSum += flowBean.getUpFlow();
            downFlowSum += flowBean.getDownFlow();
        }
        //2.计算总的汇总
        long sumFlowSum = upFlowSum + downFlowSum;
        String flowDesc = String.format("总的上行流量：%d,总的下行流量是：%d,总流量是：%d",upFlowSum, downFlowSum,sumFlowSum);
 
        context.write(key,new Text(flowDesc));
    }
}

（六）编写Driver驱动类

 
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
 
import java.io.IOException;
 
//提交job的类，一共做7件事
public class FlowDriver {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        //1.获取配置，得到job对象
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);
        // 2.设置jar包路径
        job.setJarByClass(FlowDriver.class);
        // 3.关联Mapper和Reduce
        job.setMapperClass(FlowMapeer.class);
        job.setReducerClass(FlowReduce.class);
        // 4.设置Mapper和Reduce的输出类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(FlowBean.class);
        //5.设置reducer的输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        //6.设置输入和输出路径
        FileInputFormat.setInputPaths(job, new Path("data"));
        FileOutputFormat.setOutputPath(job, new Path("output"));
        //7.提交job,根据返回值设置程序退出code
        boolean result = job.waitForCompletion(true);
        System.exit(result ? 0 :1);
 
    }
}

测试使用
运行程序，查看效果。

通过本堂课的学习，我们学习了序列化在实际场景中的应用，