shuffle的读操作(shufflereducetask端与blockmanagerendpoint端点进行通信获取mapstats元数据信息)

广告位

shuffle的读操作:      1》主要是由shufflerdd的compute方法所触发 …

shuffle的读操作:

     1》主要是由shufflerddcompute方法所触发

     2》在compute方法中,调用shufflemanager,getread方法,

     3》在该getread方法中会与blockmanagerendpoint中端点进行通信,获取到shufflemaptask端的mapstatus元数据信息(主要调用shuffmaptask的getstatus方法

    4》并将mapstatus转换成seq序列(该序列包含数据在哪个executor上以及索引)

    5》shufflereducetask端根据这些索引文件在对应的execotor上去拉取文件.

 

墨眉朱砂, 程

关于作者: 墨眉朱砂

为您推荐