博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark 2.x kafka LocationStrategies 的几种方式
阅读量:7102 次
发布时间:2019-06-28

本文共 500 字,大约阅读时间需要 1 分钟。

  hot3.png

Spark  2.x  kafka  LocationStrategies 的几种方式。

 

1. LocationStrategies.PreferBrokers()

仅仅在你 spark 的 executor 在相同的节点上,优先分配到存在  kafka broker 的机器上;

 

2. LocationStrategies.PreferConsistent();

 大多数情况下使用,一致性的方式分配分区所有 executor 上。(主要是为了分布均匀)

 

3. LocationStrategies.PreferFixed(hostMap: collection.Map[TopicPartition, String])

4. LocationStrategies.PreferFixed(hostMap: ju.Map[TopicPartition, String])

 如果你的负载不均衡,可以通过这两种方式来手动指定分配方式,其他没有在 map 中指定的,均采用 preferConsistent() 的方式分配;

转载于:https://my.oschina.net/Rayn/blog/1584658

你可能感兴趣的文章
制作WinCE 5.0的ARM模拟器
查看>>
PHP字符串(1)-初始化
查看>>
一个笔试题
查看>>
我的友情链接
查看>>
1.5-LVS的NAT模式
查看>>
我的友情链接
查看>>
IPTABLES学习笔记
查看>>
sqlserver 2008 R2 故障恢复移动文件
查看>>
varnish description
查看>>
Centos 6.5 安装 Atlassiana Crowd+JIRA+Confluence(Wiki)之一 数据库篇(MySQL5.1)
查看>>
TCP及socket通信原理
查看>>
python 学习笔记day04-python字符串、列表、元组
查看>>
ASA 第三天实验
查看>>
使用oracle 11G自带sqldeveloper 工具
查看>>
自定制Linux微型系统
查看>>
Guitar Magic Free上线啦
查看>>
活动目录服务的配置与管理(5) 域组及AGDLP规则
查看>>
Nginx负载均衡、ssl原理、生成ssl密钥对、Nginx配置ssl
查看>>
mac使用技巧和快捷键
查看>>
基于域名虚拟主机及主站迁移
查看>>