hello yongshuai

司永帅个人博客

Home Archives
2016-10-23

spark基本操作

创建rdd

查看分区数据

自定义分区器

连续map合并

RDD怎么实现全局排序的

先按区间shuffle到各个分区,各个分区实现局部排序

RDD如何实现自定义排序

case class

https://www.iteblog.com/archives/1508.html

如何自定义规则,自定义规则的算法是什么

Share
Newer
数据仓库
Older
hive基本操作

最新文章

  • 面试准备-javaIO
  • hbase-JAVA API
  • java操作hive
  • hive学习笔记-udf-udaf
  • 面试经验-永仑车汇

归档

  • 十一月 2017
  • 十一月 2016
  • 十月 2016
  • 十月 2015
  • 八月 2015

分类

  • bigdata
    • hadoop
    • hbase
    • spark
  • cloud-computing
    • docker
  • database
    • oracle
    • redis
  • dev tools
  • git
  • hexo
  • http
  • java
  • javascript
  • linux
    • centos
    • shell
  • vim
  • 估值
  • 数据库
  • 语法

标签云

ETL ETL篇 FAQ Hadoop MySQL SSM URL [object Object] archLinux aria2c awk bigdata chrome database datagrid datanode dd debian dfs display dmp doc docker dokcer easyui eclipse elasticsearch ffmpeg find flash flume generator git hadoop hbase hdfs hexo hive http java json kafka kfaka linux listener map-reduce markdown mybatis oracle oracle11g pdf pl/sql ppt redis request response sbt scala sed shell snappy source spark sparkSql sparkStreaming sql sqlplus static ip tomcat topN ubuntu ubuntu 17.04 udaf udf vim windows wireshark wordcount xargs yarn zookeeper 乱码 代码整合 估值 关联查询 内嵌json 分页 匹配行 启动盘 基础 增删改查 多线程下载 大数据 学习日志 学习笔记 录制视频 数据共享 数据库 数据流 数据渲染 无父分支 权限问题 查询条件下拉 格式化输出 模块化 消息中间件 理论基础 终端 缓存式编辑 自动输入密码 表单下拉 表格编辑时下拉 表结构 设计模式 语法 重点 金融 难点 面试 项目
© 2017 Si Yongshuai
Powered by Hexo
Home Archives