spark编程基础--5.1RDD编程基础
RDD创建
1.从文件系统中加载数据创建RDD
2.从分布式文件系统HDFS中加载数据
3.通过并行集合（数组）创建RDD
RDD操作
1.转换操作
filter(func)
map(func)
flatmap(func)
groupByKey()
reduceByKey(func)
2.行动操作
3.惰性机制
所谓的“惰性机制”是指，整个转换过程只是记录了转换的轨迹，并不会发生真正的计算，只有遇到行动操作时，才会触发“从头到尾”的真正的计算。这里给出一段简单的语句来解释Spark的惰性机制。
分区
1）创建RDD时手动指定分区个数
在调用textFile()和parallelize()方法的时候手动指定分区个数即可，语法格式如下：
sc.textFile(path, partitionNum)
其中，path参数用于指定要加载的文件的地址，partitionNum参数用于指定分区个数。
2）使用reparititon方法重新设置分区个数
自定义分区方法
实例：根据key值的最后一位数字，写到不同的文件
例如：
10写入到part-00000
11写入到part-00001
.
.
19写入到part-00009
import org.apache.spark.{Partitioner, SparkContext, SparkConf}
//自定义分区类，需要继承org.apache.spark.Partitioner类
class MyPartitioner(numParts:Int) extends Partitioner{//覆盖分区数override def numPartitions: Int = numParts //覆盖分区号获取函数override def getPartition(key: Any): Int = {key.toString.toInt%10
}
}
object TestPartitioner {def main(args: Array[String]) {val conf=new SparkConf()val sc=new SparkContext(conf)//模拟5个分区的数据val data=sc.parallelize(1 to 10,5)//根据尾号转变为10个分区，分别写到10个文件data.map((_,1)).partitionBy(new MyPartitioner(10)).map(_._1).saveAsTextFile("file:///usr/local/spark/mycode/rdd/partitioner")}
} 注意：这里的partitioner不需要自己提前创建好，否则会运行不成功。
sbt编译打包，spark-submit提交执行
一个综合实例
假设有一个本地文件word.txt，里面包含了很多行文本，每行文本由多个单词构成，单词之间用空格分隔。可以使用如下语句进行词频统计（即统计每个单词出现的次数）：
scala> val lines = sc. //代码一行放不下，可以在圆点后回车，在下行继续输入
| textFile("file:///usr/local/spark/mycode/wordcount/word.txt")
scala> val wordCount = lines.flatMap(line => line.split(" ")).
| map(word => (word, 1)).reduceByKey((a, b) => a + b)
scala> wordCount.collect()
scala> wordCount.foreach(println)
相关文章：
JMeter的安装和使用
开始学习JMeter，网上资源虽多，不如自己总结的更有意义。 1. JMeter 的安装： 首先要安装java，这个直接去官网下载安装然后添加环境变量即可https://mirrors.tuna.tsinghua.edu.cn/apache//jmeter/binaries/ ，下载JMeter…
C# 3.0 —— 扩展方法
扩展方法是C# 3.0新加入的特性，允许我们在不改变源代码的情况下扩展（即填加）现有类型中的实例方法，也给我们提供了另外一种扩展类型行为的方法(其它的方法为继承、组合、反射)。 下面我们来看一个代码示例： classProgr…
Melkman's Algorithm
http://cgm.cs.mcgill.ca/~athens/cs601/Melkman.html https://maxgoldste.in/melkman/ 转载于:https://www.cnblogs.com/noryes/p/10406873.html
HDU1051Wooden Sticks
Wooden Sticks http://acm.hdu.edu.cn/showproblem.php?pid1051 #include<stdio.h> struct stick{ int w ; int l; int flag;}wood[5000],temp,r[]; int n ; //排序// int partition(struct stick r[],int first,int end){ int ifirst,jend; while(i<j){ while(i<…
spark编程基础--5.2键值对RDD
键值对RDD的创建 常用的键值对转换操作 reduceByKey(func) groupByKey() keys values sortByKey() mapValues(func) join combineByKey reduceByKey(func) reduceByKey(func)的功能是，使用func函数合并具有相同键的值 groupByKey() 上面得到的wordCountsWithReduce…
禁止选中文本事件
由于经常会些写错，为了以后节约时间，记录下： obj.on(click,.arrow,function(ev){console.log(click);ev.stopPropagation();ev.preventDefault();var rel $(this).attr(rel);if( rel && rel < totalPage && rel>0 ){g…
一套外企的数据库设计面试题
最近发现园子里面关于数据库方面的文章比较多，正好我也是一个喜欢凑热闹的家伙，那就跟着烧一把火吧。^_^ 这是前阵子一个朋友面试外企的一套关于数据库设计的试题，有兴趣的朋友不妨一试。 Part I 工厂在定义一个新产品的流程如下&#x…
持续集成（一）为什么我们迫切需要持续集成
摘录自：http://blog.csdn.net/kkkloveyou/article/details/53875987 为什么我们迫切需要持续集成（Continuous Integration） 持续集成（Continuous Integration），也就是我们经常说的 CI，是现代软…
spark编程基础--5.3数据读写
文件数据读写 1.本地文件系统的数据读写 1）从文件中读取数据创建RDD 2）把RDD写入到文本文件中 2.分布式文件系统HDFS的数据读写 3. JSON文件的读取 JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于ECMAScript规范的…
试用最新版本的live writer发一篇日志看看
之前装Vs2008想弄WPF的时候，根据网上的说明，找VS2008的SP1，windows SDK的时候颇费周折，虽然说微软上面可以直接下，但是我找了半天才找到，总是觉得麻烦。现在就把一些WPF的相关前期准备软件的地址发出来&…
守护网络安全，我们一直在努力
据外电消息，日前，一种通过发布有关北京奥运会虚假信息的邮件来传播新型网络病毒，正在席卷全球。报道中写道，一封号称内容有关“北京奥运会可能因四川大地震取消和延迟”的电子邮件成为了“新型蠕虫恶意***程序”的源头，…
DELPHI 中 Window 消息大全使用详解
Window 消息大全使用详解导读： Delphi是Borland公司的一种面向对象的可视化软件开发工具。 Delphi集中了Visual C和Visual Basic两者的优点：容易上手、功能强大，特别是在界面设计、数据库编程、网络编程方面更有其独特的优势。 Delphi中的消息…
vue 在浏览器控制台怎么调试 谷歌插件vue Devtools
vue 在浏览器控制台怎么调试 谷歌插件vue Devtools 问题： vuejs里面的变量，怎么用浏览器的console查看？ 例如，想在chrome里用console.log查看变量$data，会显示undefined。 解决方案: 再main.js里面声明window.Vue new…
spark编程基础--5.4综合实例
操作指令如下： cd /usr/local/hadoop./sbin/start-dfs.sh./bin/hdfs dfs -mkdir -p spark/mycode/rdd/TopN./bin/hdfs dfs -put /usr/local/spark/mycode/TopN_file1.txt spark/mycode/rdd/TopN ./bin/hdfs dfs -put /usr/local/spark/mycode/TopN_file2.txt spark…
关于C#中的DLLImport （引）
MSDN中对DllImportAttribute的解释是这样的：可将该属性应用于方法。DllImportAttribute 属性提供对从非托管 DLL 导出的函数进行调用所必需的信息。作为最低要求，必须提供包含入口点的 DLL 的名称。 并给了一个示例： [DllImport("KERNEL…
Bootstrap框架和inconfont、font-awesome使用
Bootstrap框架和inconfont、font-awesome使用 iconfont的使用：https://www.cnblogs.com/clschao/articles/10387580.html Bootstrap介绍 Bootstrap是Twitter开源的基于HTML、CSS、JavaScript的前端框架。 它是为实现快速开发Web应用程序而设计的一套前端工具包。 它…
spark编程基础--6.DataFrame
使用spark安装时自带的样例数据people.json文件，生成DataFrame： 下面从示例文件people.json中创建一个DataFrame，然后保存成csv格式文件，代码如下： scala> val peopleDF spark.read.format("json").loa…
firebug 的使用
[Firebug - Console控制台视图] console API文档, http://www.getfirebug.com/console.html console.info显示(i)图标 在输出时，需要注意第一个参数被自动识别为格式字符串 需要在页面加载前启动firebug，当页面加载后启动firebug时，就没有…
cisco PIX防火墙的配置及注解完全手册
PIX Version 6.3(1)interface ethernet0 auto 设定端口0 速率为自动interface ethernet1 100full 设定端口1 速率为100兆全双工interface ethernet2 auto 设定端口2 速率为自动nameif ethernet0 outside security0 设 定端口0 名称为 outside 安全级别为0nameif ethernet1 insi…
C/C++：*(p++)慎用！！！！！
各位代码界的大佬大家好，今天跟大家分享一个在C/C中常用，但是很危险的一串代码——*(p) 为什么说这一行代码比较危险呢，因为对于C/C来说，成也指针，败也指针。C/C中指针便于我们操作一块连续的内存空间中内容࿰…
Kindeditor学习中的那些坑
Kindeditor富文本编辑器还算比较好上手的一款插件吧，下面记录一下我在学习和实践中遇到的那些坑。 编辑器初始化方法和参数网上一搜一大把，不想搜的点这里，文档上各个参数已经写得很清楚了，直接拿过来用就OK 开始说一些实际用到时…
java2实用教程--第二章基本数据类型与数组
基本数据类型--浮点类型 public class Example2_1 {public static void main (String args[]) {char chinaWord 好,japenWord あ;char you \u4F60;int position 20320;System.out.println("汉字："chinaWord"的位置："(int)china…
EntityCURD操作的参数和返回值
以下是netbeans根据实体自动生成的CURD模板：/** To change this template, choose Tools | Templates* and open the template in the editor.*/package com.medea.order.session;import com.medea.order.entity.Storeorder;import java.util.List; import javax.ej…
[ZT]SQL Server 的事务日志意外增大或充满的处理方法
http://support.microsoft.com/kb/317375 事务日志文件Transaction Log File是用来记录数据库更新情况的文件，扩展名为ldf。在 SQL Server 7.0 和 SQL Server 2000 中，如果设置了自动增长功能，事务日志文件将会自动扩展。一般情况下ÿ…
powershell真香
写毕设开题报告，从PDF复制后会有多余空格，一个一个手动删除略显麻烦。 delete.cpp#include<iostream> #include<cstdio> #include<string> #include<vector> using namespace std; int main() {//freopen("UAS.txt",&…
背包的硬币问题
在一个国家仅有1分，2分，3分硬币，将钱N兑换成硬币有很多种兑法。请你编程序计算出共有多少种兑法。 HDU 1284 #include <iostream> using namespace std;const int M 32768 10;int dp[M];int main() {int n;while (~scanf("%d&q…
【转帖】OnPreRender Render的区别
转自：http://hi.baidu.com/trip008/blog/item/d6139ab77b5414f130add1e9.html protected override void OnPreRender(EventArgs e) protected override void Render(HtmlTextWriter writer) 这两个的区别。可否告知 asp.net页面在触发各个子控件的事件之后&#…
微信小程序如何进行登录授权和获取用户信息
微信小程序如何进行登录授权和获取用户信息
禁止windows系统的自动运行功能
禁用Windows 系统的自动播放功能的方法：在运行中输入 gpedit.msc 后回车，打开组策略编辑器，依次点击：计算机配置－＞管理模板－＞系统－＞关闭自动播放－…
WCF配置文件全攻略
Code<?xml version"1.0" encoding"utf-8" ?><configuration> <system.ServiceModel> <!-- services 元素包含应用中驻留的所有service的配置要求 --> <services> <!-- 每个服务的…