当前位置：首页 > 编程日记 > 正文

spark(3) - scala独立编程

编程日记 2024-04-07 20:00:00

>>非集成：

环境需要

　　* spark 2.4.0

　　* scala 2.11.12

　　* sbt （打包）

开发过程

1、shell命令下创建项目目录结构

*****/ project / src / main / scala

-> . / ClassName.scala （ touch + gedit 命令）

*****/ project

-> . / ******.sbt (Scala & spark 配置信息)

2、编写代码

3、sbt打包jar - sbt package

4、运行 spark-submit --class " ** " ..../../../../ ***.jar

目录结构：

/src - 手动编写

simple.sbt - 手动编写

/project - sbt 打包生成

/target - sbt 打包生成

>>集成环境

　　* Eclipse +maven/sbt

　　* Scala IDE for eclipse

　　* Intellij IDEA + maven/sbt

　　使用过程：

　　　　创建项目

　　　　编写代码

　　　　运行调试

【问题】：这几个工具配合使用maven/sbt 老由问题

待处理：1、网速慢 2、配置不熟悉

转载于:https://www.cnblogs.com/floakss/p/10526213.html

https://www.dkcj.cn/info/4338.html

C++ STL: 基本六大部件概览及各个容器使用方式和底层实现概览

文章目录STL六大部件容器的使用Arrayvectorlistdequemutisetmultimapunordered_multiset/set使用一个东西，却不明白它的道理，不高明。STL六大部件容器 Containers 用来存放数据分配器 Allocators 为容器内的数据分配存储空间算法 Algorithms 计算数据迭…

编程日记2024/04/07 19:30:00

Android窗口管理服务WindowManagerService计算窗口Z轴位置的过程分析

文章转载至CSDN社区罗升阳的安卓之旅，原文地址：http://blog.csdn.net/luoshengyang/article/details/8570428 通过前面几篇文章的学习，我们知道了在 Android系统中，无论是普通的Activity窗口，还是特殊的输入法窗口和壁…

编程日记2024/04/07 19:00:01

oracle非归档模式下如何备份,Oracle之RMAN数据库在非归档模式下的备份和恢复

1.数据库在非归档模式下的备份 SQLgt; archive log list;数据库日志模式非存档模式自动存档禁用存档终点 USE_DB_RECOVERY_FIL1.数据库在非归档模式下的备份SQL> archive log list;数据库日志模式非存档模式自动存档禁用存档终点 USE_DB_RECOVERY_FILE_DEST最早的联机日…

编程日记2024/04/07 18:30:00

C# 视频多人脸识别的实现

上一篇内容的调整，提交到git了，https://github.com/catzhou2002/ArcFaceDemo基本思路如下：一、识别线程1.获取当前图片2.识别当前图片的人脸位置，并将结果存入列表3.分别获取人脸的特征值并比对，并将结果存入列表4.如果…

编程日记2024/04/07 18:00:00

C++ STL: 分配器allocators 源码分析

STL 基本的六大组件作用以及功能如下： 可以看到allocator是数据存储组件container的幕后支持者，负责为其数据存储分配对应的存储空间。 operator::new 在详细介绍alloctor之前，先描述一下new运算符，我们使用C new一个对象的时候…

编程日记2024/04/07 17:30:00

android xUtils的使用

gethub地址：https://github.com/wyouflf/xUtils/ xUtils简介 xUtils 包含了很多实用的android工具。xUtils 支持大文件上传，更全面的http请求协议支持(10种谓词)，拥有更加灵活的ORM，更多的事件注解支持且不受混淆影响...xUitls 最…

编程日记2024/04/07 17:00:01

oracle 条件反转,Oracle反转倒置函数

Oracle提供了一个反转倒置函数reverse，但此函数不能分组倒置，本文提供了一个即可分组倒置的函数，如下所示：CREATE OR REPLACE FUNCTION REVERSE_F(p_str VARCHAR2, p_delimiter VARCHAR2:)RETURN VARCHAR2 ISv_return VARCHAR2(40…

编程日记2024/04/07 16:30:00

android读取大图片并缓存

最近开发电视版的云存储应用，要求”我的相册“模块有全屏预览图片的功能，全屏分辨率是1920*1080超清。UI组件方面采用GalleryImageSwitcher组合，这里略过，详情参见google Android API。相册图片预取缓存策略是内存缓存&#xff08…

编程日记2024/04/07 16:00:00

[ZJOI2018]历史

Description: 给定一棵树,定义每个点的操作为把这个点到1号点的路径覆盖上颜色i,每次该点到1号点经过的不同颜色段数会加到答案中,要使所有点按某一顺序操作完后答案最大给定每个点要执行的操作次数,并给出m次修改,问每次修改后的最大答案 Hint: $n,m \le 4*10^5$ Solution:…

编程日记2024/04/07 15:30:00

C++ STL: lower_bound 和 upper_bound

接口声明以下有两个不同的版本 lower_bound template <class ForwardIterator, class T>ForwardIterator lower_bound (ForwardIterator first, ForwardIterator last,const T& val);template <class ForwardIterator, class T, class Compare>ForwardItera…

编程日记2024/04/07 15:00:01

1199: 房间安排

1199: 房间安排 Time Limit: 1 Sec Memory Limit: 128 MBSubmit: 1 Solved: 1[Submit][Status][Web Board]Description 2010年上海世界博览会(Expo2010),是第41届世界博览会。于2010年5月1日至10月31日期间，在中国上海市举行。本次世博会也是由中国举办的首届世界…

编程日记2024/04/07 14:30:00

oracle判断非空并拼接,oracle sql 判断字段非空，数据不重复，插入多跳数据

oracle sql 判断字段非空，数据不重复select distinct(mobile) from wx_user_mobile where active_time is not nullbegininsert into sms_submit(id,gateway_id,source_number,dest_number,message_content)values(sms_system.nextval,1,88…

编程日记2024/04/07 14:00:00

量产工具介绍（2）

前面介绍了量产工具概念，U盘构造，量产工具获取途径，以及国内的芯片分类，今天，我们从注意事项及常见问题继续介绍量产相关知识注意事项厂家推出的量产工具也是在不断提高版本的，新版本添加有新主控型号驱动。…

编程日记2024/04/07 13:30:00

C++ STL: 容器vector源码分析

文章目录前言vector的核心接口vector push_back实现vector 的 Allocatorvector 的 push_back总结前言 vector 是我们CSTL中经常使用的一个容器，提供容量可以动态增长，并且随机访问内部元素的数据存储功能。这个容器我们最常使用，所以也是最…

编程日记2024/04/07 13:00:00

STM32学习笔记9（SysTick滴答时钟）

我不得不说意法半导体确实有点风骚！甚至有点变态。我对ST文档 STM32F10XXX参考手册的编辑水平真是不敢恭维。手册中好多说明都是含糊不清，甚至将好多对初学者来说很重要的地方都一笔带过，让人着实摸不着头脑。比如前面我说过的关于NVIC嵌套向…

编程日记2024/04/07 12:30:00

oracle存储空间管理,Oracle存储空间管理

Oracle存储空间管理1.查看每个数据文件的剩余表空间(一个表空间只对应N个数据文件,N一般等于1)主要是利用表dba_free_space(表空间剩余空间状况)和dba_data_files(数据文件空间占用情况)select b.file_id　　"文件ID",b.tablespace_name　　"表空间名",b.f…

编程日记2024/04/07 12:00:00

漫谈Httpclient

引用地址： http://hc.apache.org/httpclient-3.x/ End of life The Commons HttpClient project is now end of life, and is no longer being developed. It has been replaced by the Apache HttpComponents project in its HttpClient andHttpCore modules, whic…

编程日记2024/04/07 11:30:00

具体数学-扰动法

from scipy.special import combn int (input("n: "))k int (input("k: "))sum1 0for j in range(0, k):for i in range(0, n1):sum1 sum1 (i**j)*comb(k1,j)result ((n1)**(k1) - sum1)/comb(k1,k) print(result) python 中计算排列组合&#xff1a…

编程日记2024/04/07 11:00:00

C++ STL: 超详细容器 deque 以及适配器queue 和 stack 源码分析

文章目录前言deque 实现deque类_Deque_iterator 类deque 的元素插入 insert函数deque如何模拟空间连续queue 实现stack 的实现前言 C容器中 deque是一个非常有趣的容器结构，我们知道deque本身是一个支持双向扩容的结构，对外表现出连续的存储方式。本节将…

编程日记2024/04/07 10:30:00

php好的mvc中index方法,创建一个mvc应用目录架构并创建入口文件index.php

摘要：<?php require vendor/autoload.php;require pig/Base.php;define(ROOT_PATH,__DIR__./);$configrequire pig/config.php;$queryStr$_S<?php require vendor/autoload.php;require pig/Base.php;define(ROOT_PATH,__DIR__./);$configrequire pig/confi…

编程日记2024/04/07 10:00:01

C语言对mysql数据库的操作

C语言对mysql数据库的操作原文:C语言对mysql数据库的操作这已经是一相当老的话题。不过今天我才首次使用，把今天的一些体会写下来，也许能给一些新手带来一定的帮助，更重要的是供自己今后忘记的怎么使用而进行查阅的！ 我们言归正传…

编程日记2024/04/07 09:30:00

[转]MCC(移动国家码)和 MNC(移动网络码)

From : http://blog.chinaunix.net/uid-20484604-id-1941290.html 国际移动用户识别码（IMSI） international mobile subscriber identity 国际上为唯一识别一个移动用户所分配的号码。　　从技术上讲，IMSI可以彻底解决国际漫游问题。但是由于…

编程日记2024/04/07 09:00:01

虚拟机cenos 重置密码

许久不用虚拟机，临时想登录看下，结果想不起来密码了，尝试各种可能的密码都登录失败。然后百度查验各种方法，看到一篇文章然后根据上面说的成功解决了问题，贴出链接：https://blog.csdn.net/dannistang/artic…

编程日记2024/04/07 08:30:00

g-git 相关命令及其基本原理探索 (一)

文章目录git 最小配置作用域git 创建本地仓库git log 查看版本演进.git 目录refs目录objectsgit 三种对象类型详解 (commit ,tree,blob)因为工作需求，接下来将从git的使用到其内部工作原理，来避免代码提交或者review或者版本管理上的一些尴尬&#xff0c…

编程日记2024/04/07 08:00:00

php表单退出怎么写,PHP提交表单失败后如何保留填写的信息

[导读]本文章来给各位同学介绍PHP提交表单失败后如何保留填写的信息一些方法总结，最常用的就是使用缓存方式了，这种方法如果网速慢是可能出问题的，最好的办法就是使用ajax了。1．使用header头设置缓存控制头Cache-c本文章来给各位同…

编程日记2024/04/07 07:30:00

lists,tuples and sets of Python

(python2.7.x) Lists 列表列表是一个有序序列(集合)，可变的（可以修改），可以理解为其他语言中的数组类型，但是列表更灵活更强大。列表由方括号[]来定义的，它的元素可以是任意类型或对象，一个列…

编程日记2024/04/07 07:00:00

Javascript中使用WScript.Shell对象执行.bat文件和cmd命令

WScript.Shell（Windows Script Host Runtime Library）是一个对象，对应的文件是C:/WINDOWS/system32/wshom.ocx，Wscript.shell是服务器系统会用到的一种组件。shell 就是“壳”的意思，这个对象可以执行操作系统外壳常用…

编程日记2024/04/07 06:30:00

控件绘制的方法

1处理WM_PAINT 最极端的选择是执行一个 WM_PAINT 处理程序，并且自己完成所有的绘制。这意味着，您的代码将需要进行一些与呈现控件相关的琐事 — 创建适当的设备上下文（一个或多个），决定控件的大小和位置，绘…

编程日记2024/04/07 06:00:00

google gflags的参数解析，便捷实用

命令行参数解析，一直是我们后段开发人员需要经常使用的一个功能，用来从终端解析接口的输入 ，并做出对应的处理。这里为使用C/python的开发人员推荐一个便捷的命令行解析接口集 gflags。我们之前使用C的getopt/getopt_long 函数需要自己使用…

编程日记2024/04/07 05:30:00

linux进程下的线程数,Linux下查看进程线程数的方法

0x01：ps -ef只打印进程，而ps -eLf会打印所有的线程[rootcentos6 ~]# ps -ef | grep rsyslogdroot 1470 1 0 2011 ? 00:01:13 /sbin/rsyslogd -c 4root 29865 28596 0 22:45 pts/5 00:00:00 grep rsyslogd[rootcentos6 ~]# ps…

编程日记2024/04/07 05:00:00

相关文章：