当前位置: 首页 > 编程日记 > 正文

阿里云大数据计算服务MaxCompute(下篇)

关于阿里云大数据计算服务MaxCompute的详细内容:

阿里云大数据计算服务MaxCompute使用教程

(MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。)

如果您是 MaxCompute 初学者

如果您是初学者,建议您从如下模块开始读起:

简介: MaxCompute 产品的总体介绍以及包含的主要功能。通过阅读该章节,您会对 MaxCompute 有一个总体的认识。 快速开始:通过示例,指导您如何进行申请账号、安装客户端、创建表、授权、导入导出数据、运行 SQL 任务、运行 UDF/Mapreduce 程序等操作。 基本介绍:MaxCompute 的基本概念及常用命令介绍。您可以进一步熟悉如何操作 MaxCompute。 工具:在分析数据之前,您需要掌握 MaxCompute 常用工具的下载,配置以及使用方法。我们提供以下客户端工具: Client:您可以通过此工具对 MaxCompute 进行操作。

建议您熟悉以上的模块后,再有针对性地对其他模块进行深入学习。

如果您是数据分析师

如果您是数据分析师,建议您熟读 SQL 模块:

SQL:您可以查询并分析存储在 MaxCompute 上的大规模数据。包含的主要功能如下: 支持 DDL 语句,您可以通过 Create、Drop 和 Alter 对表和分区进行管理。 您可以通过 Select 选择表中的某几条记录;通过 Where 语句查看满足条件的记录,实现过滤功能。 您可以通过等值连接 Join 实现两张表的关联。 您可以通过对某些列 Group By,实现聚合操作。 您可以通过 Insert overwrite/into 把结果记录插入到另一张表中。 你可以通过内置函数和自定义函数(UDF)来实现一系列的计算。

如果您拥有一定开发经验

如果您拥有一定的开发经验,了解分布式概念,并且某些数据分析可能无法用 SQL 来实现,此时推荐您学习 MaxCompute 更高级的功能模块。如下所示:

MapReduce:MaxCompute 提供的 Java MapReduce 编程模型。您可以使用 MapReduce 提供的接口(Java API)编写 MapReduce 程序,处理 MaxCompute 中的数据。 Graph:一套面向迭代的图计算处理框架。使用图进行建模,图由点(Vertex)和边(Edge)组成,点和边包含权值(Value)。通过迭代对图进行编辑、演化,最终得出结果。 Eclipse Plugin:方便您使用 MapReduce,UDF 以及 Graph 的 Java SDK 进行开发工作。 Tunnel:您可以使用 Tunnel 服务向 MaxCompute 批量上传离线数据或者从 MaxCompute 下载离线数据。 SDK: Java SDK:向开发者提供 Java 接口。 Python SDK:向开发者提供 Python 接口。

注意:

目前 MapReduce 以及 Graph 功能仍处于公测中,若您想使用这部分功能,可以通过工单系统提交申请。申请时请指明您的项目空间名称,我们会在 7 个工作日内处理。

如果您是项目 Owner 或者管理员

如果您是一个项目空间的 Owner 或者管理员,您需要熟知以下模块:

安全指南:您可以通过阅读该章节,了解如何进行给用户授权、跨项目空间的资源共享、设置项目空间的数据保护功能、policy 授权等操作。 MaxCompute 收费指南:介绍 MaxCompute 的收费模式。 以及部分只有项目空间 Owner 才能使用的命令,例如:常用命令 中 其他操作 的SetProject 操作。

内容导读

课时1:客户端配置以及基本命令介绍 03:09

课时2:SQL基本操作介绍 03:42

课时3:tunnel命令操作介绍 21:04

课时4:MaxCompute与主流关系数据库DDl基本语法差异 02:26

课时5:MaxCompute Studio安装配置说明20:52

阿里云大学官网(阿里云大学 - 官方网站,云生态下的创新人才工场)

相关文章:

【组队学习】【27期】李宏毅机器学习

李宏毅机器学习 论坛版块: http://datawhale.club/c/31-category/31 开源内容: https://github.com/datawhalechina/leeml-notes 学习目标 李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一,也被称为中文世界中最好的机器学习…

Python培训分享:Python新版本中的6个新特性

Python在几年做了一个全面的升级,此次Python升级中有6个新特性,本期小编为大家介绍的Python培训教程就是关于介绍Python新版本中的6个新特性的,来看看下面的详细介绍。 Python培训分享:Python 3.10 有几个新的很酷的功能&#xff…

indows上的android开发环境软件架构5

(二)实验要求: ? 修改按下button 显示的内容中添加上自己的学号姓名; ? 添加一个按钮,按钮名称为“退出”,并且为这个按钮添加事件代码,使得点击这个按钮后退 出程序。事件代码如下: FullscreenActivity.…

日志服务Flink Connector《支持Exactly Once》

摘要:Flink log connector是阿里云日志服务推出的,用于对接Flink的工具,包含两块,分别是消费者和生产者,消费者用于从日志服务中读数据,支持exactly once语义,生产者用于将数据写到日志服务中&a…

【组队学习】【27期】Java编程语言

Java编程语言 论坛版块: http://datawhale.club/c/team-learning/33-category/33 开源内容: https://github.com/datawhalechina/team-learning-program/tree/master/Java 学习目标 Java独特的面向对象的抽象类编程特点,广泛应用于应用…

UI培训分享:如何提升自己的UI设计能力

相信很多UI设计师在工作中经常会遇到瓶颈,那么如何提升自己的UI设计能力?是我们要思考的一个问题,下面小编就为大家分享—些建议。 UI培训分享:如何提升自己的UI设计能力 1、多看 国内知名的设计网站,比如站酷网、花瓣网、多看优…

微信小程序使用阿里巴巴iconfont字体图标

打开阿里巴巴iconfont官网(http://www.iconfont.cn/);把用到的字体图标加到项目里面; 进入到项目里面,选择font class方式来使用,如果没有生成过代码的同学点生成,已经有代码的直接复制代码;iconfont.pngiconfont.png4.浏览器新建页面&…

IIS6 MVC3 配置

用mvc3做了一个网站,重写了下URL,http://www.xxxx.com/news/details/54.html. 结果在iis上预览找不到页面,但是在vs下就没问题直接运行就没问题。 具体的原因应该是找不到映射。 所以需要在iis上添加映射。 添加MVC的解析: 右击II…

【组队学习】【27期】动手学数据分析

动手学数据分析 论坛版块: http://datawhale.club/c/team-learning/25-category/25 开源内容: https://github.com/datawhalechina/hands-on-data-analysis 学习目标 以项目为主线,通过边学,边做以及边被引导的方式&#xf…

参加UI培训后可以找什么工作

UI设计在近几年备受大家的关注,很多企业对UI设计这个岗位也显得尤为重要,很多人都想转型学习UI设计技术,大多数人选择参加UI培训机构进行系统学习,那么通过系统培训的同学参加UI培训后可以找什么工作呢?来看看下面的详细介绍。 参…

Datawhale组队学习周报(第021周)

本文总结了本周(07月05日~07月11日)Datawhale组队学习的运行情况,我们一直秉承“与学习者一起成长的理念”,希望这个活动能够让更多的学习者受益。 第 25 期组队学习一共有 3 门开源课程,共组建了 3 个学习群&#xf…

alias重启终端失效的问题

如果使用命令 alias xxxxxx 那么登出以后,别名就会失效。下次登入的时候就不能用了。 为了保持别名可以把它写入.bashrc 在.bashrc的最后写入想要的别名,比如 alias zpll -al 然后退出,重新登入的时候就可以用了。 或者直接运行命令 source ~…

使用文本用户界面(NMTUI)进行网络配置

NetworkManager 文本用户界面(TUI)工具 nmtui 可提供一个文本界面配置由 NetworkManager 控制的网络。该工具包含在 NetworkManager-tui 子软件包中。写入时,不会默认随 NetworkManager 安装该子软件包。要安装 NetworkManager-tui&#xff0…

UI培训教程分享:常用的商业插画风格有哪些?

在UI设计岗位中插画设计是作为一名合格的UI设计师都会接触到的工作内容,运用插画设计,做到图文结合,令用户的印象也更加深刻,今天小编为大家分享的UI培训教程就是关于常用的商业插画风格有哪些?希望能够给大家带来帮助。 UI培训教…

快速构建Windows 8风格应用32-构建辅助磁贴

引言 Windows Phone中,我们开发者可能会开发的一个功能点是将数据列表中某一项“Pin To Start(固定到开始屏幕)”,大家都知道这种固定到开始屏幕的磁贴叫做辅助磁贴(也叫二级磁贴),用户可以通过该辅助磁贴启动应用程序…

【第22周复盘】可以查成绩了!

「青少年编程竞赛交流群」已成立(适合6至18周岁的青少年),公众号后台回复【Scratch】或【Python】,即可进入。如果加入了之前的社群不需要重复加入。 微信后台回复“资料下载”可获取以往学习的材料(视频、代码、文档&…

UI培训教程分享:APP启动页UI界面设计

本期为大家分享的ui培训教程是关于APP启动页面的UI设计方面,作为一名合格的UI设计师,APP产品的启动页是需要会的,下面就来看看详细的教程吧。 UI培训教程分享:APP启动页UI界面设计 启动页面在APP中还是很有必要的,对于…

Nginx 配置

content_by_lua ‘’; set_by_lua $c "return ngx.var.a ngx.var.b"; rewrite_by_lua "ngx.var.a ngx.var.a 1"; access_by_lua if ngx.var.remote_addr "127.0.0.1" thenreturnendngx.exit(403);虚拟主机 server_name .a.org; …

cd: mkdir: rmdir: rm

1、1 绝对路径和相对路径绝对路径:是指在目录下的绝对位置,直接到的目标位置例如:只要看到这个路径:D:\图片\徐慧茹.jpg"文件是在D盘的“图片”目录中。类似这样完整的描述文件的路径就是绝对路径。相对路径&…

【Whalepaper】CV论文研读 - Involution内卷:超越Convolution的新算子

Whalepaper是由周郴莲负责的一个每周分享论文的活动,带你研读AI领域的论文,快来一起开源学术科研吧! NLP 论文分享:每周日 晚上 九点CV 论文分享: 每周日 晚上 九点Res 论文分享:每周六 晚上 九点半 欢迎…

UI培训分享:UI设计师要掌握哪些知识点

UI设计师除了要学会自己所在行业的技术之外,还要了解一些其他的知识点,这些知识点都会在今后的工作中带来帮助,甚至是加分项,那么下面来看看小编为大家介绍的UI培训分享:UI设计师要掌握哪些知识点? UI培训分享&#x…

JavaScript 关闭窗口事件

方式一&#xff1a;(适用与IE浏览器&#xff0c;而且刷新不提示&#xff0c;只在点击浏览器关闭按钮的时候提示) <script type"text/javascript"> window.οnbefοreunlοadonclose; function onclose() { if(event.clientX>document.body.clientWidth&…

【直播】闫强:文本分类上分利器 -- Bert微调技巧大全

文本分类上分利器 – Bert微调技巧大全 直播信息 主讲人&#xff1a;ChallengeHub成员&#xff0c;中国人民大学硕士。 直播时间&#xff1a;2021年07月25日 15:00~16:00 直播内容&#xff1a; 经典论文介绍与解读模型继续预训练实现交流&答疑 直播网址&#xff1a; …

计算机基础第二课时

文件后缀名 1.也称文件扩展名(filename extension) 2.是操作系统用来标志文件类型的一种机制 3.通常来说&#xff0c;一个扩展名是跟在主文件名后面的&#xff0c;由一个分隔符分隔。例如&#xff1a;“前端开发知识要点.txt”的文件名中&#xff0c;前端开发知识要点是主文件名…

ui培训教程分享:平面设计怎样视觉空间感?

本期UI培训教程为大家分享的是关于平面设计怎样视觉空间感?在UI设计岗位中&#xff0c;视觉空间感对于设计师来说是非常重要的&#xff0c;所谓空间&#xff0c;是指立体形态周围的空虚部分&#xff0c;空间是无限的。任何空间形态的建立都必须借助立体形态来表达&#xff0c;…

Android组件框架:Android组件管理者ActivityManager

关于作者 郭孝星&#xff0c;程序员&#xff0c;吉他手&#xff0c;主要从事Android平台基础架构方面的工作&#xff0c;欢迎交流技术方面的问题&#xff0c;可以去我的Github提issue或者发邮件至guoxiaoxingse163.com与我交流。 第一次阅览本系列文章&#xff0c;请参见导读&a…

[转]HTTP协议详解

当今web程序的开发技术真是百家争鸣&#xff0c;ASP.NET, PHP, JSP&#xff0c;Perl, AJAX 等等。 无论Web技术在未来如何发展&#xff0c;理解Web程序之间通信的基本协议相当重要, 因为它让我们理解了Web应用程序的内部工作. 本文将对HTTP协议进行详细的实例讲解&#xff0c;内…

【Whalepaper】NLP论文研读 - Keyword-Attentive Deep Semantic Matching

Whalepaper是由周郴莲负责的一个每周分享论文的活动&#xff0c;带你研读AI领域的论文&#xff0c;快来一起开源学术科研吧&#xff01; NLP 论文分享&#xff1a;每周日 晚上 九点CV 论文分享&#xff1a; 每周日 晚上 九点Res 论文分享&#xff1a;每周六 晚上 九点半 欢迎…

web前端的就业前景好不好

web前端的就业前景好不好?一直有人都想知道这个答案&#xff0c;其实放眼互联网未来&#xff0c;web前端的发展前景都是非常好的&#xff0c;那么它的就业前景自热也是不错&#xff0c;具体来看看下面的详细介绍就知道了。 web前端的就业前景好不好?近几年的热门行业里&#…

android:HTTP通信 .

HTTP&#xff1a; 超文本传送协议&#xff08;hypertext transport protocol&#xff09;&#xff0c;用于传送WWW方式的数据。属于应用层的面向对象的协议。HTTP采用了请求/响应模型。客户端向服务器发送的请求包含了&#xff1a;请求的方法、URL、协议版本、请求修饰符、客户…