PyODPS 学习 实现查询数据 并更新数据
PyODPS是MaxCompute的Python版本的SDK，提供简单方便的Python编程接口。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API使用Pandas的数据结果处理功能。本文用于帮助您快速开始使用PyODPS，并且能够用于实际项目。
Pyodps提供了两种执行SQL语句的方法，execute_sql与run_sql，前者会阻塞调起SQL实例，而后者是不会阻塞的，可实现并行
from odps import ODPS
import sys
reload(sys)
#修改系统默认编码 查询出的中文乱吗解决
sys.setdefaultencoding("utf-8")# print ('ds=' + args['bizdate'])
ds = args['bizdate']
sql = 'select c.cid,l.name from xgj.classes_out as c ,xgj.locations_deal as l where c.ds ='+ds+' and l.ds = '+ds+ ' and c.cid = l.cls_id'
instance = o.execute_sql(sql)
with instance.open_reader() as reader:# print (reader)# for record in reader 遍历这2万条数据，这里通过切片只取10条。#切片只取1条for record in reader[:1]: print(record)name = record.namecid = record.cidu_sql = '''UPDATE xgj.classes_out SET school_name = '%s' where ds='%s' and cid = '%s' '''%(name,ds,cid)print(u_sql)# print(name)#odps.execute_sql(u_sql) # 阻塞方法odps.run_sql(u_sql) # 异步方法异常错误
Please add put { "odps.sql.submit.mode" : "script"} for multi-statement query in settings
想实现拼接多条sql一起执行，报以上的问题，解决方式 参考
sql = '''
UPDATE xgj.classes_out SET school_name = '韩店镇中心小学' where ds='20211110' and cid = '612b34c2996163490ab8adb5' ;
UPDATE xgj.classes_out SET school_name = '山东省泰安市岱岳区开元中学' where ds='20211110' and cid = '5e905a37a499a70e9c5b30f0' ;
UPDATE xgj.classes_out SET school_name = '蔡亭小学' where ds='20211110' and cid = '6147ca898f2bd2cd28739529' ;
'''odps.execute_sql(sql,hints={"odps.sql.submit.mode":"script"})资料
- 阿里云api
- Pyodps之使用pyodps实现sql的循环
相关文章：
跟面向对象卯上了，看看ES6的“类”
上回我们说到ES5的面向对象，以及被大家公认的最佳的寄生组合式继承。时代在进步，在ES6中对于面向对象这个大boss理所应当地进行了一次大改，从原先那种比较长的写法转变为“小清新”写法。我们一起来看一下。 在ES6中是有类这个概念࿰…
JS数组去重精简版
看了很多人写的好几个去重方法，我在这里精简组合下，适用于已排序与未排序的数组。 废话不多说，上代码。 <!DOCTYPE html> <html><head><meta charset"utf-8"><title>数组去重</title></hea…
[Buzz.Today]2011.05.25
>> VMWare的Open Source Pass - CloudFoundry VMWare推出了开源Pass：CloudFoundary，但是现在只是支持少数几种语言与环境：Java Spring, ROR and Node.JS。。 Source Code on GitHub: https://github.com/cloudfoundry 随便瞄了两眼&…
NeHe OpenGL第三十九课：物理模拟
NeHe OpenGL第三十九课：物理模拟 物理模拟简介: 还记得高中的物理吧，直线运动，自由落体运动，弹簧。在这一课里，我们将创造这一切。 物理模拟介绍 如果你很熟悉物理规律，并且想实现它，这篇文章…
max(min)-device-width和max(min)-width的区别
max-device-width和max-width的区别表现在如下几个方面： 1. max-device-width是设备整个显示区域的宽度，例如，真实的设备屏幕宽度。 2. max-width是目标显示区域的宽度，例如，浏览器宽度。 3. 如果使用max-device-width…
一篇文看懂Hadoop
我们很荣幸能够见证Hadoop十年从无到有，再到称王。感动于技术的日新月异时，希望通过这篇内容深入解读Hadoop的昨天、今天和明天，憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 技术篇 2006年项目成立的一开始，“…
MaxCompute动态更新表中某个（多个）字段的数据
功能 MaxCompute支持了delete、update功能，但当您需要使用多个insert、update、delete对目标表进行批量操作时，需要编写多条SQL语句，然后进行多次全表扫描才能完成操作。MaxCompute提供的merge into功能，只需要进行一次全表扫描操…
字符串数组的赋值
例如:main(){chars[30]; strcpy(s,"Good News!"); /*给数组赋字符串*/ }上面程序在编译时,遇到chars[30]这条语句时,编译程序会在内存的某处留出连续30个字节的区域, 并将第一个字节的地址赋给s。当遇到strcpy( strcpy 为TurboC2.0的函数)时, 首先在目标文件的某处建…
NetBeans使用介绍（五）
第9章 Swing菜单 Swing菜单是我们经常用到的一种控件，NetBeans对菜单进行了很好的封装，是我们应用起来非常方便。下面，我们就来简单的了解一下Swing菜单。 菜单：Jmenu 菜单项：JmenuItem 复选菜单项：JcheckB…
Pycharm中如何安装python库
1首先打开pycharm工具，选择File中的Setting选项，如下图所示 2在打开的setting界面中我们点击python的解释器，你会看到很多导入的第三方库，如下图所示，点击最右边的加号 3在弹出的available packages界面中，…
LINUX下SVN命令大全
1、将文件checkout到本地目录 svn checkout path（path是服务器上的目录）例如：svn checkout svn://192.168.1.1/pro/domain简写：svn co2、往版本库中添加新的文件 svn addfile例如：svn addtest.php(添加test.php)svn ad…
MaxCompute 多行数据合并为一行数据
SELECT class, wm_concat(distinct ,, name) FROM students GROUP BY class; 参考
python学习之循环语句的九九乘法表
while 语句的九九乘法表： ##九九乘法表#总共有九行# 每行中的列数，就是当前所处的行号#乘式的第一个数代表的是列，第二个数代表的是行row 1#行column 1#列while row < 9: while column < row: print(%d * %d %d, %(column…
影著协公布的使用费收取标准
网络：距首映两年内的电影基本使用费下限为10万元/部年。 网吧：每天的使用费为：电脑总量网吧每小时收费标准7.5%。 视频点播:基本使用费为每次点击的单价33.3%终端用户数10%。 飞机和火车：每年每部影片使用费为2500元~5万元。 轮船…
POJ.3207.Ikki's Story IV-Panda's Trick(2-SAT)
题目链接 \(Description\) 一个圆上顺序排列0,1,...,n-1共n个点，给出m条线段，线段可以从里面连也可以从外面连，问是否能满足所有线段不相交 \(Solution\) 把每条线段看做一个点，只有在圆外和在圆内两种情况，于是可以把…
sqlconnection,sqlcommand，SqlDataAdapter ，ExecuteNonQuery，ExecuteScalar
sqlconnection：表示 SQL Server 数据库的一个打开的连接。SqlConnection 对象表示与 SQL Server 数据源的一个唯一的会话。 在客户端/服务器数据库系统中，它等效于一个到服务器的网络连接。 SqlConnection 与 SqlDataAdapter 和 SqlCommand 一起使用&…
swift - idfa（唯一标示/下载量/广告追踪）
//设置-隐私-广告-限制广告跟踪关闭if ASIdentifierManager.shared().isAdvertisingTrackingEnabled {DDLOG(message: "IDFA:\(ASIdentifierManager.shared().advertisingIdentifier.uuidString)")}转载于:https://www.cnblogs.com/qingzZ/p/11046424.html
正则去除括号内容
var str"123{xxxx}456[我的]789123[你的]456(1389090)(\n1389090)789";var regex1 /\((.?)\)/g; // () 小括号var regex4 /\((\n.?)\)/g; // (\n) 小括号var regex2 /\[(.?)\]/g; // [] 中括号var regex3 /\{(.?)\}/g; // {} 花括号，大括号// 输出…
通过shell将*.txt文本内容批量录入mysql
想将某*.txt文本内容全部录入到mysql的某个数据表中，通过使用load data local infile into table table_name ....但感觉用的不够溜、导致经常格式有问题，很难达到我要的效果。。 所以，自己想了下，最后通过shell成功将批量数据导入…
String、StringBuilder、StringBuffer的比较
最近学习中又遇到了StringBuilder，突然就联想到StringBuffeer和String。于是翻翻笔记还在。那么他们有什么区别？ 1.StringBuilder与StringBuffer StringBuilder：线程非安全，一般在单线程中操作字符串缓冲区使用，速度最…
Autojs自动化 实现自动删除公众号文章（通过订阅号助手删除）
设备 小米9 效果 autojs1autojs2代码 UI "ui"; const storage storages.create("dinyue"); auto()var search_value if(storage.contains(search_value)){search_value storage.get(search_value) }ui.layout(<vertical padding"30">…
[转]Java中常用的集合—初学者的你不可错过的精编整理
集合一直都是项目中非常常见的，我是一个Android开发者，集合对于我来说，在项目中使用的次数非常之多，因为使用的多，熟能生巧，所以这里呢！就给那些初学者整理一下Java当中常用的集合吧！…
通过tinyxml解析百度热词榜单
百度热词榜单 初学TinyXml，盯上了解析百度热词榜单。通过curl获取rss地址上的数据。 由于TinyXml不支持，所以要转换为UTF-8格式，命令为 iconv -f gb2312 -t utf-8 baidutop.xml > baidutop.xml 写得很烂，写的时候，心…
台湾MCI报告：Security SaaS风潮渐起
这篇文章是台湾产业情报研究所（MCI）在2008年所作的一份有关Security-as-a-Serivce（Security SaaS，为了区别Software-as-a-Serivce，特称呼为Security SaaS）的报告。这里有该文章的繁体版下载。这份报告引用了…
由“公共类”看出的一些东西
如果一个类想要被其他类引用，即使是在同一个命名空间下，也要是public，才能被引用。同样，如果想让别人交流，首先自己应该先要“开放”。转载于:https://www.cnblogs.com/HuShaoyi/p/8503708.html
H-ui 前端框架
H-ui 前端框架 架起设计与后端的桥梁轻量级前端框架，简单免费，兼容性好，服务中国网站。 首个付费版产品 H-ui.admin.Pro，盘他！转载于:https://www.cnblogs.com/Jeely/p/11051079.html
使用.NET FileSystemWatcher对象监控磁盘文件目录的改变
原文（英文）：http://www.techrepublic.com/article/use-the-net-filesystemwatcher-object-to-monitor-directory-changes-in-c/6165137 许多情况下，如果创建或修改一个文件，系统需要执行某些任务。例如，在一…
前端使用crypto.js进行加密学习记录
因为我的需求是加密可逆，具有一定的安全性(对安全性要求不高)，所以使用DES或AES即可，我用的是AES js下载 下载 Nodejs后端：对用户密码进行加密 - WJY- - 博客园Nodejs后端 对用户密码进行加密 使用 bcryptjs 插件对用户密码进行…
Exchange笔记之使用OWA加密访问邮箱
Exchange笔记之使用OWA加密访问邮箱 OWA是什么？呵呵，应该用惯Exchange的用户来说都知道，我在这里简单说下：OWA是一种给予Exchange客户端的一种B/S结构访问方式。OWA是Outlook Web Access的缩写，OWA在我们平时使用的时候…
LInkedHashMap实现最近被使用（LRU）缓存
在最近的面试中，我曾被多次问到，怎么实现一个最近最少使用（LRU）的缓存。缓存可以通过哈希表来实现，然而为这个缓存增加大小限制会变成另一个有意思的问题。现在我们看一下怎么实现。 最近最少使用缓存的回收 为了实现缓…