当前位置: 首页 > 编程日记 > 正文

pig脚本不需要后缀名(python tempfile模块生成pig脚本临时文件,执行)

pig 脚本运行不需要后缀名

pig脚本名为tempfile,无后缀名
用pig -f tempfile 可直接运行
另外,pig tempfile也可以直接运行

这样就可以用python临时文件存储pig脚本内容直接调用

python调用pig脚本的一种方式

将pig脚本用任意文件存储,执行时写入python的临时文件(tempfile模块操作),执行结束后删除。执行过程:用tempfile模块NamedTemporaryFile生成临时文件,名字默认随机,然后,可以用tempfile.name直接调用该文件(无后缀名.pig),pig脚本内容存放在任意文本文件中。

这样处理的好处是:参数传入很方便,pig脚本内容中参数全部使用python的格式化字符串,如%s、%d,调用时读取作为字符串对象command,用%将实际参数拼入字符串command,这样就避免了使用pig脚本 -p传入大量参数的繁琐。
坏处:多此一举、麻烦。字符直接拼入-p后用 default获取,也是极好的

    pig_script = tempfile.NamedTemporaryFile(delete=False)pig_script.write('set default_parallel %d; SET mapred.job.queue.name %s; %s %s' % (config.PIG_PARALLEL, job_queue, udf_jar_str, command_piece % args))pig_script.flush()command = '''%s -Dmapred.cache.files="%s,%s,%s,%s" -Dmapred.create.symlink=yes -Dmapred.child.java.opts=-Xmx%dm -f %s''' % \(config.PIG_BIN, metadata_dir, quadkey_dir, region_template_dir, ipdb_file, config.PIG_TASK_MAX_MEM, pig_script.name)if logger:logger.debug(command)result = exec_command(command, task_id)

转载于:https://www.cnblogs.com/cl1024cl/p/6205365.html

相关文章:

老谢oracle视频笔记_day02

1:databasea:physical structure1:controlfile控制文件select * from v$controlfile;11g 以三个11g二个互为镜像文件坏了数据库就打不开了..IO一个块 16k一个文件2MB不会太大?10MB数据库名数据文件位置很多的参数.....2:datafile 数据文件select file_name,file_id from dba_d…

WCDMA系统中的扰码规划

摘要:宽带码分多址(WCDMA)系统采用码分多址的无线接入方式,不需频率规划,但需进行相邻小区扰码的规划用以区分各小区。通过WCDMA无线网络的扰码规划,可以确定两个使用相同扰码的小区的复用距离,区分各小区。扰码规划时…

Java项目:宿舍寝室维修上报管理系统(java+SpringBoot+FreeMarker+Mysql)

源码获取:博客首页 "资源" 里下载! 管理员:校园管理(楼栋管理、宿舍管理)、师生管理(学生管理、辅导员管理)、维修管理(维修工管理、维修进度管理)、阅览室管理…

项目需求分析与建议

软件名称:私人助手 1.N(需求):当今生活节奏迅速,每个人每天都有许多事情要做,堆积成山的事情往往让人感到迷茫,不知道什么时候要做什么事情。私人助手就是为了解决这个烦恼而产生,它会根据最初你添加的事物…

使用面向 iOS 的本机插件扩展 PhoneGap

本文细致探讨了 Xcode(以 iOS 设备为目标)中的 PhoneGap(也称为 Apache Cordova)应用程序本机插件。如果您刚开始接触 PhoneGap 或者需要回顾 PhoneGap 基础知识,请先阅读 Xcode for iOS 的 PhoneGap 入门,…

算法总结---最常用的五大算法(算法题思路)

算法总结---最常用的五大算法(算法题思路) 一、总结 一句话总结: 【明确所求:dijkstra是求点到点的距离,辅助数组就是源点到目标点的数组】 【最简实例分析:比如思考dijkstra:假设先只有三个点】…

软切换中的测量

软切换中的测量 同频测量: CPICH RSCP、Ec/N0, 事件触发报告,1A,...,1F 1A,相对门限增加事件,表示一个小区的质量已经接近最好小区或者活动集质量 1B,相对门限删除事件,表示一个小区…

测试与封装5.1.5.2

1.第一阶段目标 - 把计算的功能封装成类。2.设计测试用例:用白盒与黑盒测试设计技术,为计算核心设计测试用例。3.在实验环境中(如MyEclipse集成开发环境Junit测试框架)运行测试用例,分析测试结果,找出程序问…

Java项目:企业员工绩效工资管理系统(java+SpringBoot+FreeMarker+Mysql)

源码获取:博客首页 "资源" 里下载! 超级管理员等角色,除基础脚手架外,实现的功能有: 超级管理员:系统管理、用户管理(冻结等)、职称管理、部门管理(工资项&am…

Sql server 阻塞定位

很多人都遇到过这样的情况,当网站达到一定的访问量,数据库就会成为瓶颈,进而引起阻塞。有人认为这可能就是硬件的极限了,于是想办法增加硬件设备。而我本人认为问题的元凶可能是性能不高的sql脚本,引起了阻塞。如果你和…

基于EasyNVR摄像机网页无插件直播服务二次开发实现H5播放页面的简单集成方案...

我们通常在构架一套视频SaaS应用的过程中,将平台设计为3层:视频硬件层(视频源)、视频能力平台(vPaaS)、视频应用平台(vSaaS),视频硬件包括各种IPC、NVR、编码器等视频生成…

active set + serving cell

空闲态:这时候手机只能使用一路信号,应该是最强的那一路。手机在空闲态时不断地搜索各个导频的强度,如果搜到比当前使用的导频更强的,那么它就自发的进行切换。这个切换的过程是手机自发的过程,不需要基站的参与。业务…

Java项目:医院分诊挂号住院管理系统(java+SpringBoot+FreeMarker+Mysql)

源码获取:博客首页 "资源" 里下载! 主要实现了从挂号预约到分诊住院出诊等一些列医院基本操作流程的全部功能,系统分医生、患者、管理员三个角色,除基础脚手架外,实现的功能有: 管理员&#xff…

网站压力测试工具webbench

webbench最多可以模拟3万个并发连接去测试网站的负载能力,个人感觉要比Apache自带的ab压力测试工具好,安装使用也特别方便。  1、适用系统:Linux  2、编译安装: 引用wget http://blog.zyan.cc/soft/linux/webbench/webbench-1…

运维人员处理云服务器故障的方法总结

2019独角兽企业重金招聘Python工程师标准>>> 我们团队为Ucloud云计算服务提供专家技术支持,每天都要碰到无数的用户故障,毕竟IAAS涉及比较底层的东西,不管设计的是大客户也好还是小客户,有了问题就必须要解决,也要要是再赶上修复时间紧、奇葩的技术平台、缺少信息和…

玉米田Corn Fields

传送门 #include <cstdio> #include <cmath> #include <cstring> #include <algorithm> using namespace std; #define ll long long #define re register const int mod1e8; void read(int &a) {a0;int d1;char ch;while(chgetchar(),ch>9||ch…

Java项目:酒店管理系统(java+Springboot+Mybatis+Beetl+Layui)

源码获取&#xff1a;博客首页 "资源" 里下载&#xff01; 此系统用的是springboot框架&#xff0c;前端框架主要用的是layui&#xff0c;表格用的bootstrap 表格&#xff0c;都是一些主流的框架&#xff0c;前端模板引擎用的是beetl&#xff0c;操作简单&#xff0c…

word导入中的一个乱码

2019独角兽企业重金招聘Python工程师标准>>> 在做一个题库的项目中,需要将word中的试题导入到数据库中,中间过程真是坎坷,且不说word中的公式,图片等等格式,还有凌乱的排版,还有一些不明觉厉的乱码; 由于PHP暂时不能胜任,所以使用了C#开发了一个客户端来导入,时间很…

Eclipse中git检出、更新、提交、合并分支、以及解决冲突

一、、检出git代码 在eclipse中空白区域右键 Import 检出项目&#xff1b;选择git方式检出 选择用git urI 链接的方式检出项目并点击继续 在这里填写你的git项目地址、账号密码 二、更新 1、先更新 "远程服务器 --> 本地服务器"&#xff0c;再进行 更新 " 本…

Cell select

WCDMA系统的小区重选采用R准则&#xff0c;适用于同频、异频和异系统的小区重选。UE在空闲模式下&#xff0c;要随时监测当前小区和邻区的信号质量&#xff0c;以选择一个最好的小区提供服务&#xff0c;这就是小区重选过程&#xff08;cell reselection&#xff09;。而切换是…

Java项目:茶叶售卖商城系统(java+SSM+JSP+EasyUi+mysql)

源码获取&#xff1a;博客首页 "资源" 里下载&#xff01; 这是一个应用SSM框架的项目&#xff0c;前端页面整洁清晰。该系统有两个角色&#xff0c;一个是普通用户&#xff0c;另一个是管理员。 普通用户具有注册、登录、查看商品、添加购物车、添加商品收藏、下订…

SOAP消息的传递

上一篇说了SOAP消息的创建&#xff0c;那么创建好了的SOAP消息要怎么发送给服务端呢&#xff1f; public class SoapTest {private String wsdlUri "http://localhost:9999/ns?wsdl";private String ns "http://lenve.server/";Testpublic void test3()…

mfc---手动给toolbar按钮添加消息View中

手动给toolbar按钮添加消息View中&#xff1a; .h&#xff1a; afx_msg void OnButtonBG(); .cpp: ON_COMMAND(ID_BUTTON_BG,OnButtonBG) .cpp: void OnButton()转载于:https://www.cnblogs.com/xiaoxiaocaicai/p/3595290.html

费马小定理求素数

/*---------------------------------------------------费马小定理:如果n是一个素数&#xff0c;a是小于n的任意正整数&#xff0c;那么a的n次方与a模n同余。(俩个数称为模n同余&#xff0c;如果它们除以n的余数相同。数a除以n的余数称为a取模n的余数&#xff0c;或简称为a取模…

Java项目:垃圾分类查询管理系统(java+SSM+jsp+MySQL+bootstrap)

源码获取&#xff1a;博客首页 "资源" 里下载&#xff01; jspssm&#xff08;springspringmvcmybatis&#xff09;mysql实现的垃圾分类查询管理系统: 系统主要实现的功能有&#xff1a; 1&#xff1a;前端垃圾分类查询&#xff0c;前端采用bootstrap框架&#xff…

适合所有尺寸打印马赛克

CGFloat width 40;CGFloat height 40;//获取屏幕宽高//获取屏幕对象UIScreen *screen [UIScreen mainScreen];//获取屏幕大小CGRect screenFrame [screen bounds];//单独取出屏幕的宽高 // CGFloat screenWidth screenFrame.size.width;CGFloat screenWidth CGRectGet…

MVC使用Flash来显示图片

Insus.NET实现一些网站模版&#xff0c;如用户能动态变更网站的头&#xff0c;中间或是脚的部位&#xff0c;就是不太确定用户上传的是图片&#xff0c;还是Flash。因此想到一个较好的解决方法&#xff0c;就是使用Flash的组件去显示来源的图片或是.swf文件。这样的话&#xff…

shuffle调优

目录 一、概述二、shuffle的定义三、ShuffleMananger发展概述四、HashShuffleManager的运行原理 4.1 未经优化的HashShuffleManager4.2 优化后的HashShuffleManager五、SortShuffleManager运行原理 5.1 普通运行机制5.2 bypass运行机制六、shuffle相关参数调优 spark.shuffle.f…

Java8 以后的 LocalDateTime,你真的会用吗?

本文从 LocalDateTime 类的创建、转换、格式化与解析、计算与比较以及其他操作几个方面详细介绍了 LocalDateTime 类在 Java 8 中的使用。掌握 LocalDateTime 类的使用可以大大提高日期时间处理效率和质量,希望本文对读者有所帮助。

斐波那契算法举例(iterative Fibonacci algorithm)

// count_change.cpp : Defines the entry point for the console application.// #include "stdafx.h" /*-------------------------------------------------------------实例&#xff1a;要想得到一个迭代的斐波那契算法需要一点点智慧。给了半美元、四分之一美…