AWS攻略——使用CodeBuild进行自动化构建和部署Lambda（Python）
Aws Lambda是Amazon推出的“无服务架构”服务。我们只需要简单的上传代码，做些简单的配置，便可以使用。而且它是按运行时间收费，这对于低频访问的服务来说很划算。具体的介绍可以常见aws lambda的官网。（转载请指明出于breaksoftware的csdn博客）
比较正统的方法是使用Aws CloudFormation方案，但是鉴于这个方案过于复杂，所以我们还是借助CloudBuild的自定义命令来解决。
本文适用于熟悉在Aws Lambda人工部署python代码，而不熟悉自动化部署的同学。
创建Lambda函数
因为我们只是涉及“部署”，所以我们需要先手工在us-east-1（我们的生产环境）上创建一个Lambda函数。
我们选用python3.7,函数名为jobs_manager
最后记得将入口函数的路径和函数名给指定正确。
创建S3存储桶
我们做python开发时，往往需要引入其他第三方库。Aws Lambda让我们通过配置函数的“层”（layer）来配置这些引入。如果是手工部署，我们需要把这些库压缩到python.zip的文件中，然后在Lambda层中创建一个层并上传，最后在函数设置中引入。
当我们使用自动化部署方案时，我们可以将压缩的层文件保存到S3中，然后配置给对应函数。这样我们就需要新建一个存储桶。
给桶的名字取名规则是：“区域”-layers-of-lambda。因为我们将“生产”和“测试”环境部署在不同的区域中，所以可以通过配置不同的区域来对同一套代码进行分区部署。（具体看之后介绍的buildspec.yml和CodeBuild设置）
创建CodeBuild工程
创建过程和《AWS攻略——使用CodeBuild进行自动化构建和部署静态网页》类似，同样需要设置下环境变量REGION的值为us-east-1，这样之后的buildspec.yml将可以使用到该值做“生产”和“测试”环境区分。
同时记下角色名
修改IAM
在IAM中找到上步的角色名称，修改其策略。
为简单起见，我们给与S3所有资源的所有权限。（不严谨）
还要新增lambda权限，也是所有资源所有权限。（不严谨）
创建Buildspec.yml文件
该文件放置在项目（我们的项目名叫apollo）的根目录下。
version: 0.2phases:install:runtime-versions:python: 3.7commands:- pip install --upgrade pip- pip install --upgrade awsclipre_build:commands:build:commands:- pip install -r requirements.txt -t ./python- zip layer_apollo.zip -r python/- aws s3 cp layer_apollo.zip --region $REGION s3://$REGION-layers-of-lambda/layer_apollo.zip- layer_version=$(aws lambda publish-layer-version --region $REGION --layer-name apollo --description "apollo layer" --license-info "MIT" --content S3Bucket=$REGION-layers-of-lambda,S3Key=layer_apollo.zip --compatible-runtimes python3.7 | jq '.LayerVersionArn' | sed 's/\"//g')- echo $layer_version- update_jobs_manager_layer_cmd='aws lambda update-function-configuration --region '$REGION' --function-name jobs_manager --layers '$layer_version- echo $update_jobs_manager_layer_cmd- $update_jobs_manager_layer_cmd- zip apollo.zip -r aws/ conf/ jobs_manager/ kvdb/ modules/ rollback_sqs/ proto/ services/ sqs/ utils/ - aws lambda --region $REGION update-function-code --function-name jobs_manager --zip-file fileb://apollo.zip
第6行指明我们需要使用python3.7的环境。
第8,9行，让构建环境先更新pip和aws的工具awscli。
第16行，我们将项目依赖都装到构建环境的python目录下。requestments.txt是通过下面指令生成的，但是需要手工剔除包含版本是0.0.0的库，否则之后部署会报错。
pip freeze >requestments.txt第17,18行将依赖打包并上传到之前步骤创建的S3上。
第19行将S3上的依赖包发布到lambda的层上，并获取期版本号。
第22~24将更新lambda函数层的版本号。
第26，27行将项目打包并更新到lambda函数中。
构建
进入之前创建的apollo_online的构建项目中，然后点击“构建”
相关文章：
vmware 添加 磁盘 空间
VMware安装linux的时候默认分配的空间是4GB，可能会不够，这个时候可以通过增加一块虚拟硬盘，将/usr或其他内容拷贝过去解决这个问题：创建虚拟硬盘1、关闭VM中正在运行的虚拟系统；2、在虚拟系统名称上点右键－…
Python爬取考研数据：所有985高校、六成211高校均可调剂
又到了一年一度的考研出分时间啦，近期有不少朋友让笔者帮他们分析如何提前做好调剂。复试与调剂总是密不可分。今天，给大家分享一些调剂的重要知识点，希望你在调剂的时候，能明白调剂的趋势与规则。也许，大家对于调剂的…
iOS审核秘籍】提审资源检查大法
iOS审核秘籍】提审资源检查大法 2015/11/27阅读（752）评论（1）收藏（6）加入人人都是产品经理【起点学院】产品经理实战训练营，BAT产品总监手把手带你学产品点此查看详情！ 本篇主要是提审…
谈一次单元测试驱动代码重构
目前团队并没有QA岗，而且在很长一段时间内，可能也不会设立QA岗，所以我们需要RD保证代码的质量。而鉴于人类天生的“惰性”，很多时候质量完全依赖于作者的能力以及职业素质。于是我在团队内推动单元测试，并要求提升测试…
新机会在广州拓波
公司简介广州拓波软件科技有限公司的前身为 Turbomail工作室，由广州华工信息软件（集团）有限公司于2002 年成立，是一家专业研发电子邮件系统、企业即时通信和企业短信的开发组织，2005年TurboMail工作室正式发布1.0.2版本…
关于正则表达式，这篇都讲清楚了
作者 | 猪哥来源 | 裸睡的猪（ID:rgznai100）目前越来越多的网站、编辑器、编程语言都已支持一种叫“正则表达式”的字符串查找“公式”，有过编程经验的同学都应该了解正则表达式（Regular Expression 简写regex）是什么东…
MJExtension简介
MJExtension简介 前言：关于MJExtension更多的使用，可以到github网站上根据详述学习。 字典转模型比较流行的第三方框架 Mantle所有模型都必须继承自MTModel JSONModel所有模型都必须继承自JSONModel MJExtension不需要强制继承任何其他类 框架需要考虑的…
Discuz!常用函数解析（续）
/*** 产生随机码* param $length - 要多长* param $numberic - 数字还是字符串* return 返回字符串*/function random($length, $numeric 0) {PHP_VERSION < 4.2.0 && mt_srand((double)microtime() * 1000000);if($numeric) {$hash sprintf(%0.$length.d, mt_ran…
基于新型忆阻器的存内计算原理、研究和挑战
作者 | 林钰登、高滨、王小虎、钱鹤、吴华强来源 | 《微纳电子与智能制造》期刊引言过去半个世纪以来 ，芯片计算性能的提高主要依赖于场效应晶体管尺寸的缩小。随着特征尺寸的减小 ，器件的制备成本和制造工艺难度不断增加 ，芯 片性能的提升愈…
3、JPA一些常用的注解
常用注解有下面这些： ①：Entity、Table、Id、GeneratedValue、Column、Basic ②：Transient 用于忽略某个属性，而不对该属性进行持久化操作 ③：Temporal 一、第①组注解 Entity 标注用于实体类声明语句之前，…
实战域树部署，Active Directory系列之十九
实战子域部署<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />域树是Active Directory针对NT4的传统域模型所进行的重要改进。在NT4时代的域模型中，每个域都要使用没有层次结构的NETBIOS名称，而且域和域之…
黑科技抗疫，Python开发者大集结！
2020年初，突如其来的新型冠状病毒肺炎打乱了所有人的节奏，但社会各界迅速团结起来，为抗击疫情贡献出自己的力量。除了捐款捐物外，很多科技公司运用5G、大数据、AI、云计算等新互联网技术，以科技的手段助力抗疫…
Inplayable技术分享
Inplayable技术分享运维设计模式Web安全工具语言python运维 《aws lambda 通过codebuild上线踩坑指南之 lambda 进程被占用 status error 255》《google pay 配置sub/pub回调》《AWS攻略——使用CodeCommit托管代码》《AWS攻略——使用S3托管静态网页》《AWS攻略——使用CodeB…
将数组A中的内容和数组B中的内容进行交换（数组一样大）
#include <stdio.h>int main() {int arr1[10]{1,2,3,4,5,11,14,16,17,12};int arr2[10]{0,6,7,8,9,15,21,18,19,13};int arr3[10];int i0;for(i0;i<sizeof(arr1)/sizeof(arr1[0]);i){arr3[i]arr1[i];arr1[i]arr2[i];arr2[i]arr3[i];//不定义第三个变量的两种种方法&am…
***必备工具
***必备工具一、扫描工具 X-scan 3.1 焦点出的扫描器，国内最优秀的安全扫描软件之一!非常专业的一个扫描器! X-way 2.5 这也上一个非常不错的扫描器哦!功能非常多!使用也不难,***必备工具! SuperScan 3.0 强大的TCP 端口扫描器、Ping 和域名解析器! Namp 3.5 这个就…
通过评估假设行为来学习人类目标
来源| deepmind编译| 武明利，责编| Carol出品 | AI科技大本营（ID：rgznai100）当我们在现实世界中训练强化学习（RL）代理时，我们不会希望它们探索不安全的状态，例如将一个移动机器人开进…
ReactiveCocoa入门-part2
ReactiveCocoa是一个框架，它能让你在iOS应用中使用函数响应式编程（FRP）技术。在本系列教程的第一部分中，你学到了如何将标准的动作与事件处理逻辑替换为发送事件流的信号。你还学到了如何转换、分割和聚合这些信号。 在本系列教程…
VirtualBox虚拟机安装RedHat7.3编译Linux0.01内核
引子 由于需要编译linux0.01内核，而目前的linux版本太高需要降低gcc版本等等，需要做不少调整非常不方便。 所以，直接安装RedHat7.3，这样就好编译linux0.01的内核了。 但是，安装RedHat7.3需要注意一些问题。 下载老…
远程办公是巨头游戏？十倍扩容，他们如何做到百万级并发流量
疫情发生后，除了Zoom这样深耕视频会议多年的软件，钉钉、企业微信、飞书等一大批互联网巨头也开通了免费服务，凭借着自身庞大的资源四处招揽用户。 据说，远程办公工具是2020年的第一个风口。 疫情发生后，除了Zoom这样深…
linux下使用sort命令升序、降序、随机及组合方式排序方法
示例文件：####################################################序号 优先级 字段1 字段21 5 abc def2 5 ae3 wff6 4 l…
mysql数据库备份、恢复文档
说明:为了加强线上数据库安全，避免研发人员误操作造成数据的丢失，制作本文档。一线运维人员可以参考!一、数据备份：专用数据库备份服务器，定时对数据库进行热备、冷备，即主从设置、mysqldump冷备、mysql-bin-log日志备…
Linux环境ddd安装与使用
ddd是一个优秀的调试器，安装ddd破费周折 必须安装x开发环境 1.下载 http://ftp.gnu.org/gnu/ddd/，下载最新的ddd-3.3.12.tar.gz # wget http://ftp.gnu.org/gnu/ddd/ddd-3.3.12.tar.gz # tar zxvf ddd-3.3.12.tar.gz # cd ddd-3.3.12/ 2.配置 # ./…
华为诺亚、北大提出GhostNet，使用线性变换生成特征图，准确率超MobileNet v3 | CVPR 2020...
作者 | Kai Han, Yunhe Wang等编译 | Conv出品 | AI科技大本营（rgznai100）受限于内存空间和计算资源，将卷积神经网络部署到嵌入式设备中会比较困难。CNNs中特征图的冗余性是保证其成功的关键，但是在神经网络的结构设计中却鲜有研究…
pap和chap交叉认证
pap和chap交叉认证：R1启动pap，R2启动chap。R1上的配置：Router>enRouter#config tRouter(config)#enable s ciacoRouter(config)#line c 0Router(config-line)#pass ciacoRouter(config-line)#loginRouter(config-line)#logging syRouter(c…
如何在App中实现朋友圈功能之二快速实现用户信息的自定义——箭扣科技Arrownock...
如何在App中实现朋友圈功能之二快速实现用户信息的自定义自我关联社交元素：anSocial中很多的社交元素API，如帖子（Post）、相册（Album）、文件（File）等，这些API的可选参数中…
使用cat /proc/进程id/maps 查看进程内存映射
proc/<PID>/maps 查看进程的虚拟地址空间是如何使用的。 该文件有6列，分别为： 地址：库在进程里地址范围 权限：虚拟内存的权限，r读，w写,x,s共享,p私有； 偏移量：库在进程里地址范…
两成开发者月薪超 1.7 万、算法工程师最紧缺！ | 中国开发者年度报告
整理 | 郭芮 责编 | 唐小引 出品 | CSDN（ID：CSDNnews） “求知若饥，虚心若愚”——这个原本出自《全球概览》的俳句，因为乔布斯在斯坦福大学毕业演讲中的引用而备受推崇，流传成为 IT 界的至理名言之一。在…
怎么处理404 错误页面 、处理404页面、asp.net 处理404页面
说明 On 指定启用自定义错误。如果未指定 defaultRedirect，用户将看到一般性错误。 Off 指定禁用自定义错误。这允许显示标准的详细错误。 RemoteOnly 指定仅向远程客户端显示自定义错误并且向本地主机显示 ASP.NET 错误。这是默认值。 system.web 元素 下添加下边…
转载：python原生态的输入窗口抖动+输入特效
python原生态的输入窗口抖动输入特效 出处：https://coding.net/u/acee/p/PythonPowerInput/git/blob/master/test_power_input.py __author__ Administrator import sys from lib.qm_app import App from PyQt4.QtGui import * from PyQt4.QtCore import * import …
华为提出基于进化算法和权值共享的神经网络结构搜索，CIFAR-10上仅需单卡半天 | CVPR 2020...
作者 | VincentLee来源 | 晓飞的算法工程笔记导读：为了优化进化算法在神经网络结构搜索时候选网络训练过长的问题，参考ENAS和NSGA-III，论文提出连续进化结构搜索方法(continuous evolution architecture search, CARS)，最大化利用…