当前位置：首页 > 编程日记 > 正文

Linux cut命令

编程日记 2024-10-20 01:30:00

用途

文本文件按列提取。

特点

过于简单，只能处理固定格式的分隔符，分隔符不能使用正则表达式。

用法

命令基本格式

-b、-c、-f分别表示字节、字符、字段（即byte、character、field）；
list表示-b、-c、-f操作范围，-n常常表示具体数字；
file表示的自然是要操作的文本文件的名称；
delim（英文全写：delimiter）表示分隔符，默认情况下为TAB；
-s表示不包括那些不含分隔符的行（这样有利于去掉注释和标题）

cut option list file
cut -b list [-n] [file ...]
cut -c list [file ...]
cut -f list [-d delim][-s][file ...]

list 范围的表示方法

表示	意义
N	只有第N项
N-	从第N项一直到行尾
N-M	从第N项到第M项(包括M)
-M	从一行的开始到第M项(包括M)
-	从一行的开始到结束的所有项

实例

经典应用

Linux中提取所有用户
cut -f 1 -d ':' /etc/passwd
以：作为分割符，提取第一个字段

去掉开始的命令提示符

cut -c 8- usercount.pig
从第8个字符开始提取
原文件 usercount.pig

grunt> A = load '/data/20160518/1055/100/9_1463541300000/part-00000' using PigStorage('|');
grunt> B = foreach A generate $16 as ip;
grunt> C = group B by ip;
grunt> D = foreach C generate group,COUNT(B);
grunt> dump D;

处理后结果

A = load '/data/20160518/1055/100/9_1463541300000/part-00000' using PigStorage('|');
B = foreach A generate $16 as ip;
C = group B by ip;
D = foreach C generate group,COUNT(B);

去除标题，并替换分隔符

cut -f 1- -s --output-delimiter='|' table.txt

由于默认分割符是 \t，所以不需指定
-s 去除不含分隔符的行（通常是标题，空行）
指定输出分割符
原文件，cat table.txt

table1       xiaohu
2       xiaoli
3       xiaowang
4       xiaoming

处理结果

1|xiaohu
2|xiaoli
3|xiaowang
4|xiaoming

https://www.dkcj.cn/info/23802.html

【MATLAB】符号数学计算（四）：符号表达式操作

一、符号表达式合并 Rcollect(S)：将表达式S中相同次幂的项合并。S可以是一个表达式，也可以是一个符号矩阵。Rcollect(S,v)：将表达式中S中v的相同次幂进行合并。如果v没有指定，则默认将含有x的相同次幂的项进行合并。 >> sy…

编程日记2024/10/20 01:20:00

Alpha冲刺——day1

Alpha冲刺——day1 作业链接 Alpha冲刺随笔集 github地址站立式会议会议安排：alpha冲刺的第一天，我们站立式会议讨论了我们接下来的安排，做出大致的规划，并针对之前的原型设计，讨论了界面设计的大概项目进展项目进展…

编程日记2024/10/20 01:10:01

一步一步学习VirtualBox安装CentOS7和CentOS8

个人学习研究Linux推荐安装VirtualBoxCentOS。 CentOS7和CentOS8的安装实际上是非常相似的，改变的地方不多，从CentOS7开始和CentOS6相比改变是非常大的。 VirtualBox本身是免费的，足够正常学习应用了，安装CentOS是因为企业线上大…

编程日记2024/10/20 01:00:00

建模原语：四象图

原文地址：http://www.douban.com/note/164191021/ “模型、状态和行为特征、场景”和“四象图”，建模观的命名与立象。建模原语:四象图作者：achieveideagmail.com 命名：模型、结构特征、行为特征、场景（及其规约&…

编程日记2024/10/20 00:50:00

【MATLAB】符号数学计算（五）：符号函数的替换

一、subs替换函数 Rsubs(S)：用工作区中的变量值替换符号表达式中的某一特定符号。Rsubs(S,New)：用新符号变量New来替换符号表达式S中的默认变量。Rsubs(S,Old,New) >> syms x y >> fsym(x^2x*yy^2)f x^2 x*y y^2>> x2; >> su…

编程日记2024/10/20 00:40:00

Ubuntu阿里云搭建Mono.net环境

查看磁盘信息我们买的系统默认情况下只是安装了系统，而数据盘需要自己挂载，例如我这里的系统占用20多G，还有40多G的数据盘默认是没有挂载的，首先我们运行df -h查看： rootAY1212241134392134698:~# df -hFilesystem Si…

编程日记2024/10/20 00:30:00

MongoDB分布式原理以及read-preference和readConcern解决读写一致性问题

MongoDB词汇表： https://docs.mongodb.com/manual/reference/glossary/#term-replica-set MongoDB分布式原理 primary In a replica set, the primary is the member that receives all write operations. See Primary. 在副本集中，主库是接收所有写…

编程日记2024/10/20 00:20:00

Lua(Codea) 中 table.insert 越界错误原因分析

2019独角兽企业重金招聘Python工程师标准>>> Lua(Codea) 中 table.insert(touches, touch.id, touch) 越界错误原因分析背景介绍在 Codea 上运行其他人以前写的代码时, 发现某段处理 touch 事件的代码总是报错, 开始报浮点数没有整型的表示, 修改代码增加类型转换…

编程日记2024/10/20 00:10:00

【MATLAB】符号数学计算（六）：符号函数的操作

一、复合函数的操作 compose(f,g)：返回复合函数f(g(y))，此处ff(x)，gg(y)；compose(f,g,x,z)：返回自变量是z的复合函数f(g(z)) >> syms x y >> fsym(xx^-1); >> gsym(sin(x)); >> h(1y^2); >…

编程日记2024/10/20 00:00:00

java中如何应对读改写场景

前言 volatile可以确保数据及时刷新到主存，但是对于读改写场景还是无能为力举个例子 public class ConcurrentHashMapExample {public static void main(String[] args) throws InterruptedException {Map<String, Long> ordersMap new ConcurrentHashMap&l…

编程日记2024/10/19 23:50:00

Apache Hudi的写时复制和读时合并

Apache Hudi http://hudi.apache.org/ http://hudi.apache.org/docs/quick-start-guide.html Hudi是什么 Hudi将流处理带到大数据，提供新数据，同时比传统批处理效率高一个数量级。 Hudi可以帮助你构建高效的数据湖，解决一些最复杂的底层…

编程日记2024/10/19 23:40:00

顶尖程序员不同于常人的 5 个区别

2019独角兽企业重金招聘Python工程师标准>>> 《The Effective Engineer》的作者在写书的过程中，为了了解那些顶级程序员和普通程序员的区别，采访了很多硅谷顶级科技公司的顶尖软件工程师。他发现这些给世界带来巨大影响的的工程师们至少有以下…

编程日记2024/10/19 23:30:00

$x\rightarrow a$

【MATLAB】符号数学计算（七）：符号微积分、符号微分方程求解、符号代数方程求解

一、符号表达式的极限 limit(F,x,a)：求当时，符号表达式F的极限。limit(F,a)：符号表达式F采用默认自变量（可由函数findsym求得），该函数求F的自变量趋于a时的极限值。limit(F)：符号表达式采用默认…

编程日记2024/10/19 23:20:00

Qt运行时中文乱码的解决办法

QT5的解决办法，在类之前添加：　　 #pragma execution_character_set("utf-8")QT4解决办法： QTextCodec::setCodecForLocale(QTextCodec::codecForLocale());转载于:https://www.cnblogs.com/bjxingch/articles/9992998.html

编程日记2024/10/19 23:10:00

更换yum的源为阿里云或者网易

1.备份原本的yum源： #mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2.下载阿里云的yum源： CentOS6,CentOS7,CentOS8下对应的即可 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Ce…

编程日记2024/10/19 23:00:00

socket编程：多路复用I/O服务端客户端之poll

一. 关于poll对于IO复用模型，其优点无疑是免去了对一个个IO事件就绪的等待，转而代之的是同时对多个IO数据的检测，当检测等待的事件中至少有一个就绪的时候，就会返回告诉用户进程“已经有数据准备好了，快看看是哪个赶紧…

编程日记2024/10/19 22:50:00

【MATLAB】符号数学计算（八）：符号分析可视化

一、funtool分析界面在命令行窗口中输入： funtool 这里就说一下第四排： Insert：把当前激活窗的函数写入列表Cycle：依次循环显示fxlist中的函数Delete：从fxlist列表中删除激活窗的函数Reset：使计算器恢复…

编程日记2024/10/19 22:40:00

java 根据实体对象生成增删改的SQL语句 ModelToSQL

2019独角兽企业重金招聘Python工程师标准>>> java 根据实体对象生成增删改的SQL语句 ModelToSQL 转载于:https://my.oschina.net/miaojiangmin/blog/2907010

编程日记2024/10/19 22:30:00

深入浅出SpringBoot源码分析

Spring源码非常多，不要迷失在源码的汪洋大海里，抓住主要脉络，有需要再研究即可。 Bean的初始化 1.发现所有的bean ComponentScanAnnotationParser.parse()调用doScan()扫包这里只是扫用户定义的bean，系统的自然不用扫 ClassPathBeanDefinitionScanner.doScan protected…

编程日记2024/10/19 22:20:00

HBase基本知识

为什么80%的码农都做不了架构师？>>> 概述 HBase 特性： 强一致性读写: HBase 不是 "最终一致性(eventually consistent)" 数据存储. 这让它很适合高速计数聚合类任务。自动分片(Automatic sharding): HBase 表通过region分布在集群…

编程日记2024/10/19 22:10:00

【编程题】猜年龄

题目标题: 猜年龄美国数学家维纳(N.Wiener) 智力早熟，11岁就上了大学。他曾在1935~1936年应邀来中国清华大学讲学。一次，他参加某个重要会议，年轻的脸孔引人注目。于是有人询问他的年龄，他回答说： “我年龄的立方是个…

编程日记2024/10/19 22:00:00

XenServer和VMware vSphere技术比较

此次将Citrix XenServer7.1和VMware ESXi 6.5从技术角度进行比较，并从企业角度对企业关心的项进行比较。主要包含市场地位、服务器虚拟化底层稳定性、管理架构、兼容性上进行分析。市场地位 VMware在虚拟化的地位类似于大型存储中的EMC、小型机中IBM、网络中的思科…

编程日记2024/10/19 21:50:00

阿里巴巴开源的缓存框架JetCache创建缓存

官网：https://github.com/alibaba/jetcache/wiki/CacheAPI_CN ======================= 多层嵌套缓存无效的问题： https://github.com/alibaba/jetcache/issues/424 某个service的方法加缓存注解，然后引用同一个类的另一个加缓存注解service的方法，这样必须在类里面注入…

编程日记2024/10/19 21:40:00

【Python】百度翻译的爬虫实现（前篇）

该程序只能实现中文到英文的翻译 import requestsimport jsonurl "http://fanyi.baidu.com/basetrans"query_str input("请输入要翻译成英文的内容：")data{ "query": query_str,"from": "zh","to"…

编程日记2024/10/19 21:30:00

github每次推送都要输入用户名和密码

/****************************************************************************** github每次推送都要输入用户名和密码* 说明：* 今天开始使用github管理一些东西，但是每次提交都出现要输入用户名和密码，* 这简直让人…

编程日记2024/10/19 21:20:00

ELASTIC SEARCH 性能调优

ELASTICSEARCH 性能调优建议创建索引调优 1.在创建索引的使用使用批量的方式导入到ES。 2.使用多线程的方式导入数据库。 3.增加默认刷新时间。默认的刷新时间是1秒钟，这样会产生太多小的SEGMENT，导致未来的合并压力，如果调整这个大小&…

编程日记2024/10/19 21:10:00

Android开源中国客户端学习 (自定义View)左右滑动控件ScrollLayout

左右滑动的控件我们使用的也是非常多了,但是基本上都是使用的viewpager 等 android基础的控件,那么我们有么有考虑过查看他的源码进行定制呢?当然,如果你自我感觉非常好的话可以自己定制一个,osc的ScrollLayout就是自己定义的View 和Viewpager的区别还是不小的代码不是很多不…

编程日记2024/10/19 21:00:00

【Python】有道翻译的爬虫实现（前篇）

import requestsimport jsonurl "http://fanyi.youdao.com/translate_o?smartresultdict&smartresultrule"data {"i": "我喜欢学习", "from": "AUTO", "to": "AUTO", "smartresult":&q…

编程日记2024/10/19 20:50:00