linux 瞬间文件数没了,关于linux：如何快速汇总文件中的所有数字？

我有一个包含几千个数字的文件，每个数字都在自己的行中：

34

42

11

6

2

99

...

我正在写一个脚本，它将打印文件中所有数字的总和。我有解决办法，但效率不高。(运行需要几分钟)我正在寻找更有效的解决方案。有什么建议吗？

你的缓慢解决方案是什么？也许我们可以帮你弄清楚这件事的进展缓慢。：)

@布赖恩·德福伊，我太尴尬了，不能把它发出去。我知道为什么速度慢。这是因为我调用"cat文件名head-n 1"来获取顶部的数字，将其添加到一个连续的总数中，然后调用"cat文件名tail…"来删除下一个迭代的顶行…我有很多关于编程的知识要学！！！！

这是非常系统的。非常清楚和直截了当，我爱它，因为它是一个可怕的可憎。我想，是用你开始时就知道的工具建造的，对吧？

完全复制：stackoverflow.com/questions/450799/&hellip；

@马克罗伯茨，你一定花了很长时间才弄明白。这是一种非常清晰的解决问题的技巧，哦，太错了。这看起来像是一个典型的过度思考的案例。Glen Jackman的几个解决方案shell脚本解决方案(其中两个是纯shell，不使用awk和bc)。所有这些都在不到10秒的时间内完成了一百万个数字的相加。看看这些，看看如何在纯壳中完成。

@Mark Roberts 1位，stackoverflow.com/a/18380369/4592448)))

你可以用锥子：

awk '{ sum += $1 } END { print sum }' file

超过程序：最大字段大小数：32767

简单，不需要Perl。这是最好的答案。

如果您的字段包含空格并由制表符分隔，则使用-F '\t'选项。

请将此标记为最佳答案。如果您想在TSV(以制表符分隔的值)文件中对每行的第一个值求和，它也可以工作。

对于一个PerlOne线性，它基本上与Ayman Hourieh的答案中的awk解决方案相同：

% perl -nle '$sum += $_ } END { print $sum'

如果您想知道PerlOne的行程序是做什么的，可以将它们放在下面：

%  perl -MO=Deparse -nle '$sum += $_ } END { print $sum'

结果是程序的一个更详细的版本，形式是没有人会自己写：

BEGIN { $/ ="

"; $\ ="

"; }

LINE: while (defined($_ = )) {

chomp $_;

$sum += $_;

}

sub END {

print $sum;

}

-e syntax OK

只是为了咯咯笑，我用一个包含1000000个数字的文件(在0-9999范围内)尝试了这个方法。在我的Mac Pro上，它几乎瞬间返回。这太糟糕了，因为我希望使用mmap会非常快，但同时：

use 5.010;

use File::Map qw(map_file);

map_file my $map, $ARGV[0];

$sum += $1 while $map =~ m/(\d+)/g;

say $sum;

哇，这显示了对代码-nle实际上包围了你给它的字符串的深刻理解。我最初的想法是你不应该在喝醉的时候发帖，但后来我注意到你是谁，记得你的其他一些Perl答案：—)

-n和-p只是把字符放在参数to-e的周围，这样你就可以用这些字符来做你想要的任何事情。在有效的Perl编程中，我们有很多一行程序可以做一些有趣的事情(即将上架)。

很好，这些不匹配的花括号是关于什么的？

-n在程序中添加了while { }循环。如果你把} ... {放在里面，那么你就得到了while { } ... { }。邪恶？略微。

突出显示-MO=Deparse选项的大奖金！即使是在一个单独的主题上。

您的一行程序的累积版本(滚动总和，打印每行的当前总和)：perl -nle '$sum += $_; print $sum} END {'。

到目前为止，没有一种解决方案使用paste。这里有一个：

paste -sd+ filename | bc

例如，计算∑n，其中1<=n<=100000：

$ seq 100000 | paste -sd+ | bc -l

5000050000

(出于好奇，seq n会打印一个从1到n的数字序列，给定一个正数n。)

很不错的！而且很容易记住

非常Unix风格的解决方案=)

在Mac OS X seq 100000 | paste -sd+ - | bc -lBash。This is the sweetest布尔模式的解决方案和unixest！

为了好玩，让我们来测试一下：

$ for ((i=0; i<1000000; i++)) ; do echo $RANDOM; done > random_numbers

$ time perl -nle '$sum += $_ } END { print $sum' random_numbers

16379866392

real    0m0.226s

user    0m0.219s

sys     0m0.002s

$ time awk '{ sum += $1 } END { print sum }' random_numbers

16379866392

real    0m0.311s

user    0m0.304s

sys     0m0.005s

$ time { { tr"

" + < random_numbers ; echo 0; } | bc; }

16379866392

real    0m0.445s

user    0m0.438s

sys     0m0.024s

$ time { s=0;while read l; do s=$((s+$l));done

16379866392

real    0m9.309s

user    0m8.404s

sys     0m0.887s

$ time { s=0;while read l; do ((s+=l));done

16379866392

real    0m7.191s

user    0m6.402s

sys     0m0.776s

$ time { sed ':a;N;s/

/+/;ta' random_numbers|bc; }

^C

real    4m53.413s

user    4m52.584s

sys 0m0.052s

我在5分钟后中止了SED的运行

我一直潜到卢亚，而且速度很快：

$ time lua -e 'sum=0; for line in io.lines() do sum=sum+line end; print(sum)' < random_numbers

16388542582.0

real    0m0.362s

user    0m0.313s

sys     0m0.063s

当我更新这个的时候，Ruby：

$ time ruby -e 'sum = 0; File.foreach(ARGV.shift) {|line| sum+=line.to_i}; puts sum' random_numbers

16388542582

real    0m0.378s

user    0m0.297s

sys     0m0.078s

听从艾德莫顿的建议：使用$1。

$ time awk '{ sum += $1 } END { print sum }' random_numbers

16388542582

real    0m0.421s

user    0m0.359s

sys     0m0.063s

vs使用$0。

$ time awk '{ sum += $0 } END { print sum }' random_numbers

16388542582

real    0m0.302s

user    0m0.234s

sys     0m0.063s

+1：提出一系列解决方案，并进行基准测试。

时间cat随机粘贴-sd+bc-l实0.317s用户0.310s系统0.013s

这应该与tr解决方案大致相同。

如果使用$0而不是$1，那么awk脚本的执行速度应该更快一些，因为如果脚本中特别提到任何字段，awk会进行字段拆分(这显然需要一些时间)，但不会进行其他操作。

这工作：

{ tr '

' +; echo 0; } < file.txt | bc

在tr之后加echo 0的原因是什么？

在tr中，您最后得到一个尾随的+：1+2+3+4+，这对bc来说是一个语法错误。所以echo 0来修改语法：1+2+3+4+0。

另一种选择是使用jq：

$ seq 10|jq -s add

55

-s(--slurp)将输入行读入一个数组。

这是一个直接的重击：

sum=0

while read -r line

do

(( sum += line ))

done < file

echo $sum

只要没有小数，这个就行

它可能是最慢的解决方案之一，因此不适用于大量的数据。

这是另一条单线

( echo 0 ; sed 's/$/ +/' foo ; echo p ) | dc

这假设数字是整数。如果您需要小数，请尝试

( echo 0 2k ; sed 's/$/ +/' foo ; echo p ) | dc

将2调整为所需的小数位数。

我更喜欢将GNU数据mash用于此类任务，因为它比Perl或Awk更简洁易读。例如

datamash sum 1 < myfile

其中1表示数据的第一列。

this does not appear to be a标准组件当Do not see恩在我的Ubuntu的安装。我会看到它benchmarked，虽然。

cat nums | perl -ne '$sum += $_ } { print $sum'

(与Brian D Foy的回答相同，没有‘结束’)

为了好玩，让我们用pdl，Perl的数组数学引擎来做吧！

perl -MPDL -E 'say rcols(shift)->sum' datafile

rcols将列读入矩阵(本例中为1d)，sum将矩阵的所有元素相加。

如何修复在@inc中找不到pdl.pm(您可能需要安装pdl模块)(@inc包含：/etc/perl/usr/local/lib/x86_-linux-gnu/perl/5.22.1？)当然是为了好玩=)

您必须首先安装PDL，它不是Perl本机模块。

下面是一个使用带有生成器表达式的Python的解决方案。在我的旧电脑上测试了一百万个数字。

time python -c"import sys; print sum((float(l) for l in sys.stdin))" < file

real    0m0.619s

user    0m0.512s

sys     0m0.028s

对于map()：map(float, sys.stdin)，具有命名函数的简单列表理解是一个很好的用例。

我更喜欢用r来表示：

$ R -e 'sum(scan("filename"))'

$ perl -MList::Util=sum -le 'print sum <>' nums.txt

sed ':a;N;s/

/+/;ta' file|bc

更简洁：

# Ruby

ruby -e 'puts open("random_numbers").map(&:to_i).reduce(:+)'

# Python

python -c 'print(sum(int(l) for l in open("random_numbers")))'

Perl & Nbsp；6

say sum lines

~$ perl6 -e '.say for 0..1000000' > test.in

~$ perl6 -e 'say sum lines' < test.in

500000500000

与露比：

ruby -e"File.read('file.txt').split.inject(0){|mem, obj| mem += obj.to_f}"

another option(when is is ruby -e'p readlines.map(&:to_f).reduce(:+)'输入从标准输入(stdin))。

另一个娱乐

sum=0;for i in $(cat file);do sum=$((sum+$i));done;echo $sum

或者只是一次狂欢

s=0;while read l; do s=$((s+$l));done

但awk解决方案可能是最好的，因为它是最紧凑的。

我没有测试过这个，但是它应该可以工作：

cat f | tr"

""+" | sed 's/+$/

/' | bc

如果BC不处理EOF和EOL，您可能需要在BC之前向字符串添加""(如通过echo)。

它不起作用。bc由于尾随"+"和结尾缺少换行符，发出语法错误。这将起作用，并消除了对cat的无用使用：{ tr"

""+" | sed 's/+$/

/'| bc; } < numbers2.txt或。

tr"

""+"

考虑到你需要通读整个文件，我不知道你是否能比这更好。

$sum = 0;

while(<>){

$sum += $_;

}

print $sum;

美元是什么意思？

非常可读。对于Perl。但是，是的，必须是这样的…

$_是默认变量。行输入操作符<>在while中使用<>时，默认将其结果放在那里。

@mark，$_是主题变量——它的工作方式与"it"类似。在这种情况下，<>为它分配每一行。它被用于许多地方，以减少代码混乱并帮助编写一行程序。脚本说"将和设置为0，读取每一行并将其添加到和中，然后打印和。"

@stefan，关闭警告和限制后，您可以跳过声明和初始化$sum。由于这很简单，您甚至可以使用语句修饰符while：$sum += $_ while <>; print $sum;。

您可以使用alacon命令行实用程序对alasql数据库执行此操作。

它与node.js一起工作，因此需要先安装node.js，然后安装alasql包：

要从txt文件计算总和，可以使用以下命令：

> node alacon"SELECT VALUE SUM([0]) FROM TXT('mydata.txt')"

这里还有一个：

open(FIL,"a.txt");

my $sum = 0;

foreach( ) {chomp; $sum += $_;}

close(FIL);

print"Sum = $sum

";

用+替换所有新行，增加0并发送给Ruby解释器并不容易？

(sed -e"s/$/+/" file; echo 0)|irb

如果没有irb，可以发送到bc，但是除了最后一条(echo)之外，必须删除所有新行。最好是用tr来做这个，除非你有sed的博士学位。

(sed -e"s/$/+/" file|tr -d"

"; echo 0)|bc

C总是以速度取胜：

#include

#include

int main(int argc, char **argv) {

ssize_t read;

char *line = NULL;

size_t len = 0;

double sum = 0.0;

while (read = getline(&line, &len, stdin) != -1) {

sum += atof(line);

}

printf("%f", sum);

return 0;

}

1米数字的计时(与我的python答案相同的机器/输入)：

$ gcc sum.c -o sum && time ./sum < numbers

5003371677.000000

real    0m0.188s

user    0m0.180s

sys     0m0.000s

你错过了要点

最佳答案！最佳速度)

cat f | tr"

""+" | perl -pne chop | R --vanilla --slave

可笑的是：

cat f | tr"

""+" | perl -pne chop | R --vanilla --slave

这一个最终死于"错误：评估嵌套太深：无限递归/选项(表达式=)？"为了我的测试。我本以为R自己就能做到这一切的。

哈哈，好办法。