请批处理高手帮我做一个文本中关于内容统计的批，谢！

老毛桃 · 发表于 2006-11-23 22:25:55

是这样的，我有一个记录文档，比如名称为 SearchNet.txt，里面内容如下：

5
7
15
18
29
34
45
50
53
55
57
61
64
70
71
75
81
86
87
89
98
99
103
106
111
118
124
125
126
128
135
138
146
155
156
157
160
170
173
176
178
180
185
191
203
204
208
212
215
231
238
240
246
247
250
253
255
2
7
9
12
15
19
30
38
53
55
59
61
68
70
71
75
81
86
87
88
89
98
99
103
106
111
115
116
118
122
125
126
130
135
138
142
143
146
147
150
151
152
156
159
163
170
173
175
177
178
180
182
185
203
204
207
217
233
240
245
246
247
250
253
254
255
7
18
19
30
38
53
61
64
66
70
71
75
88
89
95
98
99
103
104
106
109
111
114
116
118
122
125
126
130
134
138
140
143
151
155
156
157
159
163
166
176
177
180
182
183
185
189
203
204
207
212
217
227
233
234
238
240
241
242
247
250
255
5
8
9
11
12
15
17
30
36
41
42
45
48
49
53
57
59
63
64
66
67
68
70
73
76
77
79
82
86
88
89
90
95
98
99
101
102
103
105
109
110
111
113
115
116
118
124
125
126
127
129
130
134
138
140
143
144
147
151
155
157
161
162
163
167
7
9
10
11
5
9
18
19
20
22
31
59
61
70
76
77
81
86
88
89
90
99
105
106
109
111
2
4
5
7
10
15
18
19
22
29
31
33
36
38
41
46
49
57
59
61
66
70
72
73
75
76
4
5
11
15
19
20
30
33
36
42
45
46
47
4
5
11
19
22
23
29
31
46
47
50
57
61
68
70
71
73
75
76
86
88
89
90
99
101
102
103
104
105
106
109
110
111
114
115
124
125
126
130
131
133
134
137
138
140
142
144
147
157
159
160
165
166
167
169
173
177
180
183
185
186
187
192
203
207
208
209
212
213
214
221
229
233
237
238
240
246
255
3
5
11
17
18
19
22
23
29
33
34

复制代码

里面的全是数字，最小值为 1，最大值为 255，我现在要做一个批处理，使我能够分析这个 SearchNet.TXT 中从 1 到 255 的每一个数字出现的次数，出现次数为 0 的，当然不要统计啦。要求得到的统计文档格式如下：

Counter.txt

2 2
3 1
4 3
5 7
7 5
8 1
9 4
10 2
11 5
...

复制代码

为此，我自己也写了个批处理，但是个人感觉执行效率不够高，才 400 多个数据，分析一下居然消耗了整整 100 秒时间（我的机器为 PIII 800MHz + 256MB PC133 SDRAM），请高手帮我优化一下，谢谢！

Counter.CMD

@echo off
SETLOCAL ENABLEDELAYEDEXPANSION
set tmpfile=search.tmp
set resultfile=counter.txt
if exist %tmpfile% del %tmpfile% /q
if exist %resultfile% del %resultfile% /q
for /f %%i in ('type SearchNET.TXT') do echo a%%ia>>%tmpfile%
for /l %%i in (1,1,255) do (
for /f "tokens=2* delims=::" %%I in ('find /c ^"a%%ia^" %tmpfile%^|find /v ^": 0^"') do (
set /p="%%i%%I">>%resultfile%<nul
echo.>>%resultfile%
)
)
REM del %tmpfile%
ENDLOCAL

复制代码

namejm · 发表于 2006-11-23 23:45:29

　　统计的结果中，第一列数字要按照从小到大的顺序显示吗？

namejm · 发表于 2006-11-24 00:10:52

　　若第一列数字无须按照从小到大的顺序排列，则可以使用如下代码：

@echo off
set num=-1
sort<SearchNet.TXT>tmp.txt
cd.>result.txt
setlocal enabledelayedexpansion
for /f %%i in (tmp.txt) do (
set /a num+=1
set second=!first!
set first=%%i
if not "!second!"=="" if !second! neq !first! (>>result.txt echo !second! !num!&set num=0)
)
>>result.txt echo %first% %num%
del tmp.txt
start result.txt

复制代码

namejm · 发表于 2006-11-24 02:31:08

　　若要对第一列数作升序处理，则可对顶楼的代码修改如下(经过测试，与顶楼的代码相比，以下代码效率有较大提高，但效率最高的是3F的代码)：

@echo off
cd.>result.txt
setlocal enabledelayedexpansion
for /l %%i in (1,1,255) do (
for /f %%j in ('findstr "^%%i$" SearchNet.txt') do set /a num+=1
if not !num! equ 0 >>result.txt echo %%i !num!
set num=0
)
start result.txt

复制代码

[ 本帖最后由 namejm 于 2006-11-24 02:35 AM 编辑 ]

老毛桃 · 发表于 2006-11-24 09:43:50

呵呵，感谢感谢，测试了一下，我办公室电脑为 CD2.8GHz+512MB DDRII，我的代码耗时 24 秒，3F 的代码耗时不到 1 秒，4F 的耗时 14 秒。都比我的快得多。

因为原先不知道 findstr 中还有“$”这么个好咚咚，导致了先在原先的 SearchNet.txt 的每一行家上前后缀，耗去了部分时间，在 Count 的时候又不得不去掉它，效率大大降低了。

但如果我现在想按照里面每个数字出现的频率从高到低排序，又该怎样呢？嘿嘿，又给 Namejm 带来难题了。。。。

namejm · 发表于 2006-11-24 20:47:07

　　如果要按照每个数字出现的频率从高到低排序，则可在3F的基础上得到如下代码。这个代码会产生大量的临时文件，并且效率比较低下。请测试：

@echo off
set num=-1
sort<SearchNet.TXT>tmp1.txt
cd.>tmp2.txt
cd.>tmp3.txt
cd.>result.txt
setlocal enabledelayedexpansion
for /f %%i in (tmp1.txt) do (
set /a num+=1
set second=!first!
set first=%%i
if not "!second!"=="" if !second! neq !first! (>>tmp2.txt echo !second! !num!&set num=0)
)
>>tmp2.txt echo %first% %num%
md tmp && pushd tmp
for /f "tokens=2" %%i in (..\tmp2.txt) do fsutil file createnew %%i %%i>nul
>..\tmp3.txt dir /o-s /b
for /f %%i in (..\tmp3.txt) do (
>>..\result.txt findstr " %%i$" ..\tmp2.txt
)
popd && rd /q /s tmp
del tmp1.txt tmp2.txt tmp3.txt
start result.txt

复制代码

老毛桃 · 发表于 2006-11-25 08:38:23

原帖由 namejm 于 2006-11-24 20:47 发表
　　如果要按照每个数字出现的频率从高到低排序，则可在3F的基础上得到如下代码。这个代码会产生大量的临时文件，并且效率比较低下。请测试：

@echo off
set num=-1
sort<SearchNet.TXT>tmp1.txt
cd. ...

嘿嘿，高！不佩服不行了，好好学习一下。。。

namejm · 发表于 2006-11-25 12:34:10

　　对6F的代码做了一处改动，效率大为提高，请做对比测试：

@echo off
set num=-1
sort<SearchNet.TXT>tmp1.txt
cd.>tmp2.txt
cd.>tmp3.txt
cd.>result.txt
setlocal enabledelayedexpansion
for /f %%i in (tmp1.txt) do (
set /a num+=1
set second=!first!
set first=%%i
if not "!second!"=="" if !second! neq !first! (>>tmp2.txt echo !second! !num!&set num=0)
)
>>tmp2.txt echo %first% %num%
md tmp && pushd tmp
for /f "tokens=2" %%i in (..\tmp2.txt) do (
cd.>%%i
for /l %%j in (1,1,%%i) do echo.>>%%i
)
>..\tmp3.txt dir /o-s /b
for /f %%i in (..\tmp3.txt) do (
>>..\result.txt findstr " %%i$" ..\tmp2.txt
)
popd && rd /q /s tmp
del tmp1.txt tmp2.txt tmp3.txt
start result.txt

复制代码

老毛桃 · 发表于 2006-11-25 13:23:20

原帖由 namejm 于 2006-11-25 12:34 发表
　　对6F的代码做了一处改动，效率大为提高，请做对比测试：

@echo off
set num=-1
sort<SearchNet.TXT>tmp1.txt
cd.>tmp2.txt
cd.>tmp3.txt
cd.>result.txt
setlocal enabledelayedexpa ...

呵呵，厉害厉害啊！

for /f "tokens=2" %%i in (..\tmp2.txt) do fsutil file createnew %%i %%i>nul

复制代码

换成了

for /f "tokens=2" %%i in (..\tmp2.txt) do (
cd.>%%i
for /l %%j in (1,1,%%i) do echo.>>%%i
)

复制代码

处理时间由 5 秒变成了 2 秒，佩服啊！

真想给此帖加精，可惜楼主是个只有三脚猫功夫的毛桃！

ccwan · 发表于 2006-11-25 14:23:56

namejm真乃精英啊！强烈要求加精！

namejm · 发表于 2006-11-25 17:11:54

原帖由 老毛桃 于 2006-11-25 01:23 PM 发表

真想给此帖加精，可惜楼主是个只有三脚猫功夫的毛桃！

　　名利乃身外之物，加精的目的是能让更多的人来关注，若能让更多的人对DOS批处理感兴趣的话，也不枉我写这几段代码了，这个精华加在谁的名下也就显得不那么重要了。若够得上精华帖的标准，毛桃兄只管加成精华就是了；若够不上精华帖的标准，作为普通帖处理也可。

老毛桃 · 发表于 2006-11-25 19:04:39

原帖由 namejm 于 2006-11-25 17:11 发表

　　名利乃身外之物，加精的目的是能让更多的人来关注，若能让更多的人对DOS批处理感兴趣的话，也不枉我写这几段代码了，这个精华加在谁的名下也就显得不那么重要了。若够得上精华帖的标准，毛桃兄只管加成精华 ...

呵呵，的确是将批处理发挥到了极致，至少我是这么认为的，加精，算到 Namejm 兄的名下，哈哈！

收藏备忘，以后常来温习温习。

namejm · 发表于 2006-11-25 22:14:46

原帖由 老毛桃 于 2006-11-25 07:04 PM 发表

呵呵，的确是将批处理发挥到了极致，至少我是这么认为的，加精，算到 Namejm 兄的名下，哈哈！

收藏备忘，以后常来温习温习。

　　呵呵，6F代码不是我的原创，关键部分剽窃了DOS联盟里 3742668 的代码，不敢擅专。

namejm · 发表于 2006-11-29 13:50:46

　　关于统计字符出现次数，更精彩的批处理代码请参考这个帖子，真正的叫人大开眼界：http://www.cn-dos.net/forum/view ... id=Z6IHFV#pid155049

老毛桃 · 发表于 2006-11-29 15:54:46

原帖由 namejm 于 2006-11-29 13:50 发表
　　关于统计字符出现次数，更精彩的批处理代码请参考这个帖子，真正的叫人大开眼界：http://www.cn-dos.net/forum/view ... id=Z6IHFV#pid155049

呵呵，的确精彩，感谢 Namejm

frice · 发表于 2006-11-30 14:43:18

哦哟,这样也可以
真是高

lijiehao · 发表于 2006-12-15 23:23:21

高人啊！一个批处理居然发挥了这么大的作用

bagpipe · 发表于 2006-12-16 17:44:38

只做了统计出现的次数，没有排序....（试发帖)

@echo off&setlocal
set /a n=1
for /f %%a in ('type 1.txt^|sort') do (
call :pp %%a
)
:pp
if not defined bb goto b
if "%bb%"=="%1" (set /a n+=1) else (>>ko.txt echo %bb% %n%次&set /a n=1)
:b
set bb=%1
goto :eof

复制代码

bagpipe · 发表于 2006-12-16 20:47:25

粗略的写了一下排序

代码如下：

@echo off&setlocal enabledelayedexpansion
set a=[0-9]
for /l %%a in (1,1,3) do (
call :pp !a!
set a=!a![0-9]
)
goto c
:pp
for /f %%x in ('findstr "^%1$" aa.txt^|sort') do @echo %%x >>dd.txt
goto :eof
:c
set /a n=1
for /f %%a in ('type dd.txt') do (
call :pp %%a
)
:pp
if not defined bb goto b
if "%bb%"=="%1" (set /a n+=1) else (>>ko.txt echo %bb% %n%次&set /a n=1)
:b
set bb=%1
goto :eof

复制代码

namejm · 发表于 2006-12-26 20:48:11

　　bagpipe 兄18楼的代码同时保留上一行内容和本行内容的思路十分巧妙；for 语句后括号之后不马上跟跳出语句是个十分容易犯错的地方；不声明启用变量延迟功能可以兼容感叹号，扩大了字符的兼容范围；这段代码言简意赅，堪称经典。相信经过细节方面的改造之后，将会成为统计行内容重复次数的通用代码。

　　bagpipe 兄19楼的代码用 for /l 来控制每次 findstr 的字符长度，然后把同一长度的用 sort 来排序，从而突破了 sort 只能按字符位大小来排序这一限制，又是一个超级技巧，可以成为数字排序的一个经典思路。

　　对你的敬仰开始泛滥……

ccwan · 发表于 2006-12-27 10:30:34

一定要加精啊！便于大家学习。

thinker1234 · 发表于 2006-12-28 11:44:16

哈
我不会

GDH · 发表于 2007-11-28 23:55:58

昏迷啊最近您对批处理做了基础的研究

没想到看到顶级水平的代码还是晕了头了。。。

haiou327 · 发表于 2007-11-29 00:42:15

真乃高手云集啊！！！！！！！！！

都市浪子666 · 发表于 2008-1-15 23:35:14

偶是超级菜鸟。先收藏。日后慢慢研究了。
也不知道要过多少年才能研究得透。。。。55555555

qjj1221 · 发表于 2008-4-12 15:20:23

高手中的高手佩服啊

monkeyhero · 发表于 2008-8-5 11:20:20

哇塞，全是高手啊，学习了

yuzhe · 发表于 2008-8-20 19:30:11

发现自己太渺小了...高人多.

free123456 · 发表于 2008-10-23 17:43:50

注意：
３楼的代码有错误，在统计最后一个数字的个数时差一个，最后num+=1即可

[ 本帖最后由 free123456 于 2008-10-23 17:59 编辑 ]

		自动登录	找回密码
密码			注册