请教个文本文件内容处理的批处理，检测每一行，如果下一行包含它，就删除下一行

江南一根葱 · 发表于 2021-6-17 23:21:43

文件a.txt中有很多行
比如
hklm\hklm
hklm\hklm\aa
hklm\hklm\aa\bb
hklm\hhhh
hklm\hhhh\hh
hklm\nssb\xxoo
hklm\nssb\xxoo\ooxx\998
处理后只留下
hklm\hklm
hklm\hhhh
hklm\nssb\xxoo
也就是读取每一行，检测下一行如果包含读取的那行，就删除，不包含则保留

hua_wuxin · 发表于 2021-6-18 12:33:24

结果在b.txt里。

@echo off
setlocal enabledelayedexpansion

del /f /q b.txt >nul 2>&1

set PREV_KEY=[]
for /f "tokens=*" %%I in (a.txt) do (
  echo "%%I" | find /i "!PREV_KEY!" >nul

  if !errorlevel! neq 0 (
echo %%I>>b.txt
set PREV_KEY=%%I

  ) else (
echo 已跳过“%%I”
  )
)

江南一根葱 · 发表于 2021-6-19 16:20:59

hua_wuxin 发表于 2021-6-18 12:33
结果在b.txt里。

@echo off

几十万行的文本，等了几个小时才执行好了，不过可能我折腾的逻辑还有点问题，漏处理了好几行

hua_wuxin · 发表于 2021-6-19 16:54:08

江南一根葱发表于 2021-6-19 16:20
几十万行的文本，等了几个小时才执行好了，不过可能我折腾的逻辑还有点问题，漏处理了好几行

确实。批处理只适合处理几十到几百行的吧。

2011HNLGY · 发表于 2021-6-19 20:43:47

工具错了啊，支持正则的文本处理软件对付这个才是利器。

dos时代菜鸟 · 发表于 2021-11-2 16:11:08

本帖最后由 dos时代菜鸟于 2021-11-2 16:38 编辑

用 find 不妥，如果同时用两行数据

12345
234123456

那么第二行包含上一行，是否第二行就被删掉了？

dos时代菜鸟 · 发表于 2021-11-2 16:22:07

本帖最后由 dos时代菜鸟于 2021-11-2 16:37 编辑

几十万行数据，估计要运行一段时间。

黑中见白 · 发表于 2021-11-2 16:37:44

还没搞定吗

黑中见白 · 发表于 2021-11-2 16:38:19

本帖最后由黑中见白于 2021-11-2 17:22 编辑

看起来是Process Monitor的注册表监视数据Powershell 倒序排序，然后下一行比

dos时代菜鸟 · 发表于 2021-11-2 17:00:35

本帖最后由 dos时代菜鸟于 2021-11-2 17:05 编辑

有这种情况么？
1/2
1/2/3/4/5

一定是下一行的长度大于上一行的长度么？
我想可以通过赋值和比长度的方法解决。如果不存在上面我说的跳级别的情况也可以通过赋值和取变量目录的方法解决。

dos时代菜鸟 · 发表于 2021-11-2 21:42:18

本帖最后由 dos时代菜鸟于 2021-11-2 22:04 编辑

如下代码，把str1.txt 简化生成为 str2.txt
算法，把文件第一行赋值给变量并计算长度，然后进行第二行，如果第二行前面指定长度的内容与上面那个赋值一样，就跳过，反之重复赋值计算长度，再来。以此类推。

@echo off
setlocal ENABLEDELAYEDEXPANSION
set file1="str1.txt"
set file2="str2.txt"
echo.>!file2!
call :text_1
pause
goto :eof
:text_1
set t=0
set "l0="
set l1=1
for /f "delims=" %%i IN ('type %file1%') do (
set /a t=!t!+1
set L2=%%i
call :str_L "%%i"
for %%r in (!L1!) do (
if not "!l2:~0,%%r!"=="!L0!" (
set L1=!x!
set L0=%%i
echo !t!:%%i
echo %%i >>!file2!
)
)
)
exit /b
:str_L
SET "L=%~1"
SET /A N=0,M=8190 ,X=0
FOR /L %%C IN (1,1,14) DO (
SET /A X0=%X%
SET /A "X=(!M!+!N!)/2+1"
FOR /F %%D IN ("!X!") DO (
IF "!L:~%%D!" EQU "" (SET /A M=!X! ) ELSE (SET /A N=!X!)
)
)
exit /b

复制代码

str1.7z (630 Bytes, 下载次数: 5)

		自动登录	找回密码
密码			注册

请教个文本文件内容处理的批处理，检测每一行，如果下一行包含它，就删除下一行

点评

点评