用于在多个文件中消除重复行的python脚本

2021-01-08 21点热度 0人点赞 0条评论

我有大量的.txt文件,每个文件都包含一个URL列表。在每个文件中都有重复的URL。文件之间没有重复。我想在每个文件中从中删除解除应用程序的URL。

我写了一个在单个文件上运行正常的脚本。现在我想让它运行在大型文件集上。

path = "/users/mypath"
myfiles = os.listdir(path)
for f in myfiles:
       open(f, 'r')
       lines = f.readlines()
       seen_lines = set()
       open(f, 'w')
       for line in lines:
              if line not in seen_lines:
                   seen_lines.add(line)
                   f.write(line)
       f.close()

这将产生错误消息:

File "C:\Users\myscripts\myscript.py", line 66, in <module>
    lines=open(f,'r').readlines()
FileNotFoundError: [Errno 2] No such file or directory: 'myfile.txt'

我想我没有正确地定义路径-有什么建议吗?

查看隐藏内容需要支付:¥1
查看

未经允许不得转载!用于在多个文件中消除重复行的python脚本

本文地址:https://ans.52learn.online/2158

ANS52LEARN

DO BEST