python拆分切割大日志文件

发布时间:2020-06-16 00:17     分类:Python

网站日志如果久了不处理就会形成大的日志文件,大小都是G级别的,这么大的文件在一般的电脑上基本是无法打开的,那么要想看看里面的内容怎么办呢?

答案是:把这个大文件拆分成若干个小文件

编程语言:python

代码:

def start():
    line_count=0
    index=0
    fw=open('files/news_file_' + str(index) + '.log','w')
    for line in open(youbigfile.access.log', 'r'):
        fw.write(line)
        line_count+=1
        #假设每200000行写一个文件
        if (line_count%200000==0):
            fw.close()
            index+=1
            fw=open('files/news_file_' + str(index) + '.log','w')
    fw.close()

以上的代码只是针对一行一行的数据,如果数据没有换行符,全是紧密挨着的字符,那就要考虑其他的办法了。

评论

推荐文章