您现在的位置是:群英 > 开发技术 > 编程语言
如何用Golang处理大文件,怎样做效率高
Admin发表于 2022-08-06 17:57:1865 次浏览
这篇文章主要给大家介绍“如何用Golang处理大文件,怎样做效率高”的相关知识,下文通过实际案例向大家展示操作过程,内容简单清晰,易于学习,有这方面学习需要的朋友可以参考,希望这篇“如何用Golang处理大文件,怎样做效率高”文章能对大家有所帮助。

   

使用Pandas分块处理大文件

问题:今天在处理快手的用户数据时,遇到了一个差不多600M的txt文本,用sublime打开都蹦了,我用pandas.read_table()去读,差不多花了近2分钟,最后打开发现差不多3千万行数据。这仅仅是打开,如果要处理不知得多费劲。

解决:我翻了一下文档,这一类读取文件的函数有两个参数:chunksizeiterator

原理就是不一次性把文件数据读入内存中,而是分多次。

1、指定chunksize分块读取文件

read_csv 和 read_table 有一个 chunksize 参数,用以指定一个块大小(每次读取多少行),返回一个可迭代的 TextFileReader 对象。

table=pd.read_table(path+'kuaishou.txt',sep='t',chunksize=1000000)
for df in table:
    对df处理
    #如df.drop(columns=['page','video_id'],axis=1,inplace=True)
    #print(type(df),df.shape)打印看一下信息

我这里又对文件进行了划分,分成若干个子文件分别处理(没错,to_csv也同样有chunksize参数)

2、指定iterator=True

iterator=True同样返回的是TextFileReader对象

reader = pd.read_table('tmp.sv', sep='t', iterator=True)
df=reader.get_chunk(10000)
#通过get_chunk(size),返回一个size行的块
#接着同样可以对df处理

直接看看pandas文档在这一方面的内容吧。


以上就是关于“如何用Golang处理大文件,怎样做效率高”的介绍了,感谢各位的阅读,希望文本对大家有所帮助。如果想要了解更多知识,欢迎关注群英网络,小编每天都会为大家更新不同的知识。

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。

相关信息推荐
2022-08-04 17:44:43 
摘要:三种对比方法:1、使用比较运算符(==、===、>、<等)进行对比,例“字符串1==字符串2”,可比较两字符串是否相等;2、使用strcmp()以区分大小写的方式比较两个字符串,语法“strcmp(字符串1,字符串2)”;3、使用strcasecmp()以不区分大小写的方式比较两个字符串,语法“strcasecmp(字符串1,字符串2)”。
2022-04-28 11:58:24 
摘要:给大家带来一篇关于Laravel中间件实现原理及实例分析的相关教程文章,内容涉及到Laravel、中间件、实现原理、Laravel中间件实现原理详解等相关内容,更多关于Laravel中间件实现原理详解的内容希望能够帮助到大家。
2022-01-24 19:24:06 
摘要:Python怎样清空列表数据?在实际的Python项目中,我们会遇到清空列表数据的需求,那么有什么方法可以实现呢?下文给大家分享了两种方法,文中有示例供大家参考,感兴趣的朋友就继续往下看吧。
推荐内容
热门关键词
热门信息
群英网络助力开启安全的云计算之旅
立即注册,领取新人大礼包
  • 联系我们
  • 24小时售后:4006784567
  • 24小时TEL :0668-2555666
  • 售前咨询TEL:400-678-4567

  • 官方微信

    官方微信
Copyright  ©  QY  Network  Company  Ltd. All  Rights  Reserved. 2003-2019  群英网络  版权所有   茂名市群英网络有限公司
增值电信经营许可证 : B1.B2-20140078   粤ICP备09006778号
免费拨打  400-678-4567
免费拨打  400-678-4567 免费拨打 400-678-4567 或 0668-2555555
微信公众号
返回顶部
返回顶部 返回顶部