标题:求教,CSV文件中数据(行)有相同的项目如何合并?
只看楼主
ictest
Rank: 3Rank: 3
等 级:论坛游侠
帖 子:325
专家分:114
注 册:2010-2-17
结帖率:69.81%
已结贴  问题点数:10 回复次数:7 
求教,CSV文件中数据(行)有相同的项目如何合并?
求教,想对一个CSV文件进行处理后生成一个新的CSV文件,
这个CSV文件,内容大约28万行,内容格式如下:

红框与蓝框中的内容一样,想合并成如下式样:

下面的数据按这种方式合并,
注意:文件里的数据并不一定会成对出现,也就是说方框里的内容是独一无二的,这样的行就直接写入新文件里。
ALL1.rar (932.38 KB)

不知我是否说明白了,请各位路过的坛友和大神,多多帮助我。谢谢!
搜索更多相关主题的帖子: CSV 文件 数据 合并 内容 
2019-06-08 15:09
ictest
Rank: 3Rank: 3
等 级:论坛游侠
帖 子:325
专家分:114
注 册:2010-2-17
得分:0 
求助各位路过的高手和大神,谢谢了。
2019-06-08 21:13
ZHRXJR
Rank: 16Rank: 16Rank: 16Rank: 16
等 级:版主
威 望:125
帖 子:1034
专家分:5519
注 册:2016-5-10
得分:2 
27万多条记录,检测前四个字段记录相同的数据,仅仅检测就已经非常吃力了,如果电脑运行速度比较快,可能也得十几分钟。
再重新存储文件,VB的控件不可能显示这样多的记录(记得好像只能显示3万多条记录),不过可以分开检测,这样特别麻烦。
有时间我可以试试,不一定成功。

请不要选我!!!
2019-06-09 09:51
wube
Rank: 12Rank: 12Rank: 12
等 级:贵宾
威 望:23
帖 子:1817
专家分:3681
注 册:2011-3-24
得分:2 
转存成EXCEL处理,最后再将结果复制到新的CSV ?

不要選我當版主
2019-06-11 18:59
ZHRXJR
Rank: 16Rank: 16Rank: 16Rank: 16
等 级:版主
威 望:125
帖 子:1034
专家分:5519
注 册:2016-5-10
得分:0 
非常困难,数据太多,分页需要分100多页,而且加载速度也比较慢,检测速度大概需要近2分钟(一页大概2500条数据)全部检测完成估计要近4个小时。
如果能够将数据导入到 SQL 2008 数据库,可能一次性解决有希望。我在 SQL 2008 中处理过50多万条记录,用时大概十几分钟就完成了。

请不要选我!!!
2019-06-12 12:58
风吹过b
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:贵宾
威 望:364
帖 子:4912
专家分:29900
注 册:2008-10-15
得分:2 
转 EXCEL处理 不现实,需要考虑低版本 EXCEL 只能处理 6.5+W 行的数据,
这么大的数据量,只能上 SQL 了。
我感觉如果是一次性工作,那就上 MSSQL+存储过程吧!


授人于鱼,不如授人于渔
早已停用QQ了
2019-06-12 14:25
美丽的海南岛
Rank: 1
等 级:新手上路
帖 子:1
专家分:2
注 册:2019-6-12
得分:2 
我也不懂
2019-06-12 15:21
xuminxz
Rank: 11Rank: 11Rank: 11Rank: 11
等 级:贵宾
威 望:40
帖 子:749
专家分:2475
注 册:2011-5-8
得分:2 
这个用VFP很容易的。
CREATE cursor  sdb (pc c(10),ph c(4),device c(18),site c(4),A64 i,A4F i)
APPEND FROM all1.csv  delimited
SELECT pc 批次,ph 片号,DEVICE,SITE ,SUM(a64) Average_5V_0x640,SUM(a4f) Average_5V_0x4FB FROM sdb INTO CURSOR ndb GROUP BY pc,ph,device,site
COPY TO hh.csv csv

大概要用10秒。

dBase有人接盘了。
2019-06-15 09:54



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-495153-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.226970 second(s), 9 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved