excel处理大数据

cheqiudan

  excel处理超大数据，几天的伙计帮你几分钟干完 加qq 814163657

墨斗

咋个录制宏

754785326

1344286580

陆良县还有这种高手。

titian120

高手在民间

撒旦

楼主应该是利用excel的宏功能录制+VBA编程+excel处理数据，有机会可以交流下！

去年我也是花了1个月利用VBA在excel中编程开发开发了一款水电厂网页数据采集、分析、计算、上报的全自动化智能软件，期间写了2K多行代码，都可以把每年365×3.6小时烧脑的工作量压缩到365×0.08小时自动完成。得到所有同事首肯，结果大领导觉得这就是个屁，发了几百块安慰费，可兄弟部门却花了6万请人做了一款功能还不如我的软件，我也是醉了。

撒旦

遇女心惊 发表于 2018-1-10 16:23
大神厉害，能讲讲当时的需求吗？看看以我现在的水平，有没有思路

我的需求及思路：
1、能自动登陆网页查询任意一天电能量数据，并实现自动采集，三种方法
①直接读取数据库，根据需求采集数据；
②Post相关的页面，Get获取Html内容，正则表达式解析需求数据；（也可采用htmldocument对象解析）
③模拟IE自动登录，获取需求网页，htmldocument对象解析需求数据。
2、利用编程+excel上百个公式进行数据处理，需要满足数据透视、计算、统计、筛选、转换、校核功能。（例如使用IF、AND、OR、ISERROR、VLOOKUP、SUMPRODUCT、MATCH、COUNT、COUNTIF、ROUND、TEXT、INDEX、TRIM、MID、MOD、LEFT、RIGHT、COLUMN、ROW、SMALL、INDEX、CEILING、SUBSTITUTE、REPT等函数组合来进行数据分析）



3、建立本地数据库，数据生成完毕后收集重要数据自动存入本地数据库，以便后续填报时可自动调用，同时本地数据库具备查询功能，可任意查询某一日、某月、某季、某年电量、机组开停机详细数据和次数统计
4、自动生成本地报表，根据需求，可任意生成excel、word报表
5、自动上传、填报，通过模拟IE自动登录，自动解析填报框节点，自动写入数据，同时可根据需求打开某word文件，在word表格中自动填入数据。
6、以上5项功能并不是靠单一某个模块就能完成，每个模块都需要配合编程来完善。
7、登陆界面设计，账号密码可配置增减、密码100天（可自设）自动失效，需使用动态密码解锁后续期100天，动态密码每天自动根据算法生成，动态密码同时也是万能登陆密码。

夕米调

撒旦 发表于 2018-1-11 23:42
我的需求及思路：
1、能自动登陆网页查询任意一天电能量数据，并实现自动采集，三种方法
①直接读取数 ...

大神！！！！！！！

撒旦

遇女心惊 发表于 2018-1-12 09:10
web开发数据处理这方面倒没什么问题，这些需求我用php+mysql差不多也能处理。我想问，数据是从哪里采集的 ...

1、最简单的方式就是读取数据库，但是一般大型企业都设置网络物理隔离，访问数据库权限非常高，但是企业内部有网页可以显示实时数据，只能采用间接方式网页采集方式。
2、其它功能基本都是模式化的，数据分析这一块是最难的，目前我还有一个问题用excel数据分析一直没有解决。
例如：5台发电机组，每天开机、停机时间频繁，通过采集各台机组开机、停机时间，利用数据分析功能可以自动实现按时间排序机组、按机组排序时间、每台机组开停机次数、总开停机次数、按机组分类显示、某一时刻开着几台机、停着几台机等等，这些功能都已实现，但是无法实现当天最多的时候开着几台机，最少的时候开着几台机的数据分析。这个可能和机组时间轴有关系，目前我还没有方法利用编程+excel数据分析完成这个功能。

撒旦

夕米调 发表于 2018-1-12 09:57
大神！！！！！！！

你楼上的才是大神+高富帅，记得去泡一下他