陆良论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

12
返回列表 发新帖
楼主: cheqiudan

[电脑软件] excel处理大数据

[复制链接]
发表于 2018-1-12 18:52:01 | 显示全部楼层
遇女心惊 发表于 2018-1-12 09:10
web开发数据处理这方面倒没什么问题,这些需求我用php+mysql差不多也能处理。我想问,数据是从哪里采集的 ...

1、最简单的方式就是读取数据库,但是一般大型企业都设置网络物理隔离,访问数据库权限非常高,但是企业内部有网页可以显示实时数据,只能采用间接方式网页采集方式。
2、其它功能基本都是模式化的,数据分析这一块是最难的,目前我还有一个问题用excel数据分析一直没有解决。
例如:5台发电机组,每天开机、停机时间频繁,通过采集各台机组开机、停机时间,利用数据分析功能可以自动实现按时间排序机组、按机组排序时间、每台机组开停机次数、总开停机次数、按机组分类显示、某一时刻开着几台机、停着几台机等等,这些功能都已实现,但是无法实现当天最多的时候开着几台机,最少的时候开着几台机的数据分析。这个可能和机组时间轴有关系,目前我还没有方法利用编程+excel数据分析完成这个功能。

点评

应该不难吧,我好奇是怎么采集关机开机数据的。 有机器开启关闭,就记录时间点,再统计下这个点的开机关机总数,有必要的话再记录机器编号,存到一个表里。每天自动汇总归档。 当然了,以你聪明才智肯定也想到了,  详情 回复 发表于 2018-1-13 10:30
回复 支持 反对

使用道具 举报

发表于 2018-1-12 18:59:27 | 显示全部楼层
夕米调 发表于 2018-1-12 09:57
大神!!!!!!!


你楼上的才是大神+高富帅,记得去泡一下他
回复 支持 反对

使用道具 举报

发表于 2018-1-13 10:30:16 | 显示全部楼层
本帖最后由 遇女心惊 于 2018-1-13 10:45 编辑
撒旦 发表于 2018-1-12 18:52
1、最简单的方式就是读取数据库,但是一般大型企业都设置网络物理隔离,访问数据库权限非常高,但是企业 ...

应该不难吧,我好奇是怎么采集关机开机数据的。
有机器开启关闭,就记录时间点,再统计下这个点的开机关机总数,有必要的话再记录机器编号,存到一个表里。每天自动汇总归档。可以设置系统任务,每隔1秒几秒去遍历机器统计数据
当然以你聪明才智肯定也想到这了,我也是不了解实际情况的瞎说,,时间轴是啥?

点评

时间倒是没精确到秒,按照你说的遍历1分钟一个循环,其实我也考虑过,24小时要遍历循环1400多次再作比较找出最大最小值,大大影响运行效率,我比较有强迫症,原则是10秒内能完成数据抓取、计算、生成。 当时我的初  详情 回复 发表于 2018-1-14 23:06
回复 支持 反对

使用道具 举报

发表于 2018-1-14 23:06:05 | 显示全部楼层
本帖最后由 撒旦 于 2018-1-14 23:16 编辑
遇女心惊 发表于 2018-1-13 10:30
应该不难吧,我好奇是怎么采集关机开机数据的。
有机器开启关闭,就记录时间点,再统计下这个点的开机关 ...


时间精确到秒,按照你说的遍历1秒一个循环,24小时要遍历循环8W多次再作比较找出最大最小值,倒是可以实现的,但是这不科学,程序部分采集+计算+生成不到10秒,为了这个功能干个几分钟、十几分钟得不偿失。
1台机组开机时间是从开启到停止这段时间,因此可能存在其他机组在这段时间也有开机、停机,再甚停机后又有开机,分析起来太复杂,当时我的初步想法是利用excel强大数据分析能力配合公式、不利用代码来达到秒算的效果,苦于一直没找到方法。

点评

24小时才8W多次,对于计算机来说根本不是事啊。而且,只要不是几十万上百万数据,哪里要几分钟,一秒几秒就搞定了  详情 回复 发表于 2018-1-16 08:54
回复 支持 反对

使用道具 举报

发表于 2018-1-16 08:54:31 | 显示全部楼层
撒旦 发表于 2018-1-14 23:06
时间精确到秒,按照你说的遍历1秒一个循环,24小时要遍历循环8W多次再作比较找出最大最小值,倒是可以 ...

24小时才8W多次,对于计算机来说根本不是事啊。而且,只要不是几十万上百万数据,哪里要几分钟,一秒几秒就搞定了

点评

VB在excel中运行效率本身就不高,我做过另外一个循环测试,大概40余次用了8秒,当然因为涉及到网络,可能和网络速度有关系,所以我并不信任VB的高效率  详情 回复 发表于 2018-1-16 22:25
回复 支持 反对

使用道具 举报

发表于 2018-1-16 22:25:16 | 显示全部楼层
本帖最后由 撒旦 于 2018-1-16 22:32 编辑
遇女心惊 发表于 2018-1-16 08:54
24小时才8W多次,对于计算机来说根本不是事啊。而且,只要不是几十万上百万数据,哪里要几分钟,一秒几秒 ...


①VB在excel中运行效率本身就不高,我做过另外一个循环测试,大概40余次用了8秒,当然因为涉及到网络,可能和网络速度有关系,但是总体而言效率低下是事实。
②按照这个思路来写,并不是单纯的每秒做个判据遍历就可以了,本身机组可能涉及到跨日数据,判据太多,必须嵌套几十层循环,用不好就容易死循环了
回复 支持 反对

使用道具 举报

发表于 2018-1-19 09:27:50 | 显示全部楼层
那就不要vb,用js,php这些网络语言都比他快。你不是会c吗,c最快
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

手机版|小黑屋|Archiver|陆良网 ( 豫ICP备08002571号 )

法律顾问

GMT+8, 2024-3-29 02:16 , Processed in 0.074843 second(s), 24 queries , Gzip On.

中国 © 陆良网 2008-2023|关于陆论

运营机构:陆论工作室|站务QQ:450043295

Powered by Discuz!|滇网安备53032203502002号

快速回复 返回顶部 返回列表