处理大量数据问题

#1 Kenneth

我处理几万条的数据,我该怎么处理?运算量非常大。现在很慢,读回来运算完,我差不多一分钟了。我文件都运行超时了。数据还没有处理完。我是用AJAX处理完,再显示的。我的数据以后可能会超过百万。怎么去处理呢?听说分批处理。可以解决。大侠们给点思路。 在此我也感谢下JACK兄。在三个多月来。把我带入门,到我现在能独立做项目了,非常感谢JCAK{:soso_e163:}。

2012-08-03 11:15:45

#2 jake

两个方法最简单:

1. 把PHP运行时间调长。

2. 简单地用
不断地跳转到当前页面,不断地执行。

2012-08-03 15:18:58

#3 Kenneth

我想了解下,假如我查询一万条数据时候,应该怎么去查呢?
我要的是整个表的数据,我查的速度很慢。
怎么去优化呢?

2012-08-08 12:42:05

#4 wltony

对于查询语句的话,主要还是要对 mysql 索引进行优化!

2012-08-08 13:15:07

#5 wltony

最好贴出你表的结构 还是 把你的 sql 语句 explain 下 ,看看有什么问题!

2012-08-08 13:16:22

#6 jake

Kenneth 发表于 2012-8-8 12:42
我想了解下,假如我查询一万条数据时候,应该怎么去查呢?
我要的是整个表的数据,我查的速度很慢。
怎么去 ...
只能加索引,改结构等方式来优化。如楼上说的explain语句可以做到。

一般大数据量优化,不是说你要查1万条,而是说你只查10条,但是是从1000万条里面查10条,这样才是大数据量优化。

一般而言,WEB应用除非是导出操作,不然很少有一次性查一万条的需求,有的话就等等吧。

2012-08-08 14:01:57