横瓜执导众程序员开展大讨论关于C、JAVA及其它主流IT技术使用情况和优点缺点。

遥执乾坤(44758121)  18:21:23
mysql据说只能使用一个索引，我这里几乎所有字段都有索引。

但每个字段就算用索引，也需要扫描至少100w以上记录。

横瓜(601069289)  18:23:12

mysql支持16个索引

对1-3字段索引属于优质的数据库结构

横瓜(601069289)  18:24:56

再多了,就是数据库结构设计不合理

横瓜(601069289) 17:53:15

处理大数据，对于计算要放应用层

不要采用SQL执行计算,可以垂直分解应用业务和复杂计算

横瓜(601069289) 17:54:50

如果数据量特别大,请采用水平方式来分解应用业务和复杂计算

采用水平方式来分解应用业务和复杂计算，可处理TB级的数据量,为全世界提供信息服务

横瓜(601069289) 17:59:20

采用普通PC+固态硬盘+水平分解业务+缓存+LINUX2.4以上的版本+接入层请求分发均衡

~游濄丿群鴨(39012090) 2013-6-28 10:49:07

java 是有些东西做不了

上海-石头哥(59851444) 2013-6-28 10:49:21

靠！

当然了

人也有些东西做不了

这些都是正常的

做驱动程序就不适合用java

Glory(1302516908) 2013-6-28 10:50:30

唉，不说了，都是血泪，这么多年，绕不开java的队伍，都是血泪，和java队伍搭班子太累

上海-石头哥(59851444) 2013-6-28 10:50:43

你没遇到对的人

不是java的问题

最难相处也是人

~游濄丿群鴨(39012090) 2013-6-28 10:51:03

比如让c c++来做web的前端开发，会不会比较麻烦？

上海-石头哥(59851444) 2013-6-28 10:51:12

会

北京-普通人(409031406) 2013-6-28 10:51:26

谁会用c++，c做前端

~游濄丿群鴨(39012090) 2013-6-28 10:51:44

是的咯

北京-普通人(409031406) 2013-6-28 10:53:23

c++、c配合JAVA或者PHP啥的，都挺好的嘛，c服务端数据处理

Glory(1302516908) 2013-6-28 10:53:27

有做java的吗？

请教个问题

遥执乾坤(44758121) 2013-6-28 10:53:56

java至少用过5-6年的才能做事情。用3年以下的人，很喜欢弄一堆构架进去，啥spring, hibernate, structs。。。做企业级应用，这些都是垃圾东西。

Glory(1302516908) 2013-6-28 10:54:08

一个小狗屁项目，hibernate配置数据库，就比直接写数据库访问快？

遥执乾坤(44758121) 2013-6-28 10:54:56

大公司也不用这些东西，因为前后分离，ao dao分离，无法用他们。

然后剩下的就只有没有经验的人，天天被那帮所谓的学校老师忽悠，以为这些很牛叉。

Glory(1302516908) 2013-6-28 10:55:29

乾坤说的太对了

北京-普通人(409031406) 2013-6-28 10:56:03

不比直接写数据库快。

~游濄丿群鴨(39012090) 2013-6-28 10:56:09

hibernate 比较适合通用

空/卡皮(501968942) 2013-6-28 10:56:11

大家在批判学校的？

Glory(1302516908) 2013-6-28 10:56:14

弄一堆东西进去，来个新功能，发现无法套那堆东西，然后告诉你：java实现不了，java就这么被恶心了

~游濄丿群鴨(39012090) 2013-6-28 10:56:28

有些公司就喜欢一劳永逸。搞个hibernate就可以通用任何数据库

不用你在重新重写sql

遥执乾坤(44758121) 2013-6-28 10:57:35

问题是，正规的公司几乎都是mysql。。。 oracle那么贵，一般人根本用不起。

~游濄丿群鴨(39012090) 2013-6-28 10:58:10

就像你说的企业开发，就特别喜欢用hibernate

比如 DB2 INFORMIX

等乱起八糟的数据库都会碰到

Glory(1302516908) 2013-6-28 10:58:36

企业应用，那也可以理解了

我他妈做个自家的系统，硬件都是自己配的，别说软件了，程序员也非得弄进这一套来，这不是找骂？

~游濄丿群鴨(39012090) 2013-6-28 10:59:35

不过hibernate可以和直接写sql 混用

遥执乾坤(44758121) 2013-6-28 10:59:40

调用别人的数据库是最痛苦的事情。。。

~游濄丿群鴨(39012090) 2013-6-28 11:00:44

我估计是那个程序员用惯了hibernate，因为它也帮助程序员少些代码。

~游濄丿群鴨(39012090) 2013-6-28 11:00:53

甚至不用写sql

Glory(1302516908) 2013-6-28 11:02:02

这就出来问题了——部分java程序员招骂第一原因：套路化

广州-恒-java(821600682) 2013-6-28 11:02:14

公司开发一套通用的，现场部署时数据库可能是别人的，表名，字段名可能不一样，ORM这个个人感觉还是有需要的。。

上海-石头哥(59851444) 2013-6-28 11:02:36

你们一味的骂是因为不适合你们

Glory(1302516908) 2013-6-28 11:02:45

就像彪哥打架，一套热身还没打完，人家一脚踢到裤裆，你已经趴下了

上海-石头哥(59851444) 2013-6-28 11:02:51

结合自己的观点

遥执乾坤(44758121) 2013-6-28 11:03:17

框架的确不适合啥东西都是自己的。

~游濄丿群鴨(39012090) 2013-6-28 11:03:23

框架有适用范围，具体用不用。还不是老大说得算

遥执乾坤(44758121) 2013-6-28 11:03:37

但如果数据库都是别人的，那就最好用个来屏蔽差异了。

北京-普通人(409031406) 2013-6-28 11:03:38

如果觉得hibernate不好用，可以直接开发ORM，很多公司也会自己封装自己的orm。其实hibernate优势还是慢多的

满多的

上海-石头哥(59851444) 2013-6-28 11:03:44

hibernate在快速开发上还是有很强大的，也很自动，不过要完全用得游刃有余，那绝对是高手所为，我其实不建议新生用

Glory(1302516908) 2013-6-28 11:03:54

再一个就是霸王硬上弓，前一阵碰上一个学生，给我们做推荐算法，上亿的数据，非得java，结果32G的内存怎么都搞不定

北京-普通人(409031406) 2013-6-28 11:04:03

想用好hibernate还是要高手

上海-石头哥(59851444) 2013-6-28 11:04:18

如果一直使用hibernate，但本身自己sql基础不牢，其实到后期很致命

遥执乾坤(44758121) 2013-6-28 11:04:20

对。hibernate我当年用的时候，被里面的几个bug搞死了，后来只能修改hibernate源码才搞定。浪费了太多时间。

~游濄丿群鴨(39012090) 2013-6-28 11:04:47

hibernate只能完成80%的任务。

abc(951514291) 2013-6-28 11:04:57

要不就用Mybatics，JPA

~游濄丿群鴨(39012090) 2013-6-28 11:05:08

一些复杂查询，还是得sql来的直接

Glory(1302516908) 2013-6-28 11:05:19

后来直接把他踢走，换另外一个学生过来，8G内存稳定可控，一天推荐的算量还提高好几倍

遥执乾坤(44758121) 2013-6-28 11:06:05

我写了一个2个文件，一个db操作，一个多链接cache，然后就解决了80%的数据库问题。操作方式和hibernate的基础方式几乎一样。也是没有sql语句就能办事情。

北京-普通人(409031406) 2013-6-28 11:06:06

很多做JAVA的人，做内存控制，内存处理这块，是没有概念的

Glory(1302516908) 2013-6-28 11:06:28

只是内存控制没概念还好，关键是数据结构没概念

上海-石头哥(59851444) 2013-6-28 11:06:40

如果sql本身基础很牛B，那你用hibernate我觉得还是可以大大开发效率

~游濄丿群鴨(39012090) 2013-6-28 11:06:53

hibernate 有个很大的用处就是通用各种数据库呀

Glory(1302516908) 2013-6-28 11:07:13

上亿的数据，本是稀疏矩阵，他竟然敢使用两级字典做数据结构

上海-石头哥(59851444) 2013-6-28 11:07:18

后来我一直用ibatis

遥执乾坤(44758121) 2013-6-28 11:07:23

通用数据库，是我认为hibernate唯一值得用的地方。

上海-石头哥(59851444) 2013-6-28 11:07:36

是因为我也不太喜欢太多的限制

~游濄丿群鴨(39012090) 2013-6-28 11:07:45

不然仅仅是db操作和cache，很多db库都能做

上海-石头哥(59851444) 2013-6-28 11:07:51

这点似乎没啥用

谁会老换数据库

遥执乾坤(44758121) 2013-6-28 11:08:10

适合你调用别人数据库的情况。

别人的数据库天知道啥玩意。有些还是嵌入式的呢。

~游濄丿群鴨(39012090) 2013-6-28 11:08:25

恩

上海-石头哥(59851444) 2013-6-28 11:08:51

我游走过几个公司，有银行，也有第三方支付等

发现hibernate在这些地方出场并不高

几乎没有

都是用ibatis

Glory(1302516908) 2013-6-28 11:09:44

访问量略微大一点，hibernate撑不住啊

上海-石头哥(59851444) 2013-6-28 11:10:19

关键不是这个

是生成的sql不一定可控，这也是很大一方面

~游濄丿群鴨(39012090) 2013-6-28 11:11:21

访问量大的地方得另外处理了。hibernate 不适合做互联网应用，做做后台管理还是可以的。

上海-石头哥(59851444) 2013-6-28 11:11:23

自己写sql嘛，你懂的，出来的什么都知道

遥执乾坤(44758121) 2013-6-28 11:11:25

我写的代码和ibatis的结构很像，呵呵。就是轻量很多。

但同时也有bug的多。。。唉。

abc(951514291) 2013-6-28 11:12:00

访问量大，并发高，把hibernate的缓存用好，再结合第三方缓存框架也可以啊

上海-石头哥(59851444) 2013-6-28 11:12:03

bug多慢惭改

慢慢改

~游濄丿群鴨(39012090) 2013-6-28 11:12:54

后台统计、计算这些未必还用hibernate啊？

遥执乾坤(44758121) 2013-6-28 11:13:29

就一个接口。剩下的就是Mysql，oracle的实现了。

jace(793727599) 2013-6-28 11:14:48

你们有专职做数据分析工作的吗？

Glory(1302516908) 2013-6-28 11:14:52

有那个空改第三方框架的bug，就不能自己写？

最有意思的，java比c++队伍多一个岗位：系统架构师

遥执乾坤(44758121) 2013-6-28 11:15:46

c++也有。。。

Glory(1302516908) 2013-6-28 11:15:54

~游濄丿群鴨(39012090) 2013-6-28 11:15:59

架构师应该都有吧。

上海-石头哥(59851444) 2013-6-28 11:16:07

呵呵！

遥执乾坤(44758121) 2013-6-28 11:16:10

搜索构架师。

Glory(1302516908) 2013-6-28 11:16:14

事实上是有，但c++的队伍较少公开专门招

jace(793727599) 2013-6-28 11:16:14

类似数据科学家的角色

上海-石头哥(59851444) 2013-6-28 11:16:20

系统架构师并不是指语言的

java的也有好吧

你们把语言看得太重了

我想说太年轻

了

Glory(1302516908) 2013-6-28 11:17:00

说的太对了，真正的系统架构师应该是通用的

遥执乾坤(44758121) 2013-6-28 11:17:04

构架师只有大规模项目才需要。

上海-石头哥(59851444) 2013-6-28 11:17:07

我们公司的就是

Glory(1302516908) 2013-6-28 11:17:14

但java通常有个专门岗位：jva系统架构师，

上海-石头哥(59851444) 2013-6-28 11:17:18

虽然不见得比我牛B

呵呵！

那是错误的认识

Glory(1302516908) 2013-6-28 11:18:00

很多公司专门招java系统架构师的

上海-石头哥(59851444) 2013-6-28 11:18:02

我们公司的架构师常常问我一些问题的

Glory(1302516908) 2013-6-28 11:18:24

条件就是熟悉各类java框架

加速度(272551280) 2013-6-28 11:18:24

solr 查询返回时剔除了html的内容怎么改成不剔除呢？

上海-石头哥(59851444) 2013-6-28 11:18:26

强调的是系统及架构

加速度(272551280) 2013-6-28 11:19:16

solr 查询返回时剔除了html的内容怎么改成不剔除呢？

有哪位同学研究过这个？

Glory(1302516908) 2013-6-28 11:20:23

我们土比，偶尔用用solr，都是自己转码

~游濄丿群鴨(39012090) 2013-6-28 11:20:44

呵呵熟悉主流框架，就能从这些成熟的产品吸取经验嘛

遥执乾坤(44758121) 2013-6-28 11:31:04

有运维人员想找工作不？

哥不要开发，开发找个在校大学生就能搞定了。需要的是运维，因为运维没有几年经验，啥都不会。

~游濄丿群鴨(39012090) 2013-6-28 11:32:27

开发这么不值钱了。。。

遥执乾坤(44758121) 2013-6-28 11:33:13

，核心开发有人了啊，外围开发自然找几个实习生足够了。

北京-***(506650296) 2013-6-28 11:34:15

恩，学生可塑性高，听话

jace(793727599) 2013-6-28 11:56:19

只要有钱有人有咨询，想不嬴都不行

jace(793727599) 2013-6-28 12:02:03

有钱意味能用最稳定最先进的架构，有人意味着分工明确，每个领域都各司其职，有专业的工程师，有咨询意味着可以跟IBM、Oracle、teradata、intel等合作，搞一些规范成熟的方案。

jace(793727599) 2013-6-28 12:03:03

类似于拍电影，有导演有剧本有主角。

jace(793727599) 2013-6-28 12:09:01

所以窝在大公司里可以学到很多东西

Glory(1302516908) 2013-6-28 12:10:51

头一次听说，窝在大公司里可以学到很多东西

jace(793727599) 2013-6-28 12:11:40

反正我学到挺多的

Glory(1302516908) 2013-6-28 12:13:11

上边的人可以学到很多东西

而且有足够的钱来回折腾

十一月的肖邦(1041901964) 2013-6-28 12:13:35

大公司学得多吗

表示想去大公司

Glory(1302516908) 2013-6-28 12:14:12

像阿里的技术高层，大概把所有的高性能方案都学习探索过

空/卡皮(501968942) 2013-6-28 12:15:10

进不去啊

Glory(1302516908) 2013-6-28 12:16:23

我当年去华为，操成天就那点屌东西，整个三级部门就那点屌东西

要学东西，大概得混到三级部门经理以上的级别了

遥执乾坤(44758121) 2013-6-28 12:19:17

去互联网公司吧，的确可以学到很多东西，只要你愿意。

空/卡皮(501968942) 2013-6-28 12:23:33

哦哦

初学者进也难啊

Glory(1302516908) 2013-6-28 12:23:56

有没有阿里的？过两年现在的公司成不了，争取去阿里了

遥执乾坤(44758121) 2013-6-28 12:24:23

阿里不要大于30岁的人。

空/卡皮(501968942) 2013-6-28 12:24:37

为什么

遥执乾坤(44758121) 2013-6-28 12:24:45

没有前途了啊。

Glory(1302516908) 2013-6-28 12:24:49

扯啊，阿里动不动开年薪五六十万，都是30多岁的人

南京-听风(190661155) 2013-6-28 13:30:18

怎么可能不要30岁以上的人，阿里需要的反而大多数是30岁以上经验丰富的

十一月的肖邦(1041901964) 2013-6-28 13:36:41

action怎样获取前台select 的值

阳光(413055687) 2013-6-28 14:04:43

request.getParameter("")就可以，或者Action里变量名称跟select名字一样，有getXXX,setXXX方法也行

北京-普通人(409031406) 2013-6-28 16:51:27

有遇到这样的情况么，在window下，用jdbc去跑100个mysql查询需要600毫秒，在linux需要1500毫秒

遥执乾坤(44758121) 2013-6-28 16:54:51

mysql下，跑一个简单的select范围查询，有索引的情况下，花费了2分钟，大家又遇到过么？

上海-石头哥(59851444) 17:00:12

把sql贴出来看看吧

说不定可以看出什么端倪

100个才600ms

还有什么可以说的啊

2分钟的看一睛

遥执乾坤(44758121) 17:03:24

select AvgDownloadSpeed,UploadTaskTime,peerid,TaskDefinitionID from taskexecmain where UploadTaskTime>='2013-06-18 00:00:00 000' and UploadTaskTime<'2013-06-19 00:00:00 000' and TaskDefinitionID in ('7194','7195','7196',) and totalDownLoadTime>'1.4E-45' and totalDownLoadTime<'200.0' and (errorcode is null OR errorcode = '0') limit 0,5000, time:226613167540,ok:true

time:226613167540 纳秒，其实就是226秒。

上海-石头哥(59851444) 17:05:22

我的妈呀

7194 ~ 7489

上海-石头哥(59851444) 17:05:55

这是连起来的啊

上海-石头哥(59851444) 17:07:30

and (errorcode is null OR errorcode = '0')

把这个 is null

换成其它方式试试

去掉这个能快多少

遥执乾坤(44758121) 17:11:01

实际的in有1k多个值，这里拷贝不下。

上海-石头哥(59851444) 17:13:04

in里边的数据是string不是int的吗

还有你数据字段用是的string是吗

遥执乾坤(44758121) 17:14:24

in里面是int，但这些int不能保证连续。

京-一夏<wpx378802619@qq.com> 17:14:33

in换成exists试试

上海-石头哥(59851444) 17:14:40

那你把引号去掉

遥执乾坤(44758121) 17:14:46

不是一样么？

引号这种就算转化也会很快才对啊。

北京-普通人(409031406) 17:24:36

mysql在你本地，还是其他机器上

遥执乾坤(44758121) 17:24:50

都是本机跑的。

北京-普通人(409031406) 17:25:18

那本机跑。应该挺快递

Glory(1302516908) 17:25:24

我们现在倒腾数据都用shell，发现shell真他妈强大

mysql里只剩下最后简单查看的数据，几乎不用mysql做任何略微复杂的运算了

北京-普通人(409031406) 17:27:38

shell确实很强大

awk 对数据处理很强大

遥执乾坤(44758121) 17:28:35

awk处理文本数据，已经足够了。

南京-听风(190661155) 17:28:35

我也听说了，能举个应用场景吗

举个应用的例子

北京-普通人(409031406) 17:29:56

对文本数据处理，确实完全够了

Glory(1302516908) 17:31:15

非实时系统就有这个好处，早晨8点上班前把数据准备好就OK

北京-普通人(409031406) 17:31:41

一般用于做分析，做计算用

Glory(1302516908) 17:31:51

再大的数据都不存在大数据问题了

北京-普通人(409031406) 17:31:54

恩。大数据公司估计用的多

Glory(1302516908) 17:33:58

好像群里有些兄弟去年去云基地，云基地都做什么啊？

南京-听风(190661155) 17:34:20

哪个云基地？

云基地现在多如牛毛

北京-普通人(409031406) 17:35:34

云基地？在那里

云基地搞云计算？

Glory(1302516908) 17:36:07

北京北边什么云基地，去年群里不是好几个人去吗？

北京-醉(253215039) 17:40:59

@乾坤：

上面那个sql所在表什么量级？

遥执乾坤(44758121) 17:46:54

1100w

北京-醉(253215039) 17:49:17

应该是做全表扫瞄了

遥执乾坤(44758121) 17:50:18

没有，全部扫描估计30分钟都搞不定，有好几十个G呢。

北京-醉(253215039) 17:50:42

这么大的表啊？

北京-醉(253215039) 17:51:45

一条纪录有5k？

遥执乾坤(44758121) 17:52:15

没有5k，但也有上K。

横瓜(601069289) 17:53:15

计算要放应用层

不要采用SQL执行计算

北京-醉(253215039) 17:53:53

高版本mysql应该会自动优化

Glory(1302516908) 17:54:06

先加个where TaskDefinitionID > <的条件，大概能快很多

横瓜(601069289) 17:54:21

可以采用垂直分解应用业务和复杂计算

遥执乾坤(44758121) 17:54:41

TaskDefinitionID 有十万多个。

横瓜(601069289) 17:54:50

如果数据量特别大,请采用水平方式来分解应用业务和复杂计算

采用水平方式来分解应用业务和复杂计算

可处理TB级的数据量,为全世界提供信息服务

北京-醉(253215039) 17:55:30

如果是int型，查询时加了引号，未必能用到索引。

遥执乾坤(44758121) 17:55:45

mysql好像只能用一个索引。

北京-醉(253215039) 17:55:56

另外得把is null去掉吧，这东西肯定不命中索引

横瓜(601069289) 17:56:12

必要时,可以支持1秒/10万次-100万次的请求

北京-醉(253215039) 17:56:31

可以有多个，但你这么大的表，也不能多建。

横瓜(601069289) 17:56:46

如果优化到非常完美的情况下,可以支持1秒/10万次-100万次的请求

北京-醉(253215039) 17:56:54

这么大数据，索引也很耗资源

横瓜(601069289) 17:57:05

等于100个GOOGLE的请求水平

北京-普通人(409031406) 17:58:21

1秒/10万次到100万次的请求，应该要看cpu和数据量吧

Glory(1302516908) 17:59:11

那些值都是连续的，肯定是大小比较嘛，怎么会用in?

横瓜(601069289) 17:59:20

采用普通PC+固态硬盘+水平分解业务+缓存+LINUX2.4以上的版本+接入层请求分发均衡

北京-醉(253215039) 17:59:22

1秒10万次请求，真实的qps也就1000左右把，允许有100ms的网络延迟

巴特西

横瓜执导众程序员开展大讨论关于C、JAVA及其它主流IT技术使用情况和优点缺点。

最新文章

热门文章