V2EX › iyaozhen 的所有回复 › 第 186 页 / 共 239 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 182 183 184 185 186 187 188 189 190 191 ... 239

❮

❯

2016-03-06 00:04:53 +08:00

回复了 modkzs 创建的主题 › 程序员 › v2ex 的匹配问题

@modkzs 你不回复之前还可以改 23333

2016-03-04 21:15:42 +08:00

回复了 ZZZero 创建的主题 › CSS › 关于 font-family 的实现机制，求指点 QwQ

是不是没有装好？ word 里面能用新装的字体吗？

2016-03-04 21:11:34 +08:00

回复了 niuer 创建的主题 › 云计算 › 如何解决 GIF 流量爆炸问题？ by 七牛

@YvesX 哈哈心中一紧，摸了摸钱包

2016-03-03 16:42:23 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@realpg 线上机器的话应该是 16/32 核， 128 内存。但硬盘不是 SSD 的。。。

2016-03-03 16:41:11 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@yuankui 嗯，谢谢。应该实现多看看业界是怎么搞的。不能自己瞎搞，关键是自己还很菜。

2016-03-03 16:31:42 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@ango 嗯嗯，日志转存这个其它地方也在做。主要是现在还有对数据流监控的需求。

2016-03-03 16:27:51 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@realpg 试过，然后数据库扛不住了。 233333

2016-03-03 16:27:21 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@zeeler 谢谢，正在调研。 mongodb 没怎么实际用过，主要是怕从一个坑跳到另一个坑中。

2016-03-03 15:50:08 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@lynnworld 流量， 6MB/s （高峰）。一天差不多快 10 亿条日志了。

2016-03-03 14:48:50 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@fds 线上几十上百台机器，还在不同机房，每个机器还有 10+的模块，还是比较蛋疼，而且还要其它一些需求，比如定位查询结果可视化等。

2016-03-03 14:45:06 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@tabris17 这东西听说过，我研究下。

2016-03-03 14:44:15 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@kier 业务埋点数据，一个用户请求会过服务器很多模块，每个模块都会打日志，所以量比较大。

2016-03-03 14:43:14 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@lynnworld 是批量的。两者都比较多。抱歉，这里没做具体的统计。
因为是批量解析 10w 条日志，还要分库分表。其实单次 insert 还比较快，但并发高，数据库会锁表，有些请求就等待了。

2016-03-03 14:35:55 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@yahoo21cn 用 myisam 存储的原因我已经说了， innodb 也试过，主要还是数据占用磁盘空间大，统计慢。「单独一个进程每秒读取该进程一次写入数据库。」我现在就是这样，已经 300+的进程在跑， redis 还是爆了。我不光是要入库，还要做一些实时聚合。

2016-03-03 14:32:40 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@lxf1992521 非常感谢，已经在看 elasticsearch 了，其实我也是用的 ELK 这一套，只是因为一些历史原因，只用了一部分。 graylog 这还没接触过，我看看。

2016-03-03 14:30:33 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@kier 谢谢，我看看 mongodb ，对这个不是太了解。估计可行

2016-03-03 14:29:16 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@swolf119 不只是数据统计，主要还是用于定位问题。

2016-03-03 14:28:10 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@jimrok 这个我也想过。但是还是数据量太大暂存的文件太多（应为分库分表了， load 的时候需要按库和表把文件生成好），会把磁盘的 inode 用完。

2016-03-03 14:24:31 +08:00

回复了 iyaozhen 创建的主题 › 程序员 › 高并发（ 6M/s）日志数据如何准实时入库（ MySQL）

@fds 额，确实需要原始数据做查询，用于定位问题。还要至少存一周

1 ... 182 183 184 185 186 187 188 189 190 191 ... 239

❮

❯