准备写给小技术创业团队看的一组技术文章

2012-04-25 11:19:48 +08:00
 cheka
我们创办扇贝网 shanbay.com 至今,技术上跌跌撞撞的遇到也解决了不少问题,譬如:

我们从前迁移一次数据库需要半夜停机几小时,后来使用mylvmbackup和LVM快照,基本几分钟可以搞定。

因为uwsgi的参数利用不足,导致应用服务器即便负载很小的时候依然会常常拒绝服务,这个问题折腾了我们有大半年。

因为MySQL的某个参数受Raid卡的电池影响,导致我们新买的一台服务器在机房里白呆了一个月,花了我们一两周的时间调试,最后通过升级Raid卡解决。

想来不少问题对于很多技术团队而言可能是有共性的(假设和我们一样,技术凑合,能出活,但是没有大牛),因此想把这些经验教训结成一组文章,一来帮些人少走点弯路,二来能得到高人指点补充,也能帮我们再少走点弯路。

提纲大致如下:

--系统环境配置
LVM 文件系统(需要LVM的快照用于MySQL备份)
KVM 虚拟机(在机器有限的情况下搭建多个测试环境)

--开发环境
Virtualevn 有相对隔离的Python运行环境
Pip

--单元测试

--代码管理和开发发布流程
Git

--Web服务
Nginx 前端Web服务
uwsgi 后端服务,衔接Django程序

--持续集成
Jenkins 自动定时从Git的master分支里pull代码,并执行单元测试

--数据库
MySQL 重要参数配置
数据备份 基于LVM 快照方式的mylvmbackup
较少停机时间的数据库迁移 (从一台物理主机搬到另一台)
分库

--前端


另外:
1. 我们不是大牛,所以不能保证这系列文章会是best practices,但是是实际用于扇贝网(近60万注册用户,3-4万日独立访客)的working practices,而且我也希望抛砖引玉,借助社区总结出更好的practices
2. 文章只关技术,不会有创业感悟或者产品心得,这方面去看看Getting Real或者Rework就差不多了
3. 我们用的是Python/Django,但是系统和数据库方面的内容和开发语言是相对独立的。

先在v2ex上发一下,听听各位意见,大家要是有兴趣,我写起来会比较起劲的
13011 次点击
所在节点    分享创造
71 条回复
roymax
2012-06-07 11:12:42 +08:00
潜水好久了,必须登录收藏一下
thinkinnight
2012-06-07 11:20:18 +08:00
是在哪里进行分享?有地址吗?
具体的服务器参数是什么,Linux版本,python版本,数据库版本,是否使用负载均衡等技术
服务器是使用租借,云,还是自己买,出现问题如何及时通知和解决?
对这个话题挺有兴趣,想看看楼主的文章
muxi
2012-06-07 11:28:23 +08:00
@likuku Slave备份这个不靠谱,特别是Master写压力比较大,主从同步延迟比较严重的,在磁盘损坏或者其他事故的时候会丢失部分数据,当然要求不高的场合,丢了就丢了,也没事,能够满足大部分场合
cloudzhou
2012-06-07 11:53:29 +08:00
@cheka 具体什么参数,实际中和性能相关的有 processes listen max-requests limit-as
ayang23
2012-06-07 14:18:31 +08:00
前几天弄个uwsgi+django,有表单的网页一直出错,搞了两天没搞定,放弃了。所以楼主的分享很有价值,希望早点看到。
azure
2012-07-10 16:19:16 +08:00
说好的技术文章呢。。。
icecream
2012-07-10 16:45:07 +08:00
说好的技术文章呢。。。
Sherlockhlt
2012-07-10 17:04:35 +08:00
说好的技术文章呢。。。
peizh2006
2012-07-10 17:26:32 +08:00
扇贝最近的改版很成功,可是
说好的技术文章呢。。。
cheka
2012-07-10 18:14:35 +08:00
大家知道的,我们最近在改版,我这周就放几篇出来,见谅见谅...
kava
2012-07-10 18:24:58 +08:00
期待!!!
liliang13
2012-07-16 20:22:05 +08:00
mark一个,期待。。。
chairo
2012-07-16 21:02:11 +08:00
@cheka 6 天前……
楼主又一次太监了……
heroicYang
2012-07-18 15:13:51 +08:00
这个必须支持,期待文章出炉!最近开始使用扇贝,感觉还不错!
shunai
2012-07-18 18:55:59 +08:00
网站很好! 希望上面提到的内容进一步分享!
cheka
2012-07-18 21:44:02 +08:00
写了第一篇 VirtualEnv 和Pip 构建Python的虚拟工作环境
http://tanronggui.xyz/t/42760
shitiven
2012-07-19 10:08:15 +08:00
@cheka 好东西啊,一直都用python和django开发应用服务,期待哇
xingis
2012-07-19 16:42:10 +08:00
@cheka 看了扇贝网,顺便注册了一个用户!
xiawinter
2012-08-10 23:41:21 +08:00
各位, 我是传说中的扇贝网程序猿, 工程师, 我本来想今天晚上开始完善这篇帖子里的内容, 但是我发现我好像没有权限发帖啊, 我要咋整? 难道是因为我们没有即时上传文章,被集体block掉了, 这是不是太强大的技术啊

如果哪位神能顶我一下什么的,我开始分享第二篇: 要如何对大数据表进行修改
southwolf
2012-08-11 01:01:03 +08:00
@xiawinter 不是没有发帖权限,是您没找到发帖按钮吧……噗
在主页是不能直接发帖的。似乎。
随便在底下找个节点点进去就有了……

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/33489

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX