大家都知道，oracle没有所谓的自增长ID这一说法，但是有一个seq，和mysql自增长比较类似
下面分析一下，mysql在高并发写入时，insert效率为什么会降低的非常厉害
如果table有自增长ID，在每条INSERT SQL 执行时，mysql都会先获取自增长ID，然后接着再执行这条SQL语句
在写并发并不是很大的时候，可能感觉不到，一旦大并发写入时候，就会出现写等待，造成mysql负载急剧上升
仔细分析一下，mysql是如何得到insert_id的：
下面我们查询test表的insert_id：
select * from information_schema.tables where table_name='test'
查询的结果可以看到：AUTO_INCREMENT字段已经在最大ID基础上加1
所以：
在insert插入的同时，会更新这个数据表中的AUTO_INCREMENT字段
这样，一旦并发太大的话，就会出现锁等待
现在原因我们都知道了，那现在我们想办法解决：
既然取id会出现等待，那么我们可以自己来指定insert_id，而不用mysql每插入一条，更新一次
我们可以一次取100个ID，然后放在内存(memory)中，这样就可以大大降低这个等待瓶颈了
以上纯属个人观点，感兴趣的可以一起拍砖
推荐几个cache 应用。
1： Tokyo Cabinet 是日本人 平林幹雄 开发的一款 DBM 数据库，该数据库读写非常快，哈希模式写入100万条数据只需0.643秒，读取100万条数据只需0.773秒，是 Berkeley DB 等 DBM 的几倍。
详细请参考：http://blog.s135.com/post/362/
2：dbcache
● dbcached 是一款基于 Memcached 和 NMDB 的分布式 key-value 数据库内存缓存系统。
● dbcached = Memcached + 持久化存储管理器 + NMDB 客户端接口
● Memcached 是一款高性能的，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。
● NMDB 是一款多协议网络数据库(dbm类)管理器，它由内存缓存和磁盘存储两部分构成，使用 QDBM 或 Berkeley DB 作为后端数据库。
● QDBM 是一个管理数据库的例程库，它参照 GDBM 为了下述三点而被开发：更高的处理速度，更小的数据库文件大小，和更简单的API。QDBM 读写速度比 Berkeley DB 要快，详细速度比较见《Report of Benchmark Test》。
http://code.google.com/p/dbcached/
Mysqlslap是从5.1.4版开始的一个MySQL官方提供的压力测试工具。通过模拟多个并发客户端访问MySQL来执行压力测试，同时详细的提供了“高负荷攻击MySQL”的数据性能报告。并且能很好的对比多个存储引擎在相同环境下的并发压力性能差别。
阅读全文…
嘉宾分享的内容介绍：
1. 系统项目经验 – bbs.55bbs.com
1.1 项目特点：
1.1.1 论坛活跃度高 （ 1.5 – 2 贴/秒 ）；
1.1.2 在线浏览人数多 （ 1000 万 PV/日、6 万人在线 ）；
1.1.3 数据库查询频繁，高并发量 （ 3000+ 次/秒/台 ）；
1.1.4 业务要求高可用性，在线生产数据库要求 7 * 24；
1.2 实施经验：
1.2.1 在着手进行实施改造之前做大量的前期分析工作，尽量确保收集到准确全面的性能问题点。
在论坛社区应用领域中，尤其对于大型论坛而言，几乎每个论坛都有自己独特的问题类型；
1.2.2 使用了大量数据库缓存技术：文件缓存、帖子缓存、memcached 缓存；
1.2.3 数据库使用分布式部署，将一些耗费资源的功能分布到不同的数据库服务器中，同时保证
各个数据库服务器中的数据高度一致；
1.2.4 使用 MySQL 分区技术有效解决数据表体积过大带来的性能降低；
1.2.5 全面仔细的评估所需的硬件资源，避免造成不必要的硬件成本浪费；
阅读全文…
mysql里的变量分系统变量和用户变量.
系统变量
其中系统变量,又分全局(global)和会话(session)两种.
全局系统变量,主要影响整个mysql实例的全局设置.
大部分变量都是作为mysql的服务器调节参数存在.新增或修改这类变量, 会影响mysql的运行方式.
比如: auto_increment_increment 代表序列的自增值, 默认为1
另外, mysql中,只有一部分变量是支持运行时动态修改的.
变量修改的作用范围,是那些重新创建连接到mysql服务器的客户端连接.
如果你的连接是由应用通过连接池来维护的,并且,是长连接的,那么,此时在服务器运行过程中,动态地修改全局变量对你是没有什么影响的.
阅读全文…
Discuz默认库共53个数据表（以下表数据量注释均为默认）
cdb_access 用户权限表
cdb_access 用户权限表
uid 用户id
fid 论坛id
allowview 允许浏览
allowpost 允许发新帖
allowreply 允许回复
allowgetattach 允许下载附件
allowpostattach 允许上传附件
cdb_adminactions 管理动作表
cdb_adminactions 关联用户组
admingid 管理组id
disabledactions 关联后的权限
阅读全文…
作/译:吴德勇 来源：http://www.devnotes.net 转载请注明作/译者和出处 谢谢
我们都清楚经常所说的 主从(master to slave)同步，可以通过读写分离来提高数据库的吞吐量。
如果你使用的方案是一台主，多台从，请看 http://www.devnotes.net/post/15.html
但是一台主，在负载比较大的情况下，不免会扛不住，在这里我们谈下多主互备来实现这一功能。
Mysql多机同步技术笔记
阅读全文…
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
| mysql> SHOW slave STATUS \G;
*************************** 1. row ***************************
Slave_IO_State: Waiting FOR master TO send event
Master_Host: 192.168.0.70
Master_User: mydb
Master_Port: 3306
Connect_Retry: 10
Master_Log_File: mysql_bin.000043
Read_Master_Log_Pos: 102
Relay_Log_File: deepin-a1c7a7d1-relay-bin.000036
Relay_Log_Pos: 243
Relay_Master_Log_File: mysql_bin.000043
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB: mysqlbak
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 102
Relay_Log_Space: 545
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
1 row IN SET (0.00 sec)
mysql> LOAD DATA FROM master;
ERROR 1189 (08S01): Net error reading FROM master |
解决方法：
Slave_IO_Running: No
Slave_SQL_Running: No
注意：这两个参数为YES方可。
1. start slave;
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
2. load table from master只支持myisam表，如果试图载入一个非MyISAM表，会导致以下错误
英文原文(Recovering CREATE TABLE statement from .frm file),本人只做了解后的心得笔记
译者：吴德勇 来源：http://www.devnotes.net 转载请注明作/译者和出处 谢谢
在这里我们探讨使用.frm文件恢复数据表机构（当然如果你以前备份过数据表，你可以使用调用备份的数据表）
我们都知道当我们建立数据表(innodb或myisam)时，会生成相应的文件(如：MYD,MYI,frm)
在这里，我们探讨下使用frm文件恢复 innodb和myisam类型表的结构，不过由于他们存储引擎的特性，所以恢复的方法也不一样，一下是详细的恢复过程。
阅读全文…
原创笔记，转载请注明来源
存储过程中我们经常看见“cursor for” 的使用，下面对这一用法说明下
1
2
3
4
5
6
7
8
9
10
11
12
13
14
| CREATE PROCEDURE p25 (OUT return_val INT)
BEGIN
DECLARE a,b INT; < --
DECLARE cur_1 CURSOR FOR SELECT s1 FROM t;
DECLARE CONTINUE HANDLER FOR NOT FOUND
SET b = 1;
OPEN cur_1;
REPEAT
FETCH cur_1 INTO a;
UNTIL b = 1
END REPEAT;
CLOSE cur_1;
SET return_val = a;
END;// |
这个过程开始声明了三个变量。
阅读全文…
