mysql表数据量太大,达到了1亿多条数据,除了分库分表之外,还有没有其他的解决方式?(mongodb集群数据冗余问题怎么解决)
mysql表数据量太大,达到了1亿多条数据,除了分库分表之外,还有没有其他的解决方式?
分库分表是最常规也是最常见的一种解决数据量过大的方式。分表的话也分为垂直分和水平分。下面我列举一下其他的方式

1、读写分离。就是将数据库的读写操作分开,比如让主服务器读,从服务器去做写操作,或者让性能比较好的服务器去做写操作,性能不太好的服务器做读操作;具体如何去读写分离,要看我们如何去分了。
2、静态缓存。分为本地缓存和服务缓存,本地缓存就是将数据加载到本地,服务缓存就是比如使用Redis这样的k-v数据库进行存储热点数据。但是使用服务缓存也有缺点,最常见的问题就是,“击穿”,就是假如缓存都失效了,这时候并发请求都去访问db,此时可能造成服务器挂掉,这个时候为了避免这种情况,一般都是使用互斥量来解决这种问题。
3、系统架构。这个就要看我们整体项目的架构设计,主要是包括SQL操作的设计

请问你描述的这个问题说的是我么?【哭脸】很不凑巧,由于预计错误本来计算大概有800多万的数据,最终处理完共计4亿9千多万【后面的零头我甚至不想说了】,一张表4亿多的数据,用的自增id幸亏id没有爆,不幸中的万幸透露着另一个不幸就是,因为这台装有mysql的服务器上数据量很大,在我往里插入数据的时候在插到4亿多的时候磁盘满了,一点空间都没有了,惊不惊喜意不意外【哭笑脸】,因为这个数据属于一次性的数据,用于进行深度学习所需的训练数据,但是读的压力也很大,随便一个select7分钟起步~~~~
难难难啊!最后我的解决办法就是删除了当前服务器上的一部分日志,让mysql可以动起来,然后将数据按1000万一个的导成小表,然后把大表数据删除,步骤大概是
1、新建一个表结构一致的表后缀按照xxx_0,xxx_1 等方式命名

2、将大表中的1000万数据导入创建的表中命令为
INSERT INTO `小表_01` (`xxx`) (SELECT `xxxx` FROM `大表` LIMIT 0, 10000000)
3、删除掉大表中前1000万条数据
DELETE FROM 大表 LIMIT 10000000
我是按照上面的步骤搞得,会大大减少操作表所需的时间
不过如果问不想分库分表的话,有一个办法就是加内存,磁盘全部换固态,内存是用来查询数据时防止获取到的数据量过大而导致内存爆掉
换固态则会为数据的插入和读出提高速度。
在做垂直拆分或者水平扩展的时候,要大概清楚2亿条数据库是都经常性进行大规模的查询还是更新?这决定了你扩展的思路,如果是范范的进行扩展,有时候会起到适得其反的效果。
1.首先要检查哪些经常查询的SQL是否可以有优化的地方,检查数据库的索引建立的是否合理,索引是否有效,可以尝试建立分区表等,这一步主要是单个数据库的优化。
2.在mysql的扩展上包括垂直拆分,即分库分表的,这种需求需要在代码层实现,需要开发人员在代码层进行一些配置。这个可以起到写的负载均衡。而水平扩展说白一点就是增加服务器的个数,由原来的一台变成几台,再通过mysql的中间件,比如proxysql或者mycat进行一些配置(推荐proxysql),把写请求放在那些性能好的服务器上,把读分散到不同的服务器上,这样就起到了读的负载均衡。
3.如果上面垂直拆分或者水平扩展还是不能解决问题,可以考虑使用nosql,在前端增加一个缓存,memory cache或者redis来增加缓存,应用层在首先会读取redis里的数据,如果没有才会往MySQL里去读,当然你的查询不能是太过复杂的查询。个人推荐redis,毕竟它可以磁盘落地化。
综上所述,应该可以解决问题。当然这里只是提供思路,没有一种方案是完美的,都需要根据需求去定制。
到此,以上就是小编对于mongodb数据库集群的问题就介绍到这了,希望这1点解答对大家有用。