ES学习文档 最权威的，当然就是官方文档，根据自己所安装的版本进行选择：elasticsearch所有版本参考文档 如果英文文档阅读有困难，参考：Elasticsearch: 权威指南，但是中文文档有滞后性，比如目前es已经到6.X版本，而中文文档以2.X版本为基础，因此对于新版本的话会有部分不适用。 参考博客：铭毅天下 使用阿里云 elasticsearch 使用阿里云 elasticsearch服务，就可以不用再自己安装elasticsearch，购买后即可立即使用，方便快捷。 如果使用java客户端进行访问会有限制： 具体请参考：阿里云elasticsearch介绍 elasticsearch插件 head插件 通 …

近日，Elasticsearch 的创始人兼首席执行官Shay Banon 向腾讯云发出了一封“特别”的邮件，专程对腾讯团队为Elasticsearch开源社区做出的贡献表示了感谢。 据了解，腾讯工程师通过提交代码，成功优化了Elasticsearch高并发写入性能，实现将1000万数据量的写入时长从原来的18分钟缩减至15分钟，速率提升20%，并在Elasticsearch开源社区分享了项目方案。 Shay Banon 在发给腾讯副总裁、腾讯云总裁邱跃鹏的感谢信中表示： “我们最近对Elasticsearch进行了重大而巧妙的改进，这是由腾讯的一位开发者提出的。这种改进使Elasticsearch的某些类型的写速度提高了约20%， …

本文由云+社区发表 作者：磊哥 上期文章我们聊到了redis。这期我们来说说另一个网红nosql数据库：MongoDB。有这么一个介绍MongoDB的说法是：MongoDB是非关系数据库当中功能最丰富，最像关系数据库的。这么说是因为作为一个面向文档存储型、数据结构非常松散自由的的数据库，却拥有着丰富的功能特性如强大灵活的查询语言、支持二级索引等特性，新版本的MongDB甚至还支持事务。听小伙伴说MongoDB不仅功能丰富，而且读性能强大到远远把MySQL甩在后面，今天我就代替大家来动手进行一下数据库测试，揭开MongoDB的神秘“面纱”。 为了进行数据库对比测试，这次我购买了腾讯云MongoDB的主从版（1主2从），同时在同样配置 …

目录 为什么写这篇文章 一些重要概念 部署架构 数据写入 数据查询 负载均衡 数据合并策略 宕机恢复 为什么写这篇文章  可能有些童鞋已经发现：1.阿里云上的Hbase服务，基于Hbase深度定制和扩展，能比较好的支持时序场景和全文检索场景，其增强版Lindorm，已经作为单独的云服务售卖，单独演进。2.腾讯云上，基于ES构建了CTSDB时序数据库单独售卖，同时也推出了增强版的ES云服务。可以看出，在这两个服务所在团队中，一边选择基于ES来支持时序和全文检索场景，一边则选择基于Hbase来支持时序和全文检索场景。基于ES来支持时序和全文检索场景是比较好理解的，因为它本身的功能就支持这些，但是Hbase如何比较好支持全文检 …

$appid = 'id'; $bucket = '桶名'; $SecretId = 'id'; $SecretKey = 'key'; $path = '文件路径可自定义'; $region = '桶所在服务器缩写：ap-beijing'; $cosClient = new \Qcloud\Cos\Client( array('region' => $region, 'credentials' => array( 'appId' => $appid, 'secretId' => $SecretId, 'secretKey' => $SecretKey ) ) ); //获取bucket …

转载：[盘古：阿里云飞天分布式存储系统设计深度解析](https://yq.aliyun.com/articles/64374) 盘古是什么？ 上图列举了目前主流的云计算厂商，我们发现一个很有趣的事情：所有云计算厂商都是“富二代”，它们的分布式存储技术全部采用自研技术，而没有用大家耳熟能详的开源分布式系统。 飞天梦 第一代飞天人的梦想是在大量廉价的PC服务器上，对外提供各种计算和存储服务。具体到以下几个组件：夸父，主要负责网络；女娲，主要负责协同；伏羲，主要负责调度；盘古，主要负责存储；神农，主要负责监控。 上图介绍了盘古的底层存储平台，其承担承上启下的作用。盘古作为分布式存储系统，主要提供两种类型的接口：Append Only接 …

导语 | 缓存+存储的系统架构是目前常见的系统架构，缓存层负责加速访问，存储层负责存储数据。这样的架构需要业务层或者是中间件去实现缓存和存储的双写、冷热数据的交换，同时还面临着缓存失效、缓存刷脏、数据不一致等问题。本文是对腾讯云数据库高级产品经理邹鹏老师在「云加社区沙龙online」的分享整理，希望与大家一同交流 点击视频，查看完整直播回放 前言 在互联网和移动互联网两波浪潮的推动下，存储技术有了飞速发展。移动互联网用户在过去十年增长了10倍，用户的增长带动了数据量的指数级增长，因为激烈的市场竞争，企业和用户对应用程序的响应性能要求越来越高，在完美应对庞大的用户规模和海量数据集的同时保证优秀的产品体验，是数据库面临的挑战。 在机械硬 …

刚刚获悉，由腾讯云大数据团队主导的Ozone 1.0.0版本在Apache Hadoop社区正式发布。据了解，经过2年多的社区持续开发和内部1000+节点的实际落地验证，Ozone 1.0.0已经具备了在大规模生产环境下实际部署的能力。 Ozone 是Apache Hadoop社区推出的新一代分布式存储系统，它的出现满足了大量小文件的存储问题，解决了Hadoop分布式文件系统在可扩展性上的缺陷。作为Hadoop生态圈的一款新的对象存储系统，能够支持百亿甚至千亿级文件规模的存储。 腾讯云大数据团队Ozone项目负责人陈怡表示，作为大数据领域的领导厂商，腾讯是国内一线互联网公司中最早加入社区的，目前已经在Ozone项目上已经主导完成了集 …

随着企业规模的扩大及业务的扩展，现有IT基础设施特别是存储设备无法满足爆炸性的数据增长，企业 IT 部门为了解决该问题，往往面临市场上多种存储产品及方案的选择。本文主要基于公司的现状及需求对主流存储方案及产品进行了评估和考量。 先抛开公司实际的业务诉求，单纯从存储拓展的需求出发，企业存储量扩容时面临的选择归结起来会有如下三种： 1) **扩容已有节点。**大部分企业在建设之初都进行过IT基础设施采购，虽然存储设备容量急需扩张，但其他计算设备等还在维保期限内，这类情况会让多数运维工程师和老板选择继续扩容已有节点。但继续扩容一方面需要投入额外的设备以及运维开发的人力资源成本；另一方面，本地扩容只是一个短期的修补方案，将来数据量增长了仍需 …

很多阿里云ECS用户都会考虑是使用ECS自建数据库还是使用阿里云的RDS云数据库，如何选择？有必要使用云数据库吗？云吞铺子告诉你使用阿里云RDS云数据库的理由： RDS的高可用性 RDS提供了主备双节点的实例，双节点可以在同一地域的不同可用区，MySQL实例的双节点还可以在不同地域，当主实例出现故障时可快速切换到备实例，保障了RDS的稳定性。 RDS的高安全性 RDS在数据的存取上加入了中间层，所有请求都会经过中间层，而且有SQL注入的请求都会被中间层拦截掉。在底层数据写入上，RDS采用了最高安全级别的写入，保证在主机异常掉电的情况下数据不会出现丢失。以此来保障数据库的高安全性。 阿里云RDS数据库优势 RDS运维优化 用户无需考虑 …

导语 | 腾讯会议于2019年12月底上线，两个月内日活突破1000万，被广泛应用于疫情防控会议、远程办公、师生远程授课等场景，为疫情期间的复工复产提供了重要的远程沟通工具。上线100天内，腾讯会议快速迭代20个版本，满足不断增长的用户需求，多次登顶APP STROE中国区免费榜总榜No.1。 极速增长的会议需求，让腾讯会议服务质量分析系统经受着巨大的考验。为了向全网用户提供高效稳定的服务，以及对重要的大型会议进行保障护航。在充分讨论调研了大量方案后，腾讯会议服务质量分析团队与腾讯云Elasticsearch（下文简称“ES”）团队展开合作，积极探索云端服务质量数据分析引擎架构的更多可能。 一、数据极速增长，业务稳定面临挑战 伴随 …

在10月19日的云栖社区在线培训上，来自盘古团队的吴洋分享了《盘古：飞天分布式存储系统实践》。他主要从以下三个方面进行了分享：盘古是什么？盘古是用来解决什么问题的？盘古是怎么解决问题的？他主要介绍了盘古的分布式系统架构和设计理念。 回顾视频：https://yq.aliyun.com/edu/lesson/play/392 本次视频直播的整理文章整理完毕，如下内容。 盘古是什么？ 上图列举了目前主流的云计算厂商，我们发现一个很有趣的事情：所有云计算厂商都是“富二代”，它们的分布式存储技术全部采用自研技术，而没有用大家耳熟能详的开源分布式系统。 飞天梦 第一代飞天人的梦想是在大量廉价的PC服务器上，对外提供各种计算和存储服务。具体到 …

转自：http://blog.csdn.net/konglongaa/article/details/52208273 http://blog.csdn.net/oMaverick1/article/details/51331004 https://yq.aliyun.com/articles/25385 https://www.zhihu.com/question/22480085/answer/23106407 http://frank1998819.iteye.com/blog/2278880 一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终 …

简而言之：匪夷所思。 在腾讯云硬盘的官网上多次提到了多机备份，以下为文档原话： 在每个存储写入请求返回给用户之前，CBS 就已确保数据已被成功写入三份，且跨机架存储 其教学视频也明确指出了多机备份属性。 事后腾讯解释数据丢失是因为一个罕见的硬件固件bug。硬件问题本身并没有什么特别的，这在大的数据中心是常态而非异常。但问题是三台机器硬件同时触发了bug造成数据全部丢失。 同一个硬件bug搞丢了三台机子上的数据，这可能是2018年最锲而不舍的bug了。 如果腾讯云本身没有宣传有多机备份，那么这家创业公司自己不做备份完全是自己的问题。现在腾讯云在官网上反复宣传强调了多机备份，企业自己不做备份也可以理解(尤其这家公司并不是软件互联网公 …