服务端测试注意点剖析
随着用户体量的增大，对性能的要求越来越高，使用到的技术栈也越来越多，测试需要考虑的点也越来越多。本文从接口测试、脚本测试、中间件、上线流程等四个方面分析一些注意点。…
基于 DolphinScheduler 的数据质量监控在七猫的实践
七猫正处于一个高速发展的阶段，数据分析和业务的发展方向非常注重数据的正确性。为了保证数据质量，我们之前的做法为在相关任务中加上自定义逻辑来检查数据是否正确。但是随着业务的快速迭代，数据量的高速增长和数据链路的复杂化，这种纯人工开发逻辑的方式已经难以跟上迭代速度，所以需要找到一个工具来帮助解决现状。…
静态页面自动化生成
业务有时需要动态生成一些简单交互的静态页面，比如协议页面，书单页面。技术有很多种方案，本文将介绍七猫前端的实现方案。…
Kylin 5 在七猫的实践及其技术原理
Apache Kylin™ 是一个开源的分析型数据仓库，为 Hadoop 等大型分布式分析平台之上的超大规模数据集（PB 级）通过标准 SQL 查询及多维分析 （ OLAP ） 功能，提供亚秒级的交互式分析能力。…
浅谈Locust：性能测试脚本
Locust是易于使用的分布式性能(压力/负载)测试框架, 实际用 locust 做压测就是在写 Python 程序,通过测试能够确定系统可以处理多少个并发用户,并且整个测试过程可以在Web的UI界面实时观察测试数据。…
StarRocks在七猫的应用(二)
之前，我们会采用多种架构来满足业务需要，比如数据报表结果存储在Clickhouse、OLAP查询使用Trino、业务数据的实时同步采用Hudi等。随着业务的迅速发展，已经越来越难满足业务的需要,为了解决这些问题，我们调研了很多款技术组件，结合我们目前的使用场景，综合考虑，我们选择了StarRocks。…
使用pyroscope+ holmes 加速找到服务瓶颈
在软件开发过程中，我们会根据需求快速迭代项目，但随着功能的增加，系统性能可能会出现瓶颈。 至今，我们已经采用了日志链路追踪和Sentry警告，在线拉pprof等解决方案来辅助问题排查。 但是在所有已知方案都无法提供解决思路的情况下，我们需要迅速地垂直拓展。这通常意味着直接拉取pprof进行分析。而且，我们可能会面临需要提高CPU和内存的压力（就如同做面食，面多了加水，水多了加面）。然而，这只是暂时的解决办法，不能从长远角度解决问题。因此，我建议大家在使用pprof在线服务时，要关注服务性能问题。…
Android端有声书字幕交互实现及优化全解析
目前在七猫免费小说 App 端，音频内容主要有 TTS 和有声书两种类型，TTS 由于天然存在文字内容，可以满足用户边听边读的需求，而有声书目前则只能输出声音。为了丰富用户的有声书使用体验，所以我们考虑为有声书增加字幕功能。在交互形态上，字幕功能存在一些比较特别的点，本文记录下它们实现和优化的过程，在迭代工作中大家遇到的需求各不相同，这里我们屏蔽掉大部分业务细节，主要聚焦于解决问题思路的形成及对方案的优化过程，希望能给大家带来一点收获。…
关于文本对比方案的实现与思考
实现一个 diff 的功能，这需要解决两个问题，核心问题是如何寻找出两段给定文本的差异，次要问题是如何保存数据。…
通过Prometheus+grafana搭建可视化监控
有时候我们想知道项目里面各个api的qps和耗时，或者请求第三方服务的qps、成功率、失败率等等。统计这个其实有很多方案，比如：envoy、sls、prometheus等。经过讨论之后，我们决定使用Prometheus，然后在运维平台的grafana中接入，再画出需要的图。本文简单的介绍下大致的流程。…
春天的周末
周末的春天，我们的部门进行了一次团建活动。活动中，我们不仅体验了热血和激情，更感受到了彼此之间的温暖。让大家从熟悉到更熟悉、从团结变得更团结，充满了奇妙水的快乐能量。…
春游：逃离城市计划
一次说走就走的团建旅行，为期两天的团建内容可谓行程满满，这是一次从从无到有，从大家熟悉到更熟悉的过程，无论景点还是娱乐环节还是参观活动，都让我们在轻松的氛围下得到凝聚与朝气和活力，"每一次成功都勇于一次大胆的尝试"，不论是8公里的山路还是海拔296米的高空都像工作时一样不惧阻碍直面挑战，在紧张的工作之余有机会互相了解、配合、支持，感受到了彼此的重要性。公司也十分注重员工的生活质量，这次团建活动也让我们有机会放松身心，远离工作的烦恼，更好地调整自己的状态。…
Pytest框架下pageobject实现作家专区自动化创建数据
一直以来在测试书籍相关业务的过程中，创建测试书籍都是必不可少的。创建测试书籍不仅种类繁多，流程复杂，书籍状态随流程的不同变化多样，手动添加不仅耗时费力而且测试完成后处理不当极易产生测试垃圾影响线上业务。本文提供了一套在Pytest框架下使用Pageobjrect实现UI自动化操作书籍创建签约的方案。使用Pytest的主要原因有二，一是Pytest的文档丰富，属于较为成熟的测试框架。二是Pytest基于python的框架相较于其他的框架安装方便。Pytest的其他优势及使用方法已有其他人进行过充分的介绍，本文不在赘述，本文主要针对Pageobject设计思路，搭建的UI自动化框架的介绍。…
Apache Superset 数据安全管理
目前各业务团队的产品经理、产品运营、数据分析师都在使用 Apache Superset 来查询数据仓库中的数据。Superset 能够基于 Hive、ClickHouse、Trino、StarRocks 中的数据进行数据探索和自助制作报表。…
ADX 流批一体架构的演进
随着商业化业务的快速发张，业务人员对 ADX 后台系统的使用要求也提高了，ADX 的技术架构进行了一轮重构来满足新的业务需求，其中也包括 ADX 数据架构的升级。本文从业务需求出发，结合七猫数据现状，进行技术选型，升级到了新一代流批一体的数据架构。…
Flink 数据处理通用代码开发
Flink 在七猫大数据发展过程中，一直扮演着重要角色。Flink 作为实时计算引擎，经历了多个发展阶段，实时计算平台也在不断地迭代完善。在七猫内部，主要以 Flink Jar 包任务为主，并逐步引入 Flink Sql ，不断的降低了使用门槛和提高了任务的开发效率；从起初基础的 Flink 任务开发，发展到跨网络、跨云厂商的任务多版本任务开发，满足了业务发展的需求。…
Go单元测试综合指南
为了保证软件开发的质量，我们需要借助单元测试来确保代码的正确性，从而及早发现并修复代码中的错误。此外，单元测试还可以帮助开发人员更快地完成软件开发，并减少软件开发过程中的错误，同时也可以为新人提供指导。…
StarRocks在七猫的应用（一）
之前七猫采用的是clickhouse用于存储明细和聚合数据。随着业务的快速发展，已经越来越不满足用户的需求，主要表现为以下几点：1、使用门槛高，不支持标准sql，做分片后关联需要注意sql写法。2、并发能力差，join性能不理想。3、运维成本高，故障恢复难度高。4、数据快速膨胀，查询性能达到瓶颈。5、clickhouse去重效果差。为了解决以上问题，我们研究了StarRocks，使用下来，较好的解决了以上一些问题，整体较满意。…
七猫中文网首页性能优化
七猫中文网首页重新改版，并且实现前后端分离，之前的首页是php渲染的静态页面，前后端分离后是nuxt框架实现的服务端渲染。…
七猫中文网阅读器
七猫中文网阅读器页面实现前后端分离，除了要保留原有页面功能（皮肤切换、字号、字体设置），还需要支持vip用户在登录后可以正常阅读vip章节。…