How to Perform Integration Testing with Websoft9

[qiaofeng1227]

Testing Method:

• Installation Test: Directly install the currently released version for testing.
• Upgrade Test: First install a historical version, then perform the upgrade test.

Testing point:

parameter

• When installing using the installation script, test each parameter with specified values.
  bash install.sh --port 9000 --channel release --path "/data/websoft9/source" --version "latest"

Test application after installation

• Can multiple applications be installed properly?
  • Can the application access IP normally?
  • After binding the domain name, can the application be accessed normally?
• Is the app uninstalling properly?
• Does the multilingual test display correctly?

Testing setting

• Can the site be accessed normally after changing the port?
• When the version is not the latest, will there be an upgrade prompt?
• Does the Docker image acceleration configuration take effect after being set up?
• After configuring the global domain name, will the installation take effect?

[qiaofeng1227]

test docs：
https://www.geeksforgeeks.org/software-testing/test-case-specification
https://katalon.com/resources-center/blog/integration-testing

[qiaofeng1227]

测试内容	条件	动作	预测结果	测试结果
初始化安装	所有参数使用默认	执行安装脚本	1. http://IP:9000能够访问websoft9 2.https://IP:9000能够访问websoft9 3.各个系统菜单能正常访问
初始化安装	指定参数consule_port,docker0_ip,app_http_gateway,app_https_gateway且9090端口被占用	执行安装脚本	1. http://IP:9000能够访问websoft9 2.https://IP:9000能够访问websoft9 3.各个系统菜单能正常访问
更新安装	已经安装历史版本 升级脚本所有参数使用默认	执行安装脚本	1. http://IP:9000能够访问websoft9 2.https://IP:9000能够访问websoft9 3.各个系统菜单能正常访问
更新安装	已经安装历史版本 升级脚本指定参数consule_port,docker0_ip,app_http_gateway,app_https_gateway	执行安装脚本	1. http://IP:9000能够访问websoft9 2.https://IP:9000能够访问websoft9 3.各个系统菜单能正常访问
更新安装	已经安装历史版本 历史版本修改了平台port，其余默认参数	执行安装脚本	1. http://IP:9000能够访问websoft9 2.https://IP:9000能够访问websoft9 3.各个系统菜单能正常访问
websoft9安装应用	不设定泛域名	安装wordpress	能够通过ip和端口访问wordpress应用
websoft9安装应用	设定域名	设定wordpress域名	能够通过域名访问wordpress应用
websoft9切换中英文	-	中英文切换	我的应用，应用商店显示能够正常匹配中英文
websoft9删除应用	已安装wordpress	删除wordpress	能够删除应用
websoft9重建应用	已安装wordpress、varnish	通过gitea编排varnish代理wordpress	能够通过varnish访问wordpress
websoft9系统指标	已安装新版websoft9	查看指标和历史数据	可以查看到历史的cpu、磁盘io、网络io情况
cockpit 面板的文件、终端等功能	已安装新版websoft9	测试cockpit内置的文件、终端等功能是否正常	可以正常使用其功能
portainer交互操作	已安装wordpress	通过portainer删除wordpress容器以及数据卷	能够删除
配置证书	已安装wordpress	通过npm配置证书	https访问证书正常
监控脚本测试	websoft9服务正常运行	修改apphub或cockpit配置项	观察其它文件是否同步 同步后websoft9是否能正常访问

[qiaofeng1227]

1. 使用AI，参考https://support.websoft9.com/docs
   • 文档
2. 分类别写测试用例
3. 超过100个测试point
4. 格式不使用表格使用其他形式，测试放可以很好打钩记录成功

[qiaofeng1227]

Websoft9 测试用例清单

一、安装与升级测试

• 条件：使用默认参数安装 Websoft9。
  操作：执行安装脚本，安装完成后访问 http://ip:9000/ 和 https://ip:9000/。
  预测结果：Websoft9 成功安装，网页可访问，服务正常运行。

• 条件：使用指定参数安装 Websoft9（例如自定义数据路径或端口）。
  操作：执行安装脚本并传入指定参数，完成后访问指定端口。
  预测结果：Websoft9 安装成功，服务根据指定参数正常运行。

• 条件：使用默认参数安装 Websoft9，其中9090端口被占用。
  操作：执行安装脚本，安装后查看 cockpit 端口是否+1。
  预测结果：Websoft9 安装成功，cockpit 服务正常运行，网站可访问。

• 条件：系统已有低版本 Docker 环境。
  操作：执行安装脚本安装 Websoft9。
  预测结果：安装脚本升级 Docker 并完成安装。

• 条件：磁盘空间不足。
  操作：执行安装脚本。
  预测结果：安装失败，并输出提示“磁盘空间不足”，未破坏已有系统环境。

• 条件：网络中断。
  操作：执行安装脚本，在安装过程中模拟网络断开。
  预测结果：安装失败，并提示“网络异常或下载失败”，系统环境保持完整。

• 条件：9000 端口已被占用。
  操作：执行不带参数的安装脚本。
  预测结果：安装失败，并输出“端口冲突”提示，未覆盖现有服务。

• 条件：重复执行安装脚本。
  操作：在已安装环境中再次执行安装脚本。
  预测结果：相当于对系统实行了升级。

• 条件：执行升级脚本，使用默认参数。
  操作：升级已安装的 Websoft9，升级完成后访问服务。
  预测结果：升级成功，服务正常访问，数据完整无丢失。

• 条件：执行升级脚本，使用指定参数。
  操作：升级已安装的 Websoft9，传入自定义参数。
  预测结果：升级完成后服务按指定参数运行，配置正确保留。

• 条件：升级过程中端口已被修改。
  操作：执行升级脚本。
  预测结果：升级完成后保留自定义端口配置，服务正常访问。

• 条件：磁盘空间不足。
  操作：执行升级脚本。
  预测结果：升级失败，并提示“磁盘不足”，已有服务不中断。

• 条件：升级中断（例如手动停止或意外断电）。
  操作：中断升级后再次执行升级脚本。
  预测结果：系统自动检测中断状态，恢复升级或提示用户操作，服务可恢复。

---

二、应用部署测试

• 条件：安装应用，不设定泛域名。
  操作：通过 IP:Port 访问应用。
  预测结果：应用安装成功，可通过 IP:Port 正常访问。

• 条件：安装应用，设定域名。
  操作：通过配置的域名访问应用。
  预测结果：应用安装成功，可通过域名正常访问。

• 条件：应用安装时发生异常。
  操作：安装一个应用。
  预测结果：安装失败，并提示具体错误原因。

• 条件：应用安装完成。
  操作：检查我的应用。
  预测结果：应用在我的应用列表中正确显示。

• 条件：部署同一应用不同版本。
  操作：尝试部署不同版本的同一应用。
  预测结果：能够部署多个版本的同意应用。

• 条件：已安装应用。
  操作：通过 Portainer 管理应用容器。
  预测结果：应用容器可正常管理（启动、停止、重启）。

• 条件：已安装应用。
  操作：点击安装应用后，点击停止应用按钮。
  预测结果：应用停止。

• 条件：已安装应用。
  操作：点击安装应用后，点击停止重启按钮。
  预测结果：应用重启。

• 条件：应用安装完成。
  操作：在面板查看应用基本信息。
  预测结果：能查看端口、数据库等基本信息。

• 条件：通过应用仓库重建的应用。
  操作：执行应用更新操作。
  预测结果：应用可正常更新镜像，无报错。

• 条件：安装 数据库 应用。
  操作：通过数据库工具连接数据库。
  预测结果： 可正常连接并执行命令。

• 条件：删除某个web应用的数据容器。
  操作：访问web应用。
  预测结果：提示数据库不可用，报错符合预期。

• 条件：应用容器被手动删除。
  操作：通过面板重建容器。
  预测结果：容器重建成功，应用功能恢复正常。

---

三、系统功能测试

• 条件：切换系统语言为中文或英文。
  操作：切换语言设置，刷新界面。
  预测结果：界面内容正确显示对应语言，功能正常。

• 条件：查看系统指标。
  操作：打开面板查看 CPU 使用率。
  预测结果：CPU 使用率显示正常，数据合理。

• 条件：查看系统指标。
  操作：打开面板查看磁盘 IO。
  预测结果：磁盘 IO 数据正常显示。

• 条件：查看系统指标。
  操作：打开面板查看网络 IO。
  预测结果：网络 IO 数据正常显示。

• 条件：使用 Cockpit 内置文件功能。
  操作：创建、编辑、删除文件。
  预测结果：文件功能操作正常，文件内容正确保存。

• 条件：使用 Cockpit 内置终端功能。
  操作：执行基本命令（如 ls、pwd）。
  预测结果：终端正常工作，可执行命令并返回结果。

• 条件：删除应用容器。
  操作：通过 Portainer 删除应用容器。
  预测结果：面板同步显示应用已删除，状态正确更新。

• 条件：配置系统证书。
  操作：配置 HTTPS 证书并访问面板。
  预测结果：https 访问正常，证书生效。

• 条件：修改监控脚本配置项。
  操作：更新配置后执行同步操作。
  预测结果：配置项正确同步，监控脚本功能正常。

• 条件：访问应用商店页面。
  操作：打开应用商店页面。
  预测结果：页面加载正常，无报错。

• 条件：使用应用搜索功能。
  操作：搜索指定应用名称。
  预测结果：搜索结果包含指定应用，功能正常。

• 条件：浏览应用商店分类导航。
  操作：点击不同分类导航。
  预测结果：分类导航正确显示对应应用列表。

• 条件：使用日志导出功能。
  操作：执行日志导出操作。
  预测结果：日志正确导出，可打开查看内容完整。

• 条件：自定义证书导入。
  操作：上传并配置自定义证书。
  预测结果：证书导入成功，HTTPS 访问正常。

• 条件：查看应用商店应用信息。
  操作：打开应用详情页面。
  预测结果：应用描述、图标显示正常。

• 条件：应用安装中。
  操作：观察安装状态显示。
  预测结果：安装状态准确显示“安装中/已完成/失败”等状态。

• 条件：应用已安装。
  操作：查看面板已安装列表。
  预测结果：已安装应用正确标记，状态显示正常。

• 条件：卸载应用。
  操作：通过面板卸载应用。
  预测结果：应用从“已安装”列表中移除，资源释放正确。

• 条件：查看应用日志。
  操作：使用在线日志查看功能。
  预测结果：日志可正常在线查看，内容完整。

• 条件：重启应用容器。
  操作：执行一键重启操作。
  预测结果：容器重启成功，应用功能正常恢复。

• 条件：访问系统首页。
  操作：查看服务运行状态（active/inactive）。
  预测结果：系统首页正确显示各服务状态，信息准确。

---

四、安全性测试

• 条件：默认安装完成。
  操作：检查系统端口开放情况。
  预测结果：仅开放必要端口（如 9000），其他端口关闭。

• 条件：后台设置密码策略。
  操作：尝试设置弱密码（少于 8 位或仅字母/数字）。
  预测结果：密码设置失败，要求符合强密码策略（8 位以上，字母、数字、符号组合）。

• 条件：删除 SSL 证书。
  操作：通过 HTTP 访问系统。
  预测结果：HTTP 访问正常，面板仍可使用。

• 条件：查看面板信息。
  操作：访问系统显示敏感信息的页面。
  预测结果：敏感信息（如数据库密码）被隐藏或加密显示。

• 条件：通过 HTTPS 登录系统。
  操作：使用浏览器访问面板。
  预测结果：浏览器识别证书有效性，无安全警告。

• 条件：普通用户登录系统。
  操作：访问后台系统配置页面。
  预测结果：普通用户无法访问受限配置页面。

• 条件：管理员操作。
  操作：创建新用户。
  预测结果：用户创建成功，权限可正常分配。

• 条件：管理员操作。
  操作：删除已有用户。
  预测结果：用户被删除，无法登录系统，数据按策略处理。

• 条件：用户登录后修改密码。
  操作：执行密码修改操作。
  预测结果：密码修改成功，下一次登录需使用新密码。

• 条件：用户密码过期。
  操作：用户登录系统。
  预测结果：系统强制用户修改密码后方可使用。

• 条件：用户登录或退出系统。
  操作：执行登录和退出操作。
  预测结果：日志中记录用户登录/退出事件，包括时间和用户名。

• 条件：用户登录失败。
  操作：输入错误密码。
  预测结果：日志中记录错误登录次数及用户名，便于审计。

---

五、兼容性测试

• 条件：系统环境为 系统支持OS
  操作：执行 Websoft9 安装脚本。
  预测结果：安装成功，面板及应用可正常访问。

• 条件：使用 Chrome 浏览器访问面板。
  操作：打开面板页面并操作功能。
  预测结果：面板功能正常，界面显示正确。

• 条件：使用 Firefox 浏览器访问面板。
  操作：打开面板页面并操作功能。
  预测结果：面板功能正常，界面显示正确。

• 条件：使用 Edge 浏览器访问面板。
  操作：打开面板页面并操作功能。
  预测结果：面板功能正常，界面显示正确。

• 条件：不同屏幕分辨率。
  操作：在多种分辨率下打开面板页面。
  预测结果：界面显示正常，无遮挡或溢出。

• 条件：内网无公网 IP 环境。
  操作：访问后台面板。
  预测结果：后台访问正常，面板功能可用。

• 条件：防火墙关闭。
  操作：访问面板及应用。
  预测结果：系统运行正常，无异常报错

---

六、健壮性测试

• 条件：应用容器异常退出。
  操作：观察 Portainer 中容器状态。
  预测结果：Portainer 显示容器状态异常，便于排查。

• 条件：容器设置了重启策略。
  操作：容器异常退出。
  预测结果：容器自动重启，服务持续可用。

• 条件：删除应用数据库。
  操作：访问依赖数据库的应用。
  预测结果：应用无法访问，并提示数据库错误信息。

• 条件：修改应用配置文件。
  操作：重启应用容器。
  预测结果：配置修改生效，应用按新配置运行。

• 条件：应用长时间运行。
  操作：持续运行应用并监控内存使用。
  预测结果：应用无内存泄漏，性能稳定。

• 条件：面板长时间运行。
  操作：持续使用面板功能并监控日志。
  预测结果：面板无异常退出，运行稳定。

• 条件：高并发操作面板。
  操作：多用户同时执行面板操作。
  预测结果：面板无死锁，响应正常。

• 条件：多用户同时操作应用。
  操作：同时修改应用状态或配置。
  预测结果：状态更新一致，无冲突。

• 条件：应用安装失败。
  操作：查看残留文件目录。
  预测结果：残留文件被清理，系统环境干净。

• 条件：安装中断。
  操作：再次执行安装脚本。
  预测结果：安装能恢复或继续，系统环境保持完整。

• 条件：应用配置错误。
  操作：执行错误配置安装或修改。
  预测结果：系统提示具体错误信息，便于排查。

• 条件：主机重启。
  操作：检查所有应用容器状态。
  预测结果：所有应用容器自动恢复运行。

• 条件：主机重启。
  操作：检查 Websoft9 服务状态。
  预测结果：Websoft9 服务自动启动，面板可访问。

• 条件：多用户同时安装应用。
  操作：同时执行安装操作。
  预测结果：系统无冲突，安装操作正常完成。

• 条件：多用户同时删除不同应用。
  操作：执行删除操作。
  预测结果：系统无冲突，删除操作正常完成。

• 条件：系统升级失败。
  操作：回滚至旧版本。
  预测结果：系统回滚成功，服务恢复到升级前状态。

• 条件：应用数据卷被误删。
  操作：启动依赖数据卷的应用。
  预测结果：应用启动失败，并提示数据缺失错误。

• 条件：应用数据卷恢复。
  操作：启动应用。
  预测结果：应用正常运行，数据可访问。

• 条件：安装超时。
  操作：观察安装过程。
  预测结果：提示安装失败，并清理环境。

• 条件：容器镜像被意外删除。
  操作：启动容器。
  预测结果：系统可重新拉取镜像，容器正常运行。

• 条件：面板后台异常。
  操作：用户执行操作。
  预测结果：提示友好错误信息，操作不中断。