O2OA使用手册
第1章 功能简介及概述
第6章 平台部署与配置
  • 6.1 安装部署-在Windows系统中部署O2OA开发平台
  • 6.2 安装部署-在Linux系统中部署O2OA开发平台
  • 6.3 安装部署-通过Docker Hub快速部署docker镜像
  • 6.4 安装部署-在宝塔/PHPStudy中部署O2OA开发平台
  • 6.5 安装部署-O2OA开发平台之HTTP端口规划
  • 6.6 安装部署-平台服务器版本升级操作说明
  • 6.7 安装部署-私有化部署服务器架构推荐
  • 6.8 安装部署-O2OA开发平台集群部署配置及操作说明
  • 6.9 安装部署-在线部署自定义应用的WAR包和JAR包
  • 6.10 服务器配置与管理-​O2OA主要配置文件说明
  • 6.11 服务器配置与管理-服务器端口冲突和端口修改
  • 6.12 服务器配置与管理-如何修改服务器内存占用率?
  • 6.13 服务器配置与管理-如何访问和操作H2内置数据库
  • 6.14 服务器配置与管理-​如何在O2OA中使用MySQL数据库?
  • 6.15 服务器配置与管理-如何修改平台支持的数据库驱动包
  • 6.16 服务器配置与管理-O2OA使用openGauss(华为高斯数据库)配置
  • 6.17 服务器配置与管理-O2OA开发平台平台数据库配置信息样例
  • 6.18 服务器配置与管理-配置O2OA服务器连接O2云
  • 6.19 服务器配置与管理-O2OA实现服务器随操作系统自动启动
  • 6.20 服务器配置与管理-文件存储服务器配置
  • 6.21 服务器配置与管理-工作日节假日配置
  • 6.22 服务器配置与管理-为平台增加全文检索功能
  • 6.23 服务器配置与管理-消息提醒配置说明
  • 6.24 服务器配置与管理-自定义消息提醒
  • 6.25 服务器配置与管理-定制消息通知的内容
  • 6.26 服务器配置与管理-消息通知过滤
  • 6.27 服务器配置与管理-为待办创建配置邮件通知
  • 6.28 服务器配置与管理-待办待阅数据的查询操作和管理
  • 6.29 服务器配置与管理-​自动执行平台数据的备份与恢复
  • 6.30 服务器配置与管理-数据导出导入与系统数据备份
  • 6.31 ​服务器配置与管理-定期自动执行数据备份与恢复
  • 6.32 系统安全-O2OA作为认证中心实现基于OAUTH2单点认证
  • 6.33 系统安全-O2OA基于Nginx的SSL跳转、转发配置
  • 6.34 O2OA(翱途)开发平台如何基于nginx上下文分发的方式快速集群部署
  • 6.35 系统安全-访问日志相关配置
  • 6.36 系统架构-平台集群化部署之基于Nginx端口分发机制实现集群部署
  • 6.37 系统安全-审计日志相关配置
  • 6.38 系统安全-平台日志文件说明
  • 6.39 系统架构-基于nginx快速集群部署-上下文分发
  • 6.40 系统安全-O2OA日志输出设置log4j2.xml
  • 6.41 系统安全-用户密码初始化规则的设定
  • 6.42 系统安全-启用HTTPS(百度云版)
  • 6.43 系统安全-启用HTTPS(腾讯云版)
  • 6.44 系统安全-自签名SSL证书验证HTTPS功能
  • 6.45 系统安全-登录密码RSA加密
  • 6.46 系统安全-用户登录IP限制
  • 6.47 系统安全-在用户登录过程中启用图形验证码
  • 6.48 系统安全-平台部署之使用非root用户运行服务
  • 6.49 系统安全-O2Server启用国密加密设置
  • 6.50 系统安全-日志应用使用说明
  • 6.51 系统安全-用户重置密码操作
  • 6.52 系统安全-超级管理员(xadmin)密码修改
  • 6.53 系统安全-使用Web端运行服务器管理命令
  • 6.54 系统安全-o2server无法正常显示验证码解决办法
  • 6.55 O2OA(翱途)开发平台前端安全配置建议(一)
  • 第16章 开发知识及常见问题
  • 16.1 O2OA如何实现文件跨服务器的备份
  • 16.2 O2OA(翱途)服务器故障排查
  • 16.3 开发知识-让后端代理/接口脚本编写也能像前端一样用上debugger
  • 16.4 常见问题-SQLServer中创建新数据库使用哪个中文编码?
  • 16.5 O2OA(翱途)流程引擎中如何修改,定制流程的流转记录
  • 16.6 mysql数据库备份
  • 16.7 domain不正确的时候如何强制设置成正确的
  • 16.8 配置文件中使用密文存储密码
  • 16.9 常见问题-连接MySQL出现 Public Key Retrieval is not allowed 的错误
  • 16.10 常见问题-查看表结构
  • 16.11 常见问题-7.2及以上版本开启web代理后请求中没有正确使用web端口问题解决方式
  • 16.12 linux环境libreoffice安装及使用
  • 16.13 在O2OA中使用网络会议(二):Openmeetings与O2OA认证配置
  • 16.14 在O2OA中使用网络会议(一):Openmeetings-5.1.0亲手安装整理 Step-By-Step
  • 16.15 藕粉社区问答系列1
  • 16.16 藕粉社区问答系列2
  • 16.17 藕粉社区问答系列3
  • 16.18 快速入门-平台相关资料汇总
  • 16.19 快速入门-服务器总体介绍汇总
  • 16.20 快速入门-流程表单载入基础数据
  • 16.21 快速入门-常用表单脚本样例汇总
  • 16.22 快速入门-自定义表数据分页样例
  • 16.23 云服务器-阿里云ECS服务器的端口启用
  • 16.24 开发知识-React篇:在O2OA平台框架中使用React
  • 16.25 开发知识-React篇:在O2OA门户页面中使用React
  • 16.26 开发知识-Vue篇:在Vue应用中集成O2OA
  • 16.27 开发知识-Vue篇:使用Vue-CLI开发O2应用
  • 16.28 开发知识-Vue篇:在O2门户页面中使用Vue
  • 16.29 平台中使用Druid数据库连接及监控
  • 16.30 开发知识-在PAAS平台上部署O2OA开发平台
  • 16.31 开发知识-如何使用Tomcat架设webdav服务器
  • 16.32 开发知识-单个端口模式的Nginx和系统配置
  • 16.33 开发知识-Linux非root用户如何使用80端口启动O2OA
  • 16.34 开发知识-O2OA平台启用Eruda进行移动端调试
  • 16.35 开发知识-神通数据库安装
  • 16.36 开发知识-人大金仓数据安装
  • 16.37 开发知识-中标麒麟安装达梦数据库(DM8)
  • 16.38 开发知识-中标麒麟安装人大金仓详细步骤
  • 16.39 开发知识-使用VNC连接中标麒麟V7操作系统
  • 16.40 开发知识-鲲鹏(ARM)麒麟操作系统如何替换yum源?
  • 16.41 开发知识-数据优化知识点
  • 16.42 水印安全-附件水印|加密|文档格式转换图片|PDF
  • 16.43 消息队列-配置activeMQ、kafka消息队列
  • 16.44 常见问题-数据导出或者导入时发生OOM异常
  • 16.45 常见问题-如何让用户在首次登录时,必须对初始密码进行修改
  • 16.46 常见问题-如何在模块部署中控制模块的访问权限
  • 16.47 常见问题-如何在平台中开发Ftp文件上传文件的服务?
  • 16.48 常见问题-如何使用服务管理调用WebService
  • 16.49 常见问题-如何使用脚本调用外部服务
  • 16.50 常见问题-如何使用脚本控制流程自动流转
  • 16.51 常见问题-如何通过脚本调用系统内服务
  • 16.52 常见问题-接口代码疑惑解答汇总
  • 16.53 常见问题:Maven编译o2server错误: Java Heap Space
  • 16.54 常见问题-集群配置后启动报错:NullPointerException
  • 16.55 常见问题-服务器错误:can not decrypt token
  • 16.56 常见问题-IOS移动办公无法收到验证码
  • 16.57 常见问题-服务器和日志时间相差12小时的问题
  • 16.58 常见问题-为什么127.0.0.1可以访问但其他IP无法访问
  • 16.59 藕粉社区问答系列4
  • 16.60 开发知识-React篇:在React应用中集成O2OA

  • O2OA(翱途)服务器故障排查

    时间:2024-09-27   

    O2OA(翱途)开发平台针对o2server服务器在运行过程中出现的无响应或响应缓慢的问题,我们可以从多个不同方向进行深入而系统的排查,以确保能够准确识别并解决根本原因。

    应用服务器日志

    对于o2server服务器我们首要排查的是服务器日志。

    服务器日志存放在 o2server目录下

    o2server/logs/out.log

    首先从该文件定位问题。这里会滚动记录所有服务器的消息,包括错误日志以及错误堆栈。大多数情况下我们从这里入手排查故障。

    out.log.png

    比如这里日志显示在实现单点登陆过程中访问远程认证服务器返回400错误,导致单点登陆失败。

    服务器磁盘繁忙

    iostat -dx 10 5

    iostat 是一个用于监控系统输入/输出设备和 CPU 使用情况的 Linux 命令。它可以帮助用户分析磁盘性能、识别瓶颈并优化系统性能。

    尤其是数据库服务器可能会有io的问题。

    这个命令会每 2 秒显示一次扩展 I/O 统计信息,共显示 10 次。

    iostat.png

    命令输出中的最后一列 %util 表示设备的利用率百分比。它指的是在报告期间设备处于忙碌状态的时间比例。

    %util 值范围从 0 到 100。 这个值越高,表示设备在报告期间越频繁地处理 I/O 请求。如果该值接近 100%,说明设备几乎一直在忙于处理读写请求,可能存在 I/O 瓶颈。 如果 %util 值较低(例如低于 50%),则表示设备的使用率较低,可能未充分利用。

    检查系统负载

    使用 top 命令查看 CPU、内存和进程的使用情况,检查是否有高负载的进程。

    top

    top 命令是用于实时监控 Linux 系统性能的工具,显示系统的 CPU 使用率、内存使用情况和运行中的进程。以下是 top 命令输出中各部分的详细解释:

    top 命令输出中的 load average 表示系统在特定时间段内的平均负载,它通常包括三个数值,分别表示过去 1 分钟、5 分钟和 15 分钟的平均负载。

    表示在过去的时间段内,平均有多少个进程正在等待 CPU 处理或正在使用 CPU。这个值越高,表示系统的负载越重。

    top.png

    如果 load average 高但 CPU 使用率相对低,可能表示 I/O 阻塞,进程在等待 I/O 操作完成。

    如果 load average 的值超过 CPU 核心数量,说明系统可能处于高负载状态,可能存在性能问题。

    查看系统日志:

    检查 /var/log/syslog 或 /var/log/messages 中的错误信息,查看是否有异常记录。

    sudo less /var/log/syslog

    或者:

    sudo less /var/log/messages

    在 less 中,按 / 键,然后输入 error 或 fail,按 Enter 搜索。

    less.png

    检查磁盘空间

    使用 df -h 命令查看磁盘使用情况,确保没有磁盘已满的情况。

    df.png

    检查服务器启动脚本

    o2server的启动脚本位于o2server目录下

    o2server/start_linux.sh
    setsid ${current_dir}/jvm/linux_java11/bin/java -javaagent:${current_dir}/console.jar -server -Djava.awt.headless=true -Xms2g -Xmx4g -Duser.timezone=GMT+08 -XX:+HeapDumpOnOutOfMemoryError -XX:+UnlockExperimentalVMOptions -XX:+EnableJVMCI --module-path=${current_dir}/commons/module_java11 --upgrade-module-path=${current_dir}/commons/module_java11/compiler.jar:${current_dir}/commons/module_java11/compiler-management.jar -jar ${current_dir}/console.jar

    默认的启动脚本设置启动脚本设置为-Xms2g -Xmx4g 请检查是否有其他参数影响了服务器。

    jvm实际内存占用

    如果怀疑服务器内存有泄漏首先确认jvm内存跟踪情况。

    在top中显示列"RES"并非实际使用的内存,是jvm申请的内存。

    启用内存跟踪需要在服务器启动脚本中手工增加参数:

    -XX:NativeMemoryTracking=summary

    比如添加后如下:

    setsid ${current_dir}/jvm/linux_java11/bin/java -javaagent:${current_dir}/console.jar -XX:NativeMemoryTracking=summary -server -Djava.awt.headless=true -Xms2g -Xmx4g -Duser.timezone=GMT+08 -XX:+HeapDumpOnOutOfMemoryError -XX:+UnlockExperimentalVMOptions -XX:+EnableJVMCI --module-path=${current_dir}/commons/module_java11 --upgrade-module-path=${current_dir}/commons/module_java11/compiler.jar:${current_dir}/commons/module_java11/compiler-management.jar -jar ${current_dir}/console.jar

    重启后可以通过命令:

    jcmd <pid> VM.native_memory summary

    显示内存占用情况,如果没有安装jvm,可以直接使用o2server自带jvm执行。

    为当前o2server服务器进程号,可以通过top进行定位,服务器目录下的pid.log文件也记录了当前服务器的进程号。

    jcmd <pid> VM.native_memory summary

    native_memory.png

    reserved 显示的是申请的内存,也就是top命令中看到的"RES" committed 是jvm当前实际使用的内存。

    图中的Java Heap 即对内存,一般就是最大的内存开销部分。

    堆内存分析

    如果怀疑堆内存泄漏,那么就要进行堆内存分析。 首先要生成 heap Profiling(hprof)文件。

    ctl -hd

    o2server服务器提供了一个控制台命令可以快速生成hprof文件。

    ctl_hd.png

    也可以通过jvm提供的jmap来生成 heap Profiling 文件。

    jmap -dump:format=b,file=heap.hprof <pid> 

    如果没有安装jvm可以使用o2server自带的jvm运行jmap

    jmap.png

    生成hprof文件后可以通过分析工具进行分析

    Memory Analyzer (MAT)

    mat.png

    请注意这里仅仅是"怀疑"确认还需要进一步分析。

    线程分析

    如果怀疑线程执行时间过长,或者发生死锁,那么就要进行线程分析。 首先要生成线程转储文件。

    ctl -td

    o2server服务器提供了一个控制台命令可以快速生成线程转储文件。

    ctl_td.png

    也可以通过jvm自带的jstack来生成转储文件

    jstack <pid> > /tmp/threaddump.txt

    如果没有安装jvm可以使用o2server自带的jvm运行jstack

    jstack.png

    您需要间隔几秒反复执行多次,这样会生成多个线程转储文件,目的是在后续步骤可以对比几个转储文件中的线程信息,判断是否有长时间运行的线程。

    生成后的多个文件可以统一由分析工具打开进行分析.

    IBM Thread and Monitor Dump Analyzer for Java (TMDA) 

    tmda.png

    对于死锁有直接的DeadLock显示。其他则需要根据业务进一步分析。

    nginx故障排查

    nginx访问日志

    /var/log/nginx/access.log

    nginx错误日志

    /var/log/nginx/error.log


    通过从以上多个方向进行细致的排查和优化,我们可以有效地解决o2server服务器在运行中出现的无响应或响应缓慢的问题,提高其稳定性和性能表现。