VICIDial server crashing

[nicdevlin]

Hi all,

Been running my install of VICIDial for several months now and all has been running really smoothely until the last week.

It seems the server does a hard lock up every 2 days or so and only way of getting it back is to reset it and repair the mysql tables etc.

I have managed to get this log out, it seems to be ramping up to 100% cpu usage and then crashing.

Code: Select all

- ViciBox Redux v.6.0.3-141118

Code: Select all

Asterisk 1.8.29.0-vici

Code: Select all

========TIME=======
2015-11-05 23:51:12
========Load Average=======
23:51pm up 0:07, 2 users, load average: 16.17, 8.19, 3.46
========Process List=======
%CPU %MEM PID USER COMMAND
1.2 0.2 2412 root /usr/bin/perl /usr/share/astguiclient/AST_VDhopper.pl -q
0.9 0.2 2411 root /usr/bin/perl /usr/share/astguiclient/AST_conf_update.pl
1.0 0.2 2414 root /usr/bin/perl /usr/share/astguiclient/ADMIN_keepalive_ALL.pl
1.0 0.2 2418 root /usr/bin/perl /usr/share/astguiclient/AST_vm_update.pl
0.5 4.6 1319 mysql /usr/sbin/mysqld --user=mysql --group=mysql --port=3306 --socket=/var/run/mysql/mysql.sock --datadir=/var/lib/mysql --skip-external-locking --key_buffer_size=640M --max_allowed_packet=2M --table_open_cache=8192 --sort_buffer_size=4M --net_buffer_length=8K --read_buffer_size=4M --read_rnd_buffer_size=16M --myisam_sort_buffer_size=64M --thread_cache_size=50 --query_cache_size=0 --thread_concurrency=8 --skip-name-resolve --connect_timeout=60 --long_query_time=3 --log_slow_queries --max_connections=768 --open_files_limit=24576 --max_heap_table_size=32M --expire_logs_days=3 --default-storage-engine=MyISAM --table_definition_cache=8192 --table_cache=8192 --concurrent_insert=2 --myisam_recover --myisam_repair_threads=1 --tmpdir=/tmp/ --log-bin=mysql-bin --binlog_format=mixed --server-id=1
0.5 0.1 2417 root /usr/bin/perl /usr/share/astguiclient/AST_manager_kill_hung_congested.pl
0.4 0.1 2435 root /usr/bin/perl /usr/share/astguiclient/ADMIN_timeclock_auto_logout.pl
0.2 0.0 1 root /sbin/init
0.2 0.2 1718 root /usr/bin/perl /usr/share/astguiclient/VD_email_inbound.pl
0.1 0.3 1716 root /usr/bin/perl /usr/share/astguiclient/FastAGI_log.pl --debug
0.0 0.2 1796 root /usr/bin/perl /usr/share/astguiclient/AST_VDhopper.pl -q
0.1 0.2 2367 root /usr/bin/perl /usr/share/astguiclient/AST_vm_update.pl
0.1 0.2 2370 root /usr/bin/perl /usr/share/astguiclient/AST_VDhopper.pl -q
0.1 0.2 2371 root /usr/bin/perl /usr/share/astguiclient/AST_conf_update.pl
0.1 0.2 2372 root /usr/bin/perl /usr/share/astguiclient/ADMIN_keepalive_ALL.pl
0.1 0.2 2385 root /usr/bin/perl /usr/share/astguiclient/AST_update.pl
0.1 0.2 2388 root /usr/bin/perl /usr/share/astguiclient/AST_manager_listen.pl

I'm really not too sure what is causing the crash, but I am hoping this is it as I have no idea of where else to look.

If this is causing it, why has this only just started in the last week?

Any help would be greatly appreciated.

[vijaymuddu]

Run top command and check the application which is using more cpu, also check the database size and ram size you have, it can also be a fault ram or hdd
Post your top output here

[nicdevlin]

Hi, thanks for your reply.

Here is the dump of top.

Code: Select all

top - 11:01:31 up 16:14,  4 users,  load average: 0.94, 1.41, 2.33
Tasks: 166 total,   1 running, 165 sleeping,   0 stopped,   0 zombie
%Cpu(s):  9.2 us,  2.6 sy,  0.0 ni, 81.5 id,  5.3 wa,  0.0 hi,  1.3 si,  0.0 st
KiB Mem:   4046044 total,  1841384 used,  2204660 free,    86804 buffers
KiB Swap:  4192252 total,        0 used,  4192252 free,  1189824 cached

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
 2271 root      20   0 1730268  54936  13448 S 21.60 1.358  33:21.11 asterisk
 1360 mysql     20   0 2159436 272328   8976 S 5.982 6.731  17:40.20 mysqld
20250 root      20   0  130200  12080   3436 S 0.997 0.299   0:26.27 AST_update.pl
25057 wwwrun    20   0  267324  12208   4792 S 0.997 0.302   0:03.05 httpd2-prefork
28446 wwwrun    20   0  267060  10928   3732 S 0.997 0.270   0:00.32 httpd2-prefork
23060 wwwrun    20   0  267420  14032   6600 S 0.665 0.347   0:04.10 httpd2-prefork
25545 wwwrun    20   0  267344  11676   4308 S 0.665 0.289   0:02.72 httpd2-prefork
27121 wwwrun    20   0  267332  11064   3832 S 0.665 0.273   0:01.65 httpd2-prefork
28423 wwwrun    20   0  267068  10940   3732 S 0.665 0.270   0:00.24 httpd2-prefork
28757 root      20   0   14068   1524   1068 R 0.665 0.038   0:00.08 top
   24 root      20   0       0      0      0 S 0.332 0.000   0:29.51 rcu_sched
 2808 root      20   0  120664   8832   3296 S 0.332 0.218   5:15.24 AST_manager_sen
 2818 root      20   0  120456   8592   3272 S 0.332 0.212   0:40.26 AST_VDremote_ag
 4947 root      20   0   32572   2560   1912 S 0.332 0.063   0:50.20 asterisk
27799 wwwrun    20   0  267204  11196   3860 S 0.332 0.277   0:00.93 httpd2-prefork
27838 wwwrun    20   0  267076  10940   3732 S 0.332 0.270   0:00.97 httpd2-prefork
27982 root      20   0  124424  12528   3252 S 0.332 0.310   0:00.65 agi-VDAD_ALL_in
28194 root      20   0       0      0      0 S 0.332 0.000   0:00.15 kworker/0:0
28588 root      20   0       0      0      0 S 0.332 0.000   0:00.04 kworker/1:0
28631 wwwrun    20   0  267192  10744   3556 S 0.332 0.266   0:00.15 httpd2-prefork
28695 root      20   0   87436   3980   3096 S 0.332 0.098   0:00.06 sshd
    1 root      20   0   47496   3772   2268 S 0.000 0.093   0:25.58 systemd
    2 root      20   0       0      0      0 S 0.000 0.000   0:00.01 kthreadd
    3 root      20   0       0      0      0 S 0.000 0.000   0:42.54 ksoftirqd/0
    5 root       0 -20       0      0      0 S 0.000 0.000   0:00.00 kworker/0:0H
    7 root      rt   0       0      0      0 S 0.000 0.000   0:00.88 migration/0
    8 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcu_bh
    9 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/0
   10 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/1
   11 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/2
   12 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/3
   13 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/4
   14 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/5
   15 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/6
   16 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/7
   17 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/8
   18 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/9
   19 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/10
   20 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/11
   21 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/12
   22 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/13
   23 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuob/14
   25 root      20   0       0      0      0 S 0.000 0.000   0:22.85 rcuos/0
   26 root      20   0       0      0      0 S 0.000 0.000   0:19.93 rcuos/1
   27 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/2
   28 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/3
   29 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/4
   30 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/5
   31 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/6
   32 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/7
   33 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/8
   34 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/9
   35 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/10
   36 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/11
   37 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/12
   38 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/13
   39 root      20   0       0      0      0 S 0.000 0.000   0:00.00 rcuos/14


This is run on a VM under XenCenter and currently has 4GB Ram and 2v CPU's allocated to it, 120GB of HDD spaced with 20GB used.

Which database do you want to know the size of and where would I find said database?

Thanks in advance.

[nicdevlin]

FYI - I have 20 agents and 10 lines currently utilised 100% of the time.