Load issues

Any and all non-support discussions

Moderators: gerski, enjay, williamconley, Op3r, Staydog, gardo, mflorell, MJCoate, mcargile, Kumba, Michael_N

Load issues

Postby enjay » Thu Jul 27, 2006 3:27 pm

13:25:58 up 2 days, 7:21, 3 users, load average: 17.13, 12.58, 8.66

EDIT: I watched the load average jump as high as 20.xx When it gets this high it is taking ~45-60 seconds for a call to ACTUALLY hangup after the agent has pressed the hangup button.

EDIT2: The Load really climbs when I have my dial level set higher then the available number of lines, is there a reason why I would get exponentially higher load (in excess of 4-6 times the load) when it doesnt have sufficient channels?

I have 12 Agents dial level of 7



Asterisk is utilizing ~40-60% of CPU

codec is ulaw

any ideas?
enjay
 
Posts: 806
Joined: Mon Jun 19, 2006 12:40 pm
Location: Utah

Postby mflorell » Thu Jul 27, 2006 6:42 pm

Yes, that is a very high load, I'm suprised something didn't lock or crash.

Yes, setting your available lines higher than actual actual will cause extra stress on you system because when there is not a real line available it will keep trying to dial numbers very quickly. You will also notice that it is burning through your hopper very quickly. Depending on your usual dial timeout it will be dialing 10-20 times faster than normal which means that all database queries and asterisk functions will happen that much faster leading to the exponential load increase.
mflorell
Site Admin
 
Posts: 18387
Joined: Wed Jun 07, 2006 2:45 pm
Location: Florida

Postby enjay » Thu Jul 27, 2006 6:47 pm

Have you ever seen where calls are coming in but they are not being sent to the meetme conference how can I troubleshoot this? I was watching the vdad display and all of a sudden 10-15-25 calls waiting and all of my agents were waiting as well I dropped like 100 calls in a matter of 60 seconds..

-enjay
enjay
 
Posts: 806
Joined: Mon Jun 19, 2006 12:40 pm
Location: Utah

Postby mflorell » Thu Jul 27, 2006 6:53 pm

I have seen that happen about once a month on an older setup with 1.1.10 VICIDIAL. It happens when one of the calls somehow gets locked and the AGI portion is still stuck in the loop of being active in the vicidial_auto_calls table so that the other calls think that there is one before them so they are not allowed to be sent on to agents. For us this went away after 1.1.11 and we do not see it happen anymore.

What Asterisk version are you using?

Can you do a "select * from vicidial_auto_calls" when this happens and compare it to the "select * from live_channels" t see if the oldest call is not actually live?
mflorell
Site Admin
 
Posts: 18387
Joined: Wed Jun 07, 2006 2:45 pm
Location: Florida

Postby enjay » Thu Jul 27, 2006 6:55 pm

Yea I'll do that next time it happens this is the first and hopefully the only time it happens..

Im using asterisk 1.2.7.1
enjay
 
Posts: 806
Joined: Mon Jun 19, 2006 12:40 pm
Location: Utah

Postby enjay » Thu Jul 27, 2006 8:45 pm

Wow twice in the same day.. Here is my output from that...

Code: Select all
mysql> select * from vicidial_auto_calls;
+--------------+-------------+-------------+--------+---------+--------------------+----------------------+---------------------+------------+--------------+---------------------+-----------+
| auto_call_id | server_ip   | campaign_id | status | lead_id | uniqueid           | callerid             | channel             | phone_code | phone_number | call_time           | call_type |
+--------------+-------------+-------------+--------+---------+--------------------+----------------------+---------------------+------------+--------------+---------------------+-----------+
|        68488 | 192.168.0.5 | 1001        | XFER   |  572539 | 1153772300.4550400 | V0722140459000572539 | Zap/14-1            |            | 7722574107   | 2006-07-22 14:04:59 | OUT       |
|        61138 | 192.168.0.5 | 1001        | XFER   |  565195 | 1153593096.2137001 | V0722113135000565195 | Zap/22-1            |            | 7729570536   | 2006-07-22 11:31:35 | OUT       |
|        73579 | 192.168.0.5 | 1001        | XFER   |  568718 | 1153847201.3106000 | V0725100640000568718 | Zap/3-1             |            | 7722581221   | 2006-07-25 10:06:40 | OUT       |
|       121056 | 192.168.0.5 | 1000        | XFER   |   12053 | 1154029195.1334293 | V0727123931000012053 | Zap/56-1            |            | 7725312611   | 2006-07-27 12:39:31 | OUT       |
|       132981 | 192.168.0.5 | 1001        | SENT   |  662085 |               NULL | V0727183639000662085 | NULL                |            | 7724381947   | 2006-07-27 18:36:39 | OUT       |
|       132992 | 192.168.0.5 | 1001        | SENT   |  624359 |               NULL | V0727183708000624359 | NULL                |            | 7726827361   | 2006-07-27 18:37:08 | OUT       |
|       132998 | 192.168.0.5 | 1001        | SENT   |  609334 |               NULL | V0727183711000609334 | NULL                |            | 7729962716   | 2006-07-27 18:37:11 | OUT       |
|       133038 | 192.168.0.5 | 1001        | SENT   |  415018 |               NULL | V0727183807000415018 | NULL                |            | 7728270546   | 2006-07-27 18:38:07 | OUT       |
|       132979 | 192.168.0.5 | 1001        | SENT   |  648119 |               NULL | V0727183639000648119 | NULL                |            | 7722434369   | 2006-07-27 18:36:39 | OUT       |
|       125687 | 192.168.0.5 | 1000        | XFER   |   92440 | 1154038584.1457033 | V0727151605000092440 | Zap/66-1            |            | 7727421290   | 2006-07-27 15:16:05 | OUT       |
|       132986 | 192.168.0.5 | 1001        | SENT   |  423504 |               NULL | V0727183657000423504 | NULL                |            | 7723259463   | 2006-07-27 18:36:57 | OUT       |
|       132987 | 192.168.0.5 | 1001        | SENT   |  445855 |               NULL | V0727183657000445855 | NULL                |            | 7728322668   | 2006-07-27 18:36:57 | OUT       |
|       126112 | 192.168.0.5 | 1000        | XFER   |   98410 | 1154038979.1467533 | V0727152239000098410 | IAX2/cobsrv02-16393 |            | 7725795539   | 2006-07-27 15:22:39 | OUT       |
|       132996 | 192.168.0.5 | 1001        | SENT   |  678762 |               NULL | V0727183711000678762 | NULL                |            | 7725515817   | 2006-07-27 18:37:11 | OUT       |
|       132978 | 192.168.0.5 | 1001        | SENT   |  596258 |               NULL | V0727183636000596258 | NULL                |            | 7727874574   | 2006-07-27 18:36:36 | OUT       |
|       133046 | 192.168.0.5 | 1001        | SENT   |  449210 |               NULL | V0727183820000449210 | NULL                |            | 7729349042   | 2006-07-27 18:38:20 | OUT       |
|       132977 | 192.168.0.5 | 1001        | SENT   |  643775 |               NULL | V0727183636000643775 | NULL                |            | 7723230346   | 2006-07-27 18:36:36 | OUT       |
|       121058 | 192.168.0.5 | 1000        | XFER   |   73917 | 1154029191.1334133 | V0727123931000073917 | Zap/52-1            |            | 7729089095   | 2006-07-27 12:39:31 | OUT       |
|       133010 | 192.168.0.5 | 1001        | SENT   |  564456 |               NULL | V0727183726000564456 | NULL                |            | 7722566568   | 2006-07-27 18:37:26 | OUT       |
|       133037 | 192.168.0.6 | 1001        | SENT   |  415017 |               NULL | V0727183806000415017 | NULL                |            | 7728446109   | 2006-07-27 18:38:06 | OUT       |
|       133049 | 192.168.0.6 | 1001        | SENT   |  452362 |               NULL | V0727183826000452362 | NULL                |            | 7729151454   | 2006-07-27 18:38:26 | OUT       |
|       133022 | 192.168.0.5 | 1001        | SENT   |  645046 |               NULL | V0727183745000645046 | NULL                |            | 7722767639   | 2006-07-27 18:37:45 | OUT       |
|       133033 | 192.168.0.5 | 1001        | LIVE   |  403936 | 1154050682.1694601 | V0727183801000403936 | Zap/1-1             |            | 7728333085   | 2006-07-27 18:38:01 | OUT       |
|       132976 | 192.168.0.5 | 1001        | SENT   |  571544 |               NULL | V0727183633000571544 | NULL                |            | 7724426794   | 2006-07-27 18:36:33 | OUT       |
|       132984 | 192.168.0.5 | 1001        | SENT   |  405492 |               NULL | V0727183654000405492 | NULL                |            | 7729649091   | 2006-07-27 18:36:54 | OUT       |
|       133001 | 192.168.0.5 | 1001        | SENT   |  694345 |               NULL | V0727183714000694345 | NULL                |            | 7729749428   | 2006-07-27 18:37:14 | OUT       |
|       133007 | 192.168.0.6 | 1001        | SENT   |  468948 |               NULL | V0727183722000468948 | NULL                |            | 7728729058   | 2006-07-27 18:37:22 | OUT       |
|       132688 | 192.168.0.6 | 1001        | LIVE   |  633570 | 1154050214.1185813 | V0727183012000633570 | IAX2/cobsrv01-16385 |            | 7729572294   | 2006-07-27 18:30:12 | OUT       |
|       131344 | 192.168.0.5 | 1001        | XFER   |  638567 | 1154077255.1637149 | V0727175400000638567 | Zap/24-1            |            | 7722453204   | 2006-07-27 17:54:00 | OUT       |
|       133012 | 192.168.0.5 | 1001        | SENT   |  576507 |               NULL | V0727183731000576507 | NULL                |            | 7725443333   | 2006-07-27 18:37:31 | OUT       |
|       133013 | 192.168.0.5 | 1001        | SENT   |  588081 |               NULL | V0727183731000588081 | NULL                |            | 7722469257   | 2006-07-27 18:37:31 | OUT       |
|       133014 | 192.168.0.5 | 1001        | SENT   |  614560 |               NULL | V0727183731000614560 | NULL                |            | 7722812891   | 2006-07-27 18:37:31 | OUT       |
|       133036 | 192.168.0.5 | 1001        | SENT   |  410736 |               NULL | V0727183804000410736 | NULL                |            | 7726449014   | 2006-07-27 18:38:04 | OUT       |
|       133015 | 192.168.0.5 | 1001        | SENT   |  628019 |               NULL | V0727183734000628019 | NULL                |            | 7723285971   | 2006-07-27 18:37:34 | OUT       |
|       133043 | 192.168.0.5 | 1001        | SENT   |  448607 |               NULL | V0727183817000448607 | NULL                |            | 7729349019   | 2006-07-27 18:38:17 | OUT       |
|       133029 | 192.168.0.5 | 1001        | SENT   |  576508 |               NULL | V0727183756000576508 | NULL                |            | 7722742166   | 2006-07-27 18:37:56 | OUT       |
|       132989 | 192.168.0.5 | 1001        | SENT   |  573464 |               NULL | V0727183702000573464 | NULL                |            | 7723685815   | 2006-07-27 18:37:02 | OUT       |
|       133042 | 192.168.0.6 | 1001        | SENT   |  428678 |               NULL | V0727183816000428678 | NULL                |            | 7723805712   | 2006-07-27 18:38:16 | OUT       |
|       133032 | 192.168.0.5 | 1001        | SENT   |  403549 |               NULL | V0727183759000403549 | NULL                |            | 7726102923   | 2006-07-27 18:37:59 | OUT       |
|       133034 | 192.168.0.6 | 1001        | SENT   |  408161 |               NULL | V0727183803000408161 | NULL                |            | 7726558358   | 2006-07-27 18:38:03 | OUT       |
|       132972 | 192.168.0.5 | 1001        | SENT   |  563850 |               NULL | V0727183627000563850 | NULL                |            | 7722525506   | 2006-07-27 18:36:27 | OUT       |
|       133018 | 192.168.0.5 | 1001        | SENT   |  633574 |               NULL | V0727183737000633574 | NULL                |            | 7728734376   | 2006-07-27 18:37:37 | OUT       |
|       132975 | 192.168.0.5 | 1001        | SENT   |  571316 |               NULL | V0727183631000571316 | NULL                |            | 7724840024   | 2006-07-27 18:36:31 | OUT       |
|       133044 | 192.168.0.5 | 1001        | SENT   |  448865 |               NULL | V0727183820000448865 | NULL                |            | 7729310396   | 2006-07-27 18:38:20 | OUT       |
|       132997 | 192.168.0.5 | 1001        | SENT   |  772878 |               NULL | V0727183711000772878 | NULL                |            | 7723429658   | 2006-07-27 18:37:11 | OUT       |
|       126823 | 192.168.0.5 | 1000        | XFER   |  107909 | 1154040033.1492207 | V0727154033000107909 | Zap/55-1            |            | 7724348289   | 2006-07-27 15:40:33 | OUT       |
|       133008 | 192.168.0.5 | 1001        | SENT   |  499000 |               NULL | V0727183723000499000 | NULL                |            | 7724871674   | 2006-07-27 18:37:23 | OUT       |
|       133048 | 192.168.0.5 | 1001        | SENT   |  451535 |               NULL | V0727183826000451535 | NULL                |            | 7729300772   | 2006-07-27 18:38:26 | OUT       |
|       133045 | 192.168.0.5 | 1001        | SENT   |  449456 |               NULL | V0727183820000449456 | NULL                |            | 7729395585   | 2006-07-27 18:38:20 | OUT       |
|       132988 | 192.168.0.6 | 1001        | SENT   |  568948 |               NULL | V0727183657000568948 | NULL                |            | 7722589276   | 2006-07-27 18:36:57 | OUT       |
|       133031 | 192.168.0.6 | 1001        | SENT   |  617309 |               NULL | V0727183758000617309 | NULL                |            | 7728730160   | 2006-07-27 18:37:58 | OUT       |
|       132999 | 192.168.0.5 | 1001        | SENT   |  526717 |               NULL | V0727183714000526717 | NULL                |            | 7722148625   | 2006-07-27 18:37:14 | OUT       |
|       132991 | 192.168.0.5 | 1001        | SENT   |  772643 |               NULL | V0727183708000772643 | NULL                |            | 7723544744   | 2006-07-27 18:37:08 | OUT       |
|       133039 | 192.168.0.5 | 1001        | SENT   |  417223 |               NULL | V0727183807000417223 | NULL                |            | 7723969924   | 2006-07-27 18:38:07 | OUT       |
|       133040 | 192.168.0.5 | 1001        | LIVE   |  424534 | 1154050687.1697721 | V0727183807000424534 | Zap/19-1            |            | 7726350875   | 2006-07-27 18:38:07 | OUT       |
|       133047 | 192.168.0.5 | 1001        | SENT   |  450152 |               NULL | V0727183823000450152 | NULL                |            | 7729306479   | 2006-07-27 18:38:23 | OUT       |
|       132995 | 192.168.0.5 | 1001        | SENT   |  629395 |               NULL | V0727183711000629395 | NULL                |            | 7722186631   | 2006-07-27 18:37:11 | OUT       |
+--------------+-------------+-------------+--------+---------+--------------------+----------------------+---------------------+------------+--------------+---------------------+-----------+
57 rows in set (0.00 sec)



Code: Select all
mysql> select * from live_channels;
+-----------------------+-------------+---------------+--------------------+-------------------------------+
| channel               | server_ip   | channel_group | extension          | channel_data                  |
+-----------------------+-------------+---------------+--------------------+-------------------------------+
| Zap/8-1               | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/11-1              | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/10-1              | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/13-1              | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/2-1               | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-1300858950 | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| IAX2/cobsrv01-5       | 192.168.0.6 | NULL          | Zap/g1/17724593230 | Zap/g1/17724593230||o         |
| Zap/16-1              | 192.168.0.5 | NULL          | agi                | agi-VDAD_LB_transfer.agi|8365 |
| Zap/4-1               | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/5-1               | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/21-1              | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/20-1              | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/19-1              | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/18-1              | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/17-1              | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/23-1              | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/22-1              | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-1564313078 | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-3375307    | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-481027462  | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| IAX2/cobsrv03-14      | 192.168.0.5 | NULL          | Zap/g3/7724430962  | Zap/g3/7724430962||o          |
| Zap/7-1               | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-1423874978 | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/24-1              | 192.168.0.5 | NULL          | 8600053            | 8600053                       |
| Zap/pseudo-235380633  | 192.168.0.6 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-1057741502 | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/14-1              | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/4-1               | 192.168.0.6 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-851858206  | 192.168.0.6 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-645287972  | 192.168.0.6 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-397032668  | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-109713760  | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-508502571  | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-345896439  | 192.168.0.6 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-327417041  | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/47-1              | 192.168.0.5 | NULL          | IAX2/cobsrv03      | IAX2/cobsrv03-14              |
| Zap/pseudo-1081604350 | 192.168.0.6 | NULL          | ring               | SIP/ring                      |
| Zap/15-1              | 192.168.0.5 | NULL          | 8600058            | 8600058                       |
| Zap/3-1               | 192.168.0.5 | NULL          | 8600060            | 8600060                       |
| IAX2/cobsrv02-16389   | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/6-1               | 192.168.0.5 | NULL          | 8600062            | 8600062                       |
| Zap/pseudo-1021696054 | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-1304581364 | 192.168.0.6 | NULL          | ring               | SIP/ring                      |
| Zap/pseudo-31927043   | 192.168.0.5 | NULL          | ring               | SIP/ring                      |
+-----------------------+-------------+---------------+--------------------+-------------------------------+
44 rows in set (0.00 sec)




Not entirely sure what Im looking at..
enjay
 
Posts: 806
Joined: Mon Jun 19, 2006 12:40 pm
Location: Utah

Postby mflorell » Thu Jul 27, 2006 10:30 pm

The two queries don't seem to match up. How much time was between the two when you ran them?

What you need to look for is the status LIVE calls in the vicidial_auto_calls table and find the oldest one and see if it is still a live channel. If not you need to delete it's entry in the vicidial_auto_calls table. This should happen automatically when the "h" exten runs as a call is hungup and the VD_hangup.agi script runs.

Chack that you have the exten => h,2 entry in your dialplan
mflorell
Site Admin
 
Posts: 18387
Joined: Wed Jun 07, 2006 2:45 pm
Location: Florida

Postby enjay » Fri Jul 28, 2006 10:23 am

I was missing the h,2 entry. I did however have the h,1
enjay
 
Posts: 806
Joined: Mon Jun 19, 2006 12:40 pm
Location: Utah

Postby mflorell » Fri Jul 28, 2006 2:19 pm

OK, good. Let me know if the problem happens again.
mflorell
Site Admin
 
Posts: 18387
Joined: Wed Jun 07, 2006 2:45 pm
Location: Florida


Return to General Discussion

Who is online

Users browsing this forum: Google [Bot] and 28 guests