Plenty of space exists in the archive dest which is FLASH01.. proddb2:PRODDB2:/home/oracle> asmcmd lsdg State Type Rebal Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED EXTERN N 512 4096 1048576 5120 4724 0 4724 0 Y CRS_DATA/ MOUNTED EXTERN N 512 4096 1048576 614400 165008 0 165008 0 N DATA01/ MOUNTED EXTERN N 512 4096 1048576 409600 348446 0 348446 0 N FLASH01/ -Upendra Date: Thu, 22 Sep 2011 09:29:01 +0530 Subject: Re: OEL - fork: Resource temporarily unavailable From: deshpande.subodh@xxxxxxxxx To: nupendra@xxxxxxxxxxx CC: oracle-l@xxxxxxxxxxxxx check space where archives are written.. On 22 September 2011 09:02, Upendra N <nupendra@xxxxxxxxxxx> wrote: We have a 2 node Oracle RAC clusters, both are running OEL 5.6 and Oracle 11g R2. :::::::::::::: /etc/enterprise-release :::::::::::::: Enterprise Linux Enterprise Linux Server release 5.6 (Carthage) :::::::::::::: /etc/oracle-release :::::::::::::: Oracle Linux Server release 5.6 :::::::::::::: /etc/redhat-release :::::::::::::: Red Hat Enterprise Linux Server release 5.6 (Tikanga) From one of the node I am seeing the following error consistently.. -bash: fork: Resource temporarily unavailable (22:55:17) root@proddb1: /var/tmp # ulimit -a core file size á á á á á(blocks, -c) 0 data seg size á á á á á (kbytes, -d) unlimited scheduling priority á á á á á á (-e) 0 file size á á á á á á á (blocks, -f) unlimited pending signals á á á á á á á á (-i) 1056768 max locked memory á á á (kbytes, -l) 32 max memory size á á á á (kbytes, -m) unlimited open files á á á á á á á á á á á(-n) 100000 pipe size á á á á á á(512 bytes, -p) 8 POSIX message queues á á (bytes, -q) 819200 real-time priority á á á á á á á(-r) 0 stack size á á á á á á á(kbytes, -s) 10240 cpu time á á á á á á á (seconds, -t) unlimited max user processes á á á á á á á(-u) 1056768 virtual memory á á á á á(kbytes, -v) unlimited file locks á á á á á á á á á á á(-x) unlimited proddb1 is where the problem exists.. Number of database connections between the boxes look fine: proddb1# ps -ef|grep -ic local=no 3800 proddb2# ps -ef|grep -ic local=no 4500 proddb1# ps -eLf|wc -l 32500 proddb2# ps -eLf|wc -l 6500 proddb1# strace lsof -o /tmp/lsof.out á á á á á<--- Produces the following output ..... ..... close(99982) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99983) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99984) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99985) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99986) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99987) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99988) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99989) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99990) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99991) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99992) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99993) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99994) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99995) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99996) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99997) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99998) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) close(99999) á á á á á á á á á á á á á á= -1 EBADF (Bad file descriptor) open("/dev/null", O_RDWR) á á á á á á á = 3 close(3) á á á á á á á á á á á á á á á á= 0 umask(0) á á á á á á á á á á á á á á á á= 022 open("/usr/lib/locale/locale-archive", O_RDONLY) = 3 fstat(3, {st_mode=S_IFREG|0644, st_sizeV442544, ...}) = 0 mmap(NULL, 56442544, PROT_READ, MAP_PRIVATE, 3, 0) = 0x2b9c118e9000 close(3) á á á á á á á á á á á á á á á á= 0 getpid() á á á á á á á á á á á á á á á á= 760 getgid() á á á á á á á á á á á á á á á á= 0 getegid() á á á á á á á á á á á á á á á = 0 geteuid() á á á á á á á á á á á á á á á = 0 getuid() á á á á á á á á á á á á á á á á= 0 stat("/dev", {st_mode=S_IFDIR|0755, st_sizea80, ...}) = 0 open("/", O_RDONLY) á á á á á á á á á á = 3 lseek(3, 1, SEEK_SET) á á á á á á á á á = 1 lstat("/proc/760/fd/3", {st_mode=S_IFLNK|0500, st_sized, ...}) = 0 close(3) á á á á á á á á á á á á á á á á= 0 open("/proc/mounts", O_RDONLY) á á á á á= 3 fstat(3, {st_mode=S_IFREG|0444, st_size=0, ...}) = 0 mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x2b9c14ebd000 read(3, "rootfs / rootfs rw 0 0\n/dev/root"..., 4096) = 1228 pipe([4, 5]) á á á á á á á á á á á á á á= 0 pipe([6, 7]) á á á á á á á á á á á á á á= 0 clone(child_stack=0, flags=CLONE_CHILD_CLEARTID|CLONE_CHILD_SETTID|SIGCHLD, child_tidptr=0x2b9c118e8670) = -1 EAGAIN (Resource temporarily unavailable) write(2, "lsof: can't fork: Resource tempo"..., 51) = 51 exit_group(1) á á á á á á á á á á á á á = ? Any help is appreciated. -Upendra -- //www.freelists.org/webpage/oracle-l -- ============================== DO NOT FORGET TO SMILE TODAY ============================== -- //www.freelists.org/webpage/oracle-l