<br><font size=2 face="sans-serif">Hi,</font>
<br><font size=2 face="sans-serif">As I promised you, i 'm sending you the display outputs of 'bjobs' and 'ps' command on the respective hosts as an example.</font>
<br><font size=2 face="sans-serif">This example is for openmpi wrapper. This may help to understand my codings as well.</font>
<br><font size=2 face="sans-serif">There are 2 jobs, the one (1478) started with the wrapper and the one (1477) without the wrapper.</font>
<br><font size=2 face="sans-serif">With the wrapper we can determine how many procs are on which host (2 on artemis3, 2 on artemis4) etc.</font>
<br><font size=2 face="sans-serif">Without the wrapper we can just see it has started on 'artemis3' but we don't know how many procs on artemis3 and on artemis4</font>
<br><font size=2 face="sans-serif">(actually 2 on artemis2 and 2 on artemis4).</font>
<br><font size=2 face="sans-serif">So this jobs should not be taken into account.</font>
<br><font size=2 face="sans-serif">To distinguish between the two, i look in the bjobs command, see where is the master host (where job starts)?, should be the first line of EXEC_HOST</font>
<br><font size=2 face="sans-serif">in this case is 'artemis3' for both jobs. And in this host ps command will show a mpirun --app &nbsp;'path_to_app_file' while for the other job</font>
<br><font size=2 face="sans-serif">it shows mpirun without --app parameter.</font>
<br><font size=2 face="sans-serif">And in this appfile it'll show &nbsp;the TaskStarter command with -p artemis3:37756, a port number that all subsequent processes should have in each</font>
<br><font size=2 face="sans-serif">remote hosts, while the job without wrapper doesn't have.</font>
<br>
<br>
<br>
<br><font size=2 face="sans-serif">[senglont@artemis3 lsf-ompi]$ bjobs</font>
<br><font size=2 face="sans-serif">JOBID &nbsp; USER &nbsp; &nbsp;STAT &nbsp;QUEUE &nbsp; &nbsp; &nbsp;FROM_HOST &nbsp; EXEC_HOST &nbsp; JOB_NAME &nbsp; SUBMIT_TIME</font>
<br><font size=2 face="sans-serif">1477 &nbsp; &nbsp;senglon RUN &nbsp; normal &nbsp; &nbsp; artemis3 &nbsp; &nbsp;artemis3 &nbsp; &nbsp;PP_SLNOWR &nbsp;Feb &nbsp;4 14:13</font>
<br><font size=2 face="sans-serif">1478 &nbsp; &nbsp;senglon RUN &nbsp; normal &nbsp; &nbsp; artemis3 &nbsp; &nbsp;2*artemis3 &nbsp;PP_SNDRCV &nbsp;Feb &nbsp;4 14:21</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2*artemis4</font>
<br><font size=2 face="sans-serif">[senglont@artemis3 ]$ </font>
<br>
<br><font size=2 face="sans-serif">Bjobs of 1478</font>
<br>
<br><font size=2 face="sans-serif">bjobs -l 1478</font>
<br>
<br><font size=2 face="sans-serif">Job &lt;1478&gt;, Job Name &lt;PP_SNDRCV&gt;, User &lt;senglont&gt;, Project &lt;default&gt;, Status &lt;R</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;UN&gt;, Queue &lt;normal&gt;, Command &lt;#! /bin/bash;# &nbsp;with mpirun </font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;wrapper;# &nbsp;essai avec -R span a lancer deux fois lui-meme;</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;# &nbsp;Ok ce script est bon pour lancer 2 jobs;# &nbsp;avec chaque </font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2proc sur artemis3 et 2proc sur artemis4;#BSUB -J &quot;PP_SNDR</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;CV&quot;;#BSUB -m &quot;artemis3 artemis4&quot;;#BSUB -o PP_SNDRCV.%J;#BS</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;UB -n 4;#BSUB -e PP_SNDRCVerr.%J;#BSUB -a openmpi;#BSUB -R</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &quot;span[ptile=2]&quot;;source ~/.bashrc_lompi;mpirun.lsf --prefi</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;x /home_nfs/senglont/ompi_inst/1.3.3/ ./pp_sndrcv_spbl&gt;</font>
<br><font size=2 face="sans-serif">Thu Feb &nbsp;4 14:21:02: Submitted from host &lt;artemis3&gt;, CWD &lt;$HOME/mympi/lsf-ompi&gt;</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;, Output File &lt;PP_SNDRCV.%J&gt;, Error File &lt;PP_SNDRCVerr.%J&gt;</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;, 4 Processors Requested, Requested Resources &lt;span[ptile=</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;2]&gt;, Specified Hosts &lt;artemis3&gt;, &lt;artemis4&gt;;</font>
<br><font size=2 face="sans-serif">Thu Feb &nbsp;4 14:21:04: Started on 4 Hosts/Processors &lt;2*artemis3&gt; &lt;2*artemis4&gt;, E</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;xecution Home &lt;/home_nfs/senglont&gt;, Execution CWD &lt;/home_n</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;fs/senglont/mympi/lsf-ompi&gt;;</font>
<br><font size=2 face="sans-serif">Thu Feb &nbsp;4 15:19:57: Resource usage collected.</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;The CPU time used is 3526 seconds.</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;MEM: 14 Mbytes; &nbsp;SWAP: 611 Mbytes; &nbsp;NTHREAD: 14</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;PGID: 13623; &nbsp;PIDs: 13631 13635 13637 13638 13623 13624 </font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;13628 13629 </font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;PGID: 13639; &nbsp;PIDs: 13639 </font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;PGID: 13640; &nbsp;PIDs: 13640 </font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;PGID: 10491; &nbsp;PIDs: 10491 </font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;PGID: 10492; &nbsp;PIDs: 10492 </font>
<br>
<br>
<br><font size=2 face="sans-serif">&nbsp;SCHEDULING PARAMETERS:</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;r15s &nbsp; r1m &nbsp;r15m &nbsp; ut &nbsp; &nbsp; &nbsp;pg &nbsp; &nbsp;io &nbsp; ls &nbsp; &nbsp;it &nbsp; &nbsp;tmp &nbsp; &nbsp;swp &nbsp; &nbsp;mem</font>
<br><font size=2 face="sans-serif">&nbsp;loadSched &nbsp; - &nbsp; &nbsp; - &nbsp; &nbsp; - &nbsp; &nbsp; - &nbsp; &nbsp; &nbsp; - &nbsp; &nbsp; - &nbsp; &nbsp;- &nbsp; &nbsp; - &nbsp; &nbsp; - &nbsp; &nbsp; &nbsp;- &nbsp; &nbsp; &nbsp;- &nbsp;</font>
<br><font size=2 face="sans-serif">&nbsp;loadStop &nbsp; &nbsp;- &nbsp; &nbsp; - &nbsp; &nbsp; - &nbsp; &nbsp; - &nbsp; &nbsp; &nbsp; - &nbsp; &nbsp; - &nbsp; &nbsp;- &nbsp; &nbsp; - &nbsp; &nbsp; - &nbsp; &nbsp; &nbsp;- &nbsp; &nbsp; &nbsp;- &nbsp;</font>
<br>
<br><font size=2 face="sans-serif">[senglont@artemis3 lsf-ompi]$ </font>
<br><font size=2 face="sans-serif">PS from artemis3</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; </font>
<br><font size=2 face="sans-serif">[senglont@artemis3 ]$ psu</font>
<br><font size=2 face="sans-serif">&nbsp; PID &nbsp;PPID CMD</font>
<br><font size=2 face="sans-serif">10222 10220 sshd: senglont@pts/5</font>
<br><font size=2 face="sans-serif">10223 10222 -bash</font>
<br><font size=2 face="sans-serif">13586 27520 /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/etc/res -d /usr/share/lsf/conf -m</font>
<br><font size=2 face="sans-serif">13587 13586 /bin/sh /home_nfs/senglont/.lsbatch/1265289212.1477</font>
<br><font size=2 face="sans-serif">13591 13587 /bin/bash /home_nfs/senglont/.lsbatch/1265289212.1477.shell</font>
<br><font size=2 face="sans-serif">13592 13591 mpirun --prefix /home_nfs/senglont/ompi_inst/1.3.3 -H artemis3,artemis4 -n 4 .</font>
<br><font size=2 face="sans-serif">13594 13592 ./pp_sleep</font>
<br><font size=2 face="sans-serif">13595 13592 ./pp_sleep</font>
<br><font size=2 face="sans-serif">13623 27520 /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/etc/res -d /usr/share/lsf/conf -m</font>
<br><font size=2 face="sans-serif">13624 13623 /bin/sh /home_nfs/senglont/.lsbatch/1265289662.1478</font>
<br><font size=2 face="sans-serif">13628 13624 /bin/bash /home_nfs/senglont/.lsbatch/1265289662.1478.shell</font>
<br><font size=2 face="sans-serif">13629 13628 pam -g /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/bin/openmpi_wrapper --prefi</font>
<br><font size=2 face="sans-serif">13631 13629 /bin/sh /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/bin/openmpi_wrapper --pref</font>
<br><font size=2 face="sans-serif">13635 13631 mpirun <b>--app /home_nfs/senglont/.openmpi_appfile_1478</b></font>
<br><font size=2 face="sans-serif">13637 13635 /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/bin/TaskStarter <b>-p artemis3:37756</b></font>
<br><font size=2 face="sans-serif">13638 13635 /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/bin/TaskStarter <b>-p artemis3:37756</b></font>
<br><font size=2 face="sans-serif">13639 13637 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">13640 13638 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">13645 27420 /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/etc/res</font>
<br><font size=2 face="sans-serif">13699 10223 ps -o pid,ppid,cmd -u senglont</font>
<br><font size=2 face="sans-serif">[senglont@artemis3 lsf-ompi]$ </font>
<br><font size=2 face="sans-serif">[senglont@artemis3 lsf-ompi]$ [senglont@artemis3 lsf-ompi]$ <b>cat /home_nfs/senglont/.openmpi_appfile_1478</b></font>
<br><font size=2 face="sans-serif">-host artemis4 -n 2 &nbsp; --prefix /home_nfs/senglont/ompi_inst/1.3.3/ &nbsp;/usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/bin/TaskStarter -p artemis3:37756 -c /usr/share/lsf/conf -s /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/etc -a X86_64 ./pp_sndrcv_spbl </font>
<br><font size=2 face="sans-serif">-host artemis3 -n 2 &nbsp; --prefix /home_nfs/senglont/ompi_inst/1.3.3/ &nbsp;/usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/bin/TaskStarter -p artemis3:37756 -c /usr/share/lsf/conf -s /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/etc -a X86_64 ./pp_sndrcv_spbl </font>
<br><font size=2 face="sans-serif">[senglont@artemis3 lsf-ompi]$ </font>
<br>
<br><font size=2 face="sans-serif">PS from artemis4</font>
<br><font size=2 face="sans-serif">[senglont@artemis4 ~]$ psu</font>
<br><font size=2 face="sans-serif">&nbsp; PID &nbsp;PPID CMD</font>
<br><font size=2 face="sans-serif">10478 &nbsp; &nbsp; 1 /home_nfs/senglont/ompi_inst/1.3.3/bin/orted --daemonize -mca ess env -mca ort</font>
<br><font size=2 face="sans-serif">10479 10478 ./pp_sleep</font>
<br><font size=2 face="sans-serif">10480 10478 ./pp_sleep</font>
<br><font size=2 face="sans-serif">10488 &nbsp; &nbsp; 1 /home_nfs/senglont/ompi_inst/1.3.3/bin/orted --daemonize -mca ess env -mca ort</font>
<br><font size=2 face="sans-serif">10489 10488 /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/bin/TaskStarter <b>-p artemis3:37756</b></font>
<br><font size=2 face="sans-serif">10490 10488 /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/bin/TaskStarter <b>-p artemis3:37756</b></font>
<br><font size=2 face="sans-serif">10491 10490 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">10492 10489 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">10493 18965 /usr/share/lsf/7.0/linux2.6-glibc2.3-x86_64/etc/res</font>
<br><font size=2 face="sans-serif">11019 11017 sshd: senglont@pts/8</font>
<br><font size=2 face="sans-serif">11020 11019 -bash</font>
<br><font size=2 face="sans-serif">11054 11020 ps -o pid,ppid,cmd -u senglont</font>
<br><font size=2 face="sans-serif">[senglont@artemis4 ~]$ </font>
<br>
<br><font size=2 face="sans-serif">As you said, we can work it out to optimize the codings to just have one (after the commit).</font>
<br>
<br><font size=2 face="sans-serif">Thipadin.</font>
<br><font size=2 face="sans-serif">&nbsp;</font>
<br>
<br>