<br><font size=2 face="sans-serif">Hi,</font>
<br><font size=2 face="sans-serif">I was off yesterday, in the mean time you have made some versions.</font>
<br><font size=2 face="sans-serif">I am only trying the test the last one (padb-slurm-open-3.patch).</font>
<br><font size=2 face="sans-serif">I understand you want to handle automaticallly the fact that user do slurm/openmpi combination or not.</font>
<br>
<br><font size=2 face="sans-serif">I am starting with something wrong, i think it needs more handles:</font>
<br><font size=2 face="sans-serif">So the combination is:</font>
<br><font size=2 face="sans-serif">salloc</font>
<br><font size=2 face="sans-serif">srun -n 1 mpirun -bynode -n 8 my_prog</font>
<br><font size=2 face="sans-serif">this combination should be equivalent to</font>
<br><font size=2 face="sans-serif">salloc</font>
<br><font size=2 face="sans-serif">mprun -bynode -n 8 my_prog</font>
<br><font size=2 face="sans-serif">so in all my test I've got this.</font>
<br><font size=2 face="sans-serif">The result is a little confused, let 's have a look:</font>
<br>
<br><font size=2 face="sans-serif">The test:</font>
<br>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ salloc -p jlg -w vb8,vb9,vb10</font>
<br><font size=2 face="sans-serif">salloc: Granted job allocation 27834</font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ </font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ srun -n1 mpirun -bynode -n 8 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">srun: Warning: can't run 1 processes on 3 nodes, setting nnodes to 1</font>
<br><font size=2 face="sans-serif">I am, process 3 starting on vb8, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 6 starting on vb8, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 0 starting on vb8, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 7 starting on vb9, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 4 starting on vb9, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 2 starting on vb10, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 5 starting on vb10, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 1 starting on vb9, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">Me, process 0, send &nbsp;1000 to process 2</font>
<br>
<br>
<br><font size=2 face="sans-serif">Padb Test:</font>
<br>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ padbr345P -O rmgr=slurm -O stack-shows-locals=no &nbsp;-O stack-shows-params=no --verbose -tx 27834</font>
<br><font size=2 face="sans-serif">Loading config from &quot;/etc/padb.conf&quot;</font>
<br><font size=2 face="sans-serif">Loading config from &quot;/home_nfs/thipa/.padbrc&quot;</font>
<br><font size=2 face="sans-serif">Loading config from environment</font>
<br><font size=2 face="sans-serif">Loading config from command line</font>
<br><font size=2 face="sans-serif">Setting 'rmgr' to 'slurm'</font>
<br><font size=2 face="sans-serif">Setting 'stack_shows_locals' to 'no'</font>
<br><font size=2 face="sans-serif">Setting 'stack_shows_params' to 'no'</font>
<br>
<br><font size=2 face="sans-serif">Collecting information for job '27834'</font>
<br>
<br><font size=2 face="sans-serif">Attaching to job 27834</font>
<br><font size=2 face="sans-serif">Job has 1 process(es)</font>
<br><font size=2 face="sans-serif">Job spans 3 host(s)</font>
<br><font size=2 face="sans-serif">Warning, failed to locate ranks [3,6]</font>
<br><font size=2 face="sans-serif">Warning, remote process name differs across ranks</font>
<br><font size=2 face="sans-serif">name : ranks</font>
<br><font size=2 face="sans-serif">mpirun : [0]</font>
<br><font size=2 face="sans-serif">pp_sndrcv_spbl : [1-2,4-5,7]</font>
<br><font size=2 face="sans-serif">Warning, remote process state differs across ranks</font>
<br><font size=2 face="sans-serif">state : ranks</font>
<br><font size=2 face="sans-serif">R (running) : [2]</font>
<br><font size=2 face="sans-serif">S (sleeping) : [0-1,4-5,7]</font>
<br><font size=2 face="sans-serif">Mode 'stack' mode specific options:</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp;gdb_retry_count : '3'</font>
<br><font size=2 face="sans-serif">&nbsp;max_distinct_values : '3'</font>
<br><font size=2 face="sans-serif">&nbsp; stack_shows_locals : '0'</font>
<br><font size=2 face="sans-serif">&nbsp; stack_shows_params : '0'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;stack_strip_above : 'elan_waitWord,elan_pollWord,elan_deviceCheck,opal_condition_wait,opal_progress'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;stack_strip_below : 'main,__libc_start_main,start_thread'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; strip_above_wait : '1'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; strip_below_main : '1'</font>
<br><font size=2 face="sans-serif">-----------------</font>
<br><font size=2 face="sans-serif">[0] (1 processes)</font>
<br><font size=2 face="sans-serif">-----------------</font>
<br><font size=2 face="sans-serif">main() at main.c:13</font>
<br><font size=2 face="sans-serif">&nbsp; orterun() at orterun.c:686</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; opal_event_dispatch() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; opal_event_base_loop() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; poll_dispatch() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; poll() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ??() at ?:?</font>
<br><font size=2 face="sans-serif">-----------------</font>
<br><font size=2 face="sans-serif">[1-2,4-5,7] (5 processes)</font>
<br><font size=2 face="sans-serif">-----------------</font>
<br><font size=2 face="sans-serif">ThreadId: 1</font>
<br><font size=2 face="sans-serif">&nbsp; -----------------</font>
<br><font size=2 face="sans-serif">&nbsp; [1,4-5,7] (4 processes)</font>
<br><font size=2 face="sans-serif">&nbsp; -----------------</font>
<br><font size=2 face="sans-serif">&nbsp; main() at pp_sndrcv_spbl.c:53</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; PMPI_Finalize() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; ompi_mpi_finalize() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; barrier() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; opal_progress() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ThreadId: 2</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; start_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; btl_openib_async_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; poll() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ??() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ThreadId: 3</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; start_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; service_thread_start() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; __GC___select() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ??() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; -----------------</font>
<br><font size=2 face="sans-serif">&nbsp; [2] (1 processes)</font>
<br><font size=2 face="sans-serif">&nbsp; -----------------</font>
<br><font size=2 face="sans-serif">&nbsp; main() at pp_sndrcv_spbl.c:49</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; PMPI_Recv() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; mca_pml_ob1_recv() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; opal_progress() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ThreadId: 2</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; start_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; btl_openib_async_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; poll() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ??() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ThreadId: 3</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; start_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; service_thread_start() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; __GC___select() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ??() at ?:?</font>
<br><font size=2 face="sans-serif">result from parallel command is 0 (state=shutdown)</font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ padbr345P -O rmgr=slurm -O stack-shows-locals=no &nbsp;-O stack-shows-params=no --verbose --proc-summary</font>
<br><font size=2 face="sans-serif">Loading config from &quot;/etc/padb.conf&quot;</font>
<br><font size=2 face="sans-serif">Loading config from &quot;/home_nfs/thipa/.padbrc&quot;</font>
<br><font size=2 face="sans-serif">Loading config from environment</font>
<br><font size=2 face="sans-serif">Loading config from command line</font>
<br><font size=2 face="sans-serif">Setting 'rmgr' to 'slurm'</font>
<br><font size=2 face="sans-serif">Setting 'stack_shows_locals' to 'no'</font>
<br><font size=2 face="sans-serif">Setting 'stack_shows_params' to 'no'</font>
<br><font size=2 face="sans-serif">padbr345P: Error: no jobs specified, use --all or jobids</font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ padbr345P -O rmgr=slurm -O stack-shows-locals=no &nbsp;-O stack-shows-params=no --verbose --proc-summary -a</font>
<br><font size=2 face="sans-serif">Loading config from &quot;/etc/padb.conf&quot;</font>
<br><font size=2 face="sans-serif">Loading config from &quot;/home_nfs/thipa/.padbrc&quot;</font>
<br><font size=2 face="sans-serif">Loading config from environment</font>
<br><font size=2 face="sans-serif">Loading config from command line</font>
<br><font size=2 face="sans-serif">Setting 'rmgr' to 'slurm'</font>
<br><font size=2 face="sans-serif">Setting 'stack_shows_locals' to 'no'</font>
<br><font size=2 face="sans-serif">Setting 'stack_shows_params' to 'no'</font>
<br><font size=2 face="sans-serif">Active jobs (1) are 27834</font>
<br>
<br><font size=2 face="sans-serif">Collecting information for job '27834'</font>
<br>
<br><font size=2 face="sans-serif">Attaching to job 27834</font>
<br><font size=2 face="sans-serif">Job has 1 process(es)</font>
<br><font size=2 face="sans-serif">Job spans 3 host(s)</font>
<br><font size=2 face="sans-serif">Warning, failed to locate ranks [3,6]</font>
<br><font size=2 face="sans-serif">Warning, remote process name differs across ranks</font>
<br><font size=2 face="sans-serif">name : ranks</font>
<br><font size=2 face="sans-serif">mpirun : [0]</font>
<br><font size=2 face="sans-serif">pp_sndrcv_spbl : [1-2,4-5,7]</font>
<br><font size=2 face="sans-serif">Warning, remote process state differs across ranks</font>
<br><font size=2 face="sans-serif">state : ranks</font>
<br><font size=2 face="sans-serif">R (running) : [2]</font>
<br><font size=2 face="sans-serif">S (sleeping) : [0-1,4-5,7]</font>
<br><font size=2 face="sans-serif">Mode 'proc_summary' mode specific options:</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; column_seperator : ' &nbsp;'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp;nprocs_output : undef</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;proc_format : 'rank,hostname,pid,vmsize,vmrss,stat.state=S,load1=uptime,pcpu=%cpu,stat.processor=lcore,name=command'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; proc_show_header : '1'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; proc_shows_fds : '0'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp;proc_shows_maps : '0'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp;proc_shows_proc : '1'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp;proc_shows_stat : '1'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp;proc_sort_key : 'rank'</font>
<br><font size=2 face="sans-serif">&nbsp; reverse_sort_order : '0'</font>
<br><font size=2 face="sans-serif">rank &nbsp;hostname &nbsp;pid &nbsp; &nbsp;vmsize &nbsp; &nbsp; vmrss &nbsp; &nbsp; S &nbsp;uptime &nbsp;%cpu &nbsp;lcore &nbsp;command &nbsp; &nbsp; &nbsp; </font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; vb8 &nbsp;22210 &nbsp; 16320 kB &nbsp;13952 kB &nbsp;S &nbsp; &nbsp;0.00 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;3 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;mpirun</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;1 &nbsp; &nbsp; &nbsp; vb9 &nbsp;14985 &nbsp;112384 kB &nbsp;25600 kB &nbsp;S &nbsp; &nbsp;0.08 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;5 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;2 &nbsp; &nbsp; &nbsp;vb10 &nbsp; 9540 &nbsp;133440 kB &nbsp;47296 kB &nbsp;R &nbsp; &nbsp;1.15 &nbsp; &nbsp;99 &nbsp; &nbsp; &nbsp;1 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;4 &nbsp; &nbsp; &nbsp; vb9 &nbsp;14986 &nbsp;111616 kB &nbsp;25600 kB &nbsp;S &nbsp; &nbsp;0.08 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;5 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;5 &nbsp; &nbsp; &nbsp;vb10 &nbsp; 9544 &nbsp;111616 kB &nbsp;25600 kB &nbsp;S &nbsp; &nbsp;1.15 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;0 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;7 &nbsp; &nbsp; &nbsp; vb9 &nbsp;14987 &nbsp;112640 kB &nbsp;25728 kB &nbsp;S &nbsp; &nbsp;0.08 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;0 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">result from parallel command is 0 (state=shutdown)</font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$</font>
<br>
<br><font size=2 face="sans-serif">All processes alive:</font>
<br>
<br><font size=2 face="sans-serif">ssh vb8</font>
<br><font size=2 face="sans-serif">[thipa@vb8 ~]$ psu</font>
<br><font size=2 face="sans-serif">&nbsp; PID &nbsp;PPID CMD</font>
<br><font size=2 face="sans-serif">22210 22206 /home_nfs/thipa/openMPI/install/bin/mpirun -bynode -n 8 ./pp_sndrcv_</font>
<br><font size=2 face="sans-serif">22213 22210 srun --nodes=2 --ntasks=2 --kill-on-bad-exit --nodelist=vb9,vb10 ort</font>
<br><font size=2 face="sans-serif">22218 22210 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">22219 22210 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">22220 22210 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">22990 22986 sshd: thipa@pts/6</font>
<br><font size=2 face="sans-serif">22991 22990 -bash</font>
<br><font size=2 face="sans-serif">23021 22991 ps -o pid,ppid,cmd -u thipa</font>
<br><font size=2 face="sans-serif">[thipa@vb8 ~]$ ssh vb9</font>
<br><font size=2 face="sans-serif">[thipa@vb9 ~]$ psu</font>
<br><font size=2 face="sans-serif">&nbsp; PID &nbsp;PPID CMD</font>
<br><font size=2 face="sans-serif">14982 14978 /home_nfs/thipa/openMPI/install/bin/orted -mca ess slurm -mca orte_e</font>
<br><font size=2 face="sans-serif">14985 14982 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">14986 14982 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">14987 14982 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">15776 15772 sshd: thipa@pts/6</font>
<br><font size=2 face="sans-serif">15777 15776 -bash</font>
<br><font size=2 face="sans-serif">15807 15777 ps -o pid,ppid,cmd -u thipa</font>
<br><font size=2 face="sans-serif">[thipa@vb9 ~]$ ssh vb10</font>
<br><font size=2 face="sans-serif">[thipa@vb10 ~]$ psu</font>
<br><font size=2 face="sans-serif">&nbsp; PID &nbsp;PPID CMD</font>
<br><font size=2 face="sans-serif">&nbsp;9531 &nbsp;9527 /home_nfs/thipa/openMPI/install/bin/orted -mca ess slurm -mca orte_e</font>
<br><font size=2 face="sans-serif">&nbsp;9534 &nbsp;9531 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp;9535 &nbsp;9531 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">10513 10509 sshd: thipa@pts/4</font>
<br><font size=2 face="sans-serif">10514 10513 -bash</font>
<br><font size=2 face="sans-serif">10544 10514 ps -o pid,ppid,cmd -u thipa</font>
<br><font size=2 face="sans-serif">[thipa@vb10 ~]$ </font>
<br>
<br><font size=2 face="sans-serif">You have mpirun which has rank0, this shouldn't, and you miss 3,6.</font>
<br>
<br>
<br><font size=2 face="sans-serif">Now the other test that works:</font>
<br><font size=2 face="sans-serif">Combination:</font>
<br><font size=2 face="sans-serif">salloc </font>
<br><font size=2 face="sans-serif">mpirun &nbsp;-bynode -n 8 my_prog</font>
<br>
<br><font size=2 face="sans-serif">The test:</font>
<br>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ salloc -p jlg -w vb8,vb9,vb10</font>
<br><font size=2 face="sans-serif">salloc: Granted job allocation 27835</font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ </font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ </font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ </font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ mpirun -bynode -n 8 ./pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">I am, process 1 starting on vb9, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 4 starting on vb9, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 0 starting on vb8, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 6 starting on vb8, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 7 starting on vb9, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 2 starting on vb10, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 5 starting on vb10, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">I am, process 3 starting on vb8, total by srun &nbsp;8</font>
<br><font size=2 face="sans-serif">Me, process 0, send &nbsp;1000 to process 2</font>
<br>
<br><font size=2 face="sans-serif">Padb test:</font>
<br>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ padbr345P -O rmgr=slurm --verbose --proc-summary -a</font>
<br><font size=2 face="sans-serif">Loading config from &quot;/etc/padb.conf&quot;</font>
<br><font size=2 face="sans-serif">Loading config from &quot;/home_nfs/thipa/.padbrc&quot;</font>
<br><font size=2 face="sans-serif">Loading config from environment</font>
<br><font size=2 face="sans-serif">Loading config from command line</font>
<br><font size=2 face="sans-serif">Setting 'rmgr' to 'slurm'</font>
<br><font size=2 face="sans-serif">Active jobs (1) are 27835</font>
<br>
<br><font size=2 face="sans-serif">Collecting information for job '27835'</font>
<br>
<br><font size=2 face="sans-serif">Attaching to job 27835</font>
<br><font size=2 face="sans-serif">Job has 3 process(es)</font>
<br><font size=2 face="sans-serif">Job spans 3 host(s)</font>
<br><font size=2 face="sans-serif">Warning, remote process state differs across ranks</font>
<br><font size=2 face="sans-serif">state : ranks</font>
<br><font size=2 face="sans-serif">R (running) : [2]</font>
<br><font size=2 face="sans-serif">S (sleeping) : [0-1,3-7]</font>
<br><font size=2 face="sans-serif">Mode 'proc_summary' mode specific options:</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; column_seperator : ' &nbsp;'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp;nprocs_output : undef</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;proc_format : 'rank,hostname,pid,vmsize,vmrss,stat.state=S,load1=uptime,pcpu=%cpu,stat.processor=lcore,name=command'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; proc_show_header : '1'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; proc_shows_fds : '0'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp;proc_shows_maps : '0'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp;proc_shows_proc : '1'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp;proc_shows_stat : '1'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp;proc_sort_key : 'rank'</font>
<br><font size=2 face="sans-serif">&nbsp; reverse_sort_order : '0'</font>
<br><font size=2 face="sans-serif">rank &nbsp;hostname &nbsp;pid &nbsp; &nbsp;vmsize &nbsp; &nbsp; vmrss &nbsp; &nbsp; S &nbsp;uptime &nbsp;%cpu &nbsp;lcore &nbsp;command &nbsp; &nbsp; &nbsp; </font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; vb8 &nbsp;23049 &nbsp;133440 kB &nbsp;47104 kB &nbsp;S &nbsp; &nbsp;0.00 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;5 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;1 &nbsp; &nbsp; &nbsp; vb9 &nbsp;15828 &nbsp;112640 kB &nbsp;25408 kB &nbsp;S &nbsp; &nbsp;0.00 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;0 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;2 &nbsp; &nbsp; &nbsp;vb10 &nbsp;10571 &nbsp;134464 kB &nbsp;47168 kB &nbsp;R &nbsp; &nbsp;0.92 &nbsp; 100 &nbsp; &nbsp; &nbsp;0 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;3 &nbsp; &nbsp; &nbsp; vb8 &nbsp;23058 &nbsp;111616 kB &nbsp;25536 kB &nbsp;S &nbsp; &nbsp;0.00 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;2 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;4 &nbsp; &nbsp; &nbsp; vb9 &nbsp;15845 &nbsp;111616 kB &nbsp;25408 kB &nbsp;S &nbsp; &nbsp;0.00 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;0 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;5 &nbsp; &nbsp; &nbsp;vb10 &nbsp;10575 &nbsp;111616 kB &nbsp;25408 kB &nbsp;S &nbsp; &nbsp;0.92 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;1 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;6 &nbsp; &nbsp; &nbsp; vb8 &nbsp;23054 &nbsp;111616 kB &nbsp;25408 kB &nbsp;S &nbsp; &nbsp;0.00 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;0 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;7 &nbsp; &nbsp; &nbsp; vb9 &nbsp;15830 &nbsp;111616 kB &nbsp;25408 kB &nbsp;S &nbsp; &nbsp;0.00 &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;0 &nbsp;pp_sndrcv_spbl</font>
<br><font size=2 face="sans-serif">result from parallel command is 0 (state=shutdown)</font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ </font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ </font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ </font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ </font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ </font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$ padbr345P -O rmgr=slurm -O stack-shows-locals=no &nbsp;-O stack-shows-params=no --verbose -tx 27835</font>
<br><font size=2 face="sans-serif">Loading config from &quot;/etc/padb.conf&quot;</font>
<br><font size=2 face="sans-serif">Loading config from &quot;/home_nfs/thipa/.padbrc&quot;</font>
<br><font size=2 face="sans-serif">Loading config from environment</font>
<br><font size=2 face="sans-serif">Loading config from command line</font>
<br><font size=2 face="sans-serif">Setting 'rmgr' to 'slurm'</font>
<br><font size=2 face="sans-serif">Setting 'stack_shows_locals' to 'no'</font>
<br><font size=2 face="sans-serif">Setting 'stack_shows_params' to 'no'</font>
<br>
<br><font size=2 face="sans-serif">Collecting information for job '27835'</font>
<br>
<br><font size=2 face="sans-serif">Attaching to job 27835</font>
<br><font size=2 face="sans-serif">Job has 3 process(es)</font>
<br><font size=2 face="sans-serif">Job spans 3 host(s)</font>
<br><font size=2 face="sans-serif">Warning, remote process state differs across ranks</font>
<br><font size=2 face="sans-serif">state : ranks</font>
<br><font size=2 face="sans-serif">R (running) : [2]</font>
<br><font size=2 face="sans-serif">S (sleeping) : [0-1,3-7]</font>
<br><font size=2 face="sans-serif">Mode 'stack' mode specific options:</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp;gdb_retry_count : '3'</font>
<br><font size=2 face="sans-serif">&nbsp;max_distinct_values : '3'</font>
<br><font size=2 face="sans-serif">&nbsp; stack_shows_locals : '0'</font>
<br><font size=2 face="sans-serif">&nbsp; stack_shows_params : '0'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;stack_strip_above : 'elan_waitWord,elan_pollWord,elan_deviceCheck,opal_condition_wait,opal_progress'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp;stack_strip_below : 'main,__libc_start_main,start_thread'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; strip_above_wait : '1'</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; strip_below_main : '1'</font>
<br><font size=2 face="sans-serif">-----------------</font>
<br><font size=2 face="sans-serif">[0-7] (8 processes)</font>
<br><font size=2 face="sans-serif">-----------------</font>
<br><font size=2 face="sans-serif">ThreadId: 1</font>
<br><font size=2 face="sans-serif">&nbsp; -----------------</font>
<br><font size=2 face="sans-serif">&nbsp; [0-1,3-7] (7 processes)</font>
<br><font size=2 face="sans-serif">&nbsp; -----------------</font>
<br><font size=2 face="sans-serif">&nbsp; main() at pp_sndrcv_spbl.c:53</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; PMPI_Finalize() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; ompi_mpi_finalize() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; barrier() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; opal_progress() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ThreadId: 2</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; start_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; btl_openib_async_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; poll() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ??() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ThreadId: 3</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; start_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; service_thread_start() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; __GC___select() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ??() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; -----------------</font>
<br><font size=2 face="sans-serif">&nbsp; [2] (1 processes)</font>
<br><font size=2 face="sans-serif">&nbsp; -----------------</font>
<br><font size=2 face="sans-serif">&nbsp; main() at pp_sndrcv_spbl.c:49</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; PMPI_Recv() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; mca_pml_ob1_recv() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; ThreadId: 2</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; start_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; btl_openib_async_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; poll() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ??() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ThreadId: 3</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; start_thread() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; service_thread_start() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; __GC___select() at ?:?</font>
<br><font size=2 face="sans-serif">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ??() at ?:?</font>
<br><font size=2 face="sans-serif">result from parallel command is 0 (state=shutdown)</font>
<br><font size=2 face="sans-serif">[thipa@vb0 openmpi]$</font>
<br>
<br>
<br><font size=2 face="sans-serif">Thipadin.</font>
<br>
<br>