Re: [Starpu-devel] Question sur les data partition

[Mathieu Faverge <mathieu.faverge@inria.fr>]

Salut,

Je bug un peu sur mon souci avec les data partitonning dans StarPU. En 
activant --enable-mpi-verbose et en montant un le niveau de debug. Je 
m'apercois que je reçois plusieurs données avec le même tag, mais pas le 
même pointeur de données, donc ca me parait un peu louche.

    [0][starpu_mpi][_starpu_mpi_irecv_data_func:562] post MPI irecv 
request 0x55556263d910 type RECV_REQ tag 16893474 src 1 data 
0x55555ff4b820 ptr 0x55556263e460 datatype 'User defined datatype' count 
1 registered_datatype 1
    [0][starpu_mpi][_starpu_mpi_irecv_data_func:562] post MPI irecv 
request 0x55556266df00 type RECV_REQ tag 16893474 src 1 data 
0x55555ff4c4d0 ptr 0x55556266e9a0 datatype 'User defined datatype' count 
1 registered_datatype 1
    [0][starpu_mpi][_starpu_mpi_irecv_data_func:562] post MPI irecv 
request 0x555560b68f80 type RECV_REQ tag 16893474 src 1 data 
0x55555ff4d180 ptr 0x5555626a82d0 datatype 'User defined datatype' count 
1 registered_datatype 1
    [0][starpu_mpi][_starpu_mpi_irecv_data_func:562] post MPI irecv 
request 0x555560dd8af0 type RECV_REQ tag 16893474 src 1 data 
0x55555ff4de30 ptr 0x5555626e14c0 datatype 'User defined datatype' count 
1 registered_datatype 1

Donc j'ai cherché les handler de données dans mes données et ils 
correspondent bien à des sous blocs obtenus par une partition:

(gdb) pastix-starpu-find-handler sdesc->solvmtx 0x55555ff4b820
        Block:  <52505>
$3 = {handler = {0x55555ff4b820, 0x0}, lcblknm = 5608, fcblknm = 5615,
  frownum = 99168, lrownum = 99318, coefind = 104328, browind = 45761,
  gpuid = -2 '\376', inlast = 0 '\000', LRblock = 0x0}
(gdb) pastix-starpu-find-handler sdesc->solvmtx 0x55555ff4c4d0
        Block:  <52506>
$4 = {handler = {0x55555ff4c4d0, 0x0}, lcblknm = 5608, fcblknm = 5616,
  frownum = 99319, lrownum = 99500, coefind = 128639, browind = 46036,
  gpuid = -2 '\376', inlast = 0 '\000', LRblock = 0x0}
(gdb) pastix-starpu-find-handler sdesc->solvmtx 0x55555ff4d180
        Block:  <52507>
$5 = {handler = {0x55555ff4d180, 0x0}, lcblknm = 5608, fcblknm = 5617,
  frownum = 99501, lrownum = 99680, coefind = 157941, browind = 46349,
  gpuid = -2 '\376', inlast = 0 '\000', LRblock = 0x0}
(gdb) pastix-starpu-find-handler sdesc->solvmtx 0x55555ff4de30
        Block:  <52508>
$6 = {handler = {0x55555ff4de30, 0x0}, lcblknm = 5608, fcblknm = 5618,
  frownum = 99681, lrownum = 99839, coefind = 186921, browind = 46702,
  gpuid = -2 '\376', inlast = 0 '\000', LRblock = 0x0}

Donc tous ces blocs semblent avoir le tag 16893474 (0x101c622), mais je 
les ai bien enregistré avec des tages différents:

Register block  52505 [  5608] with tag 101c61a (Lower)
Register block  52506 [  5608] with tag 101c61c (Lower)
Register block  52507 [  5608] with tag 101c61e (Lower)
Register block  52508 [  5608] with tag 101c620 (Lower)
Register block  52509 [  5608] with tag 101c622 (Lower)

Donc ils ont tous le tag du dernier bloc de la partition. Une idée ?

Pour info, c'est pareil côté émetteur, et du coup je vois bien côté 
émetteur que le bloc 52509 a aussi le même tag au niveau de StarPU.

Mathieu



Le 24/02/2019 à 00:04, Samuel Thibault a écrit :
> Samuel Thibault, le dim. 24 févr. 2019 00:03:25 +0100, a ecrit:
> > > il semblerait que tous les élments de la partitions soient envoyé
> > > avec le même tag, mais ils n'ont pas du tout la même taille.
> > Il faudrait rappeler starpu_mpi_data_register_comm sur les sous-données
> > pour leur donner un tag distinct, oui.
> (et il faudrait écrire un petit test à intégrer dans StarPU pour
> s'assurer que ça fonctionne :) )
>
> Samuel


--
--
Mathieu Faverge
Maitre de conférence / Associate Professor
Institut Polytechnique de Bordeaux - ENSEIRB-Matmeca
INRIA Bordeaux - Sud-Ouest, HiePACS Team
200 avenue de la vielle tour
33405 Talence Cedex
Phone: (+33) 5 24 57 40 73