
    fPiB                     >    d dl Z d dlmZ d Zd Zd Zd Zd Zd Z	dS )    Nc                  n   dt           j        v rwt          t           j        d                    t          t           j        d                   } t          t           j        d                   }t          j        dd||            d S dt           j        v rt          t           j                            dd                     t          t           j                            d	d                    } t          t           j                            d
d                    }t          j        dd||            d S d S )N
LOCAL_RANKRANK
WORLD_SIZEncclztcp://127.0.0.1:7645)init_method
world_sizerankOMPI_COMM_WORLD_LOCAL_RANK0OMPI_COMM_WORLD_RANKOMPI_COMM_WORLD_SIZE1ztcp://127.0.0.1:7647)osenvironintdistinit_process_groupget)r
   r	   s     /home/jaya/work/projects/VOICE-AGENT/VIET/agent-env/lib/python3.11/site-packages/onnxruntime/transformers/models/llama/dist_settings.py	init_distr      s   rz!!BJ|$%%%2:f%&&L122
4JWahlmmmmmm	%	3	3BJNN7==>>>2:>>"8#>>??(>DDEE
4JWahlmmmmmm 	    c                  D    	 ddl m}  | j        }|S # t          $ r Y d S w xY w)Nr   )MPI)mpi4pyr   
COMM_WORLDImportError)r   comms     r   	_get_commr      sG    ~   tts    
c                  N    t                      } | |                                 ndS Nr   )r   Get_rankr   s    r   get_rankr$   '   "    ;;D".4==???A5r   c                  N    t                      } | |                                 ndS )N   )r   Get_sizer#   s    r   get_sizer)   ,   r%   r   c                  R    t                      } | |                                  d S d S )N)r   Barrierr#   s    r   barrierr,   1   s*    ;;D r   c                  @    t                      dk    rt          |   d S d S r!   )r$   print)argss    r   	print_outr0   7   s#    zzQt r   )
r   torch.distributeddistributedr   r   r   r$   r)   r,   r0    r   r   <module>r4      s    
			              $  6 6 6
6 6 6
      r   