
    Piu                     ^    d dl mZmZ ddlmZmZmZ ddlmZ ddl	m
Z
  G d de
          Zd	S )
    )CallableOptional   )Features
NamedSplitSplit)	Generator   )AbstractDatasetInputStreamc                        e Zd Zddddddej        dfdedee         dede	de	dee
         d	ee         d
edee         f fdZd Z xZS )GeneratorDatasetInputStreamNF	generatorfeatures	cache_dirkeep_in_memory	streaming
gen_kwargsnum_procsplitfingerprintc
           
           t                      j        d|||||d|
 t          d||||||	rd|	z   nd d|
| _        |	| _        d S )N)r   r   r   r   r   zdefault-fingerprint=)r   r   r   r   r   	config_id )super__init__r	   builderr   )selfr   r   r   r   r   r   r   r   r   kwargs	__class__s              i/home/jaya/work/projects/VOICE-AGENT/VIET/agent-env/lib/python3.11/site-packages/datasets/io/generator.pyr   z$GeneratorDatasetInputStream.__init__	   s     	 	
)	
 	
 	
 	
 	
 ! 
!>IS,{::t
 
 
 
 '    c                 J   | j         r+| j                            | j        j        j                  }npd }d }d }d }| j                            ||||| j                   | j                            | j        j        j        || j                  }| j	        r| j	        |_
        |S )N)r   )download_configdownload_modeverification_mode	base_pathr   )r   r%   	in_memory)r   r   as_streaming_datasetconfigr   download_and_preparer   
as_datasetr   r   _fingerprint)r   datasetr#   r$   r%   r&   s         r    readz GeneratorDatasetInputStream.read)   s    > 	8l77dl>Q>W7XXGG #O M $IL-- /+"3# .    l--l)/CT`d`s .  G  8'+'7$r!   )__name__
__module____qualname__r   TRAINr   r   r   strbooldictintr   r   r.   __classcell__)r   s   @r    r   r      s         (,$%)"&!K%)' '' 8$' 	'
 ' ' TN' 3-' ' c]' ' ' ' ' '@      r!   r   N)typingr   r    r   r   r   $packaged_modules.generator.generatorr	   abcr   r   r   r!   r    <module>r<      s    % % % % % % % % * * * * * * * * * * < < < < < < + + + + + +8 8 8 8 8"< 8 8 8 8 8r!   