libcity.data.utils¶
-
libcity.data.utils.generate_dataloader(train_data, eval_data, test_data, feature_name, batch_size, num_workers, shuffle=True, pad_with_last_sample=False)[source]¶ create dataloader(train/test/eval)
- Parameters
train_data (list of input) – 训练数据，data 中每个元素是模型单次的输入，input 是一个 list，里面存放单次输入和 target
eval_data (list of input) – 验证数据，data 中每个元素是模型单次的输入，input 是一个 list，里面存放单次输入和 target
test_data (list of input) – 测试数据，data 中每个元素是模型单次的输入，input 是一个 list，里面存放单次输入和 target
feature_name (dict) – 描述上面 input 每个元素对应的特征名, 应保证len(feature_name) = len(input)
batch_size (int) – batch_size
num_workers (int) – num_workers
shuffle (bool) – shuffle
pad_with_last_sample (bool) – 对于若最后一个 batch 不满足 batch_size的情况，是否进行补齐（使用最后一个元素反复填充补齐）。
- Returns
- tuple contains:
train_dataloader: Dataloader composed of Batch (class)
eval_dataloader: Dataloader composed of Batch (class)
test_dataloader: Dataloader composed of Batch (class)
- Return type
tuple
-
libcity.data.utils.generate_dataloader_pad(train_data, eval_data, test_data, feature_name, batch_size, num_workers, pad_item=None, pad_max_len=None, shuffle=True)[source]¶ create dataloader(train/test/eval)
- Parameters
train_data (list of input) – 训练数据，data 中每个元素是模型单次的输入，input 是一个 list，里面存放单次输入和 target
eval_data (list of input) – 验证数据，data 中每个元素是模型单次的输入，input 是一个 list，里面存放单次输入和 target
test_data (list of input) – 测试数据，data 中每个元素是模型单次的输入，input 是一个 list，里面存放单次输入和 target
feature_name (dict) – 描述上面 input 每个元素对应的特征名, 应保证len(feature_name) = len(input)
batch_size (int) – batch_size
num_workers (int) – num_workers
pad_item (dict) – 用于将不定长的特征补齐到一样的长度，每个特征名作为 key，若某特征名不在该 dict 内则不进行补齐。
pad_max_len (dict) – 用于截取不定长的特征，对于过长的特征进行剪切
shuffle (bool) – shuffle
- Returns
- tuple contains:
train_dataloader: Dataloader composed of Batch (class)
eval_dataloader: Dataloader composed of Batch (class)
test_dataloader: Dataloader composed of Batch (class)
- Return type
tuple
-
libcity.data.utils.get_dataset(config)[source]¶ according the config[‘dataset_class’] to create the dataset
- Parameters
config (ConfigParser) – config
- Returns
the loaded dataset
- Return type