AI教程网 - 未来以来,拥抱AI;新手入门,从AI教程网开始......

机器学习:TensorFlow 2.0中的10个技巧

AI前沿 AI君 5℃

即将开播:5月20日,基于kubernetes打造企业级私有云实践

在本文中,我们将探索TensorFlow 2.0的10个特性。

1(a). 用于构建输入管道的tf.data API

从张量构建管道:

  1. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
  2. >>> iter(dataset).next().numpy() 

Batch和Shuffle:

  1. # Shuffle 
  2. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6) 
  3. >>> iter(dataset).next().numpy() 
  4. # Batch 
  5. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).batch(2) 
  6. >>> iter(dataset).next().numpy() 
  7. array([8, 3], dtype=int32
  8. # Shuffle and Batch 
  9. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6).batch(2) 
  10. >>> iter(dataset).next().numpy() 
  11. array([3, 0], dtype=int32

压缩两个Datsets:

  1. >>> dataset0 = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]) 
  2. >>> dataset1 = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6]) 
  3. >>> dataset = tf.data.Dataset.zip((dataset0, dataset1)) 
  4. >>> iter(dataset).next() 
  5. (<tf.Tensor: shape=(), dtype=int32numpy=8><tf.Tensor: shape=(), dtype=int32numpy=1>

映射外部函数:

  1. def into_2(num): 
  2.      return num * 2 
  3. >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).map(into_2) 
  4. >>> iter(dataset).next().numpy() 
  5. 16 

1(b). ImageDataGenerator

这是tensorflow.keras API的最佳特性之一。ImageDataGenerator可以在batching和预处理中实时生成数据集切片和数据增强。

生成器允许直接从目录或dataframes中访问数据流。

关于ImageDataGenerator中的数据增强的一个误解是,它会将更多数据添加到现有数据集中。虽然这是数据增强的实际定义,但在ImageDataGenerator中,数据集中的图像在训练中按不同的步骤动态转换,以便模型可以在它没有看到有噪声的数据上进行训练。

  1. train_datagen = ImageDataGenerator
  2.         rescale=1./255, 
  3.         shear_range=0.2, 
  4.         zoom_range=0.2, 
  5.         horizontal_flip=True 

在这里,对所有样本进行重缩放(用于归一化),而其他参数则用于增强。

  1. train_generator = train_datagen.flow_from_directory( 
  2.         'data/train', 
  3.         target_size=(150, 150), 
  4.         batch_size=32
  5.         class_mode='binary' 

我们为实时数据流指定目录。这也可以使用dataframes来完成。

  1. train_generator = flow_from_dataframe
  2.     dataframe, 
  3.     x_col='filename'
  4.     y_col='class'
  5.     class_mode='categorical'
  6.     batch_size=32 

x_col参数定义了图像的完整路径,y_col参数定义了用于分类的label列。

尽管需要指定steps_per_epoch参数,它实际上是number_of_samples // batch_size。

  1. model.fit( 
  2.     train_generator, 
  3.     validation_data=val_generator
  4.     epochs=EPOCHS
  5.     steps_per_epoch=(num_samples // batch_size), 
  6.     validation_steps=(num_val_samples // batch_size) 

2. 使用tf.image进行数据增强

在数据不足的情况下,对数据进行更改并将其作为单独的数据点,是在较少数据的情况下进行训练的非常有效的方法。

tf.image API具有用于转换图像的工具,请看以下Python示例:

  1. flipped = tf.image.flip_left_right(image) 
  2. visualise(image, flipped) 

  1. saturated = tf.image.adjust_saturation(image, 5) 
  2. visualise(image, saturated) 

机器学习:TensorFlow 2.0中的10个技巧

  1. rotated = tf.image.rot90(image) 
  2. visualise(image, rotated) 

机器学习:TensorFlow 2.0中的10个技巧

  1. cropped = tf.image.central_crop(image, central_fraction=0.5) 
  2. visualise(image, cropped) 

机器学习:TensorFlow 2.0中的10个技巧

3. TensorFlow数据集

  1. pip install tensorflow-datasets 

这是一个非常有用的库,因为它包含了tensorflow收集的知名数据集。

  1. import tensorflow_datasets as tfds 
  2. mnist_data = tfds.load("mnist") 
  3. mnist_train, mnist_test = mnist_data["train"], mnist_data["test"] 
  4. assert isinstance(mnist_train, tf.data.Dataset) 

在tensorflow-datasets中可用的数据集的详细列表可以在文档的Datasets页面上找到。

音频、图像、图像分类、对象检测、结构化、摘要、文本、翻译、视频都是tfds提供的类型。

4. 使用预训练的模型进行迁移学习

迁移学习是机器学习领域的一种新潮流,TensorFlow提供了经过基准测试的预训练模型,可以很容易地针对所需的用例进行扩展。

  1. base_model = tf.keras.applications.MobileNetV2( 
  2.     input_shape=IMG_SHAPE
  3.     include_top=False
  4.     weights='imagenet' 

可以使用附加层或不同的模型轻松扩展这个base_model。如:

  1. model = tf.keras.Sequential([ 
  2.     base_model, 
  3.     global_average_layer, 
  4.     prediction_layer 
  5. ]) 

有关tf.keras.applications下其他模型或模块的详细列表,请参阅docs页面。

5. Estimators

Estimator是TensorFlow完整模型的高级表示,其设计目的是易于缩放和异步训练。

内置的estimators提供了非常高级的模型抽象,因此您可以直接专注于训练模型,而不必担心其复杂性。例如:

  1. linear_est = tf.estimator.LinearClassifier( 
  2.     feature_columnsfeature_columns=feature_columns 
  3. linear_est.train(train_input_fn) 
  4. result = linear_est.evaluate(eval_input_fn) 

TensorFlow有许多内置的estimators,包括LinearRegressor,BoostedTreesClassifier等。Estimators也可以自定义。

6. 自定义层

神经网络是已知的多层网络,其中的层可以是不同的类型。TensorFlow包含许多预定义层(例如Dense,LSTM等)。但是对于更复杂的架构,层的逻辑可能会复杂得多。TensorFlow允许构建自定义层,这可以通过对tf.keras.layers.Layer类进行子类化来完成。

  1. class CustomDense(tf.keras.layers.Layer): 
  2.     def __init__(self, num_outputs): 
  3.         super(CustomDense, self).__init__() 
  4.         self.num_outputs = num_outputs 
  5.  
  6.     def build(self, input_shape): 
  7.         selfself.kernel = self.add_weight( 
  8.             "kernel", 
  9.             shape=[int(input_shape[-1]), 
  10.             self.num_outputs] 
  11.         ) 
  12.  
  13.     def call(self, input): 
  14.         return tf.matmul(input, self.kernel) 

实现自定义层的最佳方法是扩展tf.keras.Layer类:

  • __init__,可以进行所有与输入无关的初始化。
  • build,您可以了解输入张量的形状,并可以进行其余的初始化。
  • call,进行forward计算。

尽管可以在__init__中完成核初始化,但最好在build中进行初始化,否则,您将必须在新层创建的每个实例上显式指定input_shape。

7. 定制训练

tf.keras序列和模型API使训练模型更容易。但是,大多数时候在训练复杂模型时会使用自定义损失函数。此外,模型训练也可以不同于缺省值(例如,将梯度分别应用于不同的模型组件)。

TensorFlow的自动微分有助于高效地计算梯度。Python示例如下:

  1. def train(model, inputs, outputs, learning_rate): 
  2.     with tf.GradientTape() as t: 
  3.         # Computing Losses from Model Prediction 
  4.         current_loss = loss(outputs, model(inputs)) 
  5.     # Gradients for Trainable Variables with Obtained Losses 
  6.     dW, db = t.gradient(current_loss, [model.W, model.b]) 
  7.     # Applying Gradients to Weights 
  8.     model.W.assign_sub(learning_rate * dW) 
  9.     model.b.assign_sub(learning_rate * db) 

可以针对多个epochs重复此循环,并且可以根据用例使用其他自定义的设置。

8. 检查点

保存TensorFlow模型可以有两种类型:

  • SavedModel:保存模型的完整状态以及所有参数。
  1. model.save_weights('checkpoint') 
  • 检查点(Checkpoints)
  • 检查点捕获机器学习模型使用的所有参数的精确值。使用Sequential API或Model API构建的机器学习模型可以简单地以SavedModel格式进行保存。

    但是,对于自定义模型,需要设置检查点。

    检查点不包含模型定义的计算的任何描述,因此通常只有在源代码可用时才有用。

    保存检查点:

    1. checkpoint_path = “save_path” 
    2. # Defining a Checkpoint 
    3. ckpt = tf.train.Checkpoint(modelmodel=model, optimizeroptimizer=optimizer) 
    4. # Creating a CheckpointManager Object 
    5. ckpt_manager = tf.train.CheckpointManager(ckpt, checkpoint_path, max_to_keep=5
    6. # Saving a Model 
    7. ckpt_manager.save() 

    加载检查点:

    TensorFlow通过遍历具有命名边的有向图(从加载的对象开始),将变量匹配到检查点值。

    1. if ckpt_manager.latest_checkpoint: 
    2.     ckpt.restore(ckpt_manager.latest_checkpoint) 

    9. Keras Tuner

    这是TensorFlow中的一个相当新的功能。

    1. !pip install keras-tuner 

    超参数调优是挑选参数的过程,这些参数定义了机器学习模型的配置,这些是特征工程和机器学习模型性能的决定因素。

    1. # model_builder is a function that builds a model and returns it 
    2. tuner = kt.Hyperband( 
    3.     model_builder, 
    4.     objective='val_accuracy',  
    5.     max_epochs=10
    6.     factor=3
    7.     directory='my_dir'
    8.     project_name='intro_to_kt' 

    除了HyperBand, BayesianOptimization和RandomSearch也可用于调优。

    1. tuner.search( 
    2.     img_train, label_train,  
    3.     epochs = 10,  
    4.     validation_data=(img_test,label_test),  
    5.     callbacks=[ClearTrainingOutput()] 
    6.  
    7. # Get the optimal hyperparameters 
    8. best_hps = tuner.get_best_hyperparameters(num_trials=1)[0] 

    然后,利用最优超参数对模型进行训练:

    1. model = tuner.hypermodel.build(best_hps) 
    2. model.fit( 
    3.     img_train,  
    4.     label_train,  
    5.     epochs=10,  
    6.     validation_data=(img_test, label_test) 

    10. 分布式训练

    如果你有多个GPU,并希望通过将训练分散在多个GPU上来优化训练,TensorFlow的各种分布式训练策略能够优化GPU的使用,并为你在GPU上进行训练。

    tf.distribute.MirroredStrategy是最常用的策略。它是如何工作的呢?

    • 所有变量和模型图都复制到副本上。
    • 输入均匀地分布在各个副本上。
    • 每个副本都为其接收的输入计算损失和梯度。
    • 梯度是通过对所有副本求和来同步的。
    • 同步之后,对每个副本上的变量副本进行相同的更新。
    1. strategy = tf.distribute.MirroredStrategy() 
    2. with strategy.scope(): 
    3.     model = tf.keras.Sequential([ 
    4.         tf.keras.layers.Conv2D( 
    5.             32, 3, activation='relu',  input_shape=(28, 28, 1) 
    6.         ), 
    7.         tf.keras.layers.MaxPooling2D(), 
    8.         tf.keras.layers.Flatten(), 
    9.         tf.keras.layers.Dense(64, activation='relu'), 
    10.         tf.keras.layers.Dense(10) 
    11.     ]) 
    12.  
    13.     model.compile( 
    14.         loss="sparse_categorical_crossentropy"
    15.         optimizer="adam"
    16.         metrics=['accuracy'] 
    17.     ) 

    最后

    TensorFlow足以构建机器学习管道的几乎所有组件。本教程的主要内容是介绍TensorFlow提供的各种api,以及如何使用这些API的快速指南。

    【责任编辑:赵宁宁 TEL:(010)68476606】

    点赞 0

    AIX人工智能社区

    AIX人工智能社区是专注于人工智能领域的互联网社区,集结国内外专家及资深编辑为中国的从业者及爱好者提供AI前沿资讯,深度解读,基础课程 ,及定期的技术分享。打破用户与专家沟通的壁垒,促进人工智能技术在中国的快速发展。

    作者:不靠谱的猫_今日头条
    原文链接:https://www.toutiao.com/i6828167519837094414/

    转载请注明:www.ainoob.cn » 机器学习:TensorFlow 2.0中的10个技巧

    喜欢 (0)or分享 (0)