Tensorflow on Xiangtao's log

TensorFlow基础API

15989119660@163.com (Xiangtao XIAO) — Thu, 21 May 2020 00:00:00 +0000

看网课视频老师讲的一些，实际上官方文档有非常详细的介绍

import numpy as np
import tensorflow as tf

# tf基础api：常量
t = tf.constant([[1., 2., 3.], [4., 5., 6.]])
# index索引操作
print(t)
print(t[:, 1:])
print(t[..., 1])
#%%
# ops算数操作
print(t+10)
print(tf.square(t))
print(t @ tf.transpose(t)) # 乘转置
#%%
# numpy conversion
print(t.numpy())
print(np.square(t))
np_t = np.array([[1., 2., 3.], [4., 5., 6.]])
print(tf.constant(np_t))
#%%
# Scalars tensor可以使0维、1维...
t = tf.constant(2.718)
print(t.numpy())
print(t.shape)
#%%
# strings
t = tf.constant('cafe')
print(t)
print(tf.strings.length(t))
print(tf.strings.length(t, unit='UTF8_CHAR'))
print(tf.strings.unicode_decode(t, 'UTF8'))
#%%
# string array
t = tf.constant(['cafe', 'coffee', '咖啡'])
print(tf.strings.length(t, unit='UTF8_CHAR'))
r = tf.strings.unicode_decode(t, 'UTF8')
print(r)
#%%
# ragged tensor
r = tf.ragged.constant([[11, 12], [21, 22, 23], [], [41]])
# index op
print(r)
print(r[1])
print(r[1:2])
#%%
# ops on ragged tensor
r2 = tf.ragged.constant([[51, 52], [], [71]])
print(tf.concat([r, r2], axis=0))
r3 = tf.ragged.constant([[13, 14], [15], [], [41, 42, 43]])
print(tf.concat([r, r3], axis=1))
# ragged tensor 变成 普通tensor 空位用0补齐，注意0永远在正常值的后面
print(r.to_tensor())
#%%
# sparse tensor 0可以在正常值前面
s = tf.SparseTensor(indices=[[0, 1], [1, 0], [2, 3]],
 values=[1., 2., 3.],
 dense_shape=[3, 4])
print(s)
print(tf.sparse.to_dense(s)) # 稀疏矩阵转密集矩阵，这样的稀疏矩阵不能用ragged tensor来表示
#%%
# ops on sparse tensors
s2 = s * 2.0
print(s2)

try:
 s3 = s + 1
except TypeError as ex:
 print(ex)

s4 = tf.constant([[10., 20.],
 [30., 40.],
 [50., 60.],
 [70., 80.]])
print(tf.sparse.sparse_dense_matmul(s, s4))
#%%
s5 = tf.SparseTensor(indices=[[0, 2], [0, 1], [2, 3]], # 没有排好序的稀疏矩阵无法被转换为密集矩阵
 values=[1., 2., 3.],
 dense_shape=[3, 4])
print(s5)
s6 = tf.sparse.reorder(s5) # 对s5进行排序
print(tf.sparse.to_dense(s6))

#%%
# Variable 变量
v = tf.Variable([[1., 2., 3.], [4., 5., 6.]])
print(v)
print(v.value())
print(v.numpy())
#%%
# assign value 变量重新赋值
v.assign(2*v)
print(v.numpy())
v[0, 1].assign(42)
print(v.numpy())
v[1].assign([7., 8., 9.])
print(v.numpy())
#%%
# 不能用=号，只能用assign()重新赋值
try:
 v[1] = [7., 8., 9.]
except TypeError as ex:
 print(ex)
# 'ResourceVariable' object does not support item assignment

卷积神经网络(CNN)理论与实现

15989119660@163.com (Xiangtao XIAO) — Thu, 21 May 2020 00:00:00 +0000

一、理论

卷积神经网络结构：（卷积层+（可选）池化层）*N+全连接层*M（M>=0），卷积层的输入输出是矩阵，全连接层输入输出是向量，在卷积层的最后一层做一个展平。

主要用于分类任务

全卷积神经网络：（卷积层+（可选）池化层）*N+反卷积层*K，可以做物体分割类任务

卷积操作

解决参数过多导致的计算资源不足，容易过拟合的问题。解决方法：局部连接（基于图像的区域性）、参数共享（基于图像特征与位置无关）

卷积核是反向传播计算出的参数，卷积：卷积核与输入做点积乘法。步长：卷积核每次在输入上滑动的距离。padding：使输出size不变。

池化操作

类似卷积，计算方式不同，最大值池化：池化核滑动覆盖区域的最大值作为结果输出。

特点：常使用不重叠（kernal-size=步长）、不补零的操作。参数即为步长和池化核大小。用于减少图像尺寸，从而减少计算量。一定程度平移鲁棒。损失了空间精度。

二、实现

embedding_dim = 16
batch_size = 128
cnn_model = keras.models.Sequential([
    keras.layers.Embedding(vocab_size,
 embedding_dim,
                input_length=max_length),
    keras.layers.Conv1D(filters=256,kernel_size=2,kernel_initializer='he_normal',
              strides=1,padding='SAME',activation='relu'),
    keras.layers.GlobalMaxPooling1D(),
    keras.layers.Dropout(rate=0.5),
    keras.layers.Dense(12, activation='sigmoid')
])
cnn_model.summary()
cnn_model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

Conv1D

在文本中，卷积的某一维大小往往为embedding长度，即在宽度上不需要窗口移动，宽度就是整个窗口，所以conv1d默认卷积的宽度就为embedding维度，长度通过kernel_size来指定的，此处为2，即卷积核的大小为2*embedding_size。strides为步长，此处为1，即卷积核每隔一个单词移动一次。filters是卷积核的个数，即输出的维度。padding有valid和same两种选择，valid在长度方向（宽度方向不padding）不进行padding，而same则在长度方向进行padding，保证输入句子长度和卷积后输出的句子长度一致。

//blog.csdn.net/bobobe/article/details/87923618

tensorflow fit()方法：参考

//blog.csdn.net/crazyman2010/article/details/103705318

TextCNN

//blog.csdn.net/u014732537/article/details/79573174

MNIST手写数字识别实践

15989119660@163.com (Xiangtao XIAO) — Wed, 20 May 2020 00:00:00 +0000

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf

mnist = tf.keras.datasets.mnist

(x_train, y_train), (x_test, y_test) = mnist.load_data()
# 加载数据

x_train, x_test = x_train / 255.0, x_test / 255.0
# /255：将RGB数值归一化

#%%

print(y_train.shape)

#%%
model = tf.keras.models.Sequential([
 tf.keras.layers.Flatten(input_shape=(28, 28)), # 张量扁平化，将28*28的图片矩阵转化为784的向量
 tf.keras.layers.Dense(128, activation='relu'), # 全连接层，128个神经元，激活函数为relu（The Rectified Linear Unit）
 # y=max(0,x)
 tf.keras.layers.Dropout(0.2), # 防止过拟合，drop out 80% of inputs，使用0.2*cell_size个神经元进行训练
 tf.keras.layers.Dense(10, activation='softmax') # 全连接层输出 softmax激活函数
])

model.compile(optimizer='adam', # 梯度下降策略 adam
 loss='sparse_categorical_crossentropy', # 损失函数 sparse:y独热化编码 交叉熵
 metrics=['accuracy'])

# metrics 列表，包含评估模型在训练和测试时的性能的指标，典型用法是metrics=[‘accuracy’]。
# 如果要在多输出模型中为不同的输出指定不同的指标，可向该参数传递一个字典，例如metrics={‘output_a’: ‘accuracy’}

model.fit(x_train, y_train, epochs=5) # 训练5轮

model.evaluate(x_test, y_test, verbose=1)
# Verbosity mode. 0 = silent, 1 = progress bar.
# fit()用于使用给定输入训练模型.
# evaluate()用于评估已经训练过的模型.返回损失值&模型的度量值.

TensorFlow2.0安装

15989119660@163.com (Xiangtao XIAO) — Tue, 19 May 2020 00:00:00 +0000

清华镜像源安装

pip install tensorflow-gpu==1.12.0 -i //pypi.tuna.tsinghua.edu.cn/simple #可改成任意版本

CPU版本安装

pip install tensorflow -i //pypi.tuna.tsinghua.edu.cn/simple

Pycharm环境配置

（一）导入TensorFlow模块测试

import tensorflow as tf
hello = tf.constant()
sess = tf.Session()
sess.run(hello)

结果如下：ModuleNotFoundError: No module named ’tensorflow'

（二）加入运行路径

设置项目的编译器为python安装位置的python.exe，勾选导入所有的模块，显示如上图所示。再次运行出现同样的错误，查了一些资料应该是电脑的CPU太老了，我下载的tensorflow2.1.0版本不支持。

（三）安装2.0.0版本并测试

运行代码： pip unintall tensorflow
重新运行安装代码：pip install tensorflow==2.0.0 -i //pypi.tuna.tsinghua.edu.cn/simple

再次测试成功！

由于笔记本没有英伟达显卡，配置较低，只安装了CPU版本，后续使用有较好配置的电脑尝试安装GPU版本。确实CPU版本速度比较慢。