跳到主要内容

awk命令学习笔记

· 阅读需 2 分钟

执行流程​

awk命令基本结构：

awk 'BEGIN{ commands } pattern { commands } END{ commands }' file

【选项】

-F：输入域分隔符

-v：自定义变量

-f：调用awk脚本

MNIST数据集解析

· 阅读需 4 分钟

从MNIST数据集官网可以下载MNIST数据集。

MNIST数据集以.gz格式压缩，Python可以直接读取而不需要解压缩：

import gzip

with gzip.open('t10k-images-idx3-ubyte.gz') as f:
    buf = f.read()

MNIST数据集使用二进制文件，而不是常规的图片文件格式。以t10k-images-idx3-ubyte为例，在官网有其结构说明：

[offset] [type]          [value]          [description]
0000     32 bit integer  0x00000803(2051) magic number
0004     32 bit integer  10000            number of images
0008     32 bit integer  28               number of rows
0012     32 bit integer  28               number of columns
0016     unsigned byte   ??               pixel
0017     unsigned byte   ??               pixel
........
xxxx     unsigned byte   ??               pixel

使用TensorFlow进行线性回归

· 阅读需 2 分钟

我们先随机生成一些数据：

import numpy as np

train_X = 20 * np.random.rand(100).astype(np.float32)
train_Y = (30 * train_X + 100 + 10 * np.random.randn(100)).astype(np.float32)

TensorFlow基础入门

· 阅读需 2 分钟

TensorFlow安装​

CPU版本直接pip install tf-nightly即可。

GPU版本需要安装显卡驱动、cuda、cudnn，注意版本。若手动安装cuda还要将cuda的lib64目录加入LD_LIBRARY_PATH环境变量。然后使用pip install tf-nightly-gpu安装即可。

在Python中一般使用

import tensorflow as tf

来import tensorflow。