pandas

Timestamp对象

构造方法

利用字符串格式时间数据转化

pandas支持智能的将各种格式的时间数据转化为标准时间戳格式

1
2
3

# 获取当前时间
tm1 = pd.Timestamp.now()
tm1

Timestamp('2022-11-22 18:04:34.850491')

1
2

tm2 = pd.Timestamp('2022-11-21 16:12:12')
tm2

Timestamp('2022-11-21 16:12:12')

datetime库

date, datetime, time 和 timezone 通用特征属性

• 这些类型的对象都是不可变的。
• 这些类型的对象都是可哈希的，这意味着它们可被作为字典的键。
• 这些类型的对象支持通过pickle模块进行高效的封存。
  阅读全文 »

time库

• 主要用在各种时间格式之间进行相互转化，主要包括以下几种：

1. 时间戳格式，例如：1668758203.288723

2. 元组格式，例如：time.struct_time(tm_year=2022, tm_mon=11, tm_mday=18, tm_hour=15, tm_min=56, tm_sec=45, tm_wday=4, tm_yday=322, tm_isdst=0)

3. 字符串标准格式，例如：’Fri Nov 18 15:58:22 2022’

4. 自定义特殊格式，例如：’2022/11/18 16:26:23’

   阅读全文 »

calendar库

calendar的中文意思是“日历”，所以它其实适合进行日期，尤其是以日历的形式展示。

显示全年日历

calendar(theyear, w=2, l=1, c=6, m=3)

不同的情况会遇到不同的时间问题：具体时间点、时间间隔、星期等，无时不刻我们在和时间碰撞。

什么是时间戳

时间戳Timestamp是指在一连串的数据中加入辨识文字，如时间或者日期等，用以保障本地数据更新顺序和远程的一致。

unix时间戳是从1970年1月1日（UTC/GMT的午夜）开始所经过的秒数，不考虑闰秒。1970-01-01就是经常我们在MySQL中时间为空的时候，转化空的时间戳之后得到的时间。一个小时表示为UNIX时间戳格式为：3600秒；一天表示为UNIX时间戳为86400秒，闰秒不计算。

项目环境介绍

本项目使用的深度学习框架为Tensorflow2，详细环境信息如下：

• Python=3.8.16
• Tensorflow=2.9.1
• keras=2.10.0
• cudatoolkit=11.3.1
• cudnn=8.2.1

为了防止因数据集过大导致显存过载，首先配置一下Tensorflow调用GPU的规则，设置为动态显存申请。由于这个配置项必须在代码的最前方声明，故提前说明。

在TensorFlow中，GPU内存默认是一次性分配的，这意味着如果模型占用的内存超过可用内存的限制，将无法运行模型，而会出现OOM（Out Of Memory）错误。为了解决这个问题，TensorFlow提供了函数set_memory_growth，它可以让TensorFlow动态分配GPU内存，只使用所需的GPU内存。总之，使用set_memory_growth函数，可以在程序运行时分配所需的GPU内存，而不是在程序启动时将GPU内存分配给TensorFlow，这样可以避免在运行大型模型时出现内存不足的问题。

1
2
3

from tensorflow.config.experimental import list_physical_devices, set_memory_growth
physical_devices = list_physical_devices('GPU')
set_memory_growth(physical_devices[0], True)

设置GPU

1
2
3

from tensorflow.config.experimental import list_physical_devices, set_memory_growth
physical_devices = list_physical_devices('GPU')
set_memory_growth(physical_devices[0], True)

1
2
3
4
5
6

import os
import time
import numpy as np
import matplotlib.pyplot as plt
import cv2
import tqdm  # 进度条工具

设置GPU

1
2

from tensorflow.config.experimental import list_physical_devices, set_memory_growth
physical_devices = list_physical_devices('GPU')

1

physical_devices

[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]

1

set_memory_growth(physical_devices[0], True)

高阶API

准备数据

1

from sklearn.datasets import load_iris

1
2
3
4

x = load_iris()['data']
y = load_iris()['target']
print(x.shape)
print(y.shape)

(150, 4)
(150,)

中阶API

激活函数

一般作用于单个神经元结构的输出，我们需要利用非线性激活函数向模型中引入非线性特征，用来拟合非线性数据

1

from tensorflow.keras import activations

1
2
3

# activations.sigmoid()
# activations.relu()
# activations.softmax()