pytorch 一些常用语法

主页 - PyTorch中文文档

torch.cat() 张量连接

torch.cat(inputs, dimension=0) → Tensor

在给定维度上对输入的张量序列seq 进行连接操作。
参数:

• inputs (sequence of Tensors) – 可以是任意相同Tensor 类型的python 序列
• dimension (int, optional) – 沿着此维连接张量序列。
  • 沿行方向拼接（dim=0）​
  • 沿列方向拼接（dim=1）​

例子：

>>> x = torch.randn(2, 3)
>>> x0.5983 -0.0341  2.49181.5981 -0.5265 -0.8735
[torch.FloatTensor of size 2x3]>>> torch.cat((x, x, x), 0)0.5983 -0.0341  2.49181.5981 -0.5265 -0.87350.5983 -0.0341  2.49181.5981 -0.5265 -0.87350.5983 -0.0341  2.49181.5981 -0.5265 -0.8735
[torch.FloatTensor of size 6x3]>>> torch.cat((x, x, x), 1)0.5983 -0.0341  2.4918  0.5983 -0.0341  2.4918  0.5983 -0.0341  2.49181.5981 -0.5265 -0.8735  1.5981 -0.5265 -0.8735  1.5981 -0.5265 -0.8735
[torch.FloatTensor of size 2x9]

tensor 转化为标量

​​场景​​	​​推荐方法​​
单元素张量 → Python值	tensor.item()
零维标量张量	tensor.item()
多元素张量 → Python列表	tensor.tolist()

import torch  a = torch.tensor([5])  # 单元素张量（形状为 [1]）  
b = torch.tensor(3.14) # 零维张量（标量张量）  
c = torch.tensor([3, 5])  # 多元素张量  
d = torch.tensor([[5, 3],[3, 7]])  print(a.item())  # 输出: 5（Python int）  
print(b.item())  # 输出: 3.140000104904175（Python float）  
print(c.tolist())  # 输出: [3, 5]（Python list）  
print(d.tolist())  # 输出: [[5, 3], [3, 7]]（Python list） # 以下操作会报错！  
# c.item()  # ValueError: only one element tensors can be converted to Python scalars

next(iter(DataLoader))

• 首先，iter(data_iter) 将 DataLoader 对象转换为一个迭代器
• 然后，next() 函数会从迭代器中获取下一个元素，第一次使用next()就是获取第一个批次

trainer.zero_grad()

trainer.zero_grad() 是 PyTorch 中的一个重要方法，用于清除模型中所有参数的梯度。以下是它的重要性：

1. 在 PyTorch 中，梯度是默认累积的。这意味着如果不清除梯度，每次反向传播都会将新的梯度添加到现有梯度上。

2. 在计算下一批数据的梯度之前，需要将前一批数据的梯度清零。否则：

   • 梯度会不正确地累积
   • 你会在当前更新中使用到之前批次的梯度

3. PyTorch 中典型的训练循环模式是：

optimizer.zero_grad()    
# 清除现有梯度 
loss = loss_function()  
# 前向传播 
loss.backward()          
# 反向传播 
optimizer.step()