pytorch 和nltk 结合训练的例子

对于任何一个深度学习的框架，都能够训练文本数据，当然NLTK在自然语言处理也占有一定的名声和权重

任何东西都离不开你我

来源 github

# 导入torch的模块
import torch
import torch.nn as nn
from torch.autograd import Variable
import torch.optim as optim
import torch.nn.functional as F
import nltk
import random
import numpy as np
from collections import Counter
flatten = lambda l: [item for sublist in l for item in sublist]
random.seed(1024)

  
 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
 

flatten([[1,2,3]]) # [1, 2, 3]

  
 

  
1
 

这个配置GPU的，我觉得CPU 也可以，速度不是很慢

# USE_CUDA = torch.cuda.is_available()
# gpus = [0]
# torch.cuda.set_device(gpus[0])
# FloatTensor = torch.cuda.FloatTensor if USE_CUDA else torch.FloatTensor
# LongTensor = torch.cuda.LongTensor if USE_CUDA else torch.LongTensor
# ByteTensor = torch.cuda.ByteTensor if USE_CUDA else torch.ByteTensor

  
 

  
1
  
2
  
3
  
4
  
5
  
6
 

# 批处理
def getBatch(batch_size, train_data): random.shuffle(train_data) sindex = 0
 
  
 

  
1
  
2
  
3
  
4
 

文章来源: maoli.blog.csdn.net，作者：刘润森！，版权归原作者所有，如需转载，请联系作者。

原文链接：maoli.blog.csdn.net/article/details/90741179