- Bài 1: Giới thiệu
- Bài 2: Cài đặt
- Bài 3: Nền tảng toán học của Neural Networks
- Bài 4: Mạng nơron cơ bản
- Bài 5: Tổng quan về machine learning và deep learning
- Bài 6: Triển khai mạng thần kinh đầu tiên
- Bài 7: Functional Blocks và Terminologies
- Bài 8: Loading Data
- Bài 9: Linear Regression ( Hồi quy tuyến tính )
- Bài 10: Convolutional Neural Network ( CNN )
- Bài 11: Recurrent Neural Network ( RNN )
- Bài 12: Tập dữ liệu ( Dataset )
- Bài 13: Giới thiệu về Convents
- Bài 14: Huấn luyện Convent bằng Scratch
- Bài 15: Feature Extraction trong Convents ( Trích xuất đặc trưng )
- Bài 16: Visualization Convents
- Bài 17: Sequence Processing với Convents
- Bài 18: Word Embedding
- Bài 19: Recursive Neural Networks
Bài 18: Word Embedding - Pytorch Cơ bản
Đăng bởi: Admin | Lượt xem: 1635 | Chuyên mục: AI
Ta sẽ tìm hiểu về mô hình nhúng từ(Word Embedding) nổi tiếng - word2vec. Mô hình Word2vec được sử dụng để tạo nhúng từ với sự trợ giúp của nhóm các mô hình liên quan. Mô hình Word2vec được triển khai bằng mã C thuần túy và gradient được tính toán thủ công.
Việc triển khai mô hình word2vec trong PyTorch được giải thích trong các bước dưới đây:
Bước 1
Import các thư viện cần thiết :
import torch
from torch.autograd import Variable
import torch.nn as nn
import torch.nn.functional as F
Bước 2
Triển khai Mô hình nhúng từ vựng Skip Gram với lớp có tên là word2vec. Nó bao gồm loại thuộc tính emb_size, emb_dimension, u_embedding, v_embedding.
class SkipGramModel(nn.Module):
def __init__(self, emb_size, emb_dimension):
super(SkipGramModel, self).__init__()
self.emb_size = emb_size
self.emb_dimension = emb_dimension
self.u_embeddings = nn.Embedding(emb_size, emb_dimension, sparse=True)
self.v_embeddings = nn.Embedding(emb_size, emb_dimension, sparse = True)
self.init_emb()
def init_emb(self):
initrange = 0.5 / self.emb_dimension
self.u_embeddings.weight.data.uniform_(-initrange, initrange)
self.v_embeddings.weight.data.uniform_(-0, 0)
def forward(self, pos_u, pos_v, neg_v):
emb_u = self.u_embeddings(pos_u)
emb_v = self.v_embeddings(pos_v)
score = torch.mul(emb_u, emb_v).squeeze()
score = torch.sum(score, dim = 1)
score = F.logsigmoid(score)
neg_emb_v = self.v_embeddings(neg_v)
neg_score = torch.bmm(neg_emb_v, emb_u.unsqueeze(2)).squeeze()
neg_score = F.logsigmoid(-1 * neg_score)
return -1 * (torch.sum(score)+torch.sum(neg_score))
def save_embedding(self, id2word, file_name, use_cuda):
if use_cuda:
embedding = self.u_embeddings.weight.cpu().data.numpy()
else:
embedding = self.u_embeddings.weight.data.numpy()
fout = open(file_name, 'w')
fout.write('%d %d\n' % (len(id2word), self.emb_dimension))
for wid, w in id2word.items():
e = embedding[wid]
e = ' '.join(map(lambda x: str(x), e))
fout.write('%s %s\n' % (w, e))
def test():
model = SkipGramModel(100, 100)
id2word = dict()
for i in range(100):
id2word[i] = str(i)
model.save_embedding(id2word)
Bước 3 :
Triển khai phương thức chính để mô hình nhúng từ được hiển thị theo cách thích hợp.
if __name__ == '__main__':
test()
Theo dõi VnCoder trên Facebook, để cập nhật những bài viết, tin tức và khoá học mới nhất!
- Bài 1: Giới thiệu
- Bài 2: Cài đặt
- Bài 3: Nền tảng toán học của Neural Networks
- Bài 4: Mạng nơron cơ bản
- Bài 5: Tổng quan về machine learning và deep learning
- Bài 6: Triển khai mạng thần kinh đầu tiên
- Bài 7: Functional Blocks và Terminologies
- Bài 8: Loading Data
- Bài 9: Linear Regression ( Hồi quy tuyến tính )
- Bài 10: Convolutional Neural Network ( CNN )
- Bài 11: Recurrent Neural Network ( RNN )
- Bài 12: Tập dữ liệu ( Dataset )
- Bài 13: Giới thiệu về Convents
- Bài 14: Huấn luyện Convent bằng Scratch
- Bài 15: Feature Extraction trong Convents ( Trích xuất đặc trưng )
- Bài 16: Visualization Convents
- Bài 17: Sequence Processing với Convents
- Bài 18: Word Embedding
- Bài 19: Recursive Neural Networks