- [C#] Thông báo page Facebook Trang Lập Trình VB.NET, C# bị Hack
- [C#] Chia sẻ source code phần mềm đếm số trang tập tin file PDF
- [C#] Cách Sử Dụng DeviceId trong C# Để Tạo Khóa Cho Ứng Dụng
- [SQLSERVER] Loại bỏ Restricted User trên database MSSQL
- [C#] Hướng dẫn tạo mã QRcode Style trên winform
- [C#] Hướng dẫn sử dụng temp mail service api trên winform
- [C#] Hướng dẫn tạo mã thanh toán VietQR Pay không sử dụng API trên winform
- [C#] Hướng Dẫn Tạo Windows Service Đơn Giản Bằng Topshelf
- [C#] Chia sẻ source code đọc dữ liệu từ Google Sheet trên winform
- [C#] Chia sẻ source code tạo mã QR MOMO đa năng Winform
- [C#] Chia sẻ source code phần mềm lên lịch tự động chạy ứng dụng Scheduler Task Winform
- [Phần mềm] Tải và cài đặt phần mềm Sublime Text 4180 full version
- [C#] Hướng dẫn download file từ Minio Server Winform
- [C#] Hướng dẫn đăng nhập zalo login sử dụng API v4 trên winform
- [SOFTWARE] Phần mềm gởi tin nhắn Zalo Marketing Pro giá rẻ mềm nhất thị trường
- [C#] Việt hóa Text Button trên MessageBox Dialog Winform
- [DEVEXPRESS] Chia sẻ code các tạo report in nhiều hóa đơn trên XtraReport C#
- [POWER AUTOMATE] Hướng dẫn gởi tin nhắn zalo từ file Excel - No code
- [C#] Chia sẻ code lock và unlock user trong domain Window
- [DEVEXPRESS] Vẽ Biểu Đồ Stock Chứng Khoán - Công Cụ Thiết Yếu Cho Nhà Đầu Tư trên Winform
[C#] Hướng dẫn import excel big data vào database sqlserver
Xin chào các bạn, bài viết hôm nay mình sẽ hướng dẫn các bạn cách import dữ liệu từ excel với số lượng record lớn (Big DATA) vào cơ sở dữ liệu MSSQL server.
Trong các bài trước, mình đã có hướng dẫn các bạn cách import dữ liệu từ excel vào database sqlserver.
Import dữ liệu từ Excel và cập nhật lên SQL
Trong các bài trước mình đã có hướng dẫn import dữ liệu từ Excel và Database sqlserver, tuy nhiên nếu file excel có số lượng record nhiều vài trăm ngàn dòng hoặc thậm chí vài trăm triệu dòng, thì giải pháp để tối ưu nó như thế nào, để cho ứng dụng của mình import dữ liệu vào một cách nhanh chóng.
Thông thường, nếu các bạn mới học lập trình khi các bạn mới đọc dữ liệu từ excel vào datatable xong.
Các bạn thường sử dụng vòng for trên từng DataRow, rồi insert dữ liệu từng dòng xuống, nếu các bạn nào mà sử dụng cách này thì khi chạy một vòng for, nó sẽ tạo ra một connection tới sqlserver để import và nếu dữ liệu có 100.000 record, phần mềm của bạn sẽ tạo ra 100.000 connection tới => Import rất lâu, không tối ưu.
Các bạn có thể sử dụng giải pháp SqlbulkCopy.
Nhưng trong bài viết này, mình sẽ hướng dẫn các bạn cách import dữ liệu chỉ cần tạo ra một connection đến sqlserver để thực hiện công việc imoport này thôi.
Từ phiên bản Sqlserver 2016 trở đi, Microsoft đã tích hợp cho chúng ta làm việc giữa sqlserver và json rất mạnh mẽ.
Nên trong bài này mình sẽ trình bày giải thuật import excel như sau:
Từ Datatable (đọc từ file excel) => chuyển thành file json
(sử dụng thư viện newston json
từ nuget) rồi chuyển đoạn json này xuống một Store Procedure để thực hiện import dữ liệu.
Bây giờ mình sẽ bắt đầu thực hiện:
Tạo một database demo với tên BIGDATA (các bạn có thể download database này ở cuối bài viết)
Đầu tiên các bạn tạo mình một bảng table tbl_danhba
như sau:
tiếp đến các bạn tạo cho mình một store procedure để import dữ liệu:
USE [BIGDATA]
GO
/****** Object: StoredProcedure [dbo].[usp_Insert_danhba] Script Date: 06/07/2019 9:54:04 AM ******/
SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO
ALTER PROCEDURE [dbo].[usp_Insert_danhba](@table_danhba NVARCHAR(MAX))
AS BEGIN
INSERT INTO dbo.tbl_danhba(phone, name)
SELECT phone, name
FROM
OPENJSON(@table_danhba)
WITH(phone VARCHAR(20), name NVARCHAR(200)) a
WHERE NOT EXISTS (SELECT 0 FROM dbo.tbl_danhba WHERE phone=a.phone);
END;
Tiếp theo, là source cho nút đọc dữ liệu từ file excel vào dataset.
private void btn_chonfile_Click(object sender, EventArgs e)
{
using (OpenFileDialog ofd = new OpenFileDialog() { Filter = "Excel Files|*.xls;*.xlsx", ValidateNames = true })
{
if (ofd.ShowDialog() == DialogResult.OK)
{
try
{
txt_input.Text = ofd.FileName;
using (var stream = File.Open(ofd.FileName, FileMode.Open, FileAccess.Read, FileShare.ReadWrite))
{
IExcelDataReader reader;
if (ofd.FilterIndex == 2)
{
reader = ExcelReaderFactory.CreateBinaryReader(stream);
}
else
{
reader = ExcelReaderFactory.CreateOpenXmlReader(stream);
}
ds = reader.AsDataSet(new ExcelDataSetConfiguration()
{
ConfigureDataTable = (_) => new ExcelDataTableConfiguration()
{
UseHeaderRow = true
}
});
reader.Close();
}
}
catch (Exception)
{
MessageBox.Show("Vui lòng tắt file excel đang mở để imports.", "Thông Báo", MessageBoxButtons.OK, MessageBoxIcon.Warning);
}
}
}
}
Và tiếp tục là button insert dữ liệu từ datatable xuống sqlserver.
private void btn_import_Click(object sender, EventArgs e)
{
string ip = @"NGUYENTHAO\NGUYENTHAO";
string db_name = "BIGDATA";
string db_user = "sa";
string db_pass = "minh123";
try
{
string jData = JsonConvert.SerializeObject(ds.Tables[0]);
string connectionSTR = $"Server={ip};Database={db_name};User Id={db_user}; Password ={db_pass}; Connection Timeout=3";
var conn = new SqlConnection(connectionSTR);
SqlCommand sqlcom = new SqlCommand("usp_Insert_danhba", conn);
sqlcom.CommandType = CommandType.StoredProcedure;
sqlcom.Parameters.AddWithValue("@table_danhba", jData);
conn.Open();
sqlcom.ExecuteNonQuery();
conn.Close();
LoadData();
MessageBox.Show("Import dữ liệu thành công!.", "Thông Báo", MessageBoxButtons.OK, MessageBoxIcon.Information);
}
catch (Exception ex)
{
MessageBox.Show($"{ex.Message }", "Thông Báo", MessageBoxButtons.OK, MessageBoxIcon.Information);
}
}
Kết quả sau khi import dữ liệu:
Trong source code bên dưới mình sẽ cung cấp cho các bạn: source code C#, sqlserver, và 1 file excel để các bạn thực hành.
Thanks for watching!