- [DEVEXPRESS] Hướng dẫn bật tính năng Scroll Pixcel in Touch trên GridView
- [DEVEXPRESS] Hướng dẫn sử dụng TileBar viết ứng dụng duyệt hình ảnh Winform
- [DEVEXPRESS] Tô màu border TextEdit trên Winform
- [C#] Lấy dữ liệu từ Console Write hiển thị lên textbox Winform
- [C#] Hiển thị Progress bar trên Window Console
- [C#] Di chuyển control Runtime và lưu layout trên winform
- [SQLSERVER] Sử dụng hàm NULL IF
- [C#] Chia sẽ source code mã đi tuần bằng giao diện Winform
- [C#] Flash Window in Taskbar Winform
- Download và Giải nén tập tin File sử dụng Powershell
- [C#] Hướng dẫn cách lấy thông tin đăng nhập tài khoản và mật khẩu web browser trên windows
- [VB.NET] CRUD Thêm xóa sửa tìm kiếm Realtime FireBase
- [C#] Hiển thị thông báo Toast Message trong lập trình Winform
- [C#] Cấu hình định dạng ngày tháng, thời gian trên Windows cho ứng dụng Winform
- [C#] Rút gọn đường dẫn link url với TinyURL API
- [C#] Hướng dẫn cách bo tròn winform with Radius
- [C#] Chia sẽ class BackGroundOverlay Show Modal cho Winform
- [C#] Hướng dẫn Flip Image Winform
- [C#] Invoke là gì? cách sử dụng phương thức Invoke()
- [C#] Hướng dẫn chia sẽ file, folder từ ứng dụng sang Zalo Chat
[C#] Hướng dẫn import excel big data vào database sqlserver
Xin chào các bạn, bài viết hôm nay mình sẽ hướng dẫn các bạn cách import dữ liệu từ excel với số lượng record lớn (Big DATA) vào cơ sở dữ liệu MSSQL server.
Trong các bài trước, mình đã có hướng dẫn các bạn cách import dữ liệu từ excel vào database sqlserver.
Import dữ liệu từ Excel và cập nhật lên SQL
Trong các bài trước mình đã có hướng dẫn import dữ liệu từ Excel và Database sqlserver, tuy nhiên nếu file excel có số lượng record nhiều vài trăm ngàn dòng hoặc thậm chí vài trăm triệu dòng, thì giải pháp để tối ưu nó như thế nào, để cho ứng dụng của mình import dữ liệu vào một cách nhanh chóng.
Thông thường, nếu các bạn mới học lập trình khi các bạn mới đọc dữ liệu từ excel vào datatable xong.
Các bạn thường sử dụng vòng for trên từng DataRow, rồi insert dữ liệu từng dòng xuống, nếu các bạn nào mà sử dụng cách này thì khi chạy một vòng for, nó sẽ tạo ra một connection tới sqlserver để import và nếu dữ liệu có 100.000 record, phần mềm của bạn sẽ tạo ra 100.000 connection tới => Import rất lâu, không tối ưu.
Các bạn có thể sử dụng giải pháp SqlbulkCopy.
Nhưng trong bài viết này, mình sẽ hướng dẫn các bạn cách import dữ liệu chỉ cần tạo ra một connection đến sqlserver để thực hiện công việc imoport này thôi.
Từ phiên bản Sqlserver 2016 trở đi, Microsoft đã tích hợp cho chúng ta làm việc giữa sqlserver và json rất mạnh mẽ.
Nên trong bài này mình sẽ trình bày giải thuật import excel như sau:
Từ Datatable (đọc từ file excel) => chuyển thành file json
(sử dụng thư viện newston json
từ nuget) rồi chuyển đoạn json này xuống một Store Procedure để thực hiện import dữ liệu.
Bây giờ mình sẽ bắt đầu thực hiện:
Tạo một database demo với tên BIGDATA (các bạn có thể download database này ở cuối bài viết)
Đầu tiên các bạn tạo mình một bảng table tbl_danhba
như sau:
tiếp đến các bạn tạo cho mình một store procedure để import dữ liệu:
USE [BIGDATA]
GO
/****** Object: StoredProcedure [dbo].[usp_Insert_danhba] Script Date: 06/07/2019 9:54:04 AM ******/
SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO
ALTER PROCEDURE [dbo].[usp_Insert_danhba](@table_danhba NVARCHAR(MAX))
AS BEGIN
INSERT INTO dbo.tbl_danhba(phone, name)
SELECT phone, name
FROM
OPENJSON(@table_danhba)
WITH(phone VARCHAR(20), name NVARCHAR(200)) a
WHERE NOT EXISTS (SELECT 0 FROM dbo.tbl_danhba WHERE phone=a.phone);
END;
Tiếp theo, là source cho nút đọc dữ liệu từ file excel vào dataset.
private void btn_chonfile_Click(object sender, EventArgs e)
{
using (OpenFileDialog ofd = new OpenFileDialog() { Filter = "Excel Files|*.xls;*.xlsx", ValidateNames = true })
{
if (ofd.ShowDialog() == DialogResult.OK)
{
try
{
txt_input.Text = ofd.FileName;
using (var stream = File.Open(ofd.FileName, FileMode.Open, FileAccess.Read, FileShare.ReadWrite))
{
IExcelDataReader reader;
if (ofd.FilterIndex == 2)
{
reader = ExcelReaderFactory.CreateBinaryReader(stream);
}
else
{
reader = ExcelReaderFactory.CreateOpenXmlReader(stream);
}
ds = reader.AsDataSet(new ExcelDataSetConfiguration()
{
ConfigureDataTable = (_) => new ExcelDataTableConfiguration()
{
UseHeaderRow = true
}
});
reader.Close();
}
}
catch (Exception)
{
MessageBox.Show("Vui lòng tắt file excel đang mở để imports.", "Thông Báo", MessageBoxButtons.OK, MessageBoxIcon.Warning);
}
}
}
}
Và tiếp tục là button insert dữ liệu từ datatable xuống sqlserver.
private void btn_import_Click(object sender, EventArgs e)
{
string ip = @"NGUYENTHAO\NGUYENTHAO";
string db_name = "BIGDATA";
string db_user = "sa";
string db_pass = "minh123";
try
{
string jData = JsonConvert.SerializeObject(ds.Tables[0]);
string connectionSTR = $"Server={ip};Database={db_name};User Id={db_user}; Password ={db_pass}; Connection Timeout=3";
var conn = new SqlConnection(connectionSTR);
SqlCommand sqlcom = new SqlCommand("usp_Insert_danhba", conn);
sqlcom.CommandType = CommandType.StoredProcedure;
sqlcom.Parameters.AddWithValue("@table_danhba", jData);
conn.Open();
sqlcom.ExecuteNonQuery();
conn.Close();
LoadData();
MessageBox.Show("Import dữ liệu thành công!.", "Thông Báo", MessageBoxButtons.OK, MessageBoxIcon.Information);
}
catch (Exception ex)
{
MessageBox.Show($"{ex.Message }", "Thông Báo", MessageBoxButtons.OK, MessageBoxIcon.Information);
}
}
Kết quả sau khi import dữ liệu:
Trong source code bên dưới mình sẽ cung cấp cho các bạn: source code C#, sqlserver, và 1 file excel để các bạn thực hành.
Thanks for watching!