Big Data: biên giới mới

GS John Vu07/04/2023 11:00
Big Data: biên giới mới

Big Data có thể được mô tả là “Công nghệ mới được thiết kế để trích rút giá trị từ khối lượng rất lớn của đa dạng rộng các dữ liệu bằng việc tạo khả năng nắm bắt gia tốc cao, khám phá và phân tích.”

Các ứng dụng tiềm năng của phân tích big data vẫn còn đang tăng trưởng với các ý tưởng mới, ứng dụng mới và giá trị mới. Một nhà phân tích công nghiệp viết: “Big data rất tương tự như Internet hai mươi năm trước. Khi internet được phát minh ra, chỉ vài người biết nó có thể làm được gì hay cái gì có thể xảy ra. 

Ngày nay Big data đang bắt đầu tác động tới nhiều thứ, khi nhiều công ti đang nhận ra tiềm năng này và nhanh chóng thực hiện phân tích Big data trong tiếp thị, bán hàng và vận hành. Chẳng hạn, cửa hàng bán lẻ lớn Target dùng phân tích big data này để thâu tóm thị trường sinh lời: các bố mẹ mới. Họ biết rằng các bố mẹ mới bao giờ cũng chi nhiều tiền mua sắm hơn cho đứa con mới sinh cho nên họ thu thập dữ liệu từ khách hàng những người mua vitamins, thuốc xoa da, quần áo, khăn, và các thứ phụ nữ mang thai thường mua và dùng các thuật toán đặc biệt để xác định khả năng những khách hàng nào đó có thể mang thai.

Khi Target nhận diện khách hàng, họ gửi cho khách hàng những phiếu mua đặc biệt và giảm giá ngay trước khi những người này có con. (Chẳng hạn, giảm giá 20% về quần áo trẻ con, đồ đạc trẻ con, đồ chơi v.v.) Điều này giúp phát triển mối quan hệ tốt với các bố mẹ mới để cho họ sẽ mua bán tại Target chứ không tại các cửa hàng khác. Bằng việc dùng phân tích Big data, ngày nay Target thâu tóm thị trường sinh lời cực kì vì phần lớn các bố mẹ mới đều ưa thích đi mua sắm tại Target.

Best Buy, một cửa hàng bán lẻ đồ điện tử khác cũng dùng phân tích big data để làm tăng số bán. Best Buy dùng một app di động đặc biệt có tên là “ShopSavvy” để trao đổi với khách hàng khi họ quan tâm tới việc mua cái gì đó. App này cho phép khách hàng so sánh giá của Best Buy với các cửa hàng của đối thủ cạnh tranh. Khi khách hàng bắt đầu so sánh giá, phần mềm lập tức theo dõi những đường khách hàng của cửa hàng đang đi, nhận diện họ muốn mua gì, và kiểm căn cước, con số tín dụng tài chính, và các thông tin khác để xác định liệu khách hàng có thể mua được hàng hoá không. Nếu họ có tín dụng tốt, Best Buy lập tức đưa ra đối sánh giá hay giảm giá đặc biệt để chắc khách hàng không mua từ các cửa hàng khác.

Big Data tại Best Buy được xây dựng trên cụm Hadoop được cài đặt với phần mềm đặc biệt để quét giá của mọi đối thủ cạnh tranh trong thời gian thực để chắc rằng nó bao giờ cũng có giá tốt nhất có thể. Best Buy cũng thu thập thông tin về bao nhiêu cửa hàng đang bán cùng sản phẩm, và cách họ đặt giá cho sản phẩn của họ. Mọi lần, một khách hàng được nhận diện, người quản lí cửa hàng phải có hành động để chắc rằng khách hàng không bỏ sang mua ở cửa hàng khác bằng việc đối sánh giá của đối thủ cạnh tranh hay đề nghị các khuyến khích khác như chuyển giao và lắp đặt chúng tại nhà khách hàng mà không thêm phí phụ v.v.

Google dùng phân tích big data để nhận diện bùng phát dịch cúm ở Mĩ khi nó lần đầu tiên xảy ra vì Trung tâm kiểm soát và phòng ngừa thảm hoạ (CDC) cần quãng hai tuần để làm điều đó vì nó dựa trên các báo cáo từ các miền nào đó trước khi làm quyết định. Google có thể làm điều đó nhanh hơn vì mỗi ngày nó nhận được hơn ba tỉ câu hỏi tìm kiếm. Bằng việc dùng phân tích dữ liệu lớn, Google có thể nhận diện một miền đặc biệt nơi nhiều người đang tìm từ “cúm” và dùng các thuật toán phức tạp để chỉ ra mối tương quan mạnh giữa số tìm kiếm và việc bùng phát cúm thực tại.

Công ti trực tuyến eBay dùng phân tích Big data để nhận diện việc mất tài năng để ngăn ngừa công nhân khỏi rời bỏ công ti. Phần mềm phân tích big data của họ quét qua hồ sơ nhân viên của công ti để tìm các công nhân đã từng ở trong việc làm hơn ba năm nhưng chưa được cất nhắc, đổi vai trò, hay tăng lương để kết luận rằng có xác suất lớn hơn về việc họ có thể bỏ sang công ti khác.

Vì có thiếu hụt công nhân có kĩ năng trong công nghiệp và chi phí tìm và thuê công nhân là đắt, eBay phải giữ những công nhân này hài lòng. Khi một danh sách nhân viên tiềm năng những người có thể rời bỏ được nhận diện, người quản lí phải hành động nhanh chóng để kiểm điểm và làm bất kì cái gì họ có thể làm để ngăn cản điều đó khỏi xảy ra.

Vì phân tích Big data là lĩnh vực mới, nhiều sinh viên đang hỏi làm sao họ có thể có được việc làm nhu cầu cao này. Để làm việc trong khu vực này, bạn cần có ít nhất là bằng thạc sĩ trong Khoa học dữ liệu hay tương đương như thạc sĩ trong Kĩ nghệ phần mềm hay thạc sĩ trong Quản lí hệ thông tin.

Nhà khoa học Big Data phải là chuyên gia chuyên lĩnh vực người có khả năng giải thích cách phân tích thông tin có thể giúp cho người lãnh đạo doanh nghiệp làm quyết định thích hợp trong thời gian thực. Do đó, nhà khoa học Big data phải hiểu các qui trình doanh nghiệp trong toàn công ti, từ tiếp thị, bán hàng, phân phối, vận hành, làm giá, sản phẩm, tài chính, rủi ro v.v. Nhà khoa học Big data phải là một chuyên gia về cơ sở dữ liệu người có hiểu biết tốt về các nguồn dữ liệu bên ngoài và bên trong, cách chúng được thu thập và lưu giữ. (Đó là lí do tại sao sinh viên trong Quản lí hệ thông tin là khớp hơn trong lĩnh vực này.)

Nhà khoa học Big data phải có khả năng trích rút, biến đổi và tải các kho dữ liệu này từ các nguồn nội bộ cũng như truy lục dữ liệu từ các nguồn ngoài như internet, phương tiện xã hội hay các nguồn khác rồi thao tác chúng bằng việc dùng Hadoop, Hive, Pig, MapReduce, Mahoot v.v. để phân tích dữ liệu và phát sinh các báo cáo đặc biệt nơi các giá trị nhìn sâu đặc biệt được nhận diện. Điều này KHÔNG tương tự như các kĩ thuật cơ sở dữ liệu và trinh sát doanh nghiệp truyền thống  vì nó giải quyết với khối lượng rất lớn  dữ liệu từ nhiều nguồn trong đó dữ liệu là có cấu trúc và phi cấu trúc. (Lưu ý: Trinh sát doanh nghiệp truyền thống chỉ giải quyết với các dữ liệu có cấu trúc xác định được lưu trong cơ sở dữ liệu và hội tụ vào dữ liệu quá khứ). Vì Big data đang giải quyết với dự báo theo thời gian thực hay tương lai, nhà khoa học Big data phải có khả năng xác định các kĩ thuật thống kế thích hợp nhất cho việc đề cập tới khả năng này. Nhà khoa học Big data phải có khả năng áp dụng các kĩ thuật liên quan, và dịch thành kết quả và phát sinh ra “báo cáo nhìn sâu” theo cách người lãnh đạo công ti có thể hiểu và hành động rất nhanh để nắm bắt được giá trị. Điều này yêu cầu nhà khoa học Big data phải có hiểu biết kĩ lưỡng về các kĩ thuật thống kê (như, phân tích hồi qui, phân tích cụm, và kĩ thuật tối ưu) và các công cụ và ngôn ngữ được dùng để cho chạy việc phân tích như “SAS” hay “R”. Để làm điều đó nhà khoa học Big data phải có khả năng viết phần mềm đặc biệt thực hiện các kĩ thuật tính toán như học máy, xử lí ngôn ngữ tự nhiên, phân tích mạng đồ thị/xã hội, lưới thần kinh, và mô hình hoá mô phỏng. Phần lớn những ứng dụng này đều được viết trong đa dạng ngôn ngữ như Java, Python, C++, Math lab và R. (Đó là lí do tại sao sinh viên Kĩ nghệ phần mềm là khớp tốt hơn trong lĩnh vực này.)


Gửi bình luận
(0) Bình luận
1

Vòng đời kiểm thử

Nhiều người trong các bạn đã hỏi tôi về kiểm thử và mối quan hệ của nó với vòng đời phát triển phần mềm. Về căn bản kiểm thử tuân theo vòng đời tương ứng với mọi pha của vòng đời phát triển.
2

Cách đo và độ đo

Tôi nhận được một email người gửi viết: “Cái gì là khác biệt giữa cách đo và độ đo và có bao nhiêu cách đo hay độ đo phần mềm?”
3

Thành công ở đại học

Thành công nghĩa là đạt tới mục đích của bạn, dù chúng là bất kì cái gì.
4

Cách đo

Tôi nhận được một email từ một sinh viên: “Tại sao chúng ta phải đo công việc của mình? Đo là khó và phí thời gian vì nó không cung cấp cho tôi giá trị. Nếu chúng ta có lỗi, chúng ta có thể sửa chúng về sau bất kể chúng có bao nhiêu. Tôi không biết tại sao chúng ta cần đo?”
5

Quy trình phần mềm

Tôi nhận được một email mà người gửi hỏi: “Khác biệt giữa qui trình phần mềm và qui trình được xác định là gì? Khác biệt giữ qui trình được xác định và qui trình cá nhân là gì?”

Dạy và học

Một thầy giáo trẻ nói với tôi: “Tôi muốn là thầy giáo giỏi nhất và tôi đã dành nhiều thời gian học cách nói lưu loát để cho tôi có thể là giảng viên giỏi nhất cho sinh viên.”

Big Data và tác động của nó

Một sinh viên Kĩ nghệ phần mềm viết cho tôi: “Công nghệ thay đổi nhanh và khó học được mọi thứ. Theo ý thầy, cái nào là công nghệ quan trọng nhất? Nếu em có thể đưa nỗ lực vào học một hay hai công nghệ, chúng sẽ là cái gì? Xin thầy lời khuyên.”

Dạy Công nghệ thông tin

Trên khắp thế giới, từ châu Á tới châu Phi, từ châu Âu tới Australia, mọi trường đang xô vào chấp nhận Công nghệ thông tin (CNTT) trong chương trình của họ.

Học Big Data ở đâu?

Nếu Big data là quan trọng như thầy đã viết, em học nó ở đâu?

Nhu cầu về Big data

Trong sáu tháng qua, nhiều công ti tới CMU để tìm người tốt nghiệp Big data vì thiếu hụt kĩ năng này đang tới lúc gay cấn.

Điện thoại thông minh

“Chúng em thảo luận về công nghệ và em trích dẫn blog của thầy về điện thoại thông minh sẽ thay thế cho máy tính cá nhân. Phần lớn sinh viên trong lớp không tin điều đó. Họ nói điện thoại là thiết bị liên lạc và không thể thay thế cho máy tính được.”

Thế giới được công nghệ dẫn lái

Chúng ta hiện thời đang trong “Thời đại tri thức” nơi công nghệ đang làm thay đổi nhiều điều và tạo ra những cơ hội mới cho các doanh nghiệp nếu họ biết cách nắm lấy chúng.

Các trang web học Big data

Nhiều sinh viên viết cho tôi hỏi lời khuyên về các công vụ và kĩ thuật Hadoop và MapReduce mà họ muốn học. Sau đây là những bài học nhanh về Hadoop mà bạn có thể dễ dàng học:

Không khóc giữa nhân gian - Làm sao để hết khổ?

Đau khổ vốn không trừ một ai, và nó có trăm hình vạn trạng: một sự mất mát, cảm giác cô độc giữa đám đông, hay đơn giản là nỗi thất vọng khi không đạt được thứ mà mình mong chờ. Vậy phải làm sao để ta hết khổ? Đau khổ có thực sự đáng sợ như người ta vẫn nghĩ? Hay chúng ta vẫn có thể nhìn đau khổ dưới một góc độ bao dung hơn?

10 câu trích dẫn giúp bạn khi lạc lối

Suy ngẫm - Trinh Quang - 12/07/2026 09:00
Một khi đã đánh mất điều gì đó, bạn sẽ không bao giờ có thể lấy lại được. Có những việc, nếu bạn không làm ngay bây giờ, bạn sẽ không bao giờ làm lại được nữa.

Không khóc giữa nhân gian - Làm sao để hết khổ?

Từ sách - Phim - FN - 12/07/2026 08:00
Đau khổ vốn không trừ một ai, và nó có trăm hình vạn trạng: một sự mất mát, cảm giác cô độc giữa đám đông, hay đơn giản là nỗi thất vọng khi không đạt được thứ mà mình mong chờ. Vậy phải làm sao để ta hết khổ? Đau khổ có thực sự đáng sợ như người ta vẫn nghĩ? Hay chúng ta vẫn có thể nhìn đau khổ dưới một góc độ bao dung hơn?

Cách đo và độ đo

Blog GS John VU - GS John Vu - 11/07/2026 11:00
Tôi nhận được một email người gửi viết: “Cái gì là khác biệt giữa cách đo và độ đo và có bao nhiêu cách đo hay độ đo phần mềm?”

Không thích ai đó, cách khéo léo để xử lý việc này là thông qua "Phương pháp Sedona"

Suy ngẫm - PV - 11/07/2026 10:00
Trong cuộc sống, chúng ta sẽ luôn gặp những người mình không thích: đó có thể là một đồng nghiệp luôn nhắm vào bạn ở nơi làm việc, một người quen giả tạo và hay buôn chuyện, hoặc một người lạ có giá trị sống trái ngược với bạn và bạn không thể hòa hợp.

Mẹ tỷ phú Elon Musk chỉ cách nuôi dạy con thành tài: điều tuyệt đối không nên làm

Phong cách sống - Hân Ly - 11/07/2026 09:00
Mẹ của người giàu nhất thế giới cho rằng việc nuôi dạy con không nằm ở sự áp đặt, mà ở điều này cực kỳ quan trọng và cần thiết.

Sắp phát hành: Hồi ký của hy vọng

Tủ sách - PV - 11/07/2026 08:00
Hồi ký của hy vọng (Saving Five: A Memoir of Hope) thu hút sự chú ý của truyền thông quốc tế không chỉ bởi câu chuyện có thật của Amanda Ngọc Nguyễn, mà còn bởi cách cô kể lại cuộc đời mình vượt ra ngoài khuôn mẫu của một hồi ký về sang chấn.

Bạn không cần thêm thành tựu đâu, điều bạn cần là nghỉ ngơi

Suy ngẫm - TĐ - 10/07/2026 11:00
 Có những người dành cả tuổi trẻ để thoát khỏi nghèo khó, nhưng rồi khi đã bước ra khỏi nó, họ lại không biết làm thế nào để dừng việc “sống sót”.

Thành công ở đại học

Blog GS John VU - GS John Vu - 10/07/2026 10:00
Thành công nghĩa là đạt tới mục đích của bạn, dù chúng là bất kì cái gì.

Cuộc sống bình dị thích mặc đồ cũ, ăn cơm bụi của 'tượng đài điện ảnh' Châu Nhuận Phát

Phong cách sống - Ngọc Thanh - 10/07/2026 09:00
Dù nắm trong tay khối tài sản khổng lồ, tài tử Châu Nhuận Phát vẫn giữ lối sống giản dị đến mức khó tin.

‘Không khóc giữa nhân gian’ - Học cách bình yên đi qua nỗi buồn

Từ sách - Phim - FN - 10/07/2026 08:00
​​​​​​​Chúng ta lầm tưởng rằng sở hữu càng nhiều thì càng hạnh phúc, nhưng đâu ngờ càng nắm chặt, càng mong cầu thì khổ lụy càng chất chồng.

Cách đo

Blog GS John VU - 09/07/2026 11:00
Tôi nhận được một email từ một sinh viên: “Tại sao chúng ta phải đo công việc của mình? Đo là khó và phí thời gian vì nó không cung cấp cho tôi giá trị. Nếu chúng ta có lỗi, chúng ta có thể sửa chúng về sau bất kể chúng có bao nhiêu. Tôi không biết tại sao chúng ta cần đo?”

Bạn không cần phải hòa hợp với tất cả mọi người

Suy ngẫm - PV - 09/07/2026 10:00
Bạn không cần phải hòa hợp với tất cả mọi người, và thậm chí bạn cũng không cần phải chú ý đến hầu hết mọi người.

Khương Bình, người từng được ca ngợi là "thiên tài toán học" và điều đáng để suy ngẫm

Phong cách sống - PV - 09/07/2026 09:00
Không có tin vui nhận giải, cũng chẳng có tranh cãi mới, chỉ một đoạn video ghi lại cảnh doanh nghiệp địa phương đến tận nhà thăm hỏi đã một lần nữa kéo cô gái từng đứng nơi đầu sóng ngọn gió dư luận này quay trở lại trong tầm mắt của công chúng.

Không khóc giữa nhân gian - Chỉ cần sống thật với mình

Từ sách - Phim - PV - 09/07/2026 08:00
Đôi khi, ta phải chọn buông tay ai đó – không phải vì hết thương, mà để vá lại những niềm tin rách rưới trong cuộc đời mình.

Vòng đời kiểm thử

Blog GS John VU - GS John Vu - 08/07/2026 11:00
Nhiều người trong các bạn đã hỏi tôi về kiểm thử và mối quan hệ của nó với vòng đời phát triển phần mềm. Về căn bản kiểm thử tuân theo vòng đời tương ứng với mọi pha của vòng đời phát triển.
HẠT GIỐNG TÂM HỒN
2019 Bản quyền thuộc về hatgiongtamhon.com.vn. Phát triển bởi ONECMS