Big Data và Gia tốc

GS John Vu18/10/2023 12:00
Big Data và Gia tốc

Một sinh viên hỏi: “Em hiểu rằng Big Data là về thu thập “đa dạng” dữ liệu theo “khối lượng” lớn nhưng tại sao chúng ta cần nó thật nhanh? “Gia tốc” có liên quan gì tới Big Data? Xin thầy giải thích.”

Đáp: Big Data là công nghệ mới và cách mới để làm kinh doanh điều có thể thêm nhiều ưu thế có giá trị. Nó hội tụ vào thu thập dữ liệu từ các khối lượng rất lớn của đa dạng rộng dữ liệu từ nhiều nguồn bằng việc tạo khả năng thu thập gia tốc cao để trích rút thông tin có giá trị và phân tích chúng để tạo ra ưu thế doanh nghiệp.

Ngày nay các công ti trên khắp thế giới đang kích động về việc tìm ra những cách mới để trích rút khối lượng và sự đa dạng dữ liệu từ các phương tiện xã hội, thiết bị di động, các cảm biến, và các ứng dụng khác. Tuy nhiên nhiều người vẫn gặp vấn đề với gia tốc hay nhịp độ theo đó dữ liệu có thể được thu thập, tổ chức và phân tích để tạo ra sáng suốt làm cho các nhà lãnh đạo doanh nghiệp có thể hành động nhanh chóng để phát sinh giá trị doanh nghiệp tức thì.

Nhu cầu về tốc độ trong Big Data là quan trọng bởi vì mọi thứ xảy ra nhanh. Nếu một ngân hàng thu thập thông tin để phát hiện món vay xấu nhưng thấy chúng sáu tuần sau khi cho vay nhiều khoản vay thì điều đó là quá trễ để làm cái gì đó về việc đó. Thông tin được thu thập KHÔNG còn giá trị nữa. Ngân hàng cần gia tốc để cho nó có thể nhận diện khoản vay xấu trong khi xử lí việc xin vay chứ không phải sau điều đó. Cùng điều đó xảy ra khi những người kinh doanh thị trường chứng khoán cần ra quyết định về mua hay bán khi thị trường chứng khoán lên hay xuống, chậm vài phút có thể có nghĩa là họ phải trả giá cao hơn hay bán với giá thấp hơn và điều đó có nghĩa là mất ưu thế.

Trong thị trường thay đổi nhanh chóng này, tốc độ là rất quan trọng. Vì dữ liệu thường lưu trong cơ sở dữ liệu mà cần thời gian để tìm kiếm và cập nhật và điều đó có thể là quá trễ. Có công nghệ mới có thể làm cho mọi sự xảy ra nhanh hơn như tính toán trong bộ nhớ, sẽ giúp cắt bớt thời gian cần để truy nhập, truy lục, cập nhật và phân tích thông tin tới vài giây bởi vì dữ liệu ở trong máy tính nơi nó dễ dàng trích rút ra thay vì lưu giữ chúng trên đĩa cứng điều cần thời gian tìm và truy lục.

Tất nhiên, công nghệ chỉ là một phần của hệ thống. Các công ti cần các nhà khoa học dữ liệu có kĩ năng và các nhà thống kế để phát triển các mô hình phân tích nhanh và các thuật toán hiệu quả để có được thông tin có giá trị cho người ra quyết định nhanh chóng. Gia tốc dữ liệu là sự cần thiết doanh nghiệp mà tạo cho công ti cơ hội để đánh bại đối thủ cạnh tranh trong thị trường cạnh tranh cao. Vài năm trước, việc làm của nhà khoa học dữ liệu, kĩ sư dữ liệu, người phân tích dữ liệu thậm chí còn chưa tồn tại. Ngày nay mọi công ti đều cần chúng và khi nhu cầu là cao, nhiều sinh viên khoa học máy tính đang chuyển vào trong bằng cấp chuyên sâu trong khoa học dữ liệu và phát triển các kĩ năng trong thao tác dữ liệu, phân tích dữ liệu dùng Hadoop, Pig, và Hive, NonSQL, và MapReduce v.v.

—English version—

Big Data and Velocity

A student asked: “I understand that Big Data is about collecting a “Variety” of data in large “Volume” but why do we need to do it fast? What “Velocity” has to do with Big Data? Please explain.”

Answer: Big Data is new technology and new way to do business that can add many valuable advantages. It focuses on collect data from very large volumes of wide variety of data from many sources by enabling high velocity collection to extract valuable information and analyze them to create business advantages. Today companies around the world are excited about finding new ways to extract the volume and variety of data from social media, mobile devices, sensors, and other applications. However many are still having problem with velocity or the pace at which data can be collected, organized and analyzed to produce insights that business leaders can act quickly to generate instant business value.

The need for speed in Big Data is important because things happen fast. If a bank collects information to detect bad loans but finding them six weeks after loaning out many loans then it is too late to do something about it. The information collected is NOT valuable anymore. The bank needs velocity so it can identify bad loans while processing the application not after that. The same thing happen when stock market traders need to make decision on buying or selling when the stock market is going up or down, a few minutes late could means they have to pay higher price or selling at lower price and it means losing advantages.

In this fast changing market, speed is very important. Since data is often store in database which needs time to retrieve and update and it may be too late. There is new technology that can make things happen faster such as in-memory computing, will help cut the time it takes to access, retrieve, update and analyze information to few seconds because the data is in the computer where it is easy to extract instead of store them on disk drives that take time to search and retrieve.

Of course, technology is only part of the system. Companies need skilled data scientists and statisticians to develop fast analytic models and efficient algorithms to get valuable information to decision makers quickly. Data velocity is a business necessity that gives companies an opportunity to beat competitors in a highly competitive market. Few years ago, the jobs of data scientist, data engineer, data analyst did not even exist. Today every company need them and as the demand is high, more computer science students are moving into advanced degree in data science and develop skills in data manipulation, data analytics using Hadoop, Pig, and Hive, NonSQL, and MapReduce etc.


Gửi bình luận
(0) Bình luận
1

Đối thoại với sinh viên ở Vô Tích, Trung Quốc

Tháng trước khi tôi tới dạy ở Vô Tích, Trung Quốc, một sinh viên nói với tôi: “...Điều tốt hơn có lẽ là thầy đọc bài giảng về điều chúng em cần chứ không phải là cái gì đó quá tiên tiến mà có thể tốt ở Mĩ nhưng không tốt ở Trung Quốc.”
2

Thiếu hụt kỹ năng công nghệ thông tin

Trong vài năm qua, vấn đề thiếu hụt kĩ năng CNTT thường được nhắc tới ở Mĩ và nó làm khuấy động nhiều cuộc tranh cãi.
3

Cách học tốt hơn

Ngày nay sinh viên đại học có nhiều sao lãng ngăn cản họ học tập.
4

Qui trình đơn giản cho dự án nhỏ

Hôm qua, một sinh viên đã tốt nghiệp vài năm trước tới gặp tôi. Anh ta nói: “Em cần lời khuyên của thầy để thiết lập qui trình tốt nhằm phát triển phần mềm có chất lượng với chi phí thấp nhất có thể được."
5

Cách chọn bạn và thành công ở đại học

Khi vào đại học, một trong những điều mới đầu tiên bạn có lẽ cần là chọn bạn. Bạn là một phần của cuộc sống và tình bạn nào đó có thể kéo dài một thời gian lâu, nếu bạn cẩn thận về loại bạn mình chọn lựa. Bạn tốt có thể giúp bạn cực kì nhiều nhưng bạn xấu có thể làm hại bạn còn hơn bạn có thể hình dung.

Ấn Độ và xu hướng toàn cầu hoá

Tuần trước, Krishnan Patel một giáo sư kinh tế từ Ấn Độ đã tới thăm CMU và tôi đã mời ông ấy cho bài giảng cho sinh viên của tôi. Sau đây là điều ông ấy đã chia sẻ với sinh viên trong lớp học toàn cầu hoá của tôi.

Tổng quan về Quản lí hệ thông tin

Một sinh viên hỏi: “Em quan tâm tới Quản lí hệ thông tin (ISM) nhưng em vẫn không hiểu em sẽ làm gì với bằng cấp này? Kĩ năng hay môn học nào em phải học để là người quản lí hệ thông tin thành công? Xin thầy lời khuyên.”

Sinh viên không được chuẩn bị

Sinh viên không sẵn sàng cho đại học, đó là người tới lớp mà không biết tại sao họ ở đó và họ sẽ làm gì.

Quá khứ và hiện tại, học nhiều hơn

Trong thế giới toàn cầu này, tốc độ là qui tắc vì công ti phải có nước đi nhanh chóng để nắm cơ hội trước khi đối thủ cạnh tranh nắm. Để tận dụng ưu thế về tốc độ, cấu trúc công ti phải thay đổi để thích nghi với môi trường doanh nghiệp mới.

Lựa chọn một lĩnh vực học tập đại học

“Em sẽ vào đại học nhưng em không biết chọn lĩnh vực học tập nào? Vấn đề là điều em muốn lại không phải là điều bố mẹ em muốn và điều em thích không phải là điều bạn bè em thích. Em gặp khó khăn khi quyết định. Xin thầy lời khuyên.”

Bắt đầu một dự án mới

“Tôi là người vừa được cử làm quản lí một dự án mới. Tôi muốn là người quản lí thành công và bắt đầu dự án theo cách tốt nhất có thể được. Tôi có thể dùng kĩ năng nào từ người lãnh đạo tổ trong việc làm mới này và tôi cần cải tiến những gì?”

Thế giới công nghệ

Ngày nay tiến bộ trong công nghệ đã làm tăng việc làm và sự sung túc cho công nhân có kĩ năng, phần lớn là những người có giáo dục cao nhưng làm giảm số công nhân lao động, những người có ít giáo dục hơn.

Con đường nghề nghiệp

Việc học cả đời là thái độ mà bạn phải phát triển từ sớm khi bạn vẫn còn trong trường. Nếu bạn nghĩ rằng có bằng cấp và kiếm được việc làm là mục đích tối thượng thì bạn đang phạm sai lầm lớn.

'Sức mạnh của Đạo' - khi người bận rộn học cách không cản đường chính mình

Có những cuốn sách đổi đời người ta không phải bằng một chân lý lớn, mà bằng một tai nạn nhỏ. Với Max Landsberg, đó là một mảnh gỗ nhỏ mắc trong cổ họng vào một tối thứ Sáu — và ba mươi năm để hiểu vì sao mình lại ngồi ăn pizza kiểu ấy.

Bạn có thể tìm thấy bao nhiêu khuôn mặt trong bức ảnh

Thư giãn - Tr. Quang - 30/07/2026 11:00
Chúng vô cùng khó tìm. Người ta nói rằng chỉ những người có khả năng quan sát cực kỳ tinh tường mới có thể tìm thấy chúng. Liệu bạn có phải là một trong số họ?

Người EQ cao vay tiền như thế nào?

Kỹ năng - Hà Nguyên - 30/07/2026 10:00
Ai cũng có lúc cần vay tiền để giải quyết một việc cấp bách. Nhưng điều khiến một người được tin tưởng không nằm ở số tiền họ vay, mà ở cách họ mở lời, giữ cam kết và ứng xử với khoản tiền mình đang mượn. Đó cũng là một biểu hiện của EQ tài chính.

Hành trình 3.000 km vượt sa mạc đến chiếc huy chương World Cup trên cổ của mẹ Nico Williams

Truyền cảm hứng - Minh Ngọc - 30/07/2026 09:00
Sau khi Tây Ban Nha bước lên ngôi vô địch, cầu thủ 24 tuổi của La Roja đã nhìn lên khán đài rồi tiến thẳng về phía mẹ mình - bà Maria, ôm bà thật chặt rồi tháo chiếc huy chương vô địch vừa nhận được để đeo lên cổ người phụ nữ đã đứng khóc suốt trận đấu.

'Sức mạnh của Đạo' - khi người bận rộn học cách không cản đường chính mình

Từ sách - Phim - Minh Nguyệt - 30/07/2026 08:00
Có những cuốn sách đổi đời người ta không phải bằng một chân lý lớn, mà bằng một tai nạn nhỏ. Với Max Landsberg, đó là một mảnh gỗ nhỏ mắc trong cổ họng vào một tối thứ Sáu — và ba mươi năm để hiểu vì sao mình lại ngồi ăn pizza kiểu ấy.

Lập kế hoạch dự án phần mềm

Blog GS John VU - GS John Vu - 29/07/2026 11:00
Một người phát triển phần mềm tới gặp tôi: “Tôi được đề bạt làm quản lí một dự án nhỏ. Ông chủ của tôi bảo tôi hội tụ vào viết mã chứ KHÔNG lập kế hoạch bởi vì lập kế hoạch là phí thời gian. Viết mã sẽ cho tổ nhiều thời gian hơn để hoàn thành dự án. Câu hỏi của tôi là làm sao lập kế hoạch cho dự án mà không phí thời gian và vẫn đạt tới thành công?”

Vì sao người Mỹ vẫn yêu quý Phạm Xuân Ẩn

Phong cách sống - Tô Giang - 29/07/2026 09:00
Giáo sư Larry Berman là tác giả "Perfect Spy", cuốn sách được độc giả Việt Nam biết đến với tên gọi "X6 - Điệp viên hoàn hảo" viết về Thiếu tướng tình báo Phạm Xuân Ẩn.

'Sức mạnh của Đạo': Lý - Nhận ra các khuôn mẫu để biết nên hành động lúc nào và như thế nào

Từ sách - Phim - TĐ - 29/07/2026 08:00
Lý nghĩa là các khuôn mẫu. Khi nhận ra các khuôn mẫu trong con người, tình huống và tự nhiên, bạn sẽ có cái nhìn rõ hơn về cách thức và thời điểm vận dụng các dòng chảy ngầm của vũ trụ sao cho có lợi cho bản thân. Đoạn trích dưới đây từ cuốn sách "Sức mạnh của Đạo" của tác giả Max Landsberg sẽ giúp bạn hiểu thêm về "Lý".

Thiếu hụt kỹ năng công nghệ thông tin

Blog GS John VU - GS John Vu - 28/07/2026 11:00
Trong vài năm qua, vấn đề thiếu hụt kĩ năng CNTT thường được nhắc tới ở Mĩ và nó làm khuấy động nhiều cuộc tranh cãi.

4 hành động thể hiện bạn là người EQ thấp

Kỹ năng - Kim Linh - 28/07/2026 10:00
Người có EQ (trí tuệ cảm xúc) thấp thường dễ hành động theo cảm tính, vô tình khiến cả bản thân lẫn người khác rơi vào những tình huống khó xử.

Nhà thiết kế nổi tiếng Việt Nam làm tài xế xe công nghệ để kiếm sống, mừng rỡ khi được khách 'boa' 2.000 đồng

Phong cách sống - Anh Khôi - 28/07/2026 09:00
Bài đăng của nhà thiết kế nhanh chóng nhận được làn sóng tương tác lớn từ giới giải trí.

Sắp phát hành: Đại chiến AI

Tủ sách - FN - 28/07/2026 08:00
Suốt nhiều thập kỷ, AI luôn được xem như một tương lai "đã cận kề", nhưng hết lần này đến lần khác vẫn chưa đáp ứng được những kỳ vọng. Phải đến khi ChatGPT, Gemini cùng hàng loạt công cụ AI tạo sinh khác bùng nổ, nhân loại mới thực sự tự hỏi: Có phải thời hoàng kim của AI đã điểm?

Cách giúp cho một dự án đang thất bại

Blog GS John VU - GS John Vu - 27/07/2026 11:00
Một người quản lí dự án hỏi tôi: “Dự án phần mềm của tôi không chạy tốt, tổ của tôi mệt mỏi và nản chí. Tôi phải làm gì?”

Bạn luôn đưa ra lời khuyên tuyệt vời cho người khác, ngoại trừ chính mình

Suy ngẫm - TĐ - 27/07/2026 10:00
"Tạo khoảng cách với bản thân" (self-distancing) giải thích vì sao lời khuyên bạn có thể dành cho một người bạn chỉ trong năm phút lại là điều bạn không thể tự nói với chính mình suốt cả một tháng.

Phạm Xuân Ẩn trong Mậu Thân 1968: Cuộc đấu trí từ bản cung của kẻ phản bội

Phong cách sống - Bích Phương - 27/07/2026 09:00
"Tiêu hết rồi các anh ơi!", Đại tá Tư Cang từng nhận định bi quan sau đợt 1 Tết Mậu Thân. Nhưng nguồn tin, phân tích chiến lược của ông Phạm Xuân Ẩn đã giúp Cụm H.63 nhìn ra bước ngoặt của cuộc chiến.
HẠT GIỐNG TÂM HỒN
2019 Bản quyền thuộc về hatgiongtamhon.com.vn. Phát triển bởi ONECMS