Kỹ năng Big Data

GS John Vu20/11/2023 11:00
Kỹ năng Big Data

Một sinh viên hỏi tôi: “Em cần kĩ năng nào để làm việc trong khu vực Big Data?” “Em có thể học những kĩ năng này ở đâu?” Xin thầy lời khuyên.”

Đáp: Big Data là khu vực đang nổi lên trong công nghệ thông tin (CNTT) giải quyết với việc xây dựng “sản phẩm dữ liệu” dựa trên các thuật toán phức tạp. Nó là tổ hợp của các khu vực công nghệ tính toán, toán học, và quản lí dữ liệu. Kĩ năng Big Data thường được dạy trong chương trình bằng thạc sĩ (thạc sĩ trong khoa học máy tính chuyên môn hoá trong Big Data hay thạc sĩ trong công nghệ thông tin trong phân tích dữ liệu v.v).

Là bằng thạc sĩ, nó yêu cầu rằng bạn phải có bằng cử nhân trong khoa học máy tính, kĩ nghệ phần mềm hay quản lí hệ thông tin để xin vào. Điều đó cũng có nghĩa là bạn phải có kĩ năng lập trình mạnh trong Java, C++ hay Python, có tri thức tốt về cấu trúc dữ liệu và thuật toán, và hiểu vòng đời phát triển phần mềm, đặc biệt cho phần mềm thực hiện các nhiệm vụ phức tạp.

Trong chương trình này bạn sẽ học vài môn trong trí tuệ nhân tạo (AI) như Học máy và thống kê để phát triển các thuật toán giải quyết với tập dữ liệu lớn. Bạn sẽ học về vài thuật toán được dùng trong học máy, chúng giải quyết các vấn đề nào, và chúng được thực hiện thế nào. (tức là, động cơ khuyến cáo, cây quyết định, xử lí ngôn ngữ tự nhiên v.v.) Bạn cũng học vài môn trong công cụ mô hình hoá như R hay Matlab hay SAS. Các công cụ phân tích thống kê và trực quan hoá là rất quan trọng trong công việc Big Data để thực hiện phân tích hồi qui, phân tích kết cụm, và phân lớp dữ liệu.

Để giải quyết với tập dữ liệu lớn, bạn cũng cần học các môn về Hadoop, MapReduce, NonSQL, Pig và Hive và Mahout.

Big Data là mới và vẫn đang tiến hoá. Bạn phải học nhiều các kĩ năng kĩ thuật và đưa vào thực hành để thu lấy kinh nghiệm. Do đó phát triển các kĩ năng Big Data, sẽ cần thời gian, công sức để làm việc như chuyên viên dữ liệu hay nhà khoa học dữ liệu. Ngày nay Big Data là một trong những khu vực có nhu cầu cao với trả lương cao trong công nghiệp bởi vì có thiếu hụt trầm trọng về những kĩ năng này.

English version

Big Data skills

A student asked me: “What skills do I need to work in the Big Data area?” “Where can I learn these skills?” Please advice.

Answer: Big Data is an emerging area of Information Technology (IT) that deals with building “data products” based on complex algorithms. It is a combination of computing technology, mathematics, and data management areas. Big Data Skills are often taught in a Master’s degree program (Master in Computer Science that specialize in Big Data or Master in Information Technology in Data Analytics etc.).

As a Master’s degree, it requires that you have a Bachelor’s degree in Computer Science, Software Engineering or Information System Management to apply. That also means that you must have a strong programming skills in Java, C++ or Python, have good knowledge of data structures and algorithms, and understand software development lifecycle, especially for software that perform complex tasks.

In this program you will take a few courses in Artificial Intelligence (AI) such as Machine Learning and Statistics to develop algorithms that deal with large datasets. You will learn about several algorithms used in machine learning, which problems they solve, and how they are implemented. (i.e., recommendation engines, decision trees, Natural Language Processing etc.) You also take several courses in modeling tools such as R or Matlab or SAS. These statistical analysis and visualization tools are very important in Big Data works to perform regression analysis, clustering analysis, and data classification.

To deal with large datasets, you also need to take courses to learn about Hadoop, MapReduce, NonSQL, Pig and Hive and Mahout.

Big Data is new and is still evolving. You have to learn a lot of technical skills and put into practice to gain experience. Therefore to develop Big Data skills, it will take time, effort to work as a Data Specialist or Data Scientist. Today Big Data is one of the area that has highest demand with the highest paid in the industry because there is a critical shortage of these skills.

 


Gửi bình luận
(0) Bình luận
1

Khoán ngoài toàn cầu

Ngày nay Ấn Độ vẫn còn là nhà khoán ngoài CNTT mạnh, với $87 tỉ đô la xuất khẩu phần mềm so với $2.6 tỉ đô la dành cho Trung Quốc và $1.1 tỉ đô la cho Nga (dữ liệu 2009).

Tại sao vào đại học?

Một sinh viên viết: “Nhiều người tốt nghiệp đại học mà không thể tìm được việc làm; vậy tại sao vào đại học? Trường nghề có là chọn lựa tốt hơn không? Xin thầy lời khuyên.”

Cuộc chiến yên tĩnh về công nhân có kỹ năng

Trong hai trăm năm qua, các nước đã cạnh tranh và đánh nhau về các nguồn tài nguyên tự nhiên, nhưng ngày nay họ cạnh tranh và đánh nhau về công nhân có kĩ năng. Một cuộc chiến toàn cầu yên tĩnh về công nhân có kĩ năng đã diễn ra nhưng ít người để ý.

Bài học từ Estonia

Khi Estonia giành lại độc lập vào năm 1991, chỉ một phần ba dân số có điện thoại; chỉ các văn phòng chính phủ hay công ti lớn mới có máy tính cá nhân. Ít người thậm chí biết tới Internet hay nghe nói về Apple hay Microsoft.

Hành vi của sinh viên trong lớp

“Thầy xử lí thế nào khi sinh viên gửi email và nhắn tin điện thoại khi thầy đang giảng bài? Rồi những sinh viên xem YouTube trong lớp? Chúng ta có nên cấm họ đem các thiết bị điện tử vào lớp không? Xin thầy lời khuyên.”

Xu hướng mới: Khoán ngoài phần cứng, khoán trong phần mềm

Người ta dự đoán rằng trong vài năm nữa, phần lớn việc khoán ngoài phần mềm sẽ biến mất.

Trận chiến mới trong tính toán đám mây

Ngày nay “Tính toán mây” là “nóng” vì ngày càng nhiều công ti đang chuyển vào mây.

Tính toán đám mây: Miền mới, kỹ năng mới

Ngày nay nhiều công ti đang chuyển vào trong tính toán mây để giảm chi phí bằng việc tránh chi tiêu vào các cấu phần công nghệ thông tin (CNTT) hay nâng cấp kết cấu nền của riêng họ.

Dịch vụ tính toán đám mây

“Nhiều người nói rằng tính toán đám mây chỉ dành cho công ti lớn ở các nước đã phát triển như Mĩ hay Anh nhưng sẽ không có tác dụng cho công ti nhỏ ở nước đang phát triển. Xin thầy lời khuyên.”

Đằng sau một quyết định lớn: Vùng xám - nơi thử lửa bản lĩnh và chiều sâu nhân văn của một nhà lãnh đạo

Hãy tưởng tượng bạn phải quyết định, nhưng tất cả dữ liệu, báo cáo, ý kiến xung quanh đều chẳng thể cho bạn đáp án rõ ràng. Không có đúng hay sai tuyệt đối. Chỉ có vô vàn rủi ro và áp lực bủa vây. Và bạn, với vai trò người dẫn đầu vẫn buộc phải đưa ra quyết định.

AI tạo video cực đỉnh của Google Veo 3 chính thức “chào sân” Việt Nam

Kỹ năng - Kỳ Thư - 04/07/2025 13:00
Google triển khai mô hình tạo video AI Veo 3 tại Việt Nam qua ứng dụng Gemini, cho phép người dùng tạo video từ văn bản kèm âm thanh, tích hợp công cụ nhận diện nội dung do AI tạo ra.

Xem "Sex Education", tôi bất ngờ với một câu thoại ngắn gọn nhưng sẽ là chân lý

Điện ảnh - Mỹ Hạnh - 04/07/2025 12:00
Thật không ngờ, bộ phim "Sex Education" lại chứa đựng nhiều triết lý thú vị như thế.

ChatGPT có thể gây ra chứng loạn thần, khiến người dùng phải nhập viện điều trị

Kỹ năng - Sơn Vân - 04/07/2025 11:00
Ngày càng nhiều người dùng ChatGPT phát triển nỗi ám ảnh mất kiểm soát với chatbot trí tuệ nhân tạo AI, dẫn đến các cuộc khủng hoảng sức khỏe tâm thần nghiêm trọng với biểu hiện như hoang tưởng, ảo tưởng và tách rời thực tại, trang Futurism đưa tin.

Viết thư pháp trên quả vải thiều, chàng trai gen Z Hà Nội gây sốt mạng

Phong cách sống - Nhật Thủy - 04/07/2025 10:00
Thay cho giấy dó và lụa, Việt Út viết thư pháp lên quả vải thiều; hình ảnh mang nét đẹp vừa truyền thống vừa mới lạ này khiến cư dân mạng sửng sốt và thích thú.

Đằng sau một quyết định lớn: Vùng xám - nơi thử lửa bản lĩnh và chiều sâu nhân văn của một nhà lãnh đạo

Từ sách - Phim - Quìn - 04/07/2025 09:00
Hãy tưởng tượng bạn phải quyết định, nhưng tất cả dữ liệu, báo cáo, ý kiến xung quanh đều chẳng thể cho bạn đáp án rõ ràng. Không có đúng hay sai tuyệt đối. Chỉ có vô vàn rủi ro và áp lực bủa vây. Và bạn, với vai trò người dẫn đầu vẫn buộc phải đưa ra quyết định.

3 vũ khí tinh thần giúp chủ doanh nghiệp sống sót và tăng trưởng

Tủ sách - Quìn - 04/07/2025 08:00
Bạn có bao giờ tự hỏi vì sao có người trở nên giàu có, còn mình cứ loay hoay? Bạn đã từng kiệt sức, chán nản khi bỏ ra rất nhiều công sức mà kết quả vẫn không xứng đáng? Bạn nhìn thấy đối thủ bứt phá, còn mình thì trì trệ và bắt đầu tụt lại phía sau?

Cảnh báo khẩn từ thói quen chụp ảnh màn hình điện thoại

Kỹ năng - An Nhiên - 03/07/2025 13:00
Theo các chuyên gia an ninh mạng, người dùng hãy sử dụng các dịch vụ lưu trữ đám mây hoặc trình quản lý mật khẩu tốt nhất để lưu trữ những thông tin quan trọng một cách an toàn.

Xem Sex Education, tôi phát hiện bí mật nhạy cảm của con gái, nhờ vậy tôi giúp con "quay xe"

Điện ảnh - Thanh Hương - 03/07/2025 12:00
Tôi đã bình tĩnh và có cuộc nói chuyện chân thành với con.

Vì sao trào lưu nhìn lại quá khứ qua Google Maps gây bão mạng?

Kỹ năng - Nhật Thùy - 03/07/2025 11:00
Không cần cỗ máy thời gian, với vài thao tác, bạn có thể "gặp lại" người thân đã khuất, ngôi nhà hay thú cưng năm xưa với trào lưu nhìn lại quá khứ qua Google Maps.

Học sinh sử dụng AI: Công cụ hỗ trợ hay làm suy yếu tư duy?

Suy ngẫm - Anh Tú - 03/07/2025 10:00
Khi máy tính bỏ túi lần đầu tiên xuất hiện trong lớp học, nhiều người lo ngại rằng chúng sẽ làm suy yếu kỹ năng toán học của học sinh.

Gia đình bác sĩ đáng yêu:"Tuổi thơ các con ngắn lắm, sợ sau lớn hơn không thích đi chơi với bố mẹ nữa"

Phong cách sống - Tiểu Nguyễn - 03/07/2025 09:00
Những chia sẻ chânh thành, dễ thương từ cặp vợ chồng BS Lưu Tuấn Phong và Đặng Hiền khiến chúng ta một lần nữa thấy ý nghĩa thiêng liêng của "gia đình".

Người lạ với chính ta

Tủ sách - FN - 03/07/2025 08:00
Rachel Aviv, bằng những báo cáo y khoa và những hồi ký chưa xuất bản, kể về những con người bất thường trong mắt người khác trong cuốn sách “Người lạ với chính ta” (tựa gốc: Strangers to Ourselves).

Khoán ngoài toàn cầu

Blog GS John VU - GS John Vu - 02/07/2025 14:00
Ngày nay Ấn Độ vẫn còn là nhà khoán ngoài CNTT mạnh, với $87 tỉ đô la xuất khẩu phần mềm so với $2.6 tỉ đô la dành cho Trung Quốc và $1.1 tỉ đô la cho Nga (dữ liệu 2009).

Nghiên cứu gây chấn động ngành tâm lý: AI giàu lòng trắc ẩn hơn con người?

Kỹ năng - Hoàng Vũ - 02/07/2025 13:00
Một nghiên cứu mới cho thấy trí tuệ nhân tạo (AI) được xem là có lòng trắc ẩn và thấu hiểu hơn so với các chuyên gia sức khỏe tâm thần.

Xem Sex Education, tôi phát hiện chính tôi khiến con gái sống trong tình trạng rất tồi tệ

Điện ảnh - Thanh Hương - 02/07/2025 12:00
Khi nghe con nói chuyện, tôi đã rất bàng hoàng. Chính tôi đã khiến con trở nên như vậy!
HẠT GIỐNG TÂM HỒN
2019 Bản quyền thuộc về hatgiongtamhon.com.vn. Phát triển bởi ONECMS
Thứ 6, 04/07/2025