Thông tin học tồn tại như một ngành khoa học quan trọng

theo Giáo trình thông tin học15/07/2024 11:00
Thông tin học tồn tại như một ngành khoa học quan trọng

Một trong những nét đặc trưng của công nghệ thế kỷ 20 là sự phát triển và bùng nổ các phương tiện truyền thông mới.

Cùng với sự phát triển của các phương tiện truyền và xử lý thông tin, một ngành khoa học lý thuyết hình thành, phát triển và trở thành đối tượng của nhiều nghiên cứu sâu sắc, đó là Lý thuyết thông tin.

Lý thuyết thông tin

Đây là ví dụ điển hình về một lý thuyết được khởi xướng đầu tiên bởi một người, kỹ sư điện người Mỹ Claude E. Shannon, mà ý tưởng đầu tiên của ông được đề xuất trong bài báo “A mathematical theory of communication", dăng trên Bell System Technical Journal (1948).

shannon.jpg
Claude E. Shannon đặt nền móng cho ngành thông tin học

Nội dung bài báo của Shannon nhằm giải quyết nhu cầu về cơ sở lý thuyết của công nghệ truyền thông. Nhu cầu này nảy sinh do độ phức tạp của quá trình truyền tin trên các kênh truyền thông như các mạng lưới điện thoại, điện báo và truyền thanh. Thuật ngữ thông tin ở đây là để chỉ các thông báo được truyền đi như: tiếng nói và âm nhạc được truyền đi bằng điện thoại hoặc truyền thanh, hình ảnh được truyền đi bằng truyền hình, các dữ liệu số hoá trên các mạng máy tính.

Lý thuyết thông tin (Infomation theory) là lý thuyết liên quan đến các định luật toán học chi phối việc truyền, tiếp nhận và xử lý thông tin. Chính xác hơn, lý thuyết thông tin đề cập tới các vấn đề về đo số lượng thông tin, biểu diễn thông tin (như vấn đề mã hoá) và khả năng của các hệ thống truyền thông có nhiệm vụ truyền, nhận và xử lý thông tin. Việc mã hoá có thể dùng để chuyển các tín hiệu âm thanh và hình ảnh thành tín hiệu điện, điện từ hoặc dùng để bảo mật thông tin. Lý thuyết thông tin còn được ứng dụng trong những lĩnh vực khác nhau như điều khiển học, ngôn ngữ học, tâm lý học...

Đo thông tin

Ý tưởng cơ bản của lý thuyết thông tin là thông tin có thể xử lý như một đại lượng vật lý, cũng như khối lượng hay năng lượng, nó có thể xác định và đo được bằng đại lượng toán học.

Trước khi xem xét vấn đề thông tin được đo như thế nào, ta cần làm rõ ý nghĩa của "thông tin". Thông thường các thông báo được truyền đi thường mang một ý nghĩa: chúng mô tả hay liên quan tới hiện thực hay các sự kiện có thể nhận thức được. Tuy nhiên không phải bao giờ cũng như vậy. Như trong trường hợp truyền âm nhạc chẳng hạn, ý nghĩa, nếu có sẽ tinh tế hơn trong trường hợp truyền văn bản. Trong một số trường hợp người kỹ sư phải truyền đi một chuỗi các chữ và số hoàn toàn không có nghĩa. Cũng có trường hợp, ý nghĩa không liên quan gì đến vấn đề truyền thông tin.

Xuất phát từ quan điểm truyền tin, khía cạnh ý nghĩa của thông tin là ở chỗ nhận được một thông báo riêng biệt từ một tập hợp các thông báo có thể. Cái mà phải truyền đi là thông báo riêng biệt đã được chọn từ nguồn tin. Như vậy, trong lý thuyết thông tin, thông tin là ý định lựa chọn một thông báo từ một tập hợp các thông báo có thể. Hơn nữa sự lựa chọn này xảy ra với một xác suất nào đó, một vài thông báo có thể xảy ra thường xuyên hơn các thông báo khác.

Sự lựa chọn đơn giản nhất là lựa chọn giữa hai khả năng như nhau, tức là mỗi khả năng có xác suất bằng nhau, bằng 1/2. Đây là tình huống, ví dụ: khi gieo một đồng tiền, khả năng chọn mặt “sấp” hoặc “ngửa” là như nhau và có xác xuất là p = 1/2. Lượng thông tin được tạo ra từ cách lựa chọn như thế được coi là một đơn vị của thông tin và đơn vị này đượcgọi là bit. Trong ví dụ trên, nếu ký hiệu “sấp” là số 1, “ngửa” là số 0 thì chỉ có một cách chọn để biểu diễn thông báo là 1 hoặc 0. Số 0 và 1 là những chữ số của hệ đếm nhị phân và việc chọn giữa hai ký hiệu đỏ tương ứng với một đơn vị thông tin nhị phân, đó chính là bit.

Vậy theo quan điểm của lý thuyết thông tin, bit là đơn vị thông tin tương đương với kết quả của sự lựa chọn giữa hai khả năng như nhau, như giữa 1 và 0 trong hệ số nhị phân được sử dụng trong máy tính điện tử. Bit là từ viết tắt của từ "binary digit", nghĩa là số nhị phân. Nó cũng được sử dụng làm đơn vị của bộ nhớ máy tính, tương ứng với khả năng lưu trữ kết quả của sự lựa chọn giữa hai khả năng.

Entropy và thông tin

Entropy là thuật ngữ mượn của nhiệt động học. Đó là đại lượng đặc trưng cho độ bất định hay nhiễu loạn của một hệ kín. Trong lý thuyết thông tin, entropy của một tập hợp thông báo là lượng thông tin trung bình của nó. Nói cách khác lượng thông tin thu được về việc xảy ra một sự kiện nào đó được xác định là bằng độ bất định của sự kiện đó trước khi biết nó xảy ra. Điều đó cũng có nghĩa là lượng tin càng cao khi độ bất ngờ của sự kiện càng lớn.

Entropy nhận giá trị nhỏ nhất bằng 0 khi có một thông báo chắc chắn xảy ra (tức là có xác suất bằng 1) còn tất cả các thông báo khác không xảy ra (có xác suất bằng 0). Về mặttrực giác ta cũng thấy rằng sẽ không có thông tin trong một thông báo mà ta đã biết chắc nó xảy ra. Ví dụ khi gieo một đồng tiền mà thông báo "xuất hiện sấp hoặc ngửa" thì coi như chẳng có nội dung thông tin nào.

Như vậy với lý thuyết thông tin, Shannon đã chứng minh được rằng thông tin có thể đo được, tức là với bản tin bất kỳ ta có thể xác định được nó chứa bao nhiêu đơn vị tin tức.

Thông tin có thể đo được. Đó là phát minh cũng có ý nghĩa về sự hiểu biết của con người đối với thế giới khách quan như ý nghĩa về khả năng đo được của năng lượng. Người ta đã chế tạo ra các máy để sản sinh và chế biến được năng lượng và giờ đây người ta cũng chế tạo ra các máy để gia công tin tức, đó là máy tính điện tử.

Những phương pháp của lý thuyết thông tin được sử dụng để mã hoá các thông tin ngữ nghĩa, đưa thông tin vào máy tính để bảo quản và thực hiện các quá trình tìm tin, truyền tin.

Một trong những nhiệm vụ chính của lý thuyết thông tin là nghiên cứu và nâng cao hiệu quả các quá trình truyền tin theo các kênh. Các quá trình này cũng được thông tin học nghiên cứu.

 


Gửi bình luận
(0) Bình luận
1

Tại sao đồng hồ có 12 số giờ, mà không phải 6, hay đủ cả 24 tiếng?

Trên thực tế, loài người đã sử dụng các hệ đồng hồ có 6 số, 8 số, 10 số, 18 số và 24 số. Nhưng bằng cách nào đó, hệ thống 12 giờ vẫn trở nên phổ biến nhất.
3

Anh van em đấy, em đừng yêu AI

Con người đang đắm đuối với AI - những người tình hoàn hảo, luôn luôn lắng nghe, luôn luôn thấu hiểu, khả năng dỗ dành ngọt ngào thì miễn bàn.
4

Xếp hạng 8 đại cao thủ Kim Dung - Cổ Long: Vô Danh Thần Tăng suýt bị loại

Bài viết so sánh và xếp hạng 8 cao thủ võ lâm hàng đầu từ các tác phẩm của hai đại văn hào Kim Dung và Cổ Long. Liệu ai sẽ là người đứng đầu trong bảng xếp hạng này?
5

5 chú mèo thành 'idol mạng', có hàng triệu người hâm mộ khắp thế giới

Nàng mèo Thái sang chảnh, chú mèo "ngầu" Trung Quốc hay chú mèo lướt sóng Hawaii... là những ngôi sao mạng có vô số người hâm mộ trên khắp thế giới.

Võ hiệp Kim Dung - Hé lộ nguồn gốc bí ẩn trong tên của cao thủ Lâm Triều Anh

Lâm Triều Anh hóa ra có mối quan hệ đặc biệt với vị cao thủ này.

25 sự thật tâm lý thú vị sẽ làm bạn kinh ngạc

Mọi người đều tò mò khi nhắc đến chủ đề tâm lý học, đặc biệt là tâm lý con người. Tại sao chúng ta cư xử theo một cách nhất định và những lý do liên quan đến những sự thật tâm lý thú vị như vậy luôn là điều hấp dẫn. 

Phát hiện mới về truyền thông tin trong bộ não chúng ta

Các nhà khoa học đã xác định được một dạng truyền thông tin rất độc đáo trong tế bào não người.

Kim Dung: Cùng 1 công phu như Kiều Phong, Hồng Thất Công không thể đánh bại Vương Trùng Dương

Vì sao Kiều Phong có thể đẩy lùi Vô Danh thần tăng còn Hồng Thất Công thì không thể đánh bại Vương Trùng Dương?

Tiểu thuyết Kim Dung: Vì sao Tây Độc Âu Dương Phong cứ thấy Chu Bá Thông là e dè?

Phải chăng Chu Bá Thông có "vũ khí bí mật" nào khiến Âu Dương Phong sợ hãi?

Kiến có thể làm "phẫu thuật" để cứu đồng loại

Kiến là loài sinh vật thứ hai trên thế giới được biết đến có thể làm điều này, chỉ sau con người.

Công nghệ thông tin thời kỳ hiện đại đã bắt đầu như thế nào?

Những kết quả nghiên cứu của Rudolf Hertz về sóng điện từ (1887) và việc phát minh ra “diode” nổi tiếng của Ambrose Fleming (1904) cho phép con người sử dụng điện tử vào truyền thông mà không cần dây dẫn.

Nữ diễn viên 87 tuổi được Lưu Đức Hoa xin số điện thoại đã định nghĩa lại tuổi trẻ

Truyền cảm hứng - Diệp Anh - 27/03/2025 10:00
Khi nhắc đến diễn viên Ngô Ngạn Xu không phải ai cũng nhớ ra bà là ai, nhưng khi nhìn thấy ảnh, chắc hẳn bạn sẽ nhận ra bà. Bởi bà thực sự đẹp lão và mang lại thiện cảm ngay từ ánh nhìn đầu tiên.

Biến tiềm năng thành tài năng - Mắc kẹt không phải thất bại, ổn định không phải thành công

Từ sách - Phim - Quìn - 27/03/2025 09:00
Có bao giờ bạn cảm thấy mình bị mắc kẹt, mọi thứ cứ lặp đi lặp lại mà không có bất kỳ sự tiến triển nào?

Bí quyết sống tỉnh thức trong 8 ngày - Sống chậm lại, bí quyết tỉnh thức giúp bạn thoát khỏi căng thẳng

Từ sách - Phim - Quìn - 27/03/2025 08:00
Bạn có bao giờ cảm thấy tâm trí lúc nào cũng mệt mỏi? Những áp lực vô hình khiến bạn kiệt sức, dù nghỉ ngơi bao nhiêu cũng không thấy nhẹ nhõm hơn? Nhưng sự bình yên không phải là thứ xa vời – nó có thể đến từ chính những khoảnh khắc đơn giản trong ngày.

Tỷ phú Rockefeller dặn con: Trên đời có 2 loại người không thể giàu có

Suy ngẫm - Ánh Lê - 26/03/2025 13:00
Những người thích tiết kiệm, khư khư giữ tiền trong ngân hàng để an toàn. Nhưng làm như vậy không khác gì đóng băng tiền, bạn phải biết rằng bạn không thể làm giàu bằng cách dựa vào lãi suất", tỷ phú Rockefeller nhắn nhủ con trai.

Từ thế hệ "bông tuyết" đến "thuỷ tinh": Chúng ta đang nuôi dạy con trẻ mong manh hơn hay chỉ đổi tên?

Phong cách sống - Trang Vũ - 26/03/2025 12:00
Thế hệ trẻ giờ đây đang bị gắn cho những cái tên nghe vừa kêu vừa… đáng lo.

3 bước biết ngay ai đang chụp màn hình tin nhắn Messenger

Kỹ năng - KV - 26/03/2025 11:00
Tính năng này sẽ giúp hỗ trợ người dùng bảo vệ các thông tin riêng tư mà không lo người nhận chụp màn hình hay chia sẻ thông tin ra bên ngoài

Bức ảnh "chiếc ô nghiêng" gây sốt mạng xã hội

Truyền cảm hứng - Đông - 26/03/2025 10:00
Khi bên bố, con luôn cảm thấy an toàn, bình yên và tất cả những khó khăn đều trở nên nhỏ bé.

Bạn muốn xuất bản sách nhưng không biết bắt đầu từ đâu? Hãy để First News đồng hành cùng bạn!

Tủ sách - 26/03/2025 09:00
Bạn có một ý tưởng sách tuyệt vời nhưng chưa biết bắt đầu từ đâu? Bạn lo lắng về quá trình biên tập, thiết kế hay phát hành? Xuất bản sách là một hành trình không đơn giản, nhưng với sự hỗ trợ từ First News – Trí Việt, bạn sẽ không phải đi một mình.

Bản giao hưởng cuộc sống - Đối diện cuộc đời, can trường mà sống

Từ sách - Phim - Quìn - 26/03/2025 08:00
Thành công không phải là một điểm đến ngay lập tức, mà là hành trình của những bước đi nhỏ, bền bỉ mỗi ngày. Quan trọng không phải bạn đang ở đâu, mà là bạn có dám tiến lên hay không.

Tài năng nước ngoài

Blog GS John VU - GS John Vu - 25/03/2025 13:00
Tạp chí Business Week đăng một bài báo thú vị: “Vẫn còn được cần tới: Tài năng nước ngoài và Thị thực.”

Cách dạy Văn độc lạ của cô giáo Đồng Nai nổi đình đám mạng xã hội

Truyền cảm hứng - Kim Anh - 25/03/2025 12:00
Nếu chỉ giảng dạy Ngữ văn theo phương pháp thông thường, cô Hương cho rằng giáo viên rất dễ trở thành "người gây mê" trong mắt học trò.

Vì sao giọng nói của bạn trên ghi âm nghe khác hoàn toàn so với giọng bạn tự nghe?

Kỹ năng - Anh Việt - 25/03/2025 11:00
Điều thú vị là, trong khi bạn cảm thấy giọng mình trên ghi âm nghe không ổn, những người khác thường không nhận ra sự khác biệt đó.

“Chúng ta đang nuôi dưỡng sản phẩm lỗi trong thời đại AI” – Chỉ trích của Nhậm Chính Phi tạo cơn địa chấn giáo dục

Suy ngẫm - Trang Đào - 25/03/2025 10:00
Những lời của Nhậm Chính Phi khiến các bậc phụ huynh trên khắp đất nước bắt đầu nghi ngờ rằng chúng ta đều đang nuôi dưỡng "những sản phẩm lỗi trong thế giới AI".

Chiến thắng con quỷ bên trong - Phụ nữ muốn sống một cuộc đời rực rỡ, nhất định phải hiểu 3 điều này

Từ sách - Phim - Thùy Linh - 25/03/2025 09:00
Khi nhận diện được những nỗi sợ đang chi phối mình, bạn đã đi được nửa chặng đường đến tự do.

Nobita từng 2 lần đạt kỷ lục thế giới, số lần phá hủy trái đất, bán nhà gây sốc nhất!

Điện ảnh - Trần Hà - 25/03/2025 08:00
Đọc Doraemon nhiều năm nhưng có thể bạn chưa biết điều này.
HẠT GIỐNG TÂM HỒN
2019 Bản quyền thuộc về hatgiongtamhon.com.vn. Phát triển bởi ONECMS
Thứ 5, 27/03/2025