Bài giảng môn học lý thuyết thông tin bởi giảng viên biên soạn gồm có 15 bài học, cung cấp cho tất cả những người học một vài nội dung như: giới thiệu chung về tin tức và triết lý thông tin, một số trong những khái niệm cơ bản, lượng tin, Entropy, mã hiệu, mã hóa về tối ưu mối cung cấp rời rạc ko nhớ,... Mời chúng ta cùng tham khảo.

Bạn đang xem: Bài tập lý thuyết thông tin

Xem thêm: Mua Thẻ Nhớ 4Gb Giá Bao Nhiêu ? Thẻ Nhớ 4Gb Giá Rẻ, Giá Cập Nhật 2 Giờ Trước

trường Đại học tập Bách khoa Khoa công nghệ Thông Tin BÀI GIẢNG MÔN HỌC LÝ THUYẾT THÔNG TIN Giảng Viên: hồ Văn Quân E-mail: hcquan
dit.hcmut.edu.vnWeb site: http://www.dit.hcmut.edu.vn/~hcquan/student.htm NỘI DUNG MÔN HỌC„ bài 1 Giới thiệu„ bài bác 2 một trong những khái niệm cơ bản„ bài 3 chuẩn bị toán học„ bài xích 4 Lượng tin„ bài bác 5 Entropy„ bài bác 6 Mã hiệu„ bài xích 7 Mã hóa về tối ưu nguồn rời rạc ko nhớ„ bài 8 Mã hóa mối cung cấp phổ quát„ bài xích 9 Kênh rời rạc ko nhớ, lượng tin tương trợ Trang 2 triết lý Thông tin - Khoa technology Thông Tin NỘI DUNG MÔN HỌC (tt)„ bài xích 10 Mã hóa kháng nhiễu, định lý kênh„ bài 11 Mã khối con đường tính„ bài bác 12 đại lý toán học tập của mã hóa kháng nhiễu„ bài 13 Mã vòng„ bài xích 14 trình làng về mật mã hóa„ bài xích 15 một số vấn đề nâng cấp Trang 3 lý thuyết Thông tin - Khoa technology Thông Tin TÀI LIỆU THAM KHẢO1. Information Theory - Robert B.Ash, công ty xuất bạn dạng Dover, Inc, 1990.2. Introduction khổng lồ Information Theory - Masud Mansuripur, nhà xuất phiên bản Prentice–Hall, Inc, 1987.3. A Mathematical Theory of Communication - C. E. Shannon, tạp chí Bell System Technical, số 27, trang 379–423 và 623– 656, mon 7 và tháng 10, 1948.4. Cơ sở triết lý truyền tin (tập một cùng hai) - Đặng Văn Chuyết, Nguyễn Tuấn Anh, đơn vị xuất bạn dạng Giáo dục, 1998. Trang 4 định hướng Thông tin - Khoa technology Thông Tin HÌNH THỨC ĐÁNH GIÁ„ sẽ sở hữu thông báo cụ thể cho từng khóa học. Mặc dù nhiên, hay là có hiệ tượng như mặt dưới.„ Thi trắc nghiệm „ giữa kỳ: 30 câu / 45 phút „ Cuối kỳ: 45 câu / 90 phút „ Được phép xem tài liệu trong 2 tờ giấy A4„ Làm bài xích tập to cộng điểm (không bắt buộc) „ Nộp bài tập bự và báo cáo vào cuối học kỳ „ Cộng về tối đa 2 trang điểm 5 triết lý Thông tin - Khoa technology Thông Tin CÁC MÔN LIÊN QUAN„ lý thuyết xác suất„ chuyên môn truyền số liệu„ Xử lý dấu hiệu số Trang 6 định hướng Thông tin - Khoa technology Thông Tin bài 1 Giới thiệu1.1 tin tức là gì?1.2 vai trò của thông tin1.3 triết lý thông tin nghiên cứu những gì?1.4 Những ứng dụng của kim chỉ nan thông tin1.5 triết lý thông tin – lịch sử dân tộc hình thành và ý kiến khoa học hiện đại Trang 7 triết lý Thông tin - Khoa technology Thông Tin thông tin là gì?„ Một vài lấy ví dụ như „ nhì người thủ thỉ với nhau. Loại mà đàm phán giữa họ điện thoại tư vấn là thông tin. „ Một tín đồ đang xem tivi/nghe đài/đọc báo, người đó đã nhận thông tin từ đài phát/báo. „ quá trình giảng dạy dỗ trong lớp. „ Các máy tính xách tay nối mạng với trao đổi dữ liệu với nhau. „ máy tính xách tay nạp chương trình, dữ liệu từ đĩa cứng vào RAM để thực thi. Trang 8 kim chỉ nan Thông tin - Khoa công nghệ Thông Tin thông tin là gì? (tt)„ nhận xét „ tin tức là dòng được truyền từ đối tượng người sử dụng này đến đối tượng người tiêu dùng khác để báo một “điều” gì đó. Thông tin chỉ có chân thành và ý nghĩa khi “điều” đó bên nhận không biết. „ Thông tin xuất hiện dưới nhiều dạng âm thanh, hình ảnh, ... Phần lớn dạng này chỉ cần “vỏ bọc” trang bị chất cất thông tin. “Vỏ bọc” là phần “xác”, tin tức là phần “hồn”. „ Ngữ nghĩa của tin tức chỉ có thể hiểu được khi bên nhận phát âm được cách biểu diễn ngữ nghĩa của bên phát. „ trong số những phương tiện thể để diễn tả thông tin là ngôn ngữ. „ gồm hai tâm trạng của thông tin: truyền cùng lưu trữ. Môi trường truyền/lưu trữ được gọi bình thường là môi trường thiên nhiên chứa tin tuyệt kênh tin. Trang 9 kim chỉ nan Thông tin - Khoa công nghệ Thông Tin sứ mệnh của thông tin„ Các đối tượng người tiêu dùng sống luôn luôn mong muốn hiểu về trái đất xung quanh, để mê thích nghi và tồn tại. Đây là một quá trình quan sát, tiếp nhận, đàm phán và xử lý thông tin từ môi trường thiên nhiên xung quanh.„ thông tin trở thành một nhu cầu cơ bản, một đk cần cho việc tồn tại cùng phát triển.„ lúc KHKT, XH ngày càng phát triển, tin tức càng bộc lộ được vai trò đặc biệt quan trọng của nó đối với chúng ta.„ Ví dụ, hành động xuất phân phát từ suy nghĩ, nếu suy nghĩ đúng, thì hành động mới đúng. Quan tâm đến lại chịu ảnh hưởng từ các nguồn thông tin được tiếp nhận. Bởi vậy thông tin hoàn toàn có thể chi phối đến để ý đến và hiệu quả là hành động của con người. Trang 10 triết lý Thông tin - Khoa công nghệ Thông Tin LTTT nghiên cứu những vấn đề gì? „ Ở khía cạnh khoa học kỹ thuật, LTTT phân tích nhằm tạo ra một “cơ sở hạ tầng” xuất sắc cho việc media tin bao gồm xác, gấp rút và an toàn; lưu lại trữ thông tin một biện pháp hiệu quả. „ Ở những góc độ nghiên cứu khác LTTT nghiên cứu và phân tích các vấn đề về phong thái tổ chức, màn biểu diễn và truyền đạt thông tin, và bao quát là những vấn đề về xử lý thông tin.„ Ba nghành nghề nghiên cứu vãn cơ bản của môn học „ Mã hoá chống nhiễu „ Mã hoá tối ưu (hay nén dữ liệu) „ Mật mã hoá trang 11 triết lý Thông tin - Khoa technology Thông Tin Những ứng dụng của LT thông tin„ Cuộc phương pháp mạng thông tin đang xảy ra, sự phân phát triển trẻ khỏe của những phương tiện mới về truyền thông, giữ trữ tin tức làm thay đổi ngày càng thâm thúy xã hội bọn chúng ta.„ LTTT đóng góp một vai trò quyết định trong sự trở nên tân tiến này bằng phương pháp cung cấp cho cơ sở lý thuyết và một cái nhìn triết học tập sâu sắc đối với những câu hỏi mới và thử thách mà bọn họ chạm trán – hôm nay và mai sau.„ gần như ứng dụng phổ biến của LTTT là truyền thông và xử lý thông tin bao gồm: truyền thông, nén, bảo mật, lưu lại trữ, ...„ Các ý tưởng của LTTT đang được áp dụng trong nhiều lĩnh vực như vật dụng lý, ngôn ngữ học, sinh vật học, khoa học máy tính, tư tưởng học, hóa học Trang 12 lý thuyết Thông tin - Khoa công nghệ Thông Tin Những vận dụng của LT tin tức (tt)„ quan hệ giữa LTTT và thống kê đã có tìm thấy, các cách thức mới về so với thống kê dựa trên LTTT đã có được đề nghị.„ Ứng dụng vào cai quản kinh tế. Ví dụ, lý thuyết chi tiêu tối ưu mở ra đồng thời với định hướng mã hóa nguồn về tối ưu.„ Ứng dụng vào ngôn ngữ học.„ Ứng dụng đến tư tưởng thực nghiệm và nhất là lĩnh vực dạy với học. Trang 13 triết lý Thông tin - Khoa technology Thông Tin lịch sử dân tộc hình thành„ Cuộc bí quyết mạng phệ nhất về cách nhìn thế giới khoa học là chuyển sang làn đường khác từ thuyết đưa ra quyết định Laplacian cho bức tranh xác suất của trường đoản cú nhiên.„ cố gắng giới chúng ta đang sống trong những số đó chủ yếu đuối là xác suất. Kỹ năng và kiến thức của bọn họ cũng là 1 dạng xác suất.„ LTTT nổi lên sau khoản thời gian cơ học tập thống kê cùng lượng tử vẫn phát triển, và nó chia bổ với đồ lý thống kê các khái niệm cơ bản về entropy.„ Theo định kỳ sử, các khái niệm cơ phiên bản của LTTT như entropy, thông tin cứu giúp được hình thành từ việc phân tích các khối hệ thống mật mã rộng là từ bỏ việc phân tích các kênh truyền thông.„ Về mặt toán học, LTTT là một nhánh của lý thuyết xác suất và các quá trình ngẫu nhiên (stochastical process). Trang 14 định hướng Thông tin - Khoa technology Thông Tin lịch sử hào hùng hình thành (tt)„ đặc biệt quan trọng và có ý nghĩa sâu sắc nhất là quan tiền hệ link giữa LTTT cùng vật lý thống kê.„ vào một thời hạn dài trước lúc LTTT được hình thành, L. Boltzman và sau đó là L.Szilard đã đánh đồng ý nghĩa sâu sắc của thông tin với khái niệm nhiệt rượu cồn học của entropy. Một phương diện khác, D. Gabor chỉ ra rằng “lý thuyết truyền thông phải được xem như một nhánh của đồ lý”.„ C. E. Shannon là thân phụ đẻ của LTTT. Trang 15 kim chỉ nan Thông tin - Khoa công nghệ Thông Tin bài xích 2 một vài khái niệm cơ bản2.1 tin tức (Information)2.2 quy mô của các quá trình truyền tin2.3 những loại hệ thống truyền tin – tiếp tục và tránh rạc2.4 tránh rạc cải trang 16 lý thuyết Thông tin - Khoa technology Thông Tin Thông tin„ Thông tin là 1 khái niệm trừu tượng, phi vật hóa học và rất cạnh tranh được định nghĩa bao gồm xác. Hai có mang về thông tin.„ Thông tin là sự việc cảm phát âm của con người về trái đất xung quanh thông qua sự tiếp xúc với nó.„ thông tin là một hệ thống những tin báo và nhiệm vụ giúp vứt bỏ sự không chắc chắn rằng (uncertainty) trong trạng thái của vị trí nhận tin. Nói ngắn gọn, thông tin là chiếc mà loại bỏ sự không cứng cáp chắn.„ Định nghĩa đầu không nói lên được thực chất của thông tin. Định nghĩa đồ vật hai nói rõ hơn về thực chất của thông tin và được dùng để định lượng thông tin trong kỹ thuật. Trang 17 triết lý Thông tin - Khoa technology Thông Tin thông tin (tt)„ Thông tin là 1 trong hiện tượng đồ gia dụng lý, nó thường tồn tại cùng được truyền đi dưới một dạng vật chất nào đó.„ đa số dạng thứ chất dùng để mang thông tin được gọi là tín hiệu.„ triết lý tín hiệu nghiên cứu các dạng biểu thị và cách truyền thông tin đi xa với ngân sách chi tiêu thấp, một ngành mà có quan hệ gần cận với LTTT.„ tin tức là một quy trình ngẫu nhiên.„ biểu đạt mang tin tức cũng chính là tín hiệu đột nhiên và mô hình toán học của nó là các quá trình ngẫu nhiên thực hay phức.„ với LTTT là lý thuyết ngẫu nhiên của tin tức, tức là nó xét đến tính bất ngờ của tin tức đối với nơi nhấn tin. Trang 18 triết lý Thông tin - Khoa technology Thông Tin mô hình của các quy trình truyền tin „ Khái niệm tin tức thường đi kèm với một khối hệ thống truyền tin. Nhiễu mối cung cấp phát Kênh truyền mối cung cấp nhận„ Sự truyền tin (transmission) „ Là sự di chuyển thông tin từ điểm này đến điểm khác trong một môi trường xung quanh xác định.„ nguồn tin (information source) „ là 1 tập hợp những tin mà hệ thống truyền tin dùng làm lập những bảng tin hay thông tin (message) để truyền tin. „ Bảng tin đó là dãy tin được bên phát truyền đi. „ Thông tin có thể thuộc nhiều một số loại như (1) một dãy kí từ bỏ như trong năng lượng điện tín (telegraph) của các khối hệ thống gởi năng lượng điện tín (teletype system); Trang 19 triết lý Thông tin - Khoa công nghệ Thông Tin quy mô của các quá trình truyền tin (tt) (2) một hàm theo chỉ một biến thời hạn f(t) như trong radio cùng điện thoại; (3) một hàm của thời hạn và các biến khác như trong truyền hình trắng đen – ở chỗ này thông tin có thể được nghĩ về như là một trong những hàm f(x, y, t) của toạ độ hai phía và thời hạn biểu diễn cường độ ánh sáng tại điểm (x, y) trên screen và thời gian t; (4) một vài ba hàm của một vài trở nên như vào trường đúng theo tivi màu – ở đây thông tin bao hàm ba hàm f(x, y, t), g(x, y, t), h(x, y, t) màn biểu diễn cường độ ánh sáng của các ba thành phần màu sắc cơ phiên bản (xanh lá cây, đỏ, xanh dương) „ Thông tin trước khi được truyền đi, tuỳ theo yêu thương cầu có thể được mã hoá để nén, kháng nhiễu, bảo mật, ...„ Kênh tin (channel) „ Là vị trí hình thành cùng truyền (hoặc lưu giữ trữ) bộc lộ mang tin mặt khác ở đấy xảy ra những tạp nhiễu (noise) hủy diệt tin tức. „ vào LTTT kênh là một khái niệm trừu tượng đại biểu mang đến hỗn hợp biểu đạt và tạp nhiễu. Trang 20 triết lý Thông tin - Khoa technology Thông Tin