Foundations of data science

จาก Theory Wiki
ไปยังการนำทาง ไปยังการค้นหา

หน้านี้สำหรับเก็บเอกสารและการบ้านรายวิชา 01204515 Foundations of Data Science ปีการศึกษา 2564 ภาคต้น

รายวิชานี้จะใช้หนังสือ Foundations of Data Science (Blum, A., Hopcroft, J., & Kannan, R. (2020). Foundations of Data Science. Cambridge: Cambridge University Press. doi:10.1017/9781108755528) เป็นหนังสือหลัก (ดาวน์โหลดจากโฮมเพจของ Hopcroft)

การบ้าน

อ้างอิงจากหนังสือ ฉบับวันที่ 2 March 2019

  • Homework 1 (due 2 Sep.): 12.6, 12.15, 2.1(1), 2.5, 2.9, 2.27 (Programming), 2.32 (Programming), 2.14 (optional), 2.23 (optional)
    • Hint: 2.9 พิจารณา 1 มิติก่อน (d=1) นิยามของ variance คืออะไร, จากนั้นค่อยพิจารณา d มิติ
  • Homework 2 (due 4 Oct): 3.1, 3.6, 3.14, 3.15 (คำนวณค่า), 3.24, 3.23 (optional)
    • Hint: 3.1 least squares vertical error
    • Hint: 3.6 จากการที่แถวเป็น orthonormal ให้แสดงว่า (1) หรือ (2) (ข้อใดข้อหนึ่ง หรือจะแสดงทั้งคู่ก็ได้) จากนั้นให้ใช้คุณสมบัติดังกล่าวประกอบกับการตีความ
  • Homework 3 (due 11 Oct): 5.3, 5.4, 5.7, 5.10, 5.12
    • Hint: 5.3 ให้ลอง fix disjunction ก่อน จากนั้นพิจารณาว่า w ควรเป็นอะไร (ลองพิจารณาจากกรณีที่ใช้ perceptron ในการหาเวกเตอร์ก็ได้)
    • Hint: 5.4 พิสูจน์ by contradiction ให้สร้างเงื่อนไขที่ตอบถูกบางกรณีก่อน จากนั้นนำมารวมกันเพื่อสร้างข้อขัดแย้ง
  • Homework 4 (due 8 nov)
    • บังคับทำ 5.26 (boosting)
    • ให้เลือก 2 ข้อจากด้านล่าง
      • 5.21 (programming), 5.22 (programming)
      • 5.19 (linear cnn), 5.23 (perceptron & sgd)
      • 5.24 (online perceptron)
    • โบนัส 5.20 (programming)

เนื้อหา

Week Topics Book chapter Clips Notes
1 Review of probability theory. Law of large numbers. Markov's Inequality. Chebyshev's Inequality 2

notes-01-1
notes-01-2

2 More review of probability theory: binomial, Poisson, and Gaussian random variables. High dimensional unit balls. 2

notes-02-1
notes-02-2

3 Gaussians in high dimensions. Random projection and the Johnson-Lindenstrauss Lemma.
Separating Gaussians. Introduction to SVD and review of linear algebra.
2, 3

Series แนะนำ: Essence of linear algebra จาก 3Blue1Brown

notes-03-1
notes-03-2

4 Singular Value Decomposition 3

notes-04-1

5 Applications of SVD. Machine learning (intro). Perceptrons. Kernel functions. 3, 5

คลิป:

notes-05-1
notes-05-2
notes-05-3

6 ตัวอย่าง Perceptron และ kernelized Perceptron, Uniform convergence (finite hypothesis classes) 5

คลิป:

notes-06-1

7 VC dimension 5

คลิป:

notes-07-1

8 Deep learning 5

คลิป:

notes-08-1

9 Online learning, learning from expert advice, boosting 5

คลิป:

notes-09-1
notes-09-2
notes-09-3

10 Streaming algorithms (1) 6

คลิป:

notes-10-1

11 Streaming algorithms (2) - majority และ second frequency moment 6

คลิป:

notes-11-1
notes-11-2

12 Streaming algorithms (3) - approximate matrix multiplication & matrix sketches 6

คลิป:

notes-12-1
notes-12-2

ลิงก์