Chapter 4.2 — Linear Independence (লিনিয়ার ইন্ডিপেন্ডেন্স — রৈখিক স্বাধীনতা)¶

🎯 এই chapter-এ যা শিখবে¶

একদল vector-এর মধ্যে "অপ্রয়োজনীয়" vector চিনে ফেলা — যে নতুন কোনো দিক যোগ করে না
Linear Dependence(নির্ভরশীলতা) ও Linear Independence(স্বাধীনতা)-র formal সংজ্ঞা, আর দুটোর গভীর geometric ছবি
Independence পরীক্ষার হাতে-কলমে পদ্ধতি: homogeneous system \(\Rightarrow\) RREF
Square ক্ষেত্রে shortcut — determinant test-এর preview (Part VI-এ পূর্ণ রূপ)
Data Science-এ dependent vector মানেই redundant feature — multicollinearity-র প্রথম দর্শন

🖼️ এক ছবিতে মূল idea¶

w = 2u + v — w কোনো নতুন দিক আনে না

\(u\) আর \(v\) দিয়েই \(w\)-তে পৌঁছানো যায় (\(w = 2u + v\)) — dashed পথটা দেখো। তাহলে দলে \(w\)-কে রাখার দরকার কি? \(w\) হলো "অপ্রয়োজনীয়" সদস্য — আর এই অপ্রয়োজনীয়তা ধরাই আজকের কাজ।

১. কি? (What)¶

Concrete ছবি আগে: \(R^3\)-এর একটা plane¶

Chapter 4.1-এ দেখেছ, origin দিয়ে যাওয়া plane \(P\) একটা subspace। ধরো \(P\)-এর ভেতরে তিনটা অশূন্য vector আছে: \(u, v, w\) — কোনো দুটো পরস্পরের সমান্তরাল নয়। Guest বইয়ের chapter 10 ঠিক এই ছবি দিয়েই শুরু করে:

দুটো (অসমান্তরাল) vector-ই তো একটা plane নির্ধারণ করে দেয়। তাহলে \(u\) আর \(v\) দিয়েই যদি পুরো \(P\) span করা যায়, তৃতীয় \(w\)-কে অবশ্যই লেখা যাবে \(w = d_1 u + d_2 v\) আকারে।

অর্থাৎ plane-এ তিনজন থাকা মানেই একজন নির্ভরশীল — অন্যদের linear combination। এটাকেই সোজা বাংলায় বলি: \(w\) দলে নতুন কোনো দিক (direction) আনছে না।

দৈনন্দিন analogy: রঙের বাক্স¶

তোমার কাছে লাল, নীল আর বেগুনি রং আছে। কিন্তু বেগুনি তো লাল + নীল মিশিয়েই বানানো যায়! তাহলে বেগুনির টিউবটা redundant(অপ্রয়োজনীয়) — সে থাকলে সুবিধা হয়তো, কিন্তু নতুন কোনো ক্ষমতা যোগ হয় না। লাল আর নীল পরস্পরের থেকে স্বাধীন — একটাকে অন্যটা দিয়ে বানানো যায় না।

Formal সংজ্ঞা¶

সংজ্ঞা: Linear Dependence / Independence

Vector space \(V\)-এর vector \(v_1, v_2, \ldots, v_n\)-কে linearly dependent(রৈখিকভাবে নির্ভরশীল) বলা হয়, যদি এমন scalar \(c_1, \ldots, c_n\) থাকে — সবগুলো শূন্য নয় — যেন

\[c_1 v_1 + c_2 v_2 + \cdots + c_n v_n = 0.\]

এমন কোনো অশূন্য combination না থাকলে — অর্থাৎ \(0\) বানানোর একমাত্র উপায় যদি হয় \(c_1 = c_2 = \cdots = c_n = 0\) — তবে vector-গুলো linearly independent(রৈখিকভাবে স্বাধীন)।

সংজ্ঞাটা প্রথম দেখায় উল্টো লাগতে পারে — "অপ্রয়োজনীয় vector"-এর কথা কই? সংযোগটা এই: যদি \(w = 2u + v\) (কেউ অন্যদের দিয়ে তৈরি), তাহলে সাজিয়ে লেখো:

\[2u + v - w = 0\]

— coefficient \((2, 1, -1)\), সব শূন্য নয়, অথচ যোগফল \(0\)! উল্টোদিকে, অশূন্য combination \(c_1 v_1 + \cdots + c_n v_n = 0\) পেলে যে \(v_k\)-এর \(c_k \ne 0\), তাকে বাকি সবার combination হিসেবে লেখা যায়:

\[v_k = -\frac{c_1}{c_k} v_1 - \cdots - \frac{c_{n-1}}{c_k} v_{n-1}.\]

মনে রাখার সূত্র

Dependent = দলে কেউ একজন ফালতু (অন্যদের দিয়ে বানানো যায়)। Independent = প্রত্যেকে সত্যিই নতুন একটা দিক আনে। আর যাচাইয়ের প্রশ্ন সবসময় একটাই: "শূন্য বানানোর কোনো গোপন রেসিপি আছে কি?"

দুটো ছোট কিন্তু গুরুত্বপূর্ণ ঘটনা:

Zero vector থাকলেই দল dependent: \(1 \cdot 0_V + 0 \cdot v_2 + \cdots = 0_V\) — coefficient সব শূন্য নয়। তাই \(0_V\) কোনো independent দলে জায়গা পায় না।
একটা মাত্র vector: \(\{v\}\) independent \(\iff v \ne 0\)।

২. দেখতে কেমন?¶

\(R^2\)-তে: সমান্তরাল বনাম ভিন্নমুখী¶

Dependent pair spans a line; independent pair spans the plane

বামে \(v = -1.4u\) — দুজনে একই সরলরেখায় বন্দি, span মাত্র একটা line। ডানে দুজন সত্যিই আলাদা দিকে — মিলে পুরো plane span করে। Independence-এর পুরস্কার: বেশি এলাকা!

\(R^3\)-তে: এক plane-এ বন্দি, নাকি মুক্ত?¶

Three vectors in R^3: trapped in a plane vs filling space

বামে \(w = u + v\) — তিনজনই একটা plane-এ শুয়ে আছে (dependent)। ডানে \(w\) plane ফুঁড়ে বেরিয়ে গেছে — তিনজনে মিলে পুরো \(R^3\) (independent)। \(R^3\)-এ তিনটা vector dependent মানেই: হয় সবাই এক plane-এ, নয় এক line-এ।

৩. কোথায় ইউজ হয়?¶

Multicollinearity — ML-এর সাক্ষাৎ শত্রু: dataset-এ আয়_টাকায় আর আয়_ডলারে দুটো column রাখলে তারা একে অন্যের scalar multiple — linearly dependent। Linear regression তখন অস্থির হয়ে যায় (Part V ও VII-এ বিস্তারিত)। Feature matrix-এর column-গুলোর independence যাচাই data cleaning-এর নিত্যকাজ।
Feature selection: মোট_খরচ = খাবার + বাসাভাড়া + অন্যান্য হলে চতুর্থ column-টা বাকি তিনটার যোগফল — dependent, ফেলে দিলে কোনো তথ্য হারায় না। Dimension reduction-এর প্রথম পাঠ।
সংকেত ও ছবি: JPEG-এর ভেতরের cosine basis, wavelet — সবার আগে দরকার building block-গুলো independent হওয়া, নাহলে representation অনন্য হয় না (Chapter 4.3-এ এর মানে পরিষ্কার হবে)।
Engineering-এ সমীকরণ: circuit-এর দুটো equation যদি একে অন্যের multiple হয়, আসলে তথ্য আছে একটাই — Part II-র "কতগুলো সত্যিকারের সমীকরণ" প্রশ্নটা আসলে row-দের independence প্রশ্ন।
Neural network-এর ভেতরে: কোনো layer-এর দুটো neuron যদি সবসময় সমানুপাতিক output দেয়, network কার্যত একটা neuron নষ্ট করছে — pruning গবেষণার এক মূল প্রশ্ন।

৪. Properties¶

Property 1: Dependence \(\iff\) কেউ একজন আগেরদের combination¶

Theorem (Guest 10.1.1, adapted): অশূন্য vector-দের ordered list \((v_1, \ldots, v_n)\) dependent \(\iff\) এমন \(k\) আছে যেন \(v_k\) তার আগের vector-গুলোর linear combination।

মিনি-proof: (\(\Leftarrow\)) \(v_k = c_1v_1 + \cdots + c_{k-1}v_{k-1}\) হলে \(c_1v_1 + \cdots - v_k + 0 \cdot v_{k+1} + \cdots = 0\) — অশূন্য combination পাওয়া গেল। (\(\Rightarrow\)) \(c_1v_1 + \cdots + c_nv_n = 0\)-তে \(k\) নাও সবচেয়ে বড় index যার \(c_k \ne 0\); তাহলে

\[v_k = -\frac{c_1}{c_k}v_1 - \cdots - \frac{c_{k-1}}{c_k}v_{k-1}. \;\blacksquare\]

এটাই "greedy চেক"-এর ভিত্তি: বাঁ থেকে ডানে গিয়ে জিজ্ঞেস করো — এই নতুন vector কি আগেরদের দিয়ে বানানো যায়?

Property 2: Independent দলের subset-ও independent¶

বড় দলে কোনো গোপন শূন্য-রেসিপি না থাকলে ছোট দলে তো আরও থাকবে না। উল্টোটাও দরকারি: dependent দলে নতুন সদস্য যোগ করলেও dependent-ই থাকে (পুরনো রেসিপিটাই চলে, নতুনটার coefficient \(0\))।

Property 3: \(R^n\)-এ \(n\)টার বেশি vector সবসময় dependent¶

\(m > n\)টা vector মানে homogeneous system \(Mc = 0\)-এ অজানা \(m\)টা কিন্তু equation \(n\)টা — Part II থেকে জানো, free variable থাকবেই, তাই অশূন্য solution থাকবেই। যেমন \(R^2\)-এ যেকোনো ৩টা vector dependent — ছবি আঁকলেই বিশ্বাস হবে: plane-এ তিনটা arrow, একটাকে বাকি দুটো দিয়ে বানানো যাবেই।

Property 4: যাচাই = homogeneous system solve¶

\(v_1, \ldots, v_n \in R^m\)-এর test: এদের column বানিয়ে matrix \(M = (v_1 \; v_2 \cdots v_n)\) সাজাও। তখন

\[c_1 v_1 + \cdots + c_n v_n = 0 \iff M \begin{pmatrix} c_1 \\ \vdots \\ c_n \end{pmatrix} = 0.\]

RREF-এ প্রতিটি column-এ pivot থাকলে একমাত্র solution \(c = 0\) — independent। কোনো column pivot-হীন হলে free variable — dependent, আর free variable-এ মান বসিয়ে রেসিপিটাও বের করা যায়।

Property 5 (Determinant preview): square হলে shortcut¶

\(n\)টা vector \(R^n\)-এ হলে \(M\) square। তখন:

\[\det M \ne 0 \iff \text{independent}, \qquad \det M = 0 \iff \text{dependent}.\]

Determinant as area: nonzero vs collapsed

\(2 \times 2\) ক্ষেত্রে \(|\det|\) = দুই vector-এর parallelogram-এর ক্ষেত্রফল। ভিন্নমুখী vector-এ ক্ষেত্রফল \(> 0\); সমান্তরাল হলে parallelogram চ্যাপ্টা হয়ে ক্ষেত্রফল \(0\)। Part VI-এ determinant-এর পূর্ণ গল্প — আপাতত এটুকুই: শূন্য determinant = চ্যাপ্টা = dependent।**

৫. Intuition — কেন সত্য?¶

সংজ্ঞাটা কেন "শূন্য বানানোর রেসিপি" দিয়ে? ভাবো তুমি origin-এ দাঁড়িয়ে, প্রতিটা vector একটা "চলার নির্দেশ"। \(c_1 v_1 + \cdots + c_n v_n = 0\) মানে: কিছু নির্দেশ মেনে হাঁটলে (কোনোটা সামনে, কোনোটা পিছনে) তুমি ঘুরে আবার origin-এ ফিরে এলে। যদি সত্যি সত্যি না-হেঁটেই (\(c\) সব \(0\)) ফেরা ছাড়া উপায় না থাকে — দিকগুলো সব আলাদা, কেউ কারো কাজ করতে পারে না। আর যদি ঘুরে ফেরার একটা অশূন্য পথ থাকে — সেই লুপের যেকোনো এক ধাপকে বাকিরা মিলে "পূরণ" করে দিতে পারছে, মানে সে redundant।

মাত্রার হিসাব দিয়ে ভাবো: প্রতিটা নতুন independent vector span-কে এক মাত্রা করে ফোলায় — point → line → plane → space। Dependent vector যোগ করলে span একটুও বাড়ে না; সে আগের জগতেই শুয়ে থাকে (fig 3-এর বাম ছবি)। এই "ফোলে কি ফোলে না" ছবিটাই independence-এর আসল অর্থ, আর এটাই পরের chapter-এ basis-এর দরজা খুলবে।

Determinant কেন কাজ করে? Part III-তে দেখেছিলে matrix মানে transformation। \(M\)-এর column-রা হলো \(e_1, e_2\)-এর গন্তব্য। Column-রা dependent মানে unit square চ্যাপ্টা হয়ে line-এ পরিণত — ক্ষেত্রফল-scale-factor (এটাই determinant) শূন্য। ঘনফলের (volume) গল্পটা \(R^3\)-এ একই।

৬. Code-এ কেমনে লিখে¶

Independence checker — RREF-ভিত্তিক যুক্তির NumPy রূপ (rank দিয়ে):

import numpy as np

np.random.seed(42)

def check_independence(vectors):
    """vectors: list of 1D numpy arrays (same length)"""
    M = np.column_stack(vectors)          # প্রতিটি vector একটি column
    rank = np.linalg.matrix_rank(M)
    n = M.shape[1]
    verdict = "INDEPENDENT" if rank == n else "DEPENDENT"
    return rank, n, verdict

# Guest ch10-এর ছাঁচে বানানো উদাহরণ (সংখ্যা নিজেদের)
v1 = np.array([0., 0., 1.])
v2 = np.array([1., 2., 1.])
v3 = np.array([1., 2., 3.])   # লক্ষ করো: v3 = 2*v1 + v2

r, n, verdict = check_independence([v1, v2, v3])
print(f"rank = {r}, vectors = {n}  ->  {verdict}")

# dependent হলে রেসিপি (null space vector) বের করা — SVD দিয়ে
M = np.column_stack([v1, v2, v3])
_, S, Vt = np.linalg.svd(M)
c = Vt[-1]                     # সবচেয়ে ছোট singular value-এর direction
print("recipe c =", np.round(c / np.abs(c).max(), 3))
print("check  Mc =", np.round(M @ c, 10))

# square case: determinant test
w3 = np.array([0., 1., 0.])
D = np.column_stack([v1, v2, w3])
print("det =", np.linalg.det(D), "->",
      "INDEPENDENT" if abs(np.linalg.det(D)) > 1e-10 else "DEPENDENT")

Output:

rank = 2, vectors = 3  ->  DEPENDENT
recipe c = [ 1.    0.5  -0.5 ]
check  Mc = [0. 0. 0.]
det = 1.0 -> INDEPENDENT

ব্যাখ্যা: তিনটা vector কিন্তু rank মাত্র ২ — একজন ফালতু। SVD-র শেষ সারি আমাদের শূন্য-রেসিপি দেয়: scale করলে \(c \propto (2, 1, -1)\), অর্থাৎ \(2v_1 + v_2 - v_3 = 0\) — ঠিক যেমনটা বানিয়েছিলাম। শেষে determinant test: \(v_3\)-কে \(w_3\) দিয়ে বদলাতেই \(\det = 1 \ne 0\) — দল এখন স্বাধীন।

৭. Worked Examples¶

Example 1: হাতে-কলমে RREF দিয়ে test¶

\(v_1 = (1, 2, 0)\), \(v_2 = (2, 1, 3)\), \(v_3 = (4, 5, 3)\) — independent?

ধাপ ১: Column-matrix সাজাও এবং \(Mc = 0\) লেখো:

\[\begin{pmatrix} 1 & 2 & 4 \\ 2 & 1 & 5 \\ 0 & 3 & 3 \end{pmatrix}\begin{pmatrix} c_1 \\ c_2 \\ c_3 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix}\]

ধাপ ২: Row reduce (Part II-এর কৌশল):

\[\begin{pmatrix} 1 & 2 & 4 \\ 2 & 1 & 5 \\ 0 & 3 & 3 \end{pmatrix} \xrightarrow{R_2 - 2R_1} \begin{pmatrix} 1 & 2 & 4 \\ 0 & -3 & -3 \\ 0 & 3 & 3 \end{pmatrix} \xrightarrow{R_3 + R_2,\; R_2 / (-3)} \begin{pmatrix} 1 & 2 & 4 \\ 0 & 1 & 1 \\ 0 & 0 & 0 \end{pmatrix}\]

ধাপ ৩: তৃতীয় column-এ pivot নেই — \(c_3\) free! \(c_3 = 1\) নিলে \(c_2 = -1\), \(c_1 = -2\)।

উপসংহার: dependent, এবং রেসিপি: \(-2v_1 - v_2 + v_3 = 0\), অর্থাৎ \(v_3 = 2v_1 + v_2\)। যাচাই: \(2(1,2,0) + (2,1,3) = (4,5,3)\) ✓

Example 2: Polynomial-দের independence¶

\(P_2\)-তে \(p_1 = 1 + t\), \(p_2 = 1 + t^2\), \(p_3 = t + t^2\) — independent?

ধাপ ১: \(c_1 p_1 + c_2 p_2 + c_3 p_3 = 0\) (zero polynomial) ধরো। বিস্তার করে:

\[(c_1 + c_2) \cdot 1 + (c_1 + c_3) \cdot t + (c_2 + c_3) \cdot t^2 = 0.\]

ধাপ ২: Polynomial শূন্য মানে প্রতিটি coefficient শূন্য:

\[c_1 + c_2 = 0, \quad c_1 + c_3 = 0, \quad c_2 + c_3 = 0.\]

ধাপ ৩: প্রথম দুটো বিয়োগ: \(c_2 = c_3\); তৃতীয়তে বসাও: \(2c_2 = 0 \Rightarrow c_2 = 0 \Rightarrow c_1 = c_3 = 0\)।

উপসংহার: independent! খেয়াল করো — abstract polynomial প্রশ্নটা তিন লাইনেই \(R^3\)-এর সমীকরণে নেমে এলো। (Guest-এর Example 117-এ \(v_4 = 2 + t + t^2\) যোগ করলে দলটা dependent হয়ে যায়: \(v_4 = p_1 + p_2\)।)

Example 3: Determinant shortcut¶

\(u = (2, 1)\), \(v = (1, 3)\) — independent? Square case (\(2\)টা vector, \(R^2\)), তাই:

\[\det\begin{pmatrix} 2 & 1 \\ 1 & 3 \end{pmatrix} = 2 \cdot 3 - 1 \cdot 1 = 5 \ne 0.\]

Independent — আর bonus হিসেবে জানলাম এদের parallelogram-এর ক্ষেত্রফল \(5\)। এবার \(u = (2, 1)\), \(v = (4, 2)\):

\[\det\begin{pmatrix} 2 & 4 \\ 1 & 2 \end{pmatrix} = 4 - 4 = 0\]

— dependent (\(v = 2u\)), parallelogram চ্যাপ্টা।

৮. Problems ও Solutions¶

Problem 1. \(v_1 = (1, 0, 2)\), \(v_2 = (0, 1, 1)\), \(v_3 = (2, -3, 1)\) — linearly independent? Dependent হলে একটি অশূন্য রেসিপি \(c_1v_1 + c_2v_2 + c_3v_3 = 0\) বের করো।

Solution

Column matrix সাজিয়ে row reduce:

\[\begin{pmatrix} 1 & 0 & 2 \\ 0 & 1 & -3 \\ 2 & 1 & 1 \end{pmatrix} \xrightarrow{R_3 - 2R_1} \begin{pmatrix} 1 & 0 & 2 \\ 0 & 1 & -3 \\ 0 & 1 & -3 \end{pmatrix} \xrightarrow{R_3 - R_2} \begin{pmatrix} 1 & 0 & 2 \\ 0 & 1 & -3 \\ 0 & 0 & 0 \end{pmatrix}\]

তৃতীয় column pivot-হীন — dependent। \(c_3 = 1\) free নিলে \(c_1 = -2\), \(c_2 = 3\):

\[-2v_1 + 3v_2 + v_3 = 0 \iff v_3 = 2v_1 - 3v_2.\]

যাচাই: \(2(1,0,2) - 3(0,1,1) = (2, -3, 1)\) ✓

Problem 2. কোন কোন \(a\)-এর জন্য \(u = (1, a)\), \(v = (a, 4)\) dependent হবে? Determinant test ব্যবহার করো এবং geometric ব্যাখ্যা দাও।

Solution

\[\det\begin{pmatrix} 1 & a \\ a & 4 \end{pmatrix} = 4 - a^2 = 0 \iff a = \pm 2.\]

\(a = 2\): \(v = (2, 4) = 2u\); \(a = -2\): \(v = (-2, 4) = -2u\) — দুই ক্ষেত্রেই \(v\) ও \(u\) সমান্তরাল, parallelogram-এর ক্ষেত্রফল শূন্য। অন্য সব \(a\)-তে দুজন ভিন্নমুখী, তাই independent।

Problem 3. প্রমাণ করো: যে দলে zero vector আছে সে দল সবসময় linearly dependent — সে দলে আর যত ভালো vector-ই থাকুক।

Solution

ধরো দলটা \(\{0_V, v_2, \ldots, v_n\}\)। নাও \(c_1 = 1\) এবং \(c_2 = \cdots = c_n = 0\):

\[1 \cdot 0_V + 0 \cdot v_2 + \cdots + 0 \cdot v_n = 0_V.\]

Coefficient-দের সবাই শূন্য নয় (\(c_1 = 1\)), অথচ যোগফল zero — সংজ্ঞামতে dependent। \(\blacksquare\) Intuition: zero vector "কোথাও যায় না" — সে কোনো দিকই আনে না, তাই সবসময়ই ফালতু সদস্য।

Problem 4. সত্য/মিথ্যা: "\(u, v, w\) dependent হলে \(w\) অবশ্যই \(u, v\)-এর linear combination।" প্রমাণ বা counterexample।

Solution

মিথ্যা। Dependence বলে কেউ একজন বাকিদের combination — সে যে \(w\)-ই হবে এমন নয়। Counterexample: \(u = (1, 0)\), \(v = (2, 0)\), \(w = (0, 1)\)। এখানে \(2u - v + 0w = 0\) — dependent। কিন্তু \(w = c_1 u + c_2 v = (c_1 + 2c_2, 0)\) — দ্বিতীয় component সবসময় \(0\), কখনোই \((0,1)\) হবে না। ফালতু সদস্য এখানে \(v\) (\(v = 2u\)), \(w\) নয়। শিক্ষা: dependence দলের ধর্ম, নির্দিষ্ট কোনো সদস্যের নয়।

Problem 5. \(R^2\)-এর যেকোনো তিনটি vector \(u, v, w\) dependent — Property 3-এর যুক্তি পুরোপুরি লিখে প্রমাণ করো।

Solution

\(M = (u \; v \; w)\) একটি \(2 \times 3\) matrix; system \(Mc = 0\)-তে equation ২টা, অজানা ৩টা। Row reduction-এ pivot সর্বোচ্চ ২টা (প্রতি row-তে বড়জোর একটা), অথচ column ৩টা — অন্তত একটা column pivot-হীন, মানে অন্তত একটা free variable। Free variable-কে \(1\) ধরলেই অশূন্য solution \(c \ne 0\) পাওয়া যায় যেখানে \(Mc = c_1 u + c_2 v + c_3 w = 0\)। কাজেই dependent। \(\blacksquare\) (একই যুক্তি দেখায়: \(R^n\)-এ \(n+1\)টা vector সবসময় dependent — পরের chapter-এ dimension-এর সংজ্ঞার প্রাণ এটাই।)

Problem 6. \(P_2\)-তে \(q_1 = 1 - t\), \(q_2 = 1 + t\), \(q_3 = t^2\), \(q_4 = 1 + t + t^2\) — dependent কি? হলে একজন redundant সদস্যকে বাকিদের combination হিসেবে লেখো।

Solution

\(P_2\)-এর "সাইজ" ৩ (basis \(\{1, t, t^2\}\) — পরের chapter), আর vector ৪টা — Property 3-এর polynomial সংস্করণ বলছে dependent হতেই হবে। রেসিপি খুঁজি: চাই

\[c_1(1-t) + c_2(1+t) + c_3 t^2 + c_4(1+t+t^2) = 0\]

Coefficient মেলাও — ধ্রুবক: \(c_1 + c_2 + c_4 = 0\); \(t\): \(-c_1 + c_2 + c_4 = 0\); \(t^2\): \(c_3 + c_4 = 0\)। প্রথম দুটি যোগ: \(2(c_2 + c_4) = 0 -\) আসলে বিয়োগ করলে \(2c_1 = 0 \Rightarrow c_1 = 0\); তখন \(c_2 = -c_4\), \(c_3 = -c_4\)। \(c_4 = 1\) নিলে: \(c = (0, -1, -1, 1)\):

\[-q_2 - q_3 + q_4 = 0 \iff q_4 = q_2 + q_3 = (1 + t) + t^2. ✓\]

Problem 7. একটি dataset-এর feature matrix-এ চারটি column: height_cm, height_inch, weight, bmi_proxy যেখানে height_inch \(= 0.394 \times\) height_cm। (ক) column-গুলো independent? (খ) এর ফলে \(X^T X\) matrix-এর কি সমস্যা হবে? (Part V-এর least squares-এর জন্য আগাম সতর্কতা)

Solution

(ক) না। height_inch \(- 0.394 \cdot\) height_cm \(= 0\) — দুই column-এর একটি অশূন্য linear combination শূন্য দেয়, কাজেই column-রা linearly dependent। Redundant feature: height_inch (বা height_cm — যেকোনো একটা)। (খ) Column-রা dependent হলে \(X\)-এর rank পূর্ণ নয়, ফলে \(X^T X\) singular (\(\det = 0\)) — এর inverse নেই। Part V-এ দেখবে least squares solution \(\hat\beta = (X^TX)^{-1}X^Ty\) — inverse না থাকলে formula ভেঙে পড়ে, আর প্রায়-dependent হলে (multicollinearity) উত্তর ভয়ানক অস্থির হয়। সমাধানের পথ: redundant column বাদ দাও, বা regularization (Part VII)।

Problem 8. সত্য/মিথ্যা: "\(u, v\) independent এবং \(v, w\) independent হলে \(u, v, w\) independent।"

Solution

মিথ্যা। Counterexample: \(u = (1, 0)\), \(v = (0, 1)\), \(w = (1, 1)\)। \(\{u, v\}\) independent ✓ (determinant \(1\)); \(\{v, w\}\) independent ✓ (determinant \(-1\)); কিন্তু \(u + v - w = 0\) — তিনজনের দল dependent। জোড়ায় জোড়ায় স্বাধীনতা পুরো দলের স্বাধীনতা নিশ্চিত করে না; শূন্য-রেসিপিতে তিনজনই একসাথে জড়িত থাকতে পারে।

৯. Common ভুল¶

❌ ভুল ধারণা	✅ ঠিক ধারণা
"Dependent মানে দুটো vector সমান্তরাল"	দুটোর ক্ষেত্রে হ্যাঁ; কিন্তু ৩+ vector-এ কেউ কারো সমান্তরাল না হয়েও দল dependent হতে পারে (\(u+v-w=0\))
"\(c_1v_1 + \cdots + c_nv_n = 0\)-এর solution আছে, তাই dependent"	\(c = 0\) solution সবসময়ই আছে (trivial); প্রশ্ন হলো অশূন্য solution আছে কি না
"Independence vector-দের জোড়া ধরে চেক করলেই হয়"	না — Problem 8 দেখো; test-টা পুরো দলের ওপর একসাথে চালাতে হয়
"Determinant test সব ক্ষেত্রে চলে"	শুধু square ক্ষেত্রে (\(R^n\)-এ ঠিক \(n\)টা vector); নাহলে rank/RREF-ই ভরসা
"Dependent দল থেকে যেকোনো একটা ফেললেই independent হয়ে যায়"	ফেলতে হবে redundant সদস্য (যার coefficient অশূন্য); ভুল জনকে ফেললে দল dependent-ই থেকে যেতে পারে

১০. এক নজরে¶

ধারণা	এক লাইনে
Linearly dependent	\(0\) বানানোর অশূন্য রেসিপি আছে — কেউ একজন redundant
Linearly independent	\(0\) বানানোর একমাত্র উপায় সব coefficient \(0\) — প্রত্যেকে নতুন দিক
যাচাই পদ্ধতি	Column matrix → RREF; সব column-এ pivot = independent
Square shortcut	\(\det \ne 0 \iff\) independent (ক্ষেত্রফল/আয়তন চ্যাপ্টা হয়নি)
Zero vector	যে দলে আছে সে দলই dependent
\(R^n\)-এর সীমা	\(n\)টার বেশি vector মানেই dependent
ML-সংযোগ	Dependent column = redundant feature = multicollinearity

পরের chapter-এর সেতু: এখন দুই অস্ত্র হাতে — span (Chapter 4.1: কতদূর পৌঁছানো যায়) আর independence (এই chapter: কেউ ফালতু নয়)। দুটো একসাথে করলেই পাওয়া যায় linear algebra-র সবচেয়ে গুরুত্বপূর্ণ ধারণা: Basis — ঠিক ততগুলো vector, যতগুলো লাগে; একটাও বেশি নয়, একটাও কম নয়। Chapter 4.3 পুরোটাই তাকে নিয়ে।

📓 Notebook Project¶

notebooks/part-04/ch02-project.ipynb — scratch-এ RREF-ভিত্তিক independence tester বানাবে, synthetic dataset-এ redundant feature ধরবে, আর determinant-এর "চ্যাপ্টা parallelogram" ছবি আঁকবে।