06-numpy

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.14%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App()%0A%0Awith%20app.setup%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Numerical%20and%20scientific%20Python%0A%0A%20%20%20%20%23%23%20Numerical%20Python%20(NumPy)%0A%0A%20%20%20%20In%20this%20workshop%20we%20will%20learn%20the%20basics%20of%20%5BNumPy%5D(https%3A%2F%2Fnumpy.org%2F).%20There%20aren't%20really%20any%20exercises%20here%2C%20it's%20more%20a%20selection%20of%20examples%20that%20I%20wish%20someone%20showed%20me%20earlier%20in%20my%20life.%20Remember%20that%20you%20can%20play%20around%20and%20explore%20different%20parameters%20in%20the%20notebook%20-%20you%20can%20just%20restart%20it%20if%20you%20break%20too%20much!%20You%20can%20also%20hover%20over%20methods%20with%20your%20mouse%20to%20get%20the%20docstrings%20(%60numpy%60%20and%20%60scipy%60%20are%20very%20thorough)%20or%20use%20%60help(function)%60.%20I%20have%20also%20included%20links%20to%20the%20documentation%20throughout.%20We%20will%20have%20a%20real%20exercise%20in%20another%20workshop!%0A%0A%20%20%20%20So%20far%20we%20have%20been%20performing%20some%20mathematical%20operations%20and%20using%20lists%20-%20but%20NumPy%20is%20much%20more%20efficient%20at%20these%20tasks.%20It%20introduces%20n-dimensional%20arrays%20(%60ndarray%60)%2C%20has%20better%20numerical%20accuracy%2C%20is%20faster%2C%20and%20automates%20a%20lot%20of%20array-based%20operations%20that%20would%20otherwise%20require%20lots%20of%20%60for%60%20loops.%0A%0A%20%20%20%20To%20use%20NumPy%20we%20need%20to%20import%20it%2C%20and%20the%20convention%20is%20to%20do%20it%20using%20the%20%60np%60%20alias.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20(np%2C)%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20Python%20way%0A%20%20%20%20print(%22-%22%20*%2050)%0A%20%20%20%20print(%22Looping%20over%20lists%20in%20Python%22)%0A%20%20%20%20print(%22-%22%20*%2050)%0A%20%20%20%20_nums%20%3D%20%5B0%2C%201%2C%202%2C%203%2C%204%2C%205%2C%206%2C%207%2C%208%2C%209%5D%0A%20%20%20%20_output%20%3D%20%5B%5D%0A%0A%20%20%20%20for%20_x%20in%20_nums%3A%0A%20%20%20%20%20%20%20%20_output.append(2*_x)%0A%20%20%20%20print(_output)%0A%0A%20%20%20%20%23%20NumPy%20way%0A%20%20%20%20print(%22-%22%20*%2050)%0A%20%20%20%20print(%22Applying%20multiplication%20to%20a%20NumPy%20array%22)%0A%20%20%20%20print(%22-%22%20*%2050)%0A%20%20%20%20_arr%20%3D%20np.arange(10)%0A%20%20%20%20print(2%20*%20_arr)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20NumPy%20array%20basics%0A%0A%20%20%20%20We%20can%20create%20arrays%20in%20many%20different%20ways.%20Most%20common%20ones%20are%20included%20here%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20From%20lists%0A%20%20%20%20np.array(%5B0%2C%201%2C%202%2C%203%2C%204%2C%205%2C%206%2C%207%2C%208%2C%209%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20From%20lists%20with%20syntactic%20sugar%0A%20%20%20%20np.array(%5Bx%20for%20x%20in%20range(10)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20As%20a%20range%20with%20np.arange(stop)%0A%20%20%20%20np.arange(10)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20As%20a%20range%20with%20np.arange(start%2C%20stop%2C%20step)%0A%20%20%20%20np.arange(2%2C%2040%2C%203)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20Evenly%20spaced%20with%20np.linspace(start%2C%20stop%2C%20size)%0A%20%20%20%20%23%20In%20this%20case%3A%208%20numbers%20from%200%20to%2020%20(inclusive).%0A%20%20%20%20np.linspace(0%2C%2020%2C%208)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20Evenly%20spaced%20with%20np.logspace(start%2C%20stop%2C%20size)%0A%20%20%20%20%23%20In%20this%20case%3A%208%20numbers%20from%2010%5E0%20to%2010%5E6.%0A%20%20%20%20np.logspace(0%2C%206%2C%208%2C%20base%3D10)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20We%20mentioned%20that%20the%20arrays%20are%20n-dimensional.%20Let's%20create%20a%20simple%20empty%202D%20array%20with%20three%20rows%20and%20four%20columns.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20np.zeros((3%2C4))%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20np.zeros((2%2C3%2C4))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Finally%2C%20we%20can%20perform%20a%20range%20of%20array%20operations%20that%20we%20are%20familiar%20with%20from%20introductory%20maths%20courses.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20array_1D%20%3D%20np.arange(20)%0A%20%20%20%20return%20(array_1D%2C)%0A%0A%0A%40app.cell%0Adef%20_(array_1D)%3A%0A%20%20%20%20%23%20Turn%20a%201D%20array%20into%20a%202D%20array%0A%20%20%20%20array_2D%20%3D%20array_1D.reshape(4%2C5)%0A%20%20%20%20print(array_2D)%0A%20%20%20%20return%20(array_2D%2C)%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20%23%20Reshape%20the%20data%20into%20a%20different%20format%0A%20%20%20%20%23%20This%20is%20done%20on%20per-element%20basis%0A%20%20%20%20array_2D.reshape(5%2C4)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20%23%20Transpose%20of%20array_2D%0A%20%20%20%20array_2D.T%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20%23%20Per-element%20multiplication%20made%20easy%0A%20%20%20%20%23%20Imagine%20the%20nested%20for%20loops!%0A%20%20%20%20print(5%20*%20array_2D.T)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20array_2D%20*%20array_2D.T%0A%20%20%20%20except%20ValueError%20as%20e%3A%0A%20%20%20%20%20%20%20%20print(f%22This%20makes%20no%20sense%20-%20%7Be%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20%23%20But%20we%20could%20do%20matrix%20multiplication!%0A%20%20%20%20%23%20The%20operator%20for%20it%20is%20%22%40%22%0A%20%20%20%20array_2D%20%40%20array_2D.T%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20%23%20Flatten%20back%20into%20an%201D%20array%0A%20%20%20%20array_2D.flatten()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Array%20creation%20from%20CSV%0A%0A%20%20%20%20Among%20the%20most%20useful%20array%20creation%20methods%20when%20dealing%20with%20scientific%20equipment%20is%20generating%20them%20from%20CSV%20files.%20Let's%20try%20to%20load%20some%20CSV%20data%20from%20an%20example%20kinetic%20measurement%20in%20our%20catalyst%20screening%20campaign.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20def%20gen_example_kinetics_csv()%3A%20%0A%20%20%20%20%20%20%20%20kinetics_csv%20%3D%20%22%22%22%23%20Reaction%20Run%3A%20Catalyst_A_Trial_1%0A%20%20%20%20%23%20Solvent%3A%20EtOAc%2C%20Temp%3A%2025C%0A%20%20%20%20Time_min%2CAbsorbance%2CRef_Absorbance%0A%20%20%20%200.0%2C0.000%2C0.010%0A%20%20%20%201.0%2C0.150%2C0.011%0A%20%20%20%202.0%2C0.280%2C0.009%0A%20%20%20%203.0%2C%2C0.010%0A%20%20%20%204.0%2C0.480%2C0.012%0A%20%20%20%205.0%2C0.550%2C0.011%22%22%22%0A%0A%20%20%20%20%20%20%20%20with%20open(%22kinetics_data.csv%22%2C%20%22w%22)%20as%20f%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20f.write(kinetics_csv)%0A%0A%20%20%20%20gen_example_kinetics_csv()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20useful%20overall%20syntax%20is%3A%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20data%20%3D%20np.genfromtxt(%0A%20%20%20%20%20%20%20%20FILE_PATH%2C%0A%20%20%20%20%20%20%20%20delimiter%3D%22%2C%22%2C%0A%20%20%20%20%20%20%20%20skip_header%3DNUMBER_OF_LINES_TO_SKIP%2C%0A%20%20%20%20%20%20%20%20filling_values%3DVALUE_IF_MISSING%0A%20%20%20%20)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20In%20our%20case%20we%20do%20have%20some%20missing%20values%2C%20let's%20fill%20them%20with%20an%20%60np.nan%60%20(_not%20a%20number_).%20We%20also%20have%20three%20lines%20of%20a%20header%20that%20just%20describes%20what%20the%20run%20was.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20def%20kinetics_array()%3A%0A%20%20%20%20%20%20%20%20data%20%3D%20np.genfromtxt(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22kinetics_data.csv%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20COMPLETE%20HERE%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20data%0A%0A%20%20%20%20return%20(kinetics_array%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(kinetics_array%2C%20np)%3A%0A%20%20%20%20def%20genfromtxt_feedback()%3A%0A%20%20%20%20%20%20%20%20genfromtxt_pass%20%3D%20False%0A%20%20%20%20%20%20%20%20genfromtxt_result%20%3D%20np.array((%5B%5B0.%20%20%20%2C%200.%20%20%20%2C%200.01%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B1.%20%20%20%2C%200.15%20%2C%200.011%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B2.%20%20%20%2C%200.28%20%2C%200.009%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B3.%20%20%20%2C%20%20%20np.nan%2C%200.01%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B4.%20%20%20%2C%200.48%20%2C%200.012%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B5.%20%20%20%2C%200.55%20%2C%200.011%5D%5D)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20genfromtxt_pass%20%3D%20np.allclose(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kinetics_array()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20genfromtxt_result%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20equal_nan%3DTrue%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20genfromtxt_pass%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(%22%E2%9C%85%20Correct!%22%2C%20kind%3D%22success%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(%22%E2%9D%8C%20Not%20quite.%22%2C%20kind%3D%22danger%22)%0A%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(f%22%E2%9D%8C%20Python%20error%3A%20%7Be%7D%22%2C%20kind%3D%22danger%22)%0A%0A%20%20%20%20genfromtxt_feedback()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Indexing%20NumPy%20arrays%0A%0A%20%20%20%20This%20gets%20slightly%20more%20complicated%20than%20simple%20list%20indexing%20-%20after%20all%2C%20we%20are%20working%20in%20multiple%20dimensions.%0A%0A%20%20%20%20It%20is%20trivial%20in%20the%201D%20case%2C%20as%20we%20can%20do%20it%20the%20same%20way%20we%20did%20with%20lists.%20Note%20that%20the%20return%20value%20here%20is%20of%20the%20%60np.int32%60%20type%20-%20this%20is%20slightly%20different%20from%20the%20built-in%20Python%20integer%2C%20but%20we%20don't%20need%20to%20worry%20about%20it.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_1D)%3A%0A%20%20%20%20array_1D%5B4%5D%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20For%202D%20(and%20more)%2C%20we%20address%20the%20elements%20of%20the%20row.%20Or%20we%20can%20combine%20the%20index%20in%20the%20format%20of%20%60%5Brow%2C%20column%5D%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20print(array_2D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20%23%20Fourth%20row%20of%20array_2D%0A%20%20%20%20array_2D%5B3%5D%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20%23%20Second%20element%20of%20the%20fourth%20row%0A%20%20%20%20array_2D%5B3%5D%5B1%5D%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20%23%20Or%20with%20a%20shorthand%20notation%0A%20%20%20%20array_2D%5B3%2C%201%5D%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20We%20can%20also%20use%20the%20%60%3A%60%20slicing%20opperator%20to%20access%20different%20subsections%20of%20the%20array.%20Those%20are%20a%20bit%20confusing%20to%20me%2C%20so%20play%20around%20to%20get%20an%20idea%20yourself!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20print(array_2D)%0A%20%20%20%20print(f%22This%20array%20is%20of%20shape%20%7Barray_2D.shape%7D.%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20%23%20Elements%20idx%201%2C%202%2C%203%20of%20row%20idx%202.%0A%20%20%20%20array_2D%5B2%2C%201%3A4%5D%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20This%20is%20probably%20the%20most%20useful%20application%20of%20slicing%3A%20**getting%20an%20entire%20row%20or%20a%20column**!%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20%23%20All%20elements%20of%20rows%20from%20idx%201%20to%20the%20end.%0A%20%20%20%20array_2D%5B1%3A%2C%20%3A%5D%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20%23%20Just%20third%20column%0A%20%20%20%20array_2D%5B%3A%2C%202%5D%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Array%20methods%0A%0A%20%20%20%20There%20is%20a%20range%20of%20useful%20methods%20you%20can%20perform%20on%20NumPy%20arrays%20-%20such%20us%20different%20statistics%20or%20shape%20information.%20Generally%2C%20there%20probably%20exist%20functions%20for%20simple%20array%20operations%20that%20you%20do%20not%20need%20to%20implement%20yourself!%0A%0A%20%20%20%20Check%20out%20%5BNumPy%20User%20Guide%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Fuser%2Findex.html)%20for%20more.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(array_2D)%3A%0A%20%20%20%20print(f%22The%20array%20ranges%20from%20%7Barray_2D.min()%7D%20to%20%7Barray_2D.max()%7D%20with%20a%20mean%20value%20of%20%7Barray_2D.mean()%7D.%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Random%20numbers%0A%0A%20%20%20%20Sometimes%20in%20scientific%20computing%20we%20need%20random%20numbers.%20Often%20we%20would%20do%20it%20to%20simulate%20noise%20in%20instrument%20measurements.%20We%20will%20explore%20that%20a%20bit%20more%20in%20the%20plotting%20workshop%2C%20but%20let's%20get%20the%20basics%20of%20it%20right.%0A%0A%20%20%20%20Computers%20**cannot**%20generate%20random%20numbers.%20They%20are%20always%20generated%20based%20on%20some%20(typically%20very%20complex)%20algorithm.%20To%20ensure%20reproducibility%20between%20experiments%2C%20it%20is%20good%20practice%20to%20have%20a%20fixed%20_random%20seed_%20-%20a%20value%20that%20%22seeds%22%20our%20pseudo-random%20number%20generator%20and%20yields%20the%20same%20%22random%22%20results%20every%20time.%0A%0A%20%20%20%20In%20NumPy%2C%20we%20do%20it%20with%3A%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20rng%20%3D%20np.random.default_rng(seed%3DSEED)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Then%2C%20there%20is%20a%20variety%20of%20distributions%20that%20NumPy%20can%20draw%20from%20%20-%20more%20details%20are%20in%20their%20%5Bdocumentation%5D(https%3A%2F%2Fnumpy.org%2Fdoc%2Fstable%2Freference%2Frandom%2Fgenerator.html).%20Commonly%2C%20we%20would%20try%20to%20get%20uniformly%20or%20normally%20distributed%20random%20numbers.%0A%0A%20%20%20%20%60%60%60python%0A%0A%20%20%20%20%23%20Array%20of%20N%20floats%2C%20between%20%5B0%2C1)%0A%20%20%20%20random_float%20%3D%20rng.random(size%3DN)%0A%0A%20%20%20%20%23%20Array%20of%20N%20uniformly-distributed%20integers%20between%20%5BLOW%2C%20HIGH)%0A%20%20%20%20random_int%20%3D%20rng.integer(low%3DLOW%2C%20high%3DHIGH%2C%20size%3DN)%0A%0A%20%20%20%20%23%20Array%20of%20N%20uniformly-distributed%20floats%20between%20%5BLOW%2C%20HIGH)%0A%20%20%20%20random_float2%20%3D%20rng.uniform(low%3DLOW%2C%20high%3DHIGH%2C%20size%3DN)%0A%0A%20%20%20%20%23%20Array%20of%20N%20normally-distributed%20floats%0A%20%20%20%20%23%20centred%20at%20MEAN%20with%20std.%20dev.%20of%20WIDTH%0A%20%20%20%20random_normal%20%3D%20rng.normal(loc%3DMEAN%2C%20scale%3DWIDTH%2C%20size%3DN)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20In%20the%20following%20example%20we%20will%20use%20the%20current%20timestamp%20(seconds%20since%2000%3A00%3A00%20UTC%20on%201st%20January%201970)%20-%20a%20common%20way%20in%20computing%20applications.%20Let's%20imagine%20we%20are%20trying%20to%20simulate%20noise%20coming%20from%20pixels%20on%20a%20100x100%20CCD%20detector%3A%20that%20should%20follow%20the%20**Poisson%20distribution**.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20from%20datetime%20import%20datetime%0A%0A%20%20%20%20%23%20Using%20datetime%20to%20get%20the%20timestamp.%0A%20%20%20%20current_seed%20%3D%20int(datetime.now().timestamp())%0A%20%20%20%20print(f%22Random%20seed%20is%20%7Bcurrent_seed%7D%22)%0A%0A%20%20%20%20%23%20Creating%20the%20random%20number%20generator%20(rng).%0A%20%20%20%20rng%20%3D%20np.random.default_rng(seed%3Dcurrent_seed)%0A%0A%20%20%20%20%23%20Generating%20detector%20noise.%0A%20%20%20%20ccd_noise%20%3D%20rng.poisson(lam%3D2%2C%20size%3D(100%2C100))%0A%0A%20%20%20%20print(f%22We%20created%20array%20of%20size%20%7Bccd_noise.shape%7D.%22)%0A%20%20%20%20print(ccd_noise)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Scientific%20Python%20(SciPy)%0A%0A%20%20%20%20The%20power%20and%20widespread%20adoption%20of%20Python%20in%20scientific%20computing%20comes%20from%20the%20libraries%20available%20out%20there.%20Most%20important%20of%20those%20is%20%5BSciPy%5D(https%3A%2F%2Fscipy.org%2F)%20-%20it%20is%20writen%20on%20top%20of%20NumPy%20and%20provides%20high-level%20algorithms%20for%20maths%2C%20science%2C%20and%20engineering.%20They%20are%20highly%20optimised%20and%20-%20let's%20be%20honest%20-%20most%20likely%20better%20written%20than%20whatever%20you%20or%20I%20can%20come%20up%20with.%0A%0A%20%20%20%20%3E%20**Take%20home%20message**%3A%20what%20you%20need%20to%20code%20probably%20already%20exist.%20Check%20%5BSciPy%20Documentation%5D(https%3A%2F%2Fdocs.scipy.org%2Fdoc%2Fscipy%2Ftutorial%2Findex.html%23user-guide)%20first%20to%20save%20you%20days%20of%20scripting!%0A%0A%20%20%20%20Some%20of%20the%20examples%20here%20might%20_appear_%20more%20advanced.%20But%20you%20will%20get%20good%20grasp%20of%20them%20when%20you%20apply%20it%20to%20some%20real%20data!%0A%0A%20%20%20%20%23%23%23%20Constants%0A%0A%20%20%20%20SciPy%20comes%20with%20a%20very%20wide%20%5Brange%20of%20constants%5D(https%3A%2F%2Fdocs.scipy.org%2Fdoc%2Fscipy%2Freference%2Fconstants.html%23module-scipy.constants)%2C%20coded%20in%20with%20a%20high-level%20of%20precision.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20scipy%0A%0A%20%20%20%20%23%20No%20more%20manual%20typing!%0A%20%20%20%20print(f%22Speed%20of%20light%3A%20%7Bscipy.constants.c%7D%20m%2Fs%22)%0A%20%20%20%20print(f%22Planck%20constant%3A%20%7Bscipy.constants.h%7D%20J%20s%22)%0A%20%20%20%20print(f%22Molar%20gas%20constant%3A%20%7Bscipy.constants.R%7D%20J%2F(mol%20K)%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Curve%20fitting%0A%0A%20%20%20%20%3E%20We%20will%20do%20more%20about%20plotting%20in%20the%20next%20notebook%2C%20so%20here%20just%20execute%20those%20cells%20for%20visualisation.%0A%0A%20%20%20%20The%20%5B%60scipy.optimize%60%5D(https%3A%2F%2Fdocs.scipy.org%2Fdoc%2Fscipy%2Freference%2Foptimize.html)%20is%20a%20library%20you%20will%20probably%20use%20most%20for%20any%20physical%20(and%20organic!)%20labs.%20It%20can%20take%20raw%20data%20and%20finds%20the%20best%20parameters%20for%20your%20model.%20You%20no%20longer%20need%20to%20derive%20linear%20relationships%20and%20trasform%20your%20data%20for%20equations%20that%20are%20difficult%20to%20fit%20by%20hand.%20We%20will%20use%20it%20a%20lot%20in%20the%20%22hands%20on%22%20workshops.%0A%0A%20%20%20%20To%20use%20the%20%60curve_fit()%60%20function%20we%20need%20to%20first%20define%20our%20model%20function%20(what%20we%20believe%20happens%20mathematically).%20The%20first%20argument%20of%20that%20function%20is%20our%20%24x%24%20data%3B%20the%20return%20value%20should%20be%20the%20%24y%24%20data.%20SciPy%20will%20then%20fit%20the%20other%20arguments%20as%20parameters%20to%20give%20us%20the%20best%20fit.%0A%0A%20%20%20%20In%20this%20example%2C%20we%20will%20find%20a%20first-order%20rate%20constant%20from%20a%20simulated%20kinetics%20experiment.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(np)%3A%0A%20%20%20%20def%20generate_kinetics()%3A%0A%20%20%20%20%20%20%20%20t_data%20%3D%20np.linspace(0%2C%2010%2C%2030)%0A%0A%20%20%20%20%20%20%20%20A0_true%20%3D%201.0%20%20%0A%20%20%20%20%20%20%20%20k_true%20%3D%200.45%20%0A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed%3D42)%0A%20%20%20%20%20%20%20%20noise%20%3D%20rng.normal(0%2C%200.03%2C%20size%3Dt_data.size)%0A%0A%20%20%20%20%20%20%20%20%23%20%5BA%5D%20%3D%20%5BA%5D_0%20*%20exp(-kt)%0A%20%20%20%20%20%20%20%20abs_data%20%3D%20A0_true%20*%20np.exp(-k_true%20*%20t_data)%20%2B%20noise%0A%0A%20%20%20%20%20%20%20%20return%20t_data%2C%20abs_data%0A%0A%20%20%20%20time_data%2C%20example_kinetics_data%20%3D%20generate_kinetics()%0A%20%20%20%20print(example_kinetics_data)%0A%20%20%20%20return%20example_kinetics_data%2C%20time_data%0A%0A%0A%40app.cell%0Adef%20_(example_kinetics_data%2C%20np%2C%20time_data)%3A%0A%20%20%20%20from%20scipy.optimize%20import%20curve_fit%0A%0A%20%20%20%20def%20first_order_decay(time%2C%20initial_conc%2C%20k)%3A%0A%20%20%20%20%20%20%20%20return%20initial_conc%20*%20np.exp(-k%20*%20time)%0A%0A%20%20%20%20%23%20popt%20contains%20the%20optimised%20parameters%20%5Binitial_conf%2C%20k%5D%0A%20%20%20%20%23%20pcov%20contains%20the%20covariance%20matrix%0A%0A%20%20%20%20popt%2C%20pcov%20%3D%20curve_fit(%0A%20%20%20%20%20%20%20%20first_order_decay%2C%0A%20%20%20%20%20%20%20%20time_data%2C%20%23%2030%20measurements%20within%2010%20minutes%0A%20%20%20%20%20%20%20%20example_kinetics_data%20%23%20from%20previous%20cell%20(with%20noise)%0A%20%20%20%20)%0A%0A%20%20%20%20print(f%22Calculated%20Rate%20Constant%20(k)%3A%20%7Bpopt%5B1%5D%3A.4f%7D%20%C2%B1%20%7Bnp.sqrt(pcov%5B1%2C1%5D)%3A.4f%7D.%22)%0A%20%20%20%20return%20(popt%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(example_kinetics_data%2C%20np%2C%20popt%2C%20time_data)%3A%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%0A%20%20%20%20%23%20Extract%20optimized%20parameters%0A%20%20%20%20a0_opt%2C%20k_opt%20%3D%20popt%0A%0A%20%20%20%20%23%20Generate%20a%20smooth%20curve%20for%20the%20fit%20line%0A%20%20%20%20t_smooth%20%3D%20np.linspace(0%2C%2010%2C%20100)%0A%20%20%20%20abs_fit%20%3D%20a0_opt%20*%20np.exp(-k_opt%20*%20t_smooth)%0A%0A%20%20%20%20%23%20Calculate%20the%20half-life%20for%20the%20legend%0A%20%20%20%20half_life%20%3D%20np.log(2)%20%2F%20k_opt%0A%0A%20%20%20%20%23%20Create%20the%20plot%0A%20%20%20%20plt.figure(figsize%3D(8%2C%205))%0A%0A%20%20%20%20%23%20Plot%20noisy%20experimental%20data%20as%20dots%0A%20%20%20%20plt.scatter(time_data%2C%20example_kinetics_data%2C%20color%3D%22black%22%2C%20alpha%3D0.6%2C%20label%3D%22Experimental%20Data%22)%0A%0A%20%20%20%20%23%20Plot%20the%20optimized%20theoretical%20fit%20as%20a%20solid%20line%0A%20%20%20%20plt.plot(t_smooth%2C%20abs_fit%2C%20color%3D%22red%22%2C%20linewidth%3D2%2C%20%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dfr%22Fit%20(%24k%24%20%3D%20%7Bk_opt%3A.3f%7D%20min%24%5E%7B%7B-1%7D%7D%24)%22)%0A%0A%20%20%20%20%23%20Add%20a%20horizontal%2Fvertical%20line%20to%20show%20the%20half-life%20visually%20(optional%20but%20cool)%0A%20%20%20%20plt.axvline(half_life%2C%20color%3D%22green%22%2C%20linestyle%3D%22--%22%2C%20alpha%3D0.3%2C%20label%3Dfr%22Half-life%20(%24t_%7B%7B1%2F2%7D%7D%24%20%3D%20%7Bhalf_life%3A.2f%7D%20min)%22)%0A%0A%20%20%20%20%23%20Formatting%0A%20%20%20%20plt.title(%22First-order%20kinetics%22)%0A%20%20%20%20plt.xlabel(%22Time%20%2F%20min%22)%0A%20%20%20%20plt.ylabel(%22%5BA%5D%20%2F%20M%22)%0A%20%20%20%20plt.legend()%0A%20%20%20%20plt.grid(True%2C%20alpha%3D0.2)%0A%20%20%20%20plt.show()%0A%20%20%20%20return%20(plt%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Signal%20processing%0A%0A%20%20%20%20The%20%5B%60scipy.signal%60%5D(https%3A%2F%2Fdocs.scipy.org%2Fdoc%2Fscipy%2Freference%2Fsignal.html)%20module%20helps%20us%20with%20general%20processing%20of%20real-world%20data%2C%20such%20as%20peak%20finding%20or%20noise%20filtering.%0A%0A%20%20%20%20Let's%20use%20this%20module%20to%20identify%20where%20the%20peak%20is%20in%20a%20simulated%20HPLC%20chromatogram%20trace.%20Note%20that%20all%20%22indices%22%20returned%20by%20those%20functions%20refer%20to%20the%20**position%20of%20the%20element%20within%20the%20array**%20rather%20than%20to%20the%20specific%20value.%20So%20we%20still%20need%20to%20find%20the%20time%20or%20absorbance%20that%20those%20indices%20correspond%20to.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(np)%3A%0A%20%20%20%20def%20generate_chromatography()%3A%0A%20%20%20%20%20%20%20%20time_trace%20%3D%20np.linspace(0%2C%205%2C%201000)%0A%0A%20%20%20%20%20%20%20%20center%20%3D%203.5%0A%20%20%20%20%20%20%20%20width%20%3D%200.1%0A%20%20%20%20%20%20%20%20height%20%3D%201.2%0A%20%20%20%20%20%20%20%20peak%20%3D%20height%20*%20np.exp(-%20(time_trace%20-%20center)**2%20%2F%20(2%20*%20width**2))%0A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed%3D123)%0A%20%20%20%20%20%20%20%20baseline_drift%20%3D%200.01%20*%20time_trace%20%20%23%20The%20signal%20slowly%20climbs%0A%20%20%20%20%20%20%20%20noise%20%3D%20rng.normal(0%2C%200.02%2C%20size%3Dtime_trace.size)%0A%0A%20%20%20%20%20%20%20%20intensity_trace%20%3D%20peak%20%2B%20baseline_drift%20%2B%20noise%0A%0A%20%20%20%20%20%20%20%20return%20time_trace%2C%20intensity_trace%0A%0A%20%20%20%20hplc_time%2C%20hplc_trace%20%3D%20generate_chromatography()%0A%20%20%20%20print(hplc_trace)%0A%20%20%20%20return%20hplc_time%2C%20hplc_trace%0A%0A%0A%40app.cell%0Adef%20_(hplc_time%2C%20hplc_trace)%3A%0A%20%20%20%20from%20scipy.signal%20import%20find_peaks%2C%20peak_widths%0A%0A%20%20%20%20%23%20Finding%20the%20peak%20in%20hplc_trace%0A%20%20%20%20indices%2C%20properties%20%3D%20find_peaks(%0A%20%20%20%20%20%20%20%20hplc_trace%2C%0A%20%20%20%20%20%20%20%20height%3D1%2C%20%23%20minimum%20peak%20height%0A%20%20%20%20%20%20%20%20prominence%3D0.2%20%23%20prominence%20over%20baseline%0A%20%20%20%20)%0A%20%20%20%20peak_time%20%3D%20hplc_time%5Bindices%5B0%5D%5D%0A%20%20%20%20peak_height%20%3D%20properties%5B'peak_heights'%5D%5B0%5D%0A%0A%20%20%20%20%23%20Finding%20the%20LHS%20and%20RHS%20of%20the%20peak%20(for%20integrals)%0A%20%20%20%20widths%2C%20width_heights%2C%20left_ids%2C%20right_ids%20%3D%20peak_widths(%0A%20%20%20%20%20%20%20%20hplc_trace%2C%0A%20%20%20%20%20%20%20%20indices%2C%0A%20%20%20%20%20%20%20%20rel_height%3D0.9%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20peak_widths()%20returns%20arrays%20of%20interpolated%20indices%0A%20%20%20%20%23%20those%20are%20floats%20-%20need%20to%20convert%20them%20to%20integers%0A%20%20%20%20lhs%20%3D%20int(left_ids%5B0%5D)%0A%20%20%20%20rhs%20%3D%20int(right_ids%5B0%5D)%0A%0A%20%20%20%20left_time%20%3D%20hplc_time%5Blhs%5D%0A%20%20%20%20right_time%20%3D%20hplc_time%5Brhs%5D%0A%20%20%20%20return%20left_time%2C%20lhs%2C%20peak_height%2C%20peak_time%2C%20rhs%2C%20right_time%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20hplc_time%2C%0A%20%20%20%20hplc_trace%2C%0A%20%20%20%20left_time%2C%0A%20%20%20%20peak_height%2C%0A%20%20%20%20peak_time%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20right_time%2C%0A)%3A%0A%20%20%20%20plt.figure(figsize%3D(8%2C%204))%0A%20%20%20%20plt.plot(hplc_time%2C%20hplc_trace%2C%20color%3D%22black%22%2C%20alpha%3D0.6%2C%20label%3D%22HPLC%20Signal%22)%0A%0A%20%20%20%20%23%20Mark%20the%20found%20peak%20with%20red%20'x'%20marks%0A%20%20%20%20plt.plot(peak_time%2C%20peak_height%2C%20%22x%22%2C%20color%3D%22red%22%2C%20markersize%3D10%2C%20label%3D%22Peak%20centre%22)%0A%0A%20%20%20%20plt.plot(left_time%2C%200.1%2C%20%22*%22%2C%20color%3D%22blue%22%2C%20markersize%3D10%2C%20label%3D%22Peak%20limits%22)%0A%20%20%20%20plt.plot(right_time%2C%200.1%2C%20%22*%22%2C%20color%3D%22blue%22%2C%20markersize%3D10)%0A%0A%20%20%20%20%23%20Label%20the%20peaks%20with%20their%20retention%20times%0A%20%20%20%20plt.title(%22Automated%20Peak%20Detection%22)%0A%20%20%20%20plt.xlabel(%22Retention%20Time%20%2F%20min%22)%0A%20%20%20%20plt.ylabel(%22Absorbance%20%2F%20AU%22)%0A%20%20%20%20plt.legend()%0A%20%20%20%20plt.show()%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Integration%0A%0A%20%20%20%20The%20%5B%60scipy.integrate%60%5D(https%3A%2F%2Fdocs.scipy.org%2Fdoc%2Fscipy%2Freference%2Fintegrate.html)%20module%20provides%20several%20ways%20for%20numerical%20integration%20Let's%20continue%20with%20our%20example%20and%20integrate%20between%20the%20identified%20left-%20and%20right-hand%20side%20of%20the%20HPLC%20peak.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(hplc_time%2C%20hplc_trace%2C%20lhs%2C%20rhs)%3A%0A%20%20%20%20from%20scipy.integrate%20import%20trapezoid%0A%0A%20%20%20%20%23%20Simple%20command%20to%20integrate%20a%20slice%20of%20the%20data%0A%20%20%20%20peak_area%20%3D%20trapezoid(%0A%20%20%20%20%20%20%20%20y%3Dhplc_trace%5Blhs%3Arhs%5D%2C%0A%20%20%20%20%20%20%20%20x%3Dhplc_time%5Blhs%3Arhs%5D%0A%20%20%20%20)%0A%0A%20%20%20%20print(%0A%20%20%20%20%20%20%20%20%22Integral%20of%20the%20absorbance%20between%20%22%0A%20%20%20%20%20%20%20%20f%22%7Bhplc_time%5Blhs%5D%3A.2f%7D%20and%20%7Bhplc_time%5Brhs%5D%3A.2f%7D%20min%20%22%0A%20%20%20%20%20%20%20%20f%22is%20%7Bpeak_area%3A.4f%7D.%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A