05 visualize dimension reduction analasys

import%20marimo%0A%0A__generated_with%20%3D%20%220.13.6%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%20Dimension%20Redunction%20Analysis%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20json%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20os%0A%20%20%20%20return%20json%2C%20mo%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22Well%20use%20this%20to%20decide%20what%20is%20the%20minimal%20number%20of%20embedding%20we%20could%20use%20and%20still%20keep%20the%20quality.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22How%20is%20this%20app%20implemented%3F%22%3A%20%22%22%22%0A%20%20%20%20%20%20%20%20-%20The%20articles%20are%20embedded%20using%0A%20%20%20%20%20%20%20%20azure-openai-embedding's%20embedd%E2%88%88g-3-lar%E2%89%A5text-embedding-3-large.%0A%20%20%20%20%20%20%20%20-%20there%20is%20the%20main%20full%20length%20embedding%20and%20smaller%20one%20which%20can%20scale%20down%0A%20%20%20%20%20%20%20%20-%20We%20then%20plot%20both%20using%20umap%20into%20a%20lower%20dimension%20and%20compare%20the%20dinamix%20plot%20to%20the%20true%20full%20scale%0A%20%20%20%20%20%20%20%20-%20The%20most%20point%20where%20we%20are%20still%20having%20relatively%20high%20quality%20while%20having%20lowere%20number%20of%20embedding%20is%20the%20goal.%0A%20%20%20%20%20%20%20%20-%20that%20embeddign%20number%20is%20the%20answer%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%20load%20the%20texts%20for%20comparing%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(json%2C%20mo%2C%20pd)%3A%0A%20%20%20%20import%20requests%0A%0A%20%20%20%20%23%20Handle%20both%20local%20and%20remote%20paths%20for%20texts%0A%20%20%20%20local_path%20%3D%20str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22test_texts.json%22)%0A%20%20%20%20s%20%3D%20json.loads(requests.get(local_path).content)%0A%20%20%20%20texts_df%20%3D%20pd.DataFrame(s)%0A%20%20%20%20texts%20%3D%20texts_df.iloc%5B%3A%2C%200%5D.tolist()%20if%20len(texts_df.columns)%20%3D%3D%201%20else%20texts_df.values.flatten().tolist()%0A%20%20%20%20texts_df%0A%20%20%20%20return%20(texts%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20import%20pickle%20%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20mo.md(r%22%22%22%23%23%20load%20the%20cashed%20embedding%20made%20with%20text-embedding-3-large%22%22%22)%0A%20%20%20%20return%20(pd%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pd%2C%20texts)%3A%0A%20%20%20%20%23%20Handle%20both%20local%20and%20remote%20paths%20for%20cache%0A%20%20%20%20local_path1%20%3D%20str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22embeddings_cache.pkl%22)%0A%20%20%20%20CACHE_FILE%20%3D%20local_path1%0A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20cache%20%3D%20pd.read_pickle(CACHE_FILE)%0A%20%20%20%20except%3A%0A%20%20%20%20%20%20%20%20cache%20%3D%20%7B%7D%0A%0A%20%20%20%20%23%20Retrieve%20final%20embeddings%0A%20%20%20%20final_embeddings%20%3D%20%5Bcache%5Btext%5D%20for%20text%20in%20texts%5D%0A%0A%20%20%20%20%23%20Convert%20to%20DataFrame%0A%20%20%20%20embeddings_df%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20'text'%3A%20texts%2C%0A%20%20%20%20%20%20%20%20'vector'%3A%20final_embeddings%2C%0A%20%20%20%20%20%20%20%20**%7Bf%22dim_%7Bi%7D%22%3A%20%5Bemb%5Bi%5D%20for%20emb%20in%20final_embeddings%5D%20for%20i%20in%20range(len(final_embeddings%5B0%5D))%7D%0A%20%20%20%20%7D)%0A%0A%20%20%20%20embeddings_df%0A%20%20%20%20return%20(embeddings_df%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pd%2C%20texts)%3A%0A%20%20%20%20%23%20Handle%20both%20local%20and%20remote%20paths%20for%20cache2%0A%20%20%20%20local_path2%20%3D%20str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22embeddings_cache2.pkl%22)%0A%20%20%20%20CACHE_FILE2%20%3D%20local_path2%0A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20cache2%20%3D%20pd.read_pickle(CACHE_FILE2)%0A%20%20%20%20except%3A%0A%20%20%20%20%20%20%20%20cache2%20%3D%20%7B%7D%0A%0A%20%20%20%20%23%20Retrieve%20final%20embeddings%0A%20%20%20%20final_embeddings2%20%3D%20%5Bcache2%5Btext%5D%20for%20text%20in%20texts%5D%0A%0A%20%20%20%20%23%20Convert%20to%20DataFrame%0A%20%20%20%20custom_embeddings_df%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20'text'%3A%20texts%2C%0A%20%20%20%20%20%20%20%20'vector'%3A%20final_embeddings2%2C%0A%20%20%20%20%20%20%20%20**%7Bf%22dim_%7Bi%7D%22%3A%20%5Bemb2%5Bi%5D%20for%20emb2%20in%20final_embeddings2%5D%20for%20i%20in%20range(len(final_embeddings2%5B0%5D))%7D%0A%20%20%20%20%7D)%0A%0A%20%20%20%20custom_embeddings_df%0A%20%20%20%20return%20(custom_embeddings_df%2C)%0A%0A%0A%40app.cell%0Adef%20_(custom_embeddings_df%2C%20embeddings_df)%3A%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20all_embeddings%20%3D%20np.array(%5Brow.vector%20for%20row%20in%20embeddings_df.itertuples()%5D)%0A%20%20%20%20all_embeddings2%20%3D%20np.array(%5Brow.vector%20for%20row%20in%20custom_embeddings_df.itertuples()%5D)%0A%20%20%20%20print(f%22Embeddings%20shape%3A%20%7Ball_embeddings.shape%7D%22)%0A%20%20%20%20print(f%22Embeddings%20shape%3A%20%7Ball_embeddings2.shape%7D%22)%0A%20%20%20%20return%20all_embeddings%2C%20all_embeddings2%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20Now%20to%20visualize%20the%20embedding%20we%20can%20use%20many%20thing.%20for%20example%20below%20we%20used%20UMAP%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%20clustering%20using%20UMAP%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%0A%20%20%20%20if%20%22pyodide%22%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22umap-learn%22)%0A%20%20%20%20%20%20%20%20await%20micropip.install(%22plotly%22)%0A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20plotly.express%20as%20px%0A%20%20%20%20return%20(px%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Original%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(all_embeddings%2C%20embeddings_df%2C%20pd)%3A%0A%20%20%20%20from%20umap%20import%20UMAP%0A%20%20%20%20from%20scipy.stats%20import%20zscore%0A%0A%20%20%20%20%23%20UMAP%20Projection%0A%20%20%20%20features%20%3D%20all_embeddings%0A%20%20%20%20print(f%22Features%20shape%3A%20%7Bfeatures.shape%7D%22)%0A%0A%20%20%20%20umap_2d%20%3D%20UMAP(n_components%3D20%2C%20random_state%3D42%2C%20init%3D%22random%22)%0A%20%20%20%20umap_3d%20%3D%20UMAP(n_components%3D30%2C%20random_state%3D42%2C%20init%3D%22random%22)%0A%0A%20%20%20%20projection_2d%20%3D%20umap_2d.fit_transform(features)%0A%20%20%20%20projection_3d%20%3D%20umap_3d.fit_transform(features)%0A%0A%20%20%20%20%23%20Create%20DataFrames%0A%20%20%20%20umap_embedding_plot_2d%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x%22%3A%20projection_2d%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22y%22%3A%20projection_2d%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22full_text%22%3A%20%5Brow.text%20for%20row%20in%20embeddings_df.itertuples()%5D%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20umap_embedding_plot_3d%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x%22%3A%20projection_3d%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22y%22%3A%20projection_3d%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22z%22%3A%20projection_3d%5B%3A%2C%202%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22full_text%22%3A%20%5Brow.text%20for%20row%20in%20embeddings_df.itertuples()%5D%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Remove%20NaN%20values%0A%20%20%20%20umap_embedding_plot_2d.dropna(inplace%3DTrue)%0A%20%20%20%20umap_embedding_plot_3d.dropna(inplace%3DTrue)%0A%0A%20%20%20%20%23%20Function%20to%20remove%20outliers%20using%20IQR%20%23not%20used%0A%20%20%20%20def%20remove_outliers_iqr(df%2C%20columns)%3A%0A%20%20%20%20%20%20%20%20for%20col%20in%20columns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20Q1%20%3D%20df%5Bcol%5D.quantile(0.25)%0A%20%20%20%20%20%20%20%20%20%20%20%20Q3%20%3D%20df%5Bcol%5D.quantile(0.75)%0A%20%20%20%20%20%20%20%20%20%20%20%20IQR%20%3D%20Q3%20-%20Q1%0A%20%20%20%20%20%20%20%20%20%20%20%20lower_bound%20%3D%20Q1%20-%201.5%20*%20IQR%0A%20%20%20%20%20%20%20%20%20%20%20%20upper_bound%20%3D%20Q3%20%2B%201.5%20*%20IQR%0A%20%20%20%20%20%20%20%20%20%20%20%20df%20%3D%20df%5B(df%5Bcol%5D%20%3E%3D%20lower_bound)%20%26%20(df%5Bcol%5D%20%3C%3D%20upper_bound)%5D%0A%20%20%20%20%20%20%20%20return%20df%0A%0A%0A%20%20%20%20%23%20Limit%20data%20to%205000%20points%0A%20%20%20%20umap_embedding_plot_2d%20%3D%20umap_embedding_plot_2d.sample(n%3Dmin(100%2C%20500)%2C%20random_state%3D42)%0A%20%20%20%20umap_embedding_plot_3d%20%3D%20umap_embedding_plot_3d.sample(n%3Dmin(100%2C%20500)%2C%20random_state%3D42)%0A%20%20%20%20return%20UMAP%2C%20projection_3d%2C%20umap_embedding_plot_2d%2C%20umap_embedding_plot_3d%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20px%2C%20umap_embedding_plot_2d)%3A%0A%20%20%20%20%23%202D%20Scatter%20Plot%0A%20%20%20%20mo.ui.plotly(%0A%20%20%20%20px.scatter(%0A%20%20%20%20%20%20%20%20umap_embedding_plot_2d%2C%20x%3D%22x%22%2C%20y%3D%22y%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22UMAP%20Projection%20(2D)%22%2C%0A%20%20%20%20%20%20%20%20hover_data%3D%7B'x'%3A%20'%3A.2f'%2C%20'y'%3A%20'%3A.2f'%2C%20'full_text'%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20facet_col_spacing%3D0.1%0A%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20px%2C%20umap_embedding_plot_3d)%3A%0A%20%20%20%20%23%203D%20Scatter%20Plot%0A%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20px.scatter_3d(%0A%20%20%20%20%20%20%20%20umap_embedding_plot_3d%2C%20x%3D%22x%22%2C%20y%3D%22y%22%2C%20z%3D%22z%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22UMAP%20Projection%20(3D)%22%2C%0A%20%20%20%20%20%20%20%20hover_data%3D%7B'x'%3A%20'%3A.2f'%2C%20'y'%3A%20'%3A.2f'%2C%20'z'%3A%20'%3A.2f'%2C%20'full_text'%3A%20True%7D%0A%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Custom%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(UMAP%2C%20all_embeddings2%2C%20custom_embeddings_df%2C%20pd%2C%20projection_3d)%3A%0A%20%20%20%20%23%20UMAP%20Projection%0A%20%20%20%20features2%20%3D%20all_embeddings2%0A%20%20%20%20print(f%22Features%20shape%3A%20%7Bfeatures2.shape%7D%22)%0A%0A%20%20%20%20umap_2d2%20%3D%20UMAP(n_components%3D20%2C%20random_state%3D42%2C%20init%3D%22random%22)%0A%20%20%20%20umap_3d2%20%3D%20UMAP(n_components%3D30%2C%20random_state%3D42%2C%20init%3D%22random%22)%0A%0A%20%20%20%20projection_2d2%20%3D%20umap_2d2.fit_transform(features2)%0A%20%20%20%20projection_3d2%20%3D%20umap_3d2.fit_transform(features2)%0A%20%20%20%20%23%20Create%20DataFrames%0A%20%20%20%20umap_embedding_plot_2d2%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x%22%3A%20projection_2d2%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22y%22%3A%20projection_2d2%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22full_text%22%3A%20%5Brow.text%20for%20row%20in%20custom_embeddings_df.itertuples()%5D%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20umap_embedding_plot_3d2%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x%22%3A%20projection_3d%5B%3A%2C%200%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22y%22%3A%20projection_3d%5B%3A%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22z%22%3A%20projection_3d%5B%3A%2C%202%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22full_text%22%3A%20%5Brow.text%20for%20row%20in%20custom_embeddings_df.itertuples()%5D%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Remove%20NaN%20values%0A%20%20%20%20umap_embedding_plot_2d2.dropna(inplace%3DTrue)%0A%20%20%20%20umap_embedding_plot_3d2.dropna(inplace%3DTrue)%0A%0A%20%20%20%20%23%20Limit%20data%20to%205000%20points%0A%20%20%20%20umap_embedding_plot_2d2%20%3D%20umap_embedding_plot_2d2.sample(n%3Dmin(100%2C%20500)%2C%20random_state%3D42)%0A%20%20%20%20umap_embedding_plot_3d2%20%3D%20umap_embedding_plot_3d2.sample(n%3Dmin(100%2C%20500)%2C%20random_state%3D42)%0A%20%20%20%20return%20umap_embedding_plot_2d2%2C%20umap_embedding_plot_3d2%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20px%2C%20umap_embedding_plot_2d2)%3A%0A%20%20%20%20%23%202D%20Scatter%20Plot%0A%20%20%20%20mo.ui.plotly(px.scatter(%0A%20%20%20%20%20%20%20%20umap_embedding_plot_2d2%2C%20x%3D%22x%22%2C%20y%3D%22y%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22UMAP%20Projection%20(2D)%20Custom%22%2C%0A%20%20%20%20%20%20%20%20hover_data%3D%7B'x'%3A%20'%3A.2f'%2C%20'y'%3A%20'%3A.2f'%2C%20'full_text'%3A%20True%7D%2C%0A%20%20%20%20%20%20%20%20facet_col_spacing%3D0.1%0A%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20px%2C%20umap_embedding_plot_3d2)%3A%0A%20%20%20%20%23%203D%20Scatter%20Plot%0A%20%20%20%20mo.ui.plotly(px.scatter_3d(%0A%20%20%20%20%20%20%20%20umap_embedding_plot_3d2%2C%20x%3D%22x%22%2C%20y%3D%22y%22%2C%20z%3D%22z%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22UMAP%20Projection%20(3D)%20Custom%22%2C%0A%20%20%20%20%20%20%20%20hover_data%3D%7B'x'%3A%20'%3A.2f'%2C%20'y'%3A%20'%3A.2f'%2C%20'z'%3A%20'%3A.2f'%2C%20'full_text'%3A%20True%7D%0A%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A