relevance notebook

import%20marimo%0A%0A__generated_with%20%3D%20%220.13.6%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20import%20requests%0A%0A%20%20%20%20def%20read_log_file(log_file_path)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Read%20log%20file%20from%20either%20local%20path%20or%20URL%22%22%22%0A%20%20%20%20%20%20%20%20%23%20Check%20if%20it's%20a%20URL%20(starts%20with%20http%3A%2F%2F%20or%20https%3A%2F%2F)%0A%20%20%20%20%20%20%20%20if%20log_file_path.startswith(('http%3A%2F%2F'%2C%20'https%3A%2F%2F'))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20response%20%3D%20requests.get(log_file_path)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20response.raise_for_status()%20%20%23%20Raise%20an%20exception%20for%204XX%2F5XX%20responses%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20response.content%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20requests.exceptions.RequestException%20as%20e%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20Exception(f%22Failed%20to%20download%20log%20file%3A%20%7Be%7D%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Assume%20it's%20a%20local%20file%20path%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20with%20open(log_file_path%2C%20'rb')%20as%20f%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20f.read()%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20FileNotFoundError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20Exception(f%22Log%20file%20not%20found%3A%20%7Blog_file_path%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20Exception(f%22Failed%20to%20read%20log%20file%3A%20%7Be%7D%22)%0A%20%20%20%20return%20(read_log_file%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20re%0A%20%20%20%20from%20datetime%20import%20datetime%0A%0A%0A%20%20%20%20def%20parse_log_data(log_text)%3A%0A%20%20%20%20%20%20%20%20%23%20First%2C%20check%20if%20log_text%20is%20bytes%20and%20convert%20to%20string%20if%20needed%0A%20%20%20%20%20%20%20%20if%20isinstance(log_text%2C%20bytes)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20log_text%20%3D%20log_text.decode('utf-8')%20%20%23%20or%20other%20appropriate%20encoding%0A%20%20%20%20%20%20%20%20%23%20Initialize%20data%20structures%0A%20%20%20%20%20%20%20%20script_data%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20total_relevant%20%3D%200%0A%20%20%20%20%20%20%20%20total_irrelevant%20%3D%200%0A%20%20%20%20%20%20%20%20running_scripts%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20current_script%20%3D%20None%0A%0A%20%20%20%20%20%20%20%20%23%20Parse%20log%20line%20by%20line%0A%20%20%20%20%20%20%20%20for%20line%20in%20log_text.split('%5Cn')%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Check%20for%20script%20being%20processed%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20%22Processing%20front%20page%3A%22%20in%20line%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20current_script%20%3D%20line.split(%22Processing%20front%20page%3A%22)%5B1%5D.strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20running_scripts.append(current_script)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'relevant'%3A%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'irrelevant'%3A%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'total'%3A%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'status'%3A%20'started'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'error'%3A%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'vector_errors'%3A%200%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'timestamp'%3A%20datetime.now().strftime('%25Y-%25m-%25d%20%25H%3A%25M%3A%25S')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Track%20relevant%20articles%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20%22Relevant%20article%3A%22%20in%20line%20and%20current_script%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%5B'relevant'%5D%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20total_relevant%20%2B%3D%201%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Track%20non-relevant%20articles%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20%22Not%20relevant%20article%3A%22%20in%20line%20and%20current_script%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%5B'irrelevant'%5D%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20total_irrelevant%20%2B%3D%201%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Track%20summary%20statistics%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20%22Relevant%20articles%3A%22%20in%20line%20and%20current_script%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20match%20%3D%20re.search(r'Relevant%20articles%3A%20(%5Cd%2B)%2C%20Not%20relevant%20articles%3A%20(%5Cd%2B)'%2C%20line)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20match%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20relevant_count%20%3D%20int(match.group(1))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20irrelevant_count%20%3D%20int(match.group(2))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%5B'relevant'%5D%20%3D%20relevant_count%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%5B'irrelevant'%5D%20%3D%20irrelevant_count%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%5B'total'%5D%20%3D%20relevant_count%20%2B%20irrelevant_count%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Track%20completion%20status%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20%22Completed%20processing%20for%20front%20page%3A%22%20in%20line%20and%20current_script%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%5B'status'%5D%20%3D%20'completed'%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Track%20errors%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20%22ERROR%3A%22%20in%20line%20and%20current_script%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%5B'status'%5D%20%3D%20'failed'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%5B'error'%5D%20%3D%20line.split(%22ERROR%3Aroot%3A%22)%5B1%5D.strip()%20if%20%22ERROR%3Aroot%3A%22%20in%20line%20else%20line%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Track%20warnings%20and%20failures%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20%22WARNING%3A%22%20in%20line%20and%20%22No%20data%20found%20for%22%20in%20line%20and%20current_script%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%5B'status'%5D%20%3D%20'no_data'%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Track%20vector%20errors%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20%22No%20vector%20found%20for%20content%22%20in%20line%20and%20current_script%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20'vector_errors'%20not%20in%20script_data%5Bcurrent_script%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%5B'vector_errors'%5D%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_data%5Bcurrent_script%5D%5B'vector_errors'%5D%20%2B%3D%201%0A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'scripts'%3A%20script_data%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'total_relevant'%3A%20total_relevant%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'total_irrelevant'%3A%20total_irrelevant%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'running_scripts'%3A%20running_scripts%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20return%20(parse_log_data%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20plotly.express%20as%20px%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20plotly.subplots%20import%20make_subplots%0A%0A%20%20%20%20def%20generate_plotly_visualizations(data)%3A%0A%20%20%20%20%20%20%20%20%23%20Create%20a%20list%20of%20figures%20to%20return%0A%20%20%20%20%20%20%20%20figures%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%23%201.%20Overall%20Relevance%20Pie%20Chart%0A%20%20%20%20%20%20%20%20total_relevant%20%3D%20data%5B'total_relevant'%5D%0A%20%20%20%20%20%20%20%20total_irrelevant%20%3D%20data%5B'total_irrelevant'%5D%0A%20%20%20%20%20%20%20%20total%20%3D%20total_relevant%20%2B%20total_irrelevant%0A%0A%20%20%20%20%20%20%20%20if%20total%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20labels%20%3D%20%5B'Relevant'%2C%20'Not%20Relevant'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20values%20%3D%20%5Btotal_relevant%2C%20total_irrelevant%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20fig1%20%3D%20go.Figure(data%3D%5Bgo.Pie(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20labels%3Dlabels%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%3Dvalues%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hole%3D.3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_colors%3D%5B'%2366c2a5'%2C%20'%23fc8d62'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig1.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title_text%3D'Overall%20Article%20Relevance'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotations%3D%5Bdict(text%3Df'%7Btotal%7D%20Articles'%2C%20x%3D0.5%2C%20y%3D0.5%2C%20font_size%3D20%2C%20showarrow%3DFalse)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20figures.append(fig1)%0A%0A%20%20%20%20%20%20%20%20%23%202.%20Script%20Status%20Summary%0A%20%20%20%20%20%20%20%20status_counts%20%3D%20%7B'completed'%3A%200%2C%20'failed'%3A%200%2C%20'no_data'%3A%200%2C%20'started'%3A%200%7D%0A%20%20%20%20%20%20%20%20for%20script%20in%20data%5B'scripts'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20status%20%3D%20data%5B'scripts'%5D%5Bscript%5D%5B'status'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20status_counts%5Bstatus%5D%20%2B%3D%201%0A%0A%20%20%20%20%20%20%20%20fig2%20%3D%20go.Figure(data%3D%5Bgo.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dlist(status_counts.keys())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dlist(status_counts.values())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D%5B'%2366c2a5'%2C%20'%23fc8d62'%2C%20'%238da0cb'%2C%20'%23e78ac3'%5D%0A%20%20%20%20%20%20%20%20)%5D)%0A%20%20%20%20%20%20%20%20fig2.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20title_text%3D'Script%20Status%20Summary'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D'Status'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D'Count'%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20figures.append(fig2)%0A%0A%20%20%20%20%20%20%20%20%23%203.%20Per-Script%20Relevance%0A%20%20%20%20%20%20%20%20if%20data%5B'scripts'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Convert%20to%20DataFrame%20for%20easier%20plotting%0A%20%20%20%20%20%20%20%20%20%20%20%20script_df%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20script%2C%20stats%20in%20data%5B'scripts'%5D.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_df.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'script'%3A%20script%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'relevant'%3A%20stats.get('relevant'%2C%200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'irrelevant'%3A%20stats.get('irrelevant'%2C%200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'total'%3A%20stats.get('total'%2C%200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'status'%3A%20stats.get('status'%2C%20'unknown')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20script_df%20%3D%20pd.DataFrame(script_df)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20script_df.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Sort%20by%20total%20articles%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_df%20%3D%20script_df.sort_values('total'%2C%20ascending%3DFalse)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Keep%20top%2010%20scripts%20for%20readability%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(script_df)%20%3E%2010%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_df%20%3D%20script_df.head(10)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%20%3D%20'Top%2010%20Scripts%20by%20Article%20Count'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%20%3D%20'Scripts%20by%20Article%20Count'%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fig3%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fig3.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dscript_df%5B'script'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dscript_df%5B'relevant'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Relevant'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D'%2366c2a5'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fig3.add_trace(go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dscript_df%5B'script'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dscript_df%5B'irrelevant'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3D'Not%20Relevant'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D'%23fc8d62'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20))%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fig3.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title_text%3Dtitle%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D'Script'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D'Article%20Count'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20barmode%3D'stack'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3D%7B'tickangle'%3A%2045%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20figures.append(fig3)%0A%0A%20%20%20%20%20%20%20%20%23%204.%20Relevance%20Rate%20by%20Script%0A%20%20%20%20%20%20%20%20if%20data%5B'scripts'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20relevance_rates%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20script_names%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20script%2C%20stats%20in%20data%5B'scripts'%5D.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20total%20%3D%20stats.get('total'%2C%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20total%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20relevance_rate%20%3D%20(stats.get('relevant'%2C%200)%20%2F%20total)%20*%20100%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20relevance_rates.append(relevance_rate)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20script_names.append(script)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20relevance_rates%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Create%20DataFrame%20and%20sort%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rate_df%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'script'%3A%20script_names%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'relevance_rate'%3A%20relevance_rates%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rate_df%20%3D%20rate_df.sort_values('relevance_rate'%2C%20ascending%3DFalse)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Keep%20top%2010%20for%20readability%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(rate_df)%20%3E%2010%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rate_df%20%3D%20rate_df.head(10)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%20%3D%20'Top%2010%20Scripts%20by%20Relevance%20Rate'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%20%3D%20'Scripts%20by%20Relevance%20Rate'%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fig4%20%3D%20go.Figure(data%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Drate_df%5B'script'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Drate_df%5B'relevance_rate'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D'%238da0cb'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fig4.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title_text%3Dtitle%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D'Script'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D'Relevance%20Rate%20(%25)'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3D%7B'tickangle'%3A%2045%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20figures.append(fig4)%0A%0A%20%20%20%20%20%20%20%20return%20figures%0A%20%20%20%20return%20(generate_plotly_visualizations%2C)%0A%0A%0A%40app.cell%0Adef%20_(generate_plotly_visualizations%2C%20parse_log_data%2C%20read_log_file)%3A%0A%20%20%20%20import%20os%0A%0A%20%20%20%20def%20main(log_file_path)%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Read%20log%20file%0A%20%20%20%20%20%20%20%20%20%20%20%20log_text%20%3D%20read_log_file(log_file_path)%0A%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Parse%20log%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20data%20%3D%20parse_log_data(log_text)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Handle%20empty%20data%20safely%0A%20%20%20%20%20%20%20%20%20%20%20%20total_articles%20%3D%20data%5B'total_relevant'%5D%20%2B%20data%5B'total_irrelevant'%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Print%20summary%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Total%20relevant%20articles%3A%20%7Bdata%5B'total_relevant'%5D%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Total%20irrelevant%20articles%3A%20%7Bdata%5B'total_irrelevant'%5D%7D%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Avoid%20division%20by%20zero%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20total_articles%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Relevance%20ratio%3A%20%7Bdata%5B'total_relevant'%5D%20%2F%20total_articles%20*%20100%3A.2f%7D%25%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(%22Relevance%20ratio%3A%20N%2FA%20(no%20articles%20processed)%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Total%20scripts%20processed%3A%20%7Blen(data%5B'scripts'%5D)%7D%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Count%20script%20statuses%0A%20%20%20%20%20%20%20%20%20%20%20%20status_counts%20%3D%20%7B'completed'%3A%200%2C%20'failed'%3A%200%2C%20'no_data'%3A%200%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20script%20in%20data%5B'scripts'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20print(script)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20status%20%3D%20data%5B'scripts'%5D%5Bscript%5D%5B'status'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20status%20in%20status_counts%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20status_counts%5Bstatus%5D%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20status_counts%5B'failed'%5D%20%2B%3D%201%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Scripts%20completed%20successfully%3A%20%7Bstatus_counts%5B'completed'%5D%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Scripts%20failed%3A%20%7Bstatus_counts%5B'failed'%5D%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Scripts%20with%20no%20data%3A%20%7Bstatus_counts%5B'no_data'%5D%7D%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Generate%20and%20display%20plotly%20figures%0A%20%20%20%20%20%20%20%20%20%20%20%20figures%20%3D%20generate_plotly_visualizations(data)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Display%20the%20figures%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20fig%20in%20figures%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fig.show()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20data%20%20%23%20Return%20the%20data%20for%20further%20analysis%20if%20needed%0A%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22Error%20analyzing%20log%3A%20%7Bstr(e)%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20traceback%0A%20%20%20%20%20%20%20%20%20%20%20%20traceback.print_exc()%0A%0A%20%20%20%20return%20(main%2C)%0A%0A%0A%40app.cell%0Adef%20_(main%2C%20mo)%3A%0A%20%20%20%20%23%20Default%20log%20file%20path%0A%20%20%20%20%23%20Handle%20both%20local%20and%20remote%20paths%20for%20cache%0A%20%20%20%20log_file_path%20%3D%20str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22scraper_log.txt%22)%0A%0A%20%20%20%20main(log_file_path)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A