科目の位置づけ・概要

• 選択科目です。
• 講義および演習の科目で、プログラミングの演習があります。後半に時間かけて作成する課題があります。
• 3年次科目「知的処理および演習」の前提科目です。 この科目は AI・自然言語処理・情報推薦に興味がある人が履修する科目です。
• 本科目では、データの記述、収集、処理などの技術について学びます。 また、応用として、Web上のデータを取得して組み合わせるマッシュアップの演習があります。

環境

• データ記述
  • Visual Studio Code または TeraPad
• プログラミング
  • Eclipse + Maven: プロジェクト管理ツール

テキスト

• データとその表現
  • データとは
  • データ構造とデータ記述
  • データ記述言語 XML
    • XMLの概要
    • XMLの文法 - HTMLとの比較
    • XML文書の作成方針
    • XMLによる言語の設計
      • スキーマ言語とは
      • スキーマ言語 XML Schema [参考]
      • 名前空間の利用
• データの収集と処理
  • Web上のデータの取得
    • ストリームを用いたファイルの読み込み
      • Java におけるデータの読み込み: Stream と Reader
      • 復習: ファイル操作と入出力 (オブジェクト指向プログラミングおよび演習)
        • 学外から(認証あり) / 学内から
    • ストリームを用いたWeb上のリソースの取得
      • ネットワーク接続: URL と URLConnection
      • ファイルを読み込むサンプルプログラム ShowFile1.java の変更
  • 文字列の処理
    • 文字列定数 String と 変更可能な文字列 StringBuilder/StringBuffer
      • String
      • StringBuffer [参考]
    • 正規表現によるマッチング
    • 数値への変換
  • フィード (RSS/Atom)
    • フィードとは
    • フィードの例
  • XML文書とDOM
    • XML 文書と DOM
    • 要素名の指定による要素リストの取得
    • XPathによる特定部分の指定
    • XPathにおける名前空間の扱い [参考]
    • サンプル - フィードの各 item 要素の表示
      • Feed.java (フィードを表すクラス)
      • Item.java (1投稿の情報を持つ item 要素を表すクラス)
  • Webサービス (Web API)
    • Webサービス
    • JSON とバインディング
  • HTML文書とDOM
    • HTML文書と DOM
    • 動的なページの取得 [参考]
      • Selenium: Webブラウザ操作ツール
        Webブラウザを利用して動的に更新されるコンテンツを取得。
  • 形態素解析の利用
    • 形態素解析
      • Sudachi
  • 感情分析 [参考]
    • 感情分析 (Wikipedia)
    • 感情分析の進め方 & ハマりやすいポイント (Qiita)
    • 感情分析API(8感情) [この授業限定]
      • 知的処理および演習_感情分析API (副手 白鳥)
        • Java から利用する場合は JsonNode にマッピングする例を参考に
    • 辞書
      • 日本語感情表現辞書
  • サンプルプログラム Python版
    • この授業と「知的処理および演習」のサンプルプログラム Python版 (副手 清水,白鳥)
  • 補足
    • サーバの負荷に配慮したアクセス

• 最終課題: 自分の好きなテーマでマッシュアップ
  • 複数のリソースから得られる情報を組み合わせて有益な情報を得る マッシュアップのプログラムを作成しましょう。
    • 詳細...
  • 上記プログラムのレポートを書きましょう。
    • レポートの提出が無かったり、レポートの内容がプログラムと整合していない場合には単位が出ません。
  • 提出先: 授業フォルダの「最終課題」 (プログラム・レポート共通)
  • 提出期限: 2025年1月4日(金) 23:59
  • 発表会: 2025年1月7日(火)

Boxで「データエンジニアリング(2024)」 という名前のフォルダが共有されています。 その中に各回のフォルダが用意されていますので、 出題回のフォルダの直下に学籍番号のフォルダを作成し、 その中に提出物をコピーしてください (Box Driveの利用をおすすめします)。 なお、他の人と同じファイルを提出すると 0点以下の点数になります。

• 課題8
  • 最終課題のリソース取得と情報抽出 (1)
    最終課題のプログラムでは複数のリソースを取得することになりますが、 まずそのうちの1つを取得するプログラムを作成しましょう。 サーバからのレスポンスを受け取るだけでなく、そこから必要な情報を抽出する部分も考えましょう。 抽出したい情報が要素の一部である場合には、正規表現などによる文字列処理も必要になります。 なお、他のリソースからの情報がないと抽出する情報が定まらない場合には、今回は先送りでかまいません。
    • 今回は Webサービスかフィード(RSS または Atom)を利用しましょう。 Webページだけを情報源とすることは避けてください。
    • 将来的には、複数のリソースを取得するプログラムを一体のものとして動作させることになります。 なるべく、それを想定したクラスの構成にしておきましょう。
    • 先に進んでいる人は、2つ以上のリソースを取得したり、 組み合わせたりするプログラムを提出してもかまいません。
    • 課題6で1つ目のリソース取得と情報抽出まで完了している人は、 今回は2つ目に取り組みましょう。
    • このプログラムで取得するリソースは、最終課題で用いるリソースの「候補」でかまいません。 つまり、この先の検討により利用しなくなってもかまいません。
    • ファイル名: (指定なし)
    • 備考: 動作するに至らなかった人は、作成途中のものを提出すること。 その場合、動かなかった機能をファイル先頭にコメントで記述すること。
  • プログラムの構想 [更新した人のみ]
    プログラムの構想を変更した人は、改訂版のスライドを提出してください。
    • ファイル名: システム構想.pptx (PowerPointを使わない人は PDF でも可)
  • 提出先: 授業フォルダの第08回
  • 提出期限: 次回の前日 22:00
• 課題7
  • プログラムの構想
    最終課題のプログラムの構想をスライドにまとめましょう。 以下の内容を含めてください。
    • 実現する機能の概要
    • 使用するリソースごとの概要と形式(以下をリソースの数だけ記述)
      • 概要
      • 提供元
      • ベースURL
      • 形式: Webサービス | RSS | Atom | HTML | その他
    • システムの概要が分かる図
      • システムの入出力と内部のデータの流れがわかるもの。
      • 事前にデータを集めておく場合は、それも表現すること。
    • ファイル名: システム構想.pptx (PowerPointを使わない人は PDF でも可)
    • 備考: 構想は確定ではなく、後での変更も可とします。
  • 提出先: 授業フォルダの第07回
  • 提出期限: 次回の前日 22:00
• 課題6: フィードからの情報の取得
  • 課題6a: item要素の追加情報の取得
    item要素の中に title, link, description 要素以外の要素を含むフィードを探し、 その要素からも情報を取り出して表示しましょう。
    • pubDate, creator, date, など、いろいろな種類があります。1つ以上を対象としてください。
    • 名前空間接頭辞を無視する場合、要素の指定は dc:date ではなく date となります。
    • Feed クラス、Item クラスを改造する必要があります。
    • ファイル名: FeedItemViewer.java, Feed.java, Item.java
  • 課題6b: item要素の絞り込みまたはソート
    情報を取り出す item要素を絞り込んだり、item要素から取り出した情報をソートしたりしてみましょう。 絞り込みとソートのどちらかでも、両方でもかまいません。
    • item 要素の絞り込みの方法は、XPath 式でも、item要素の子要素から取り出した情報で判断するのでもかまいません。
    • 課題6a と同じパッケージにすると、Feed クラス、Item クラスが共通になることに注意しましょう。 別のクラスにしたい場合は、パッケージを別にするか、クラス名を変更しましょう。
    • クラス定義の直前の位置のコメントに機能の説明を書いておいてください。
    • ファイル名: FeedItemExtractor.java, Feed.java, Item.java (Feed, Item クラスは名称変更してもよい)
  • 提出先: 授業フォルダの第06回
  • 提出期限: 次回の前日 22:00
• 課題5
  • 課題5: フィードの発見
    自分の興味のある分野の情報が得られるフィードを見つけてください。 よいものがあれば最終課題で扱う情報の1つになるかもしれません。
    • 3つ以上見つけ、URL を控えておいてください。
    • 仕様 (RSS 1.0 / RSS2.0 / Atom)、文字コード、取得可能な件数(item要素の数)を確認してください。
    • リクエスト時にパラメータを与える仕様の場合にはパラメータの仕様も確認しましょう。
    • 提出: なし (次の課題で情報の取得対象として使います)
  • 期限: 次回の授業前まで
• 課題4
  • 課題4: Webページからの情報抽出 (正規表現を使用)
    Yahoo! ショッピングの任意の商品のページを取得し、その商品の送料を調べましょう。 正規表現を活用してください。 また、送料の値を整数値として得るようにしましょう。送料無料の場合は 0、送料不明の場合は -1 の値を取るようにしてください。
    • 「送料〇〇円」の「〇〇」の部分を抜き出す正規表現を考えてみましょう。送料が4桁以上の場合、3桁ごとに「,」が入ることに注意しましょう。 また、HTMLのソースでは送料の値の前後にHTMLのコメント <!-- --> が入っていることに注意してください。例えば「送料<!-- -->1,190<!-- -->円」などとなっています。
      • 送料4桁の例: アイス
    • NumberFormat クラスを用いて、文字列を数値に変換しましょう。例外処理を忘れずに。
    • ファイル名: YahooShoppingShippingExtractorIntValue.java
    • 提出先: 授業フォルダの第04回
    • 提出期限: 次回の前日 22:00
• 課題3
  • なし
• 課題2
  • 課題2: 「妥当な」XML文書ファイルの作成
    自分が記述したいデータを決め、そのデータを記述するのに適したデータ記述言語を設計し、 実際にデータを記述してください。 記述する対象は、趣味のデータでもなんでもかまいません。 データ記述言語を設計するにあたっては、 意味的に適切な構造を持つようにしてください。 意味的に適切な構造を持つとは、例えば、実世界で階層構造を持つものは、 XMLの構造上も階層構造を持っている、といったことです。 5階層以上の構造を持つようにしてください。
    • スキーマを記述する必要はありません。
    • 構造だけでなく、実際のデータを記述してください。内容はダミーでもかまいません。
    • ファイル名の拡張子は「.xml」としてください。
    • 文法的に正しい整形式の文書になっているか、 ブラウザで表示させてみるなどして提出前に確認をしてください。
    • 5階層とは、最上位のroot要素から階層を下にたどって5要素あるものを言います(root要素を含みます)。

                      <A>
                        <B>
                          <C>
                            <D>
                              <E>ここが5階層目</E>
                              <E>ここも5階層目</E>
                            </D>
                          </C>
                        </B>
                      </A>
                    

  • 提出先: 授業フォルダの第02回
  • 提出期限: 次回の前日 22:00
• 課題1
  • なし