データエンジニアリング

科目の位置づけ・概要

選択科目です。
講義および演習の科目で、プログラミングの演習があります。後半に時間かけて作成する課題があります。
3年次科目「知的処理および演習」の前提科目です。この科目は AI・自然言語処理・情報推薦に興味がある人が履修する科目です。
本科目では、データの記述、収集、処理などの技術について学びます。また、応用として、Web上のデータを取得して組み合わせるマッシュアップの演習があります。

環境

データ記述
- Visual Studio Code または TeraPad
プログラミング
- Java: Eclipse + Maven (プロジェクト管理ツール)

テキスト

データとその表現
- データとは
- データ構造とデータ記述
- データ記述言語 XML
  - XMLの概要
  - XMLの文法 - HTMLとの比較
  - XML文書の作成方針
  - XMLによる言語の設計
データの収集と処理
- Web上のデータの取得
  - ストリームを用いたファイルの読み込み
    - Java におけるデータの読み込み: Stream と Reader
    - 復習: ファイル操作と入出力 (オブジェクト指向プログラミングおよび演習)
      - 学外から(認証あり) / 学内から
  - ストリームを用いたWeb上のリソースの取得
    - ネットワーク接続: URL と URLConnection
    - ファイルを読み込むサンプルプログラム ShowFile1.java の変更
- 文字列の処理
- フィード (RSS/Atom)
  - フィードとは
  - フィードの例
- XML文書とDOM
  - XML 文書と DOM
  - 要素名の指定による要素リストの取得
  - XPathによる特定部分の指定
  - XPathにおける名前空間の扱い [参考]
  - サンプル - フィードの各 item 要素の表示
    - Feed.java (フィードを表すクラス)
    - Item.java (1投稿の情報を持つ item 要素を表すクラス)
- Webサービス (Web API)
  - Webサービス
  - JSON とバインディング
- HTML文書とDOM
  - HTML文書と DOM
  - 動的なページの取得 [参考]
    - Selenium: Webブラウザ操作ツール
      Webブラウザを利用して動的に更新されるコンテンツを取得。
- 形態素解析の利用
  - 形態素解析
    - Sudachi
- 感情分析 [参考]
  - 感情分析 (Wikipedia)
  - 感情分析の進め方 & ハマりやすいポイント (Qiita)
  - 感情分析API(8感情) [この授業限定]
    - 知的処理および演習_感情分析API (副手白鳥)
      - Java から利用する場合は JsonNode にマッピングする例を参考に
  - 辞書
    - 日本語感情表現辞書
- サンプルプログラム Python版
  - この授業と「知的処理および演習」のサンプルプログラム Python版 (副手清水,白鳥)
- 補足
  - サーバの負荷に配慮したアクセス

最終課題 (2024)

最終課題: 自分の好きなテーマでマッシュアップ
- 複数のリソースから得られる情報を組み合わせて有益な情報を得る マッシュアップのプログラムを作成しましょう。
  - 詳細...
- 上記プログラムのレポートを書きましょう。
- 発表会: 第14回

課題、おしらせ

Boxで「データエンジニアリング(2025)」という名前のフォルダが共有されています。その中に各回のフォルダが用意されていますので、出題回のフォルダの直下に学籍番号のフォルダを作成し、その中に提出物をコピーしてください (Box Driveの利用をおすすめします)。なお、他の人と同じファイルを提出すると 0点以下の点数になります。

課題7
- 課題7: Web APIの発見
  自分の興味のある分野の情報が得られる Web API(Webサービス)を見つけてください。よいものがあれば最終課題で扱う情報の1つになるかもしれません。
  - 1つ以上見つけてください。興味のある分野で見つからなければ、他の分野でもかまいません。
  - 仕様 (リクエストのパラメータ/レスポンスの構造) を確認してください。
  - 提出: なし
- 期限: 第8回(11/11)の授業前まで
課題6: フィードからの情報の取得
- 課題6a: item要素の追加情報の取得
  item要素の中に title, link, description 要素以外の要素を含むフィードを探し、その要素からも情報を取り出して表示しましょう。
  - pubDate, creator, date, など、いろいろな種類があります。1つ以上を対象としてください。
  - 名前空間接頭辞を無視する場合、要素の指定は dc:date ではなく date となります。
  - Feed クラス、Item クラスを改造する必要があります。
  - 補足: FeedItemViewer を main メソッドのあるクラスとし、そこから Feed クラスを利用する構成にしてください。 FeedItemViewer, Feed, Item の 3 つのクラスは同じパッケージに属するようにしてください。なお、Feed クラスの mainメソッドは使用しません。 Feed クラスの mainメソッドでしていることは、 FeedItemViewer クラスの main メソッドですることになります。
  - ファイル名: FeedItemViewer.java, Feed.java, Item.java
- 課題6b: item要素の絞り込みまたはソート
  情報を取り出す item要素を絞り込んだり、item要素から取り出した情報をソートしたりしてみましょう。絞り込みとソートのどちらかでも、両方でもかまいません。
  - item 要素の絞り込みの方法は、XPath 式でも、item要素の子要素から取り出した情報で判断するのでもかまいません。
  - 課題6a と同じパッケージにすると、Feed クラス、Item クラスが共通になることに注意しましょう。別のクラスにしたい場合は、パッケージを別にするか、クラス名を変更しましょう。
  - クラス定義の直前の位置のコメントに機能の説明を書いておいてください。
  - 補足: FeedItemExtractor を main メソッドのあるクラスとし、そこから Feed クラスを利用する構成にしてください。 3 つのクラスは同じパッケージに属するようにしてください。なお、Feed クラスの mainメソッドは使用しません。
  - ヒント(ソート): Item クラスに Comparable<Item> インタフェースを実装する、つまり compareTo(Item) メソッドを実装して Item オブジェクト間の比較ができるようにすると、 Itemオブジェクトの入った ArrayList<Item> を Collections.sort メソッドでソートできるようになります。 (Comparatorを使っても可)
  - ファイル名: FeedItemExtractor.java, Feed.java, Item.java (Feed, Item クラスは名称変更してもよい)
- 提出先: 授業フォルダの第06回
- 提出期限: 次回の前日 22:00
課題5
- 課題5: フィードの発見
  自分の興味のある分野の情報が得られるフィードを見つけてください。よいものがあれば最終課題で扱う情報の1つになるかもしれません。
  - 2つ以上見つけ、URL を控えておいてください。
  - 仕様 (RSS 1.0 / RSS2.0 / Atom)、文字コード、取得可能な件数(item要素の数)を確認してください。
  - リクエスト時にパラメータを与える仕様の場合にはパラメータの仕様も確認しましょう。
  - 提出: なし (次の課題で情報の取得対象として使います)
- 期限: 第6回(10/21)の授業前まで
課題4
- 課題4: Webページからの情報抽出 (正規表現を使用)
  Yahoo! ショッピングの任意の商品のページを取得し、その商品の送料を調べましょう。 正規表現を活用してください。また、送料の値を整数値として得るようにしましょう。送料無料の場合は 0、送料不明の場合は -1 の値を取るようにしてください。
  - 「送料〇〇円」の「〇〇」の部分を抜き出す正規表現を考えてみましょう。送料が4桁以上の場合、3桁ごとに「,」が入ることに注意しましょう。また、HTMLのソースでは送料の値の前後にHTMLのコメント  が入っていることに注意してください。例えば「送料1,190円」などとなっています。
    - 送料4桁の例: アイス
  - NumberFormat クラスを用いて、文字列を数値に変換しましょう。例外処理を忘れずに。
  - ファイル名: YahooShoppingShippingExtractorIntValue.java
  - 提出先: 授業フォルダの第04回
  - 提出期限: 次回の前日 22:00
課題3
- 課題3: Webページからの情報抽出 (Stringクラスのメソッドを使用)
  Yahoo! ショッピングの任意の商品のページを取得し、その商品が送料無料か調べましょう。調べた結果はコンソールに表示してください。 String クラスのメソッドを活用してください。
  - 条件付きの場合には、条件まで表示しなくてもかまいません。
  - すべての商品ページ対応しなくてもかまいません。
  - 複数の商品ページでテストしましょう。
  - ファイル名: YahooShoppingFreeShipping.java
- 提出先: 授業フォルダの第03回
- 提出期限: 次回の前日 22:00
課題2
- 課題2: 「妥当な」XML文書ファイルの作成
  自分が記述したいデータを決め、そのデータを記述するのに適したデータ記述言語を設計し、実際にデータを記述してください。記述する対象は、趣味のデータでもなんでもかまいません。データ記述言語を設計するにあたっては、 意味的に適切な構造を持つようにしてください。意味的に適切な構造を持つとは、例えば、実世界で階層構造を持つものは、 XMLの構造上も階層構造を持っている、といったことです。 5階層以上の構造を持つようにしてください。
  - スキーマを記述する必要はありません。
  - 構造だけでなく、実際のデータを記述してください。内容はダミーでもかまいません。
  - ファイル名の拡張子は「.xml」としてください。
  - 文法的に正しい整形式の文書になっているか、ブラウザで表示させてみるなどして提出前に確認をしてください。
  - 5階層とは、最上位のroot要素から階層を下にたどって5要素あるものを言います(root要素を含みます)。
```
              <A>
                <B>
                  <C>
                    <D>
                      <E>ここが5階層目</E>
                      <E>ここも5階層目</E>
                    </D>
                  </C>
                </B>
              </A>
            
```
- 提出先: 授業フォルダの第02回
- 提出期限: 次回の前日 22:00
課題1
- なし

		mail.dendai.ac.jp>
データエンジニアリング ...... 山田剛一	<yamada@	mail.dendai.ac.jp>